溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文實例講述了Python3爬蟲學習之MySQL數(shù)據(jù)庫存儲爬取的信息。分享給大家供大家參考，具體如下：
數(shù)據(jù)庫存儲爬取的信息（MySQL）
爬取到的數(shù)據(jù)為了更好地進行分析利用，而之前將爬取得數(shù)據(jù)存放在txt文件中后期處理起來會比較麻煩，很不方便，如果數(shù)據(jù)量比較大的情況下，查找更加麻煩，所以我們通常會把爬取的數(shù)據(jù)存儲到數(shù)據(jù)庫中便于后期分析利用。
這里，數(shù)據(jù)庫選擇MySQL，采用pymysql 這個第三方庫來處理python和mysql數(shù)據(jù)庫的存取，python連接mysql數(shù)據(jù)庫的配置信息
db_config ={
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'password': '',
'db': 'pytest',
'charset': 'utf8'
}
以爬取簡書首頁文章標題以及url為例，先分析抓取目標信息，
如上圖，文章題目在a標簽中，且url（href）只含有后半部分，所以在存儲的時候，最好把它補全。
mysql：新建一個數(shù)據(jù)庫pytest，建立一張名為titles的表，表中字段分別為id(int自增)，title(varchar)，url(varchar),如下：
進行數(shù)據(jù)庫操作的思路為：獲得數(shù)據(jù)庫連接（connection）->獲得游標（cursor）->執(zhí)行sql語句（execute）->事物提交(commit)->關閉數(shù)據(jù)據(jù)庫連接（close），具體代碼實現(xiàn)如下：
# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
import pymysql
# mysql連接信息（字典形式）
db_config ={
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'password': '',
'db': 'pytest',
'charset': 'utf8'
}
# 獲得數(shù)據(jù)庫連接
connection = pymysql.connect(**db_config)
# 數(shù)據(jù)庫配置，獲得連接（參數(shù)方式）
# connection = pymysql.connect(host='127.0.0.1',
# port=3306,
# user='root',
# password='',
# db='pytest',
# charset='utf8')
url = r'http://www.jianshu.com/'
# 模擬瀏覽器頭
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info, 'html.parser')
urls = soup.find_all('a', 'title')
try:
# 獲得數(shù)據(jù)庫游標
with connection.cursor() as cursor:
sql = 'insert into titles(title, url) values(%s, %s)'
for u in urls:
# 執(zhí)行sql語句
cursor.execute(sql, (u.string, r'http://www.jianshu.com'+u.attrs['href']))
# 事務提交
connection.commit()
finally:
# 關閉數(shù)據(jù)庫連接
connection.close()
代碼執(zhí)行結果：
更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內容。
