scrapy數(shù)據(jù)存儲(chǔ)在mysql數(shù)據(jù)庫的方式是什么

scrapy數(shù)據(jù)存儲(chǔ)在mysql數(shù)據(jù)庫的方式是什么，很多新手對此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

　　這篇文章主要介紹了scrapy數(shù)據(jù)存儲(chǔ)在mysql數(shù)據(jù)庫的兩種方式(同步和異步)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。

　　方法一：同步操作

　　1.pipelines.py文件(處理數(shù)據(jù)的python文件)

　　import pymysqlclass LvyouPipeline(object):def __init__(self):# connection databaseself.connect = pymysql.connect(host='XXX', user='root', passwd='XXX', db='scrapy_test') # 后面三個(gè)依次是數(shù)據(jù)庫連接名、數(shù)據(jù)庫密碼、數(shù)據(jù)庫名稱# get cursorself.cursor = self.connect.cursor()print("連接數(shù)據(jù)庫成功")def process_item(self, item, spider):# sql語句insert_sql = """insert into lvyou(name1, address, grade, score, price) VALUES (%s,%s,%s,%s,%s)"""# 執(zhí)行插入數(shù)據(jù)到數(shù)據(jù)庫操作self.cursor.execute(insert_sql, (item['Name'], item['Address'], item['Grade'], item['Score'],item['Price']))# 提交，不進(jìn)行提交無法保存到數(shù)據(jù)庫self.connect.commit()def close_spider(self, spider):# 關(guān)閉游標(biāo)和連接self.cursor.close()self.connect.close()

　　2.配置文件中

　　方式二 異步儲(chǔ)存

　　pipelines.py文件：

　　通過twisted實(shí)現(xiàn)數(shù)據(jù)庫異步插入，twisted模塊提供了 twisted.enterprise.adbapi

　　1. 導(dǎo)入adbapi。

　　2. 生成數(shù)據(jù)庫連接池。

　　3. 執(zhí)行數(shù)據(jù)數(shù)據(jù)庫插入操作。

　　4. 打印錯(cuò)誤信息，并排錯(cuò)。

　　import pymysqlfrom twisted.enterprise import adbapi# 異步更新操作class LvyouPipeline(object):def __init__(self, dbpool):self.dbpool = dbpool@classmethoddef from_settings(cls, settings): # 函數(shù)名固定，會(huì)被scrapy調(diào)用，直接可用settings的值"""數(shù)據(jù)庫建立連接:param settings: 配置參數(shù):return: 實(shí)例化參數(shù)"""adbparams = dict(host=settings['MYSQL_HOST'],db=settings['MYSQL_DBNAME'],user=settings['MYSQL_USER'],password=settings['MYSQL_PASSWORD'],cursorclass=pymysql.cursors.DictCursor # 指定cursor類型)# 連接數(shù)據(jù)池ConnectionPool，使用pymysql或者M(jìn)ysqldb連接dbpool = adbapi.ConnectionPool('pymysql', **adbparams)# 返回實(shí)例化參數(shù)return cls(dbpool)def process_item(self, item, spider):"""使用twisted將MySQL插入變成異步執(zhí)行。通過連接池執(zhí)行具體的sql操作，返回一個(gè)對象"""query = self.dbpool.runInteraction(self.do_insert, item) # 指定操作方法和操作數(shù)據(jù)# 添加異常處理query.addCallback(self.handle_error) # 處理異常def do_insert(self, cursor, item):# 對數(shù)據(jù)庫進(jìn)行插入操作，并不需要commit，twisted會(huì)自動(dòng)commitinsert_sql = """insert into lvyou(name1, address, grade, score, price) VALUES (%s,%s,%s,%s,%s)"""self.cursor.execute(insert_sql, (item['Name'], item['Address'], item['Grade'], item['Score'],item['Price']))def handle_error(self, failure):if failure:# 打印錯(cuò)誤信息print(failure)

　　注意：

　　1、python 3.x 不再支持MySQLdb，它在py3的替代品是： import pymysql。

　　2、報(bào)錯(cuò)pymysql.err.ProgrammingError: (1064, ……

　　原因：當(dāng)item['quotes']里面含有引號(hào)時(shí)，可能會(huì)報(bào)上述錯(cuò)誤。

　　解決辦法：使用pymysql.escape_string()方法。

　　例如：

　　sql = """INSERT INTO video_info(video_id, title) VALUES("%s","%s")""" %(video_info["id"],pymysql.escape_string(video_info["title"]))

　　3、存在中文的時(shí)候，連接需要添加charset='utf8'，否則中文顯示亂碼。

　　4、每執(zhí)行一次爬蟲，就會(huì)將數(shù)據(jù)追加到數(shù)據(jù)庫中，如果多次的測試爬蟲，就會(huì)導(dǎo)致相同的數(shù)據(jù)不斷累積，怎么實(shí)現(xiàn)增量爬取?

　　scrapy-deltafetch

　　scrapy-crawl-once(與1不同的是存儲(chǔ)的數(shù)據(jù)庫不同)

　　scrapy-redis

　　scrapy-redis-bloomfilter(3的增強(qiáng)版，存儲(chǔ)更多的url,查詢更快)

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。