您好,登錄后才能下訂單哦!
這篇文章給大家介紹Media Pipeline如何爬取妹子圖,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
我們?cè)谧ト?shù)據(jù)的過程中,除了要抓取文本數(shù)據(jù)之外,當(dāng)然也會(huì)有抓取圖片的需求。那我們的 scrapy 能爬取圖片嗎?答案是,當(dāng)然的。說來慚愧,我也是上個(gè)月才知道,在 zone7 粉絲群中,有群友問 scrapy 怎么爬取圖片數(shù)據(jù)?后來搜索了一下才知道?,F(xiàn)在總結(jié)一下分享出來。
我們的 itempipeline 處理可以處理文字信息以外,還可以保存文件和圖片數(shù)據(jù),分別是 FilesPipeline 和 ImagesPipeline
避免重新下載最近已經(jīng)下載過的數(shù)據(jù)
指定存儲(chǔ)路徑
在一個(gè)爬蟲里,你抓取一個(gè)項(xiàng)目,把其中圖片的URL放入 file_urls 組內(nèi)。
項(xiàng)目從爬蟲內(nèi)返回,進(jìn)入項(xiàng)目管道。
當(dāng)項(xiàng)目進(jìn)入 FilesPipeline,file_urls 組內(nèi)的URLs將被Scrapy的調(diào)度器和下載器(這意味著調(diào)度器和下載器的中間件可以復(fù)用)安排下載,當(dāng)優(yōu)先級(jí)更高,- - 會(huì)在其他頁面被抓取前處理。項(xiàng)目會(huì)在這個(gè)特定的管道階段保持“l(fā)ocker”的狀態(tài),直到完成文件的下載(或者由于某些原因未完成下載)。
當(dāng)文件下載完后,另一個(gè)字段(files)將被更新到結(jié)構(gòu)中。這個(gè)組將包含一個(gè)字典列表,其中包括下載文件的信息,比如下載路徑、源抓取地址(從 file_urls 組獲得)和圖片的校驗(yàn)碼(checksum)。 files 列表中的文件順序?qū)⒑驮?file_urls 組保持一致。如果某個(gè)圖片下載失敗,將會(huì)記錄下錯(cuò)誤信息,圖片也不會(huì)出現(xiàn)在 files 組中。
避免重新下載最近已經(jīng)下載過的數(shù)據(jù)
指定存儲(chǔ)路徑
將所有下載的圖片轉(zhuǎn)換成通用的格式(JPG)和模式(RGB)
縮略圖生成
檢測圖像的寬/高,確保它們滿足最小限制
# 同時(shí)啟用圖片和文件管道
ITEM_PIPELINES = { # 使用時(shí),請(qǐng)修改成你自己的 ImgPipeline
'girlScrapy.pipelines.ImgPipeline': 1,
}
FILES_STORE = os.getcwd() + '/girlScrapy/file' # 文件存儲(chǔ)路徑
IMAGES_STORE = os.getcwd() + '/girlScrapy/img' # 圖片存儲(chǔ)路徑
# 避免下載最近90天已經(jīng)下載過的文件內(nèi)容
FILES_EXPIRES = 90
# 避免下載最近90天已經(jīng)下載過的圖像內(nèi)容
IMAGES_EXPIRES = 30
# 設(shè)置圖片縮略圖
IMAGES_THUMBS = {
'small': (50, 50),
'big': (250, 250),
}
# 圖片過濾器,最小高度和寬度,低于此尺寸不下載
IMAGES_MIN_HEIGHT = 128
IMAGES_MIN_WIDTH = 128
需要說明的是,你下載的圖片名最終會(huì)以圖片 URL 的 hash 值命名,例如:
0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg
最終的保存地址為:
your/img/path/full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg
這是我 demo 中的一個(gè) ImgPipeline,里面重寫了兩個(gè)方法。
from scrapy.pipelines.images import ImagesPipeline
class ImgPipeline(ImagesPipeline):#繼承 ImagesPipeline 這個(gè)類
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
image_url = image_url
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
return item
分別是:
get_media_requests(self, item, info):
item_completed(self, results, item, info):
在這里,我們可以獲取到 parse 中解析的 item 值,因此我們可以獲取到相應(yīng)的圖片地址。在這里返回一個(gè) scrapy.Request(image_url) 去下載圖片。
item 和 info 打印出來都是 url 地址列表。其中 results 打印出來是如下值。
# 成功
[(True, {'path': 'full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg',
'checksum': '98eb559631127d7611b499dfed0b6406',
'url': 'http://mm.chinasareview.com/wp-content/uploads/2017a/06/13/01.jpg'})]
# 錯(cuò)誤
[(False,
Failure(...))]
ok,理論部分也講完了,那我們來實(shí)踐一下吧
spider 部分很簡單,如下:
class GirlSpider(scrapy.spiders.Spider):
name = 'girl'
start_urls = ["http://www.meizitu.com/a/3741.html"]
def parse(self, response):
soup = BeautifulSoup(response.body, 'html5lib')
pic_list = soup.find('div', id="picture").find_all('img') # 找到界面所有圖片
link_list = []
item = ImgItem()
for i in pic_list:
pic_link = i.get('src') # 拿到圖片的具體 url
link_list.append(pic_link) # 提取圖片鏈接
item['image_urls'] = link_list
print(item)
yield item
class ImgItem(scrapy.Item):
image_urls = scrapy.Field()#圖片的鏈接
images = scrapy.Field()
class ImgPipeline(ImagesPipeline):#繼承 ImagesPipeline 這個(gè)類
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
image_url = image_url
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
return item
scrapy crawl girl
最終爬取結(jié)果如下:
關(guān)于Media Pipeline如何爬取妹子圖就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。