您好,登錄后才能下訂單哦!
這篇文章主要介紹了python如何爬取圖片,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
打開網(wǎng)址 查看網(wǎng)頁(yè)結(jié)構(gòu)
用火狐瀏覽器打開鏈接 F12查看
由于我使用的pyquery
可以看到圖片的鏈接 都在img標(biāo)簽的src屬性中 我們只要通過(guò)pyquery鎖定到這個(gè)img標(biāo)簽 就可以繼續(xù)下一步了
我們先來(lái)嘗試抓取一頁(yè)的壁紙?jiān)囋嚳?br/>
下面是具體的代碼:
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/10/31 17:54 # 爬取圖片 import requests from pyquery import PyQuery as pq import time headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36' } # 這里我使用了代理 你可以去掉這個(gè)代理IP 我是為了后面大規(guī)模爬取做準(zhǔn)備的 proxies = { 'https': '218.75.69.50:39590' } # 請(qǐng)求網(wǎng)頁(yè) 獲取源碼 def start_request(url): r = requests.get(url, headers=headers, proxies=proxies) # 這個(gè)網(wǎng)站頁(yè)面使用的是GBK編碼 這里進(jìn)行編碼轉(zhuǎn)換 r.encoding = 'GBK' html = r.text return html # 解析網(wǎng)頁(yè) 獲取圖片 def parse(text): doc = pq(text) # 鎖定頁(yè)面中的img標(biāo)簽 images = doc('div.list ul li img').items() x = 0 for image in images: # 獲取每一張圖片的鏈接 img_url = image.attr('src') # 獲得每張圖片的二進(jìn)制內(nèi)容 img = requests.get(img_url, headers=headers, proxies=proxies).content # 定義要存儲(chǔ)圖片的路勁 path = "F:\\image\\" + str(x) + ".jpg" # 將圖片寫入指定的目錄 寫入文件用"wb" with open(path, 'wb') as f: f.write(img) time.sleep(1) print("正在下載第{}張圖片".format(x)) x += 1 print("寫入完成") def main(): url = "http://www.netbian.com" text = start_request(url) parse(text) if __name__ == "__main__": main()
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享python如何爬取圖片內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,遇到問題就找億速云,詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。