python爬蟲怎么批量爬取百度圖片

這篇文章將為大家詳細(xì)講解有關(guān)python爬蟲怎么批量爬取百度圖片，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

Python主要用來做什么

Python主要應(yīng)用于：1、Web開發(fā)；2、數(shù)據(jù)科學(xué)研究；3、網(wǎng)絡(luò)爬蟲；4、嵌入式應(yīng)用開發(fā)；5、游戲開發(fā)；6、桌面應(yīng)用開發(fā)。

當(dāng)我們想要獲取百度圖片的時(shí)候，面對(duì)一張張圖片，一次次的點(diǎn)擊右鍵下載十分麻煩。python爬蟲可以實(shí)現(xiàn)批量下載，根據(jù)我們下載網(wǎng)站位置、圖片位置、圖片下載數(shù)量、圖片下載位置等需求進(jìn)行批量下載。

1、導(dǎo)入相關(guān)庫

import requests#爬蟲庫
import re#正則表達(dá)式庫
import os#系統(tǒng)庫
import time#時(shí)間庫

2、確定百度圖片鏈接

url='http://image.baidu.com/search/index?tn=baiduimage&fm=result&ie=utf-8&word='#百度鏈接

3、解碼

# 解碼def decode(url):
    for key, value in str_table.items():
        url = url.replace(key, value)
    return url.translate(char_table)

4、百度圖片下拉

def buildUrls(word):
    word = urllib.parse.quote(word)
    url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=
result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
    urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60))
    return urls


re_url = re.compile(r'"objURL":"(.*?)"')

5、使用正則表達(dá)式獲取圖片數(shù)量

totalnum = re.findall('<div id="resultInfo" style="font-size: 13px;">(.*?)</div>', string) 
print("百度圖片"+totalnum[0])img_url_regex = '"thumbURL":"(.*?)",'#正則匹配式count=0#總共下載
的圖片數(shù)index=0#鏈接后面的序號(hào)page=0#當(dāng)前搜集的頁while(1):
	strhtml=requests.get(url+str(index),headers=headers)#get方式獲取數(shù)據(jù)
	string=str(strhtml.text)
	print("已爬取網(wǎng)頁")

6、利用正則表達(dá)式找到圖片url

print("第"+str(page+1)+"頁共收集到"+str(len(pic_url))+"張圖片")

7、創(chuàng)建文件路徑下載

def mkDir(dirName):
    dirpath = os.path.join(sys.path[0], dirName)
    if not os.path.exists(dirpath):
        os.mkdir(dirpath)
    return dirpathif __name__ == '__main__':


    with open('list.txt', 'r', encoding="utf-8") as f:
        result = f.read()
    keys = result.split('\n')
    key_words = list(enumerate(keys, start=1))

    for key in key_words:
        word = key[1]

        dirpath = mkDir(word)

        imgType = 'jpg'
        strtag = word
        numIMGS = 3
        urls = buildUrls(word)
        index = 0
        #print("= = " * 25)
        for url in urls:
            print("正在請(qǐng)求：", url)
            html = requests.get(url, timeout=10).content.decode('utf-8')
            imgUrls = resolveImgUrl(html)
            # print(imgUrls)
            if len(imgUrls) == 0:  # 沒有圖片則結(jié)束
                break
            for url in imgUrls:
                if downImgs(url, dirpath, strtag + ' ' + str(index + 1), imgType):
                    index += 1
                    # print("已下載 %s 張" % index)
                    # 雙 break 跳出下載循環(huán)
                if index == numIMGS:
                    break
            if index == numIMGS:
                # print('您一共下載了 %s 張圖片' % index)
                # print('程序正在終止')
                break

關(guān)于“python爬蟲怎么批量爬取百度圖片”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。