溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Python爬蟲(chóng)爬取斗圖吧的源碼怎么編寫(xiě)

發(fā)布時(shí)間：2021-10-19 09:14:46 來(lái)源：億速云 閱讀：309 作者：柒染 欄目：大數(shù)據(jù)

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Python爬蟲(chóng)爬取斗圖吧的源碼怎么編寫(xiě)，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

你還在為沒(méi)有表情包而在網(wǎng)上四處搜索尋找嗎？今天來(lái)利用python來(lái)獲得我們想要的表情包。

項(xiàng)目源碼

from pyquery import PyQuery as pqimport requestsfrom redis import StrictRediso=0headers={    'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
}

def xpan(canshu):    try:        url = 'https://www.doutula.com/photo/list/?page=' + str(canshu)        sp = requests.get(url, headers=headers).text
        doc=pq(sp)        item=doc('.col-xs-6 img').items()
        for i in item:            cu=i.attr('data-original')


            #r(cu,'F:/斗圖的/%s.jpg'%u)           # u+=1            #print('當(dāng)前已保存%d張'%u)            #print(cu)            redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')            redis.sadd('斗圖網(wǎng)下載圖片的URL', cu)
    except Exception as e:
       print('出現(xiàn)錯(cuò)誤',e.args)a=int(input('請(qǐng)問(wèn)你需要爬取多少頁(yè)呢:'))print('正在爬取鏈接并保存到redis數(shù)據(jù)庫(kù)中請(qǐng)稍等........')for i in range(a):
   xpan(i+1)
redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')redis.srem('斗圖網(wǎng)下載圖片的URL','None')for i in redis.smembers('斗圖網(wǎng)下載圖片的URL'):    t=str(i,encoding='utf8')    #print(t)    r=t.split('/')[-1]    dizhi='F:/斗圖/'+r    req=requests.get(t)    with open(dizhi,'wb')as p:        p.write(req.content)        print('保存完畢 已保存了%d張'%o)        o+=1

上述就是小編為大家分享的Python爬蟲(chóng)爬取斗圖吧的源碼怎么編寫(xiě)了，如果剛好有類(lèi)似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手