您好,登錄后才能下訂單哦!
Python如何爬取愛(ài)徒網(wǎng)素材下載鏈接,相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策,為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法,通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。
平時(shí)都是直接爬取圖片,但是有些時(shí)候只想要個(gè)別的圖該怎么辦呢?
爬取愛(ài)徒網(wǎng)素材下載地址
通過(guò)點(diǎn)擊素材進(jìn)入素材詳情頁(yè),可以看到本地下載地址,多復(fù)制幾個(gè)素材的下載地址鏈接:
http://www.aiimg.com/sucai.php?open=1&aid=126632&uhash=70a6d2ffc358f79d9cf71392 http://www.aiimg.com/sucai.php?open=1&aid=126630&uhash=99b07c347dc24533ccc1c144 http://www.aiimg.com/sucai.php?open=1&aid=126634&uhash=d7e8f7f02f57568e280190b4
每個(gè)鏈接的aid不一樣,這個(gè)應(yīng)該就是素材的每個(gè)ID,后面的uhash又是什么呢
原本想著網(wǎng)頁(yè)數(shù)據(jù)里面是否有接口數(shù)據(jù)可以直接找到這個(gè)參數(shù),在開(kāi)發(fā)者工具里面搜索并沒(méi)有這個(gè)參數(shù),看一下網(wǎng)頁(yè)源代碼里面是否有這個(gè)下載鏈接~
有這個(gè)鏈接的話,咱們獲取鏈接之后就可以直接下載~
可以發(fā)現(xiàn),咱們需要的數(shù)據(jù)都在網(wǎng)頁(yè)的標(biāo)簽里面,請(qǐng)求網(wǎng)頁(yè)獲取返回?cái)?shù)據(jù)
import requests url = 'http://www.aiimg.com/list.php?tid=1&ext=0&free=2&TotalResult=5853&PageNo=1' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) print(response.text)
解析爬取數(shù)據(jù)
import parsel selector = parsel.Selector(response.text) lis = selector.css('.imglist_d ul li a::attr(href)').getall() for li in lis: num_id = li.replace('.html', '').split('/')[-1] new_url = 'http://www.aiimg.com/sucai.php?aid={}'.format(num_id) response_2 = requests.get(url=new_url, headers=headers) selector_2 = parsel.Selector(response_2.text) data_url = selector_2.css('.downlist a.down1::attr(href)').get() title = selector_2.css('.toart a::text').get() download_url = 'http://www.aiimg.com' + data_url
看完上述內(nèi)容,你們掌握Python如何爬取愛(ài)徒網(wǎng)素材下載鏈接的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。