您好,登錄后才能下訂單哦!
這篇文章主要介紹“怎么使用Python采集圖片數(shù)據(jù)”的相關(guān)知識(shí),小編通過實(shí)際案例向大家展示操作過程,操作方法簡(jiǎn)單快捷,實(shí)用性強(qiáng),希望這篇“怎么使用Python采集圖片數(shù)據(jù)”文章能幫助大家解決問題。
我們首先確定網(wǎng)址,我們先使用開發(fā)者工具,定位到我們要的數(shù)據(jù)。發(fā)現(xiàn),內(nèi)容就在網(wǎng)頁(yè)源代碼中。
url = 'https://www.hexuexiao.cn/tj/WuJiayi/' res = requests.get(url) # print(res.text) html_url = re.findall('<a href="https://www.hexuexiao.cn/a/(\d+).html" rel="external nofollow" >',res.text,re.S) urls = sorted(list(set(html_url)), key=html_url.index)
我們這里html_url
變量的值是一個(gè)正則表達(dá)式對(duì)象,用于匹配網(wǎng)站圖片的鏈接。代碼塊 list(set(html_url))
將列表對(duì)象轉(zhuǎn)換為集合對(duì)象,使用 set()
方法將列表對(duì)象轉(zhuǎn)換為集合對(duì)象,這是一個(gè)將列表中的元素轉(zhuǎn)換為集合的方法。html_url.index
是一個(gè)整數(shù)對(duì)象,表示 html_url
中各元素在原始 HTML 字符串中出現(xiàn)的次數(shù),以此來(lái)實(shí)現(xiàn)排序。
for url1 in urls: for page in range(0,10): url2 = f'https://www.hexuexiao.cn/a/{url1}-{page}.html' # print(url2) res1 = requests.get(url2) # print(res1.text) url3 = re.findall('<img src=(.*?)/></a>',res1.text,re.S)[0] print(url3) url3=re.sub('',"",url3) print(url3)
我們這段代碼中的 urls
列表是一個(gè)字典,其中鍵是 URL,值是頁(yè)碼。在循環(huán)中,我們使用 range()
函數(shù)從 0 到 9 迭代頁(yè)碼。接下來(lái),我們使用 requests.get()
方法分別獲取每個(gè)頁(yè)面的 HTML 代碼,并使用正則表達(dá)式匹配出所有的圖片鏈接。最后,我們使用 requests.get()
方法獲取每個(gè)圖片鏈接的內(nèi)容,并將其寫入一個(gè)文件中。
content = requests.get(url3).content with open('圖片\' + str(num) + '.jpg', mode='wb') as f: f.write(content)
我們這段代碼中的 content
變量的值是從圖片鏈接 url3
中獲取的內(nèi)容。然后,使用 with open()
語(yǔ)句打開一個(gè)二進(jìn)制文件,并將 content
寫入文件中。在這個(gè)過程中,num
變量的值是當(dāng)前文件中的圖片序號(hào)。獲取圖片和我們之前獲取音頻一樣,都是保存成二進(jìn)制文件。
這樣,我們的圖片數(shù)據(jù)就保存下來(lái)了。這里,我就不展示效果了,原理都是一樣的,找到圖片的地址,我們就可以獲取下來(lái)。
關(guān)于“怎么使用Python采集圖片數(shù)據(jù)”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí),可以關(guān)注億速云行業(yè)資訊頻道,小編每天都會(huì)為大家更新不同的知識(shí)點(diǎn)。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。