您好,登錄后才能下訂單哦!
小編給大家分享一下Python3怎么實(shí)現(xiàn)爬蟲爬取趕集網(wǎng)列表功能,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
Python主要應(yīng)用于:1、Web開發(fā);2、數(shù)據(jù)科學(xué)研究;3、網(wǎng)絡(luò)爬蟲;4、嵌入式應(yīng)用開發(fā);5、游戲開發(fā);6、桌面應(yīng)用開發(fā)。
具體如下:
python3爬蟲之爬取趕集網(wǎng)列表。這幾天一直在學(xué)習(xí)使用python3爬取數(shù)據(jù),今天記錄一下,代碼很簡(jiǎn)單很容易上手。
首先需要安裝python3。如果還沒有安裝,可參考本站前面關(guān)于python3安裝與配置相關(guān)文章。
首先需要安裝request和BeautifulSoup兩個(gè)模塊
request是Python的HTTP網(wǎng)絡(luò)請(qǐng)求模塊,使用Requests可以輕而易舉的完成瀏覽器可有的任何操作
pip install requests
BeautifulSoup是用Python寫的一個(gè)HTML/XML的解析器,它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹
pip install beautifulsoup4
代碼:
from urllib import request from bs4 import BeautifulSoup #構(gòu)造頭文件,模擬瀏覽器訪問(wèn) url="http://xa.ganji.com/meirdjm/o2/" headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'} page = request.Request(url,headers=headers) # 發(fā)送請(qǐng)求,獲取內(nèi)容 page_info = request.urlopen(page).read().decode('utf-8') # 將獲取到的內(nèi)容轉(zhuǎn)換成BeautifulSoup格式,并將html.parser作為解析器 soup = BeautifulSoup(page_info, 'html.parser') # 查找所有a標(biāo)簽中class='list-info-title' titles = soup.find_all('a',class_="list-info-title") # 打印抓取到的title for title in titles: print(title.string)
結(jié)果:
看完了這篇文章,相信你對(duì)“Python3怎么實(shí)現(xiàn)爬蟲爬取趕集網(wǎng)列表功能”有了一定的了解,如果想了解更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。