Python中怎么利用正則抓取數(shù)據(jù)

發(fā)布時間：2021-07-10 12:00:45 來源：億速云閱讀：222 作者：Leah 欄目：大數(shù)據(jù)

Python中怎么利用正則抓取數(shù)據(jù)，針對這個問題，這篇文章詳細介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

1、正則表達式基礎(chǔ)

（1）一般字符

（2）預(yù)定義字符集

Python中怎么利用正則抓取數(shù)據(jù)

（3）數(shù)量詞

Python中怎么利用正則抓取數(shù)據(jù)

（4）邊界匹配

Python中怎么利用正則抓取數(shù)據(jù)

備注：最常用的一種匹配方式（.*?）代表匹配任意字符

2、re模塊使用方法

re模塊使得Python擁有全部的正則表達式功能。

常用函數(shù)1：search()函數(shù)匹配并提取第一個符合規(guī)律的內(nèi)容，返回一個正則表達對象

常用函數(shù)2：findall()函數(shù)匹配所有符合規(guī)律的內(nèi)容，并以列表的形式返回結(jié)果

備注：一般在爬取數(shù)據(jù)時候還是以findall使用居多

re模塊修飾符

Python中怎么利用正則抓取數(shù)據(jù)

3、案例實踐

案例名稱：爬取《斗破蒼穹》全文小說

網(wǎng)絡(luò)鏈接：http://www.doupoxs.com/doupocangqiong/

Python中怎么利用正則抓取數(shù)據(jù)

爬取思路：

（1）打開網(wǎng)頁，了解網(wǎng)頁URL信息，通過打開第一章和第二章發(fā)現(xiàn)鏈接如下

http://www.doupoxs.com/doupocangqiong/1.html

http://www.doupoxs.com/doupocangqiong/2.html

http://www.doupoxs.com/doupocangqiong/3.html

明顯鏈接通過數(shù)字遞加來對每一章節(jié)進行分頁。

（2）爬取全文信息，查找對應(yīng)的位置如下

Python中怎么利用正則抓取數(shù)據(jù)

（3）數(shù)據(jù)存儲到TXT文本中

4、詳細代碼如下：

import requestsimport reimport time
headers={"User-Agent":請求頭}
f=open('doupo.txt','a+')
def get_info(url):   res=requests.get(url,headers=headers)   if res.status_code==200:       contents = re.findall('<p>(.*?)<p>',res.content.decode('utf-8'),re.S)       for content in contents:           f.write(content+'\n')           print(content)   else:       pass
if __name__=='__main__':   urls=['http://www.doupoxs.com/doupocangqiong/{}.html'.format(i) for i in range(2,10)]   for url in urls:       get_info(url)       time.sleep(1)   f.close()

運行結(jié)果如下：

Python中怎么利用正則抓取數(shù)據(jù)

關(guān)于Python中怎么利用正則抓取數(shù)據(jù)問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。

向AI問一下細節(jié)

Python中怎么利用正則抓取數(shù)據(jù)

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標簽