您好,登錄后才能下訂單哦!
這篇文章給大家介紹怎么在Python3使用正則表達(dá)式爬取數(shù)據(jù),內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
代碼如下:
# -*- coding:utf-8 -*- from urllib import request as urllib2 import re # 利用正則表達(dá)式爬取內(nèi)涵段子 url = r'http://www.neihanpa.com/article/list_5_{}.html' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0', } file_name = '內(nèi)涵段子.txt' for page in range(2): # 2表示頁數(shù),可以自行調(diào)整 fullurl = url.format(str(page+1)) request = urllib2.Request(url=fullurl, headers=headers) response = urllib2.urlopen(request) html = response.read().decode('gbk') # re.S 如果沒有re.S 則是只匹配一行有沒有符合規(guī)則的字符串,如果沒有則下一行重新匹配 # 如果加上re.S 則是將所有的字符串作為一個整體進(jìn)行匹配 pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S) duanzis = pattern.findall(html) for duanzi in duanzis: duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('“','').replace('&rdquo','').replace('…','') try: # 將爬取的段子寫入文件 file = open(file_name,'a',encoding='utf-8') file.write('\n'.join(duanzi.split())) file.close() except OSError as e: print(e)
關(guān)于怎么在Python3使用正則表達(dá)式爬取數(shù)據(jù)就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。