python中怎么利用正則表達式從網(wǎng)頁摘取信息

python中怎么利用正則表達式從網(wǎng)頁摘取信息，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

確認(rèn)數(shù)據(jù)源

練習(xí)從網(wǎng)頁爬取數(shù)據(jù)時，為了不觸發(fā)網(wǎng)站的反爬機制，建議打開網(wǎng)頁另存為html文件。我從某網(wǎng)站保存了一頁關(guān)于房產(chǎn)信息的網(wǎng)頁，嘗試從中爬取信息。

然后用notepad++打開該文件，看看文件內(nèi)容。

編寫正則表達式

是不是感覺有點無從下手？別慌，慢慢來。通過對比網(wǎng)頁和網(wǎng)頁代碼我們確認(rèn)信息特征。

房產(chǎn)名稱：

急降60萬  急賣全款客戶來 寶山二村好位置

復(fù)制該信息，到html文件中通過ctrl+F查找該信息，然后認(rèn)真查看“房產(chǎn)名稱”前后的字符特征：

前面的字符特征：

;</span>"  &gt;

后面的字符特征：

 

現(xiàn)在對照房產(chǎn)名稱前后的字符特征編寫正則表達式，同時給“房產(chǎn)名稱”進行分組命名(?P.*?)：

;</span>"  &gt;(?P<name>.*?)&amp;nbsp;

注意： .*?在爬取網(wǎng)頁時經(jīng)常會用到，表示匹配任意內(nèi)容任意數(shù)量直到遇到后面的字符特征結(jié)束。

房型：

現(xiàn)在再觀察下一項“房型”信息前后的字符特征：

前面的字符特征：

span&gt;</span>

后面的字符特征：

<span class="html-tag">

如法炮制，提取“房型”信息并進行分組命名(?P.*?)：

span&gt;</span>(?P<type>.*?)<span class="html-tag">

注意： 在房產(chǎn)名稱和房型之間有大段網(wǎng)頁代碼，我們可以寫.*?對應(yīng)該段代碼表示跳過。

面積：

現(xiàn)在再觀察下一項“面積”信息前后的字符特征：

前面的字符特征：

<span class="html-tag">&lt;span&gt;</span>

后面的字符特征：

&nbsp;<span

如法炮制，提取“面積”信息并進行分組命名(?P.*?)：

<span class="html-tag">&lt;span&gt;</span>(?P<area>.*?)&nbsp;<span

總價：

現(xiàn)在就剩最后一項“總價”信息，繼續(xù)查找該信息前后的字符特征：

前面的字符特征：

</span><span class="html-tag">&lt;b&gt;</span>

后面的字符特征：

<span class="html-tag">&lt

如法炮制，提取“總價”信息并進行分組命名(?P.*?)：

</span><span class="html-tag">&lt;b&gt;</span>(?P<price>.*?)<span class="html-tag">&lt

現(xiàn)在提取網(wǎng)頁數(shù)據(jù)四項信息的正則表達式均已寫好，注意每一項信息之間間隔了很多的網(wǎng)頁代碼，我們可以用.*?對應(yīng)該段代碼表示跳過。讓我們現(xiàn)在把4段信息連起來，寫出完整的正則表達式：

rex = ';</span>"  &gt;(?P<name>.*?)&amp;nbsp;.*?span&gt;</span>(?P<type>.*?)<span class="html-tag">.*?<span class="html-tag">&lt;span&gt;</span>(?P<area>.*?)&nbsp;<span.*?</span><span class="html-tag">&lt;b&gt;</span>(?P<price>.*?)<span class="html-tag">&lt'

編寫代碼

import rewith open('房屋信息.html',encoding='utf8') as f:text = f.read()rex = ';</span>"  &gt;(?P<name>.*?)&amp;nbsp;.*?span&gt;</span>(?P<type>.*?)<span class="html-tag">.*?<span class="html-tag">&lt;span&gt;</span>(?P<area>.*?)&nbsp;<span.*?</span><span class="html-tag">&lt;b&gt;</span>(?P<price>.*?)<span class="html-tag">&lt'ret = re.finditer(rex, text, re.S)j = 1for i in ret:print(j,i.group('name'), i.group('type'), i.group('area'), i.group('price'))j +=1

輸出內(nèi)容

最終輸出內(nèi)容有120項，信息式樣如下：

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。