python如何構(gòu)建爬蟲

這篇文章主要介紹python如何構(gòu)建爬蟲，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

爬蟲具有域名切換、信息收集以及信息存儲功能。

這里講述如何構(gòu)建基礎(chǔ)的爬蟲架構(gòu)。

1、

urllib庫：包含從網(wǎng)絡(luò)請求數(shù)據(jù)、處理cookie、改變請求頭和用戶處理元數(shù)據(jù)的函數(shù)。是python標(biāo)準(zhǔn)庫.urlopen用于打開讀取一個從網(wǎng)絡(luò)獲取的遠程對象。能輕松讀取HTML文件、圖像文件及其他文件流。

2、

beautifulsoup庫：通過定位HTML標(biāo)簽格式化和組織復(fù)雜的網(wǎng)絡(luò)信息，用python對象展現(xiàn)XML結(jié)構(gòu)信息。不是標(biāo)準(zhǔn)庫，可用pip安裝。常用的對象是BeautifulSoup對象。

1、基礎(chǔ)爬蟲

爬蟲需要首先import對象，然后打開網(wǎng)址，使用BeautifulSoup對網(wǎng)頁內(nèi)容進行讀取。

2、使用print輸出打開的網(wǎng)址的內(nèi)容。

3、從輸出中可以看出內(nèi)容的結(jié)構(gòu)為：

4、輸出內(nèi)容中的html-body-h2的內(nèi)容可使用四種語句。

5、

BeautifulSoup可提取HTML、XML文件的任意節(jié)點的信息，只需要目標(biāo)信息旁邊或附近有標(biāo)記。

1、Error

在運行代碼時，經(jīng)常會出現(xiàn)錯誤，看懂錯誤出現(xiàn)的原因才能解決存在的問題。

2、

在html=urlopen('')中會發(fā)生兩種錯誤：網(wǎng)頁在服務(wù)器上不存在或服務(wù)器不存在

。

3、網(wǎng)頁在服務(wù)器上不存在會出現(xiàn)HTTPError，可使用try語句進行處理。

當(dāng)程序返回HTTPError錯誤代碼時，會顯示錯誤內(nèi)容。

4、服務(wù)器不存在時，urlopen會返回None.

可使用判斷語句進行檢測。

調(diào)用的標(biāo)簽不存在會出現(xiàn)None，調(diào)用不存在的標(biāo)簽下的子標(biāo)簽，就會出現(xiàn)AttributeError錯誤。

以上是“python如何構(gòu)建爬蟲”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！