Python爬蟲(chóng)中的頁(yè)面解析和數(shù)據(jù)處理

本篇文章給大家分享的是有關(guān)Python爬蟲(chóng)中的頁(yè)面解析和數(shù)據(jù)處理，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

頁(yè)面解析和數(shù)據(jù)處理

爬蟲(chóng)一共就四個(gè)主要步驟：

1.明確目標(biāo) (要知道你準(zhǔn)備在哪個(gè)范圍或者網(wǎng)站去搜索)

2.爬 (將所有的網(wǎng)站的內(nèi)容全部爬下來(lái))

3.取 (去掉對(duì)我們沒(méi)用處的數(shù)據(jù))

4.處理數(shù)據(jù)（按照我們想要的方式存儲(chǔ)和使用）

一般來(lái)講對(duì)我們而言，需要抓取的是某個(gè)網(wǎng)站或者某個(gè)應(yīng)用的內(nèi)容，提取有用的價(jià)值。內(nèi)容一般分為兩部分，非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)：先有數(shù)據(jù)，再有結(jié)構(gòu)。

結(jié)構(gòu)化數(shù)據(jù)：先有結(jié)構(gòu)，再有數(shù)據(jù)。

1.非結(jié)構(gòu)化的數(shù)據(jù)處理

1.文本、電話號(hào)碼、郵箱地址  
　　　　-->正則表達(dá)式
2.HTML文件   
　　　　 -->正則表達(dá)式，XPath,CSS選擇器

2.結(jié)構(gòu)化的數(shù)據(jù)處理

1.JSON文件 
　　　　-->JSON Path
　　　　-->轉(zhuǎn)化成python類(lèi)型進(jìn)行操作
2.XML文件
　　　　-->轉(zhuǎn)化成python類(lèi)型（xmltodict）
　　　　-->XPath
　　　　-->CSS選擇器
　　　　-->正則表達(dá)式

以上就是Python爬蟲(chóng)中的頁(yè)面解析和數(shù)據(jù)處理，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。