Python爬蟲(chóng)開(kāi)發(fā)的3大難題，別上了賊船才發(fā)現(xiàn)，水有多深

寫(xiě)爬蟲(chóng)，是一個(gè)非?？简?yàn)綜合實(shí)力的活兒。有時(shí)候，你輕而易舉地就抓取到了想要的數(shù)據(jù)；有時(shí)候，你費(fèi)盡心思卻毫無(wú)所獲。

好多Python爬蟲(chóng)的入門(mén)教程都是一行代碼就把你騙上了“賊船”，等上了賊船才發(fā)現(xiàn)，水好深～
比如爬取一個(gè)網(wǎng)頁(yè)可以是很簡(jiǎn)單的一行代碼：

r = requests.get('http://news.baidu.com')

非常的簡(jiǎn)單，但它的作用也僅僅是 爬取一個(gè)網(wǎng)頁(yè) ，而一個(gè)有用的爬蟲(chóng)遠(yuǎn)遠(yuǎn)不止于 爬取一個(gè)網(wǎng)頁(yè) 。

一個(gè)有用的爬蟲(chóng)，只需兩個(gè)詞來(lái)衡量：

• 數(shù)量：能否抓全所有該類(lèi)數(shù)據(jù)
• 效率：抓完所有數(shù)據(jù)需要多久一天還是一個(gè)月

但要做到這兩個(gè)詞，卻是要下很多功夫。自己下功夫是一方面，也很重要的是你要抓全的目標(biāo)網(wǎng)站給你出了多少難題。綜合起來(lái)，就寫(xiě)一個(gè)爬蟲(chóng)有多少難度。

網(wǎng)絡(luò)爬蟲(chóng)難度一：只需爬取html網(wǎng)頁(yè)但要上規(guī)模

這里我們舉個(gè)新聞爬蟲(chóng)的例子。大家都用過(guò)百度的新聞搜索吧，我就拿它的爬蟲(chóng)來(lái)講講實(shí)現(xiàn)上的難度。

新聞網(wǎng)站基本上不設(shè)防，新聞內(nèi)容都在網(wǎng)頁(yè)的html代碼里了，抓全一個(gè)網(wǎng)頁(yè)基本上就是一行的事情。似乎聽(tīng)上去很簡(jiǎn)單，但對(duì)于一個(gè)搜索引擎級(jí)的爬蟲(chóng)，就不那么簡(jiǎn)單了，要把幾千幾萬(wàn)家新聞網(wǎng)站的新聞都及時(shí)抓取到也不是一件容易的事情。

我們先看看新聞爬蟲(chóng)的簡(jiǎn)單流程圖：

從一些種子網(wǎng)頁(yè)開(kāi)始，種子網(wǎng)頁(yè)往往是一些新聞網(wǎng)站的首頁(yè)，爬蟲(chóng)抓取網(wǎng)頁(yè)，從中提取網(wǎng)站URL放到網(wǎng)址池再進(jìn)行抓取。這樣就從幾個(gè)網(wǎng)頁(yè)開(kāi)始，不斷擴(kuò)展到其它網(wǎng)頁(yè)。爬蟲(chóng)抓取的網(wǎng)頁(yè)也越來(lái)越多，提取出的新網(wǎng)網(wǎng)址也會(huì)成幾何級(jí)數(shù)增長(zhǎng)。

如何能在最短時(shí)間抓取更多網(wǎng)址？

這就是其中一個(gè)難度，這不是目標(biāo)網(wǎng)址帶來(lái)的，而是對(duì)我們自身自愿的考驗(yàn)：

• 我們的帶寬夠嗎
• 我們的服務(wù)器夠嗎，單臺(tái)不夠就要分布式

如何能及時(shí)抓取到最新的新聞？

這是效率之外的另一個(gè)難度，如何保證及時(shí)性？幾千家新聞網(wǎng)站，時(shí)刻都在發(fā)布最新新聞，爬蟲(chóng)在織網(wǎng)式抓取“舊”新聞的同時(shí)，如何兼顧獲取“新”新聞呢？

如何存儲(chǔ)抓取到的海量新聞？

爬蟲(chóng)織網(wǎng)式的爬取，會(huì)把每個(gè)網(wǎng)站幾年前幾十年前的新聞網(wǎng)頁(yè)都給翻出來(lái)，從而獲得海量的網(wǎng)頁(yè)需要存儲(chǔ)。就是存儲(chǔ)上的難度。

如何清理提取網(wǎng)內(nèi)容？

從新聞網(wǎng)頁(yè)的html里面快速、準(zhǔn)確提取想要的信息數(shù)據(jù)，比如標(biāo)題、發(fā)布時(shí)間、正文內(nèi)容等，這又帶來(lái)內(nèi)容提取上的難度。

網(wǎng)絡(luò)爬蟲(chóng)難度二：需要登錄才能抓到想要的數(shù)據(jù)

人是貪婪的，想要的數(shù)據(jù)無(wú)窮盡，但是很多數(shù)據(jù)不是你輕易就可以獲得的。有一大類(lèi)數(shù)據(jù)就是需要賬戶(hù)登錄后才能看到，也就是說(shuō)，爬蟲(chóng)請(qǐng)求時(shí)必須是登錄狀態(tài)才能抓取數(shù)據(jù)。

如何獲取登錄狀態(tài)？

前面已經(jīng)說(shuō)過(guò)了，http協(xié)議的性質(zhì)決定了登錄狀態(tài)就是一些cookies，那么如何獲得登錄狀態(tài)就是一個(gè)非常有難度的問(wèn)題。
有些網(wǎng)站登錄過(guò)程很簡(jiǎn)單，把賬戶(hù)、密碼發(fā)給服務(wù)器，服務(wù)器驗(yàn)證通過(guò)返回表示已登錄的cookies。這樣的網(wǎng)站，比較容易實(shí)現(xiàn)自動(dòng)登錄，爬蟲(chóng)運(yùn)行過(guò)程全程無(wú)需人工干預(yù)，你就有更多時(shí)間喝茶、聊天

如何處理驗(yàn)證碼?

然而，網(wǎng)站們既然要求你登錄了，他們就不會(huì)這么輕易放過(guò)你，要做的更絕才能讓小猿們善罷甘休，那就是上驗(yàn)證碼！
沒(méi)錯(cuò)，就是變態(tài)的驗(yàn)證碼?。∽鳛橐?jiàn)多識(shí)廣的老猿，我還是經(jīng)常識(shí)別不出驗(yàn)證碼，慚愧慚愧。

據(jù)說(shuō)，有人雇了一批大媽?zhuān)M(jìn)行人工識(shí)別驗(yàn)證碼；也有，通過(guò)圖像處理技術(shù)，尤其如今火熱的深度學(xué)習(xí)、人工智能的技術(shù)，來(lái)自動(dòng)識(shí)別驗(yàn)證碼。

那么，當(dāng)你寫(xiě)爬蟲(chóng)時(shí)遇到驗(yàn)證碼該怎么辦？

網(wǎng)絡(luò)爬蟲(chóng)難度三：ajax異步加載甚至JavaScript解密

前面的兩個(gè)難度，都是靠我們研究數(shù)據(jù)加載過(guò)程，然后用Python代碼可以重現(xiàn)出來(lái)，進(jìn)行抓取的。

而遇到達(dá)第三個(gè)難度時(shí)，研究數(shù)據(jù)加載過(guò)程會(huì)讓你十分痛苦、近乎崩潰。異步加載流程和服務(wù)器來(lái)來(lái)回回好多次，最后得到的數(shù)據(jù)還要通過(guò)JavaScript解密才能看到，這都是壓垮爬蟲(chóng)者的最后一根稻草。