爬蟲(chóng)代理ip被封如何處理

這篇文章給大家分享的是有關(guān)爬蟲(chóng)代理ip被封如何處理的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

1.爬蟲(chóng)降低訪問(wèn)速度，首先要測(cè)試出網(wǎng)站設(shè)置的限制速度閾值，根據(jù)限速設(shè)置合理的訪問(wèn)速度。
由于上文所說(shuō)的訪問(wèn)速度過(guò)快會(huì)引起IP被封，那么最直觀的辦法便是降低訪問(wèn)速度，如此就能防止了我們的IP被封的問(wèn)題。但呢，降低速度，爬蟲(chóng)的效率就降低，關(guān)鍵還是要降低到什么程度？
首先要測(cè)試出網(wǎng)站設(shè)置的限制速度閾值，根據(jù)限速設(shè)置合理的訪問(wèn)速度。

建議不要設(shè)固定的訪問(wèn)速度，能夠設(shè)置在一個(gè)范圍之內(nèi)，防止過(guò)于規(guī)律而被系統(tǒng)檢測(cè)到，從而導(dǎo)致IP被封。

降低了訪問(wèn)速度，難以避免的影響到了爬取的抓取效率，不能高效地抓取，如此的抓取速度與人工抓取有何區(qū)別呢？都沒(méi)有了使用爬蟲(chóng)抓取的優(yōu)勢(shì)了。

2.爬蟲(chóng)切換IP訪問(wèn)，使用多個(gè)爬蟲(chóng)同時(shí)去抓取。

既然單個(gè)爬蟲(chóng)被控制了速度，但我們可以使用多個(gè)爬蟲(chóng)同時(shí)去抓取啊！

我們可以使用多線程，多進(jìn)程，這里要配合使用代理，不同的線程使用不同的IP地址，就像是同時(shí)有不同的用戶在訪問(wèn)，如此就能極大地提高爬蟲(chóng)的爬取效率了。

• PS：除此之外還需要了解一下內(nèi)容：

• （1）對(duì) robots.txt 的適當(dāng)支持。

（2）基于原始服務(wù)器帶寬和負(fù)載估計(jì)的自動(dòng)節(jié)流。

（3）基于對(duì)原始內(nèi)容更改頻率的估計(jì)的自動(dòng)節(jié)流。

• （4）站點(diǎn)管理員界面，站點(diǎn)所有者可以在其中注冊(cè)、驗(yàn)證和控制抓取的速率和頻率。

• （5）了解虛擬主機(jī)，并通過(guò)原始 IP 地址進(jìn)行節(jié)流。

• （6）支持某種形式的機(jī)器可讀站點(diǎn)地圖。

• （7）正確的抓取隊(duì)列優(yōu)先級(jí)和排序。

• （8）合理的重復(fù)域和重復(fù)內(nèi)容檢測(cè)，避免在不同域上重新抓取相同的站點(diǎn)。

• （last.fm 與 lastfm.com，以及其他 100 萬(wàn)個(gè)將多個(gè)域用于相同內(nèi)容的站點(diǎn)。）

• （9）了解 GET 參數(shù)，以及許多特定于站點(diǎn)的搜索引擎中的“搜索結(jié)果”是什么。

• 例如，某些頁(yè)面可能會(huì)使用某些 GET 參數(shù)鏈接到另一個(gè)站點(diǎn)內(nèi)部搜索中的搜索結(jié)果頁(yè)面。您（可能）不想抓取這些結(jié)果頁(yè)面。

• （10）了解其他常見(jiàn)鏈接格式，例如登錄/注銷鏈接等。

感謝各位的閱讀！關(guān)于“爬蟲(chóng)代理ip被封如何處理”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！