使用Scrapy框架時怎么應(yīng)對普通的反爬機制

這篇文章主要講解了“使用Scrapy框架時怎么應(yīng)對普通的反爬機制”，文中的講解內(nèi)容簡單清晰，易于學(xué)習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習“使用Scrapy框架時怎么應(yīng)對普通的反爬機制”吧！

header檢驗

最簡單的反爬機制，就是檢查HTTP請求的Headers信息，包括User-Agent, Referer、Cookies等。

User-Agent

User-Agent是檢查用戶所用客戶端的種類和版本，在Scrapy中，通常是在下載器中間件中進行處理。比如在setting.py中建立一個包含很多瀏覽器User-Agent的列表，然后新建一個random_user_agent文件：

class RandomUserAgentMiddleware(object):     @classmethod     defprocess_request(cls, request, spider):         ua = random.choice(spider.settings['USER_AGENT_LIST'])         if ua:             request.headers.setdefault('User-Agent', ua)

這樣就可以在每次請求中，隨機選取一個真實瀏覽器的User-Agent。

Referer

Referer是檢查此請求由哪里來，通?？梢宰鰣D片的盜鏈判斷。在Scrapy中，如果某個頁面url是通過之前爬取的頁面提取到，Scrapy會自動把之前爬取的頁面url作為Referfer。也可以通過上面的方式自己定義Referfer字段。

Cookies

網(wǎng)站可能會檢測Cookie中session_id的使用次數(shù)，如果超過限制，就觸發(fā)反爬策略。所以可以在Scrapy中設(shè)置 COOKIES_ENABLED =  False 讓請求不帶Cookies。

也有網(wǎng)站強制開啟Cookis，這時就要麻煩一點了?？梢粤韺懸粋€簡單的爬蟲，定時向目標網(wǎng)站發(fā)送不帶Cookies的請求，提取響應(yīng)中Set-cookie字段信息并保存。爬取網(wǎng)頁時，把存儲起來的Cookies帶入Headers中。

X-Forwarded-For

在請求頭中添加X-Forwarded-For字段，將自己申明為一個透明的代理服務(wù)器，一些網(wǎng)站對代理服務(wù)器會手軟一些。

X-Forwarded-For頭一般格式如下

X-Forwarded-For: client1, proxy1, proxy2

這里將client1，proxy1設(shè)置為隨機IP地址，把自己的請求偽裝成代理的隨機IP產(chǎn)生的請求。然而由于X-Forwarded-For可以隨意篡改，很多網(wǎng)站并不會信任這個值。

限制IP的請求數(shù)量

如果某一IP的請求速度過快，就觸發(fā)反爬機制。當然可以通過放慢爬取速度繞過，這要以爬取時間大大增長為代價。另一種方法就是添加代理。

很簡單，在下載器中間件中添加:

request.meta['proxy'] = 'http://' + 'proxy_host' + ':' + proxy_port

然后再每次請求時使用不同的代理IP。然而問題是如何獲取大量的代理IP?

可以自己寫一個IP代理獲取和維護系統(tǒng)，定時從各種披露免費代理IP的網(wǎng)站爬取免費IP代理，然后定時掃描這些IP和端口是否可用，將不可用的代理IP及時清理。這樣就有一個動態(tài)的代理庫，每次請求再從庫中隨機選擇一個代理。然而這個方案的缺點也很明顯，開發(fā)代理獲取和維護系統(tǒng)本身就很費時費力，并且這種免費代理的數(shù)量并不多，而且穩(wěn)定性都比較差。如果必須要用到代理，也可以去買一些穩(wěn)定的代理服務(wù)。這些服務(wù)大多會用到帶認證的代理。

在requests庫中添加帶認證的代理很簡單，

proxies = {     "http": "http://user:pass@10.10.1.10:3128/", }

然而Scrapy不支持這種認證方式，需要將認證信息base64編碼后，加入Headers的Proxy-Authorization字段：

importbase64   # Set the location of the proxy proxy_string = choice(self._get_proxies_from_file('proxies.txt')) # user:pass@ip:port proxy_items = proxy_string.split('@') request.meta['proxy'] = "http://%s" % proxy_items[1]   # setup basic authentication for the proxy user_pass=base64.encodestring(proxy_items[0]) request.headers['Proxy-Authorization'] = 'Basic ' + user_pass

動態(tài)加載

現(xiàn)在越來越多的網(wǎng)站使用ajax動態(tài)加載內(nèi)容，這時候可以先截取ajax請求分析一下，有可能根據(jù)ajax請求構(gòu)造出相應(yīng)的API請求的URL就可以直接獲取想要的內(nèi)容，通常是json格式，反而還不用去解析HTML。

然而，很多時候ajax請求都會經(jīng)過后端鑒權(quán)，不能直接構(gòu)造URL獲取。這時就可以通過PhantomJS+Selenium模擬瀏覽器行為，抓取經(jīng)過js渲染后的頁面。

需要注意的是，使用Selenium后，請求不再由Scrapy的Downloader執(zhí)行，所以之前添加的請求頭等信息都會失效，需要在Selenium中重新添加

headers = {...} for key, valuein headers.iteritems():     webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value

另外，調(diào)用PhantomJs需要指定PhantomJs的可執(zhí)行文件路徑，通常是將該路徑添加到系統(tǒng)的path路徑，讓程序執(zhí)行時自動去path中尋找。我們的爬蟲經(jīng)常會放到crontab中定時執(zhí)行，而crontab中的環(huán)境變量和系統(tǒng)的環(huán)境變量不同，所以就加載不到PhamtonJs需要的路徑，所以***是在申明時指定路徑：

driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs')

感謝各位的閱讀，以上就是“使用Scrapy框架時怎么應(yīng)對普通的反爬機制”的內(nèi)容了，經(jīng)過本文的學(xué)習后，相信大家對使用Scrapy框架時怎么應(yīng)對普通的反爬機制這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！