您好,登錄后才能下訂單哦!
本篇內(nèi)容介紹了“python爬蟲代理池搭建的過程”的有關(guān)知識,在實(shí)際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
最近在使用爬蟲爬取數(shù)據(jù)時(shí),經(jīng)常會返回403代碼,大致意思是該IP訪問過于頻繁,被限制訪問。限制IP訪問網(wǎng)站最常用的反爬手段了,其實(shí)破解也很容易,就是在爬取網(wǎng)站是使用代理即可,這個IP被限制了,就使用其他的IP。對于高大上的公司來說,他們基本都使用收費(fèi)的代理,基本不會有什么問題,比較穩(wěn)定。像我這樣的矮矬窮,肯定是用不起收費(fèi)的代理。一般都是使用國內(nèi)免費(fèi)的代理,網(wǎng)上也有很多提供免費(fèi)的代理。
很多人都是從網(wǎng)上爬取一批免費(fèi)的代理IP,存放在存儲媒介中,例如excel文件或者數(shù)據(jù)庫。定時(shí)維護(hù)代理,保證代理可用。這個做法有個缺點(diǎn),有些機(jī)器上并沒有裝有excel或者mysql、redis等數(shù)據(jù)庫,這就導(dǎo)致了的代理池?zé)o法正常使用。
我之前是做java開發(fā)的,經(jīng)常會把一些常用的數(shù)據(jù)放在ArrayList中,使用起來非常方便,效率高,因此借鑒之前在java方面的經(jīng)驗(yàn),將代理IP爬取下來存放在list列表中中,將list列表當(dāng)做一個代理池,經(jīng)常維護(hù)這個池里的代理。
我經(jīng)常爬取免費(fèi)代理的網(wǎng)站xicidaili swei360等,這些免費(fèi)的代理足夠我使用了,能夠應(yīng)付大多數(shù)的爬蟲工作。爬取過程需要用到requests和pyquery庫,沒有安裝的同學(xué)自行安裝。
首先介紹下爬取xicidaili網(wǎng)站的過程, 要先定義一個方法用于抓取xicidaili網(wǎng)站的,參數(shù)有兩個,一個是url,另外一個是要爬取代理網(wǎng)頁的頁數(shù),也就是要爬幾頁,方法如下:
def get_xicidaili_proxy(url,page): for i in range(1,page): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} response = requests.get(url + str(i), headers=headers) html = response.text doc = pq(html) ip_list = doc('#ip_list')('tr:gt(0)').items() for item in ip_list: ip = item.find('td:nth-child(2)').text() port = item.find('td:nth-child(3)').text() http_type = item.find('td:nth-child(6)').text() proxy_ip = http_type + "://" + ip + ":" + port if http_type == 'HTTP': http_proxy_pool.append(proxy_ip) elif http_type == 'HTTPS': https_proxy_pool.append(proxy_ip) # print(proxy_ip)
定義了http_proxy_pool和https_proxy_pool兩個list變量,用于存儲http類型和https類型的代理。 使用PyQuery根據(jù)css偽選擇器提取出ip,端口和http類型信息,并按照http:// + ip+port的方式組合成一個字符串,存儲在已經(jīng)定義好的http_proxy_tool和https_proxy_pool變量中。
爬取swei360網(wǎng)站代理的方法就不貼出來了,原理和爬取xicidaili網(wǎng)站是一樣的。
一個代理在使用之前要判斷是否可用,我們使用request的get請求的返回代碼判斷代理是否可用,返回200,就說明代理可用,返回其他的代碼就表示代理不可用,代碼如下:
def detect_proxy(test_url,http_type,proxy): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} proxy={ http_type : proxy } try: response = requests.get(test_url,proxies=proxy,headers=headers) if response.status_code in [200]: print('代理可用',proxy) return True else: print('代理不可用', proxy); delete_proxy(http_type,proxy) return False except(requests.exceptions.ProxyError,RequestException): print('代理不可用', proxy) delete_proxy(http_type, proxy) return False
定義了detect_proxy方法用于檢測代理是否可用,有三個參數(shù),分別是測試網(wǎng)址,代理類型(http和https)和代理IP。當(dāng)requests的請求返回200代碼時(shí),就表示該代理可用,返回True,否則就是不可用,返回False。當(dāng)遇到request異常或者其他的錯誤也認(rèn)為代理不可用,返回False。對于不可用的代理,要從代理池中刪除。
從代理池中獲取代理時(shí),我們使用的是從代理池中隨機(jī)返回一個代理,這樣就避免經(jīng)常使用一個代理,從而遭到拒絕訪問。代碼如下:
def get_https_proxy(): proxy_ip = random.choice(https_proxy_pool) return proxy_ip def get_http_proxy(): proxy_ip = random.choice(http_proxy_pool) return proxy_ip
為了保證代理的可用,當(dāng)檢測到一個代理不可用時(shí),要及時(shí)的清理掉。就是從http_proxy_pool和https_proxy_pool列表中刪除。
一個簡單的爬蟲代理池已經(jīng)搭建好,總結(jié)下爬蟲代理池搭建的過程:
從免費(fèi)的代理網(wǎng)站上爬取代理信息,存放在列表中。
提供從代理池中隨機(jī)獲取代理的方法。http類型的網(wǎng)站要使用http類型的代理,https類型的網(wǎng)站要使用https類型的代理,因此分別提供獲取http和https類型代理的方法。
提供檢測代理是否可用的方法,代理可用返回True,不可用返回False。
提供刪除代理的方法。
這個代理池其實(shí)相當(dāng)?shù)暮唵?,有一個弊端就是在檢測代理是否可用時(shí),如果返回的不是200代碼就認(rèn)為代理不可用,返回其他代碼的情況有很多,例如網(wǎng)絡(luò)不可用、測試網(wǎng)站不可訪問等。比較好的做法是給每個代理設(shè)置一個分值,例如10分,如果檢測到不可用就減1,當(dāng)分?jǐn)?shù)為0時(shí),就確定該代理不可用,直接從代理池中移除。檢測到代理可用,就將分?jǐn)?shù)設(shè)為10分。
這種做法給每個檢測到不可用代理一個改邪歸正的機(jī)會,不至于一刀切的拋棄掉。
“python爬蟲代理池搭建的過程”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。