您好,登錄后才能下訂單哦!
這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Python爬蟲(chóng)中Handler和Opener的區(qū)別,文章內(nèi)容豐富且以專(zhuān)業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
爬蟲(chóng)——Handler處理器和自定義Opener
我們之前一直都在使用的urlopen,這是一個(gè)特殊的opener(也就是模塊幫我們構(gòu)建好的)。
但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高級(jí)功能。所以要支持這些功能:
1.使用相差的Handler處理器來(lái)創(chuàng)建特定功能的處理器對(duì)象;
2.然后通過(guò)urllib.request.build_opener()方法,創(chuàng)建自定義opener對(duì)象
3.使用自定義的opener對(duì)象,調(diào)用open()方法發(fā)送請(qǐng)求。
如果程序里所有的請(qǐng)求都使用自定義的opener,可以使用urllib.request.install_opener()將自定義的opener對(duì)象定義為全局opener,表示如果之后凡是調(diào)用urlopen,都將使用這個(gè)opener(根據(jù)自己的需求來(lái)選擇)
簡(jiǎn)單的自定義opener()
#!/usr/bin/python3 # -*- coding:utf-8 -*- import urllib.request # 構(gòu)建一個(gè)HTTPHandler處理器對(duì)象,支持處理HTTP請(qǐng)求。 http_handler = urllib.request.HTTPHandler() # # 構(gòu)建一個(gè)HTTPSHandler處理器對(duì)象,支持處理HTTPS請(qǐng)求 # https_handler = urllib.request.HTTPSHandler() # 調(diào)用urllib.request.build_opener()方法,創(chuàng)建支持處理HTTP請(qǐng)求的opener對(duì)象 opener = urllib.request.build_opener(http_handler) # 構(gòu)建Request請(qǐng)求 request = urllib.request.Request("http://www.baidu.com/") # 調(diào)用自定義opener對(duì)象的open()方法,發(fā)送request請(qǐng)求 response = opener.open(request) # 獲取服務(wù)器響應(yīng)內(nèi)容 html = response.read() print(html)
這種方式發(fā)送請(qǐng)求得到的結(jié)果,和使用urllib.request.urlopen()發(fā)送HTTP/HTTPS請(qǐng)求得到的結(jié)果是一樣的。
如果在HTTPHandler()增加debuglevel = 1參數(shù),還會(huì)將Debug Log打開(kāi),這樣程序在執(zhí)行的時(shí)候,會(huì)把收包和發(fā)包的報(bào)頭在屏幕上自動(dòng)打印出來(lái),方便調(diào)度,有時(shí)可以省去抓包的工作。
# 僅需要修改的代碼部分: # 構(gòu)建一個(gè)HTTPHandler 處理器對(duì)象,支持處理HTTP請(qǐng)求,同時(shí)開(kāi)啟Debug Log,debuglevel 值默認(rèn) 0 http_handler = urllib.request.HTTPHandler(debuglevel = 1) # 構(gòu)建一個(gè)HTTPHSandler 處理器對(duì)象,支持處理HTTPS請(qǐng)求,同時(shí)開(kāi)啟Debug Log,debuglevel 值默認(rèn) 0 https_handler = urllib.request.HTTPSHandler(debuglevel = 1)
ProxyHandler處理器(IP代理設(shè)置)
很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間IP的訪(fǎng)問(wèn)次數(shù)(通過(guò)流量統(tǒng)計(jì)、系統(tǒng)日志等),如果某個(gè)IP訪(fǎng)問(wèn)次數(shù)多的不像正常人,它會(huì)禁止這個(gè)IP的訪(fǎng)問(wèn)。
所以我們通??梢栽O(shè)置一些代理服務(wù)器,每隔一段時(shí)間換一個(gè)代理,就算IP被禁止,依然可以換個(gè)IP繼續(xù)爬取。
urllib.request中通過(guò)ProxyHandler來(lái)設(shè)置使用代理服務(wù)器,下面代碼說(shuō)明如何使用自定義opener來(lái)使用代理:
#!/usr/bin/python3 # -*- coding:utf-8 -*- """ ProxyHandler處理器(代理設(shè)置) 很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪(fǎng)問(wèn)次數(shù)(通過(guò)流量統(tǒng)計(jì),系統(tǒng)日志等),如果 訪(fǎng)問(wèn)次數(shù)多的不像正常人,它會(huì)禁止這個(gè)IP的訪(fǎng)問(wèn)。 所以我們可能通過(guò)設(shè)置一些代理服務(wù)器,每隔一段時(shí)間換一個(gè)代理IP,就算IP被禁 止,我們依然可以換個(gè)IP繼續(xù)爬取。 """ import urllib.request # 構(gòu)建了兩個(gè)代理Handler,一個(gè)有代理IP,一個(gè)沒(méi)有代理IP http_proxy_handler = urllib.request.ProxyHandler({"http":"222.33.192.238:8118"}) null_proxy_handler = urllib.request.ProxyHandler({}) # 定義一個(gè)代理開(kāi)關(guān) proxy_switch = True # 根據(jù)代理開(kāi)關(guān)是否拱形,使用不同的代理模式 # 通過(guò)urllib.request.build_opener()方法使用這些代理Handler對(duì)象,創(chuàng)建自定義opener對(duì)象 if proxy_switch: opener = urllib.request.build_opener(http_proxy_handler) else: opener = urllib.request.build_opener(null_proxy_handler) request = urllib.request.Request("http://www.baidu.com/") # 1. 如果這么寫(xiě),只有使用opener.open()方法發(fā)送請(qǐng)求才使用自定義的代理,而urlopen()則不使用自定義代理。 response = opener.open(request) # 2. 如果這么寫(xiě),就是將opener應(yīng)用到全局,之后所有的,不管是opener.open()還是urlopen() 發(fā)送請(qǐng)求,都將使用自定義代理。 # urllib.request.install_opener(opener) # response = urlopen(request) html = response.read() print(html)
免費(fèi)的開(kāi)放代理獲取基本沒(méi)有什么成本,我們可以在一些代理網(wǎng)站上收集這些免費(fèi)代理,測(cè)試后如果可以用,就把它收集起來(lái)用在爬蟲(chóng)上面。
免費(fèi)代理網(wǎng)站舉例:
(1)西刺免費(fèi)代理IP
(2)快代理免費(fèi)代理
(3)Proxy360代理
(4)全網(wǎng)代理IP
如果代理IP足夠多,就可以讓程序隨機(jī)獲取一個(gè)代理IP去訪(fǎng)問(wèn)網(wǎng)站。
import random proxy_list = [ {"http" : "1.85.220.77:8118"}, {"http" : "110.73.6.57:8123"}, {"http" : "171.39.4.8:8123"}, {"http" : "122.244.53.133:808"}, {"http" : "171.39.75.81:8123"} ] # 隨機(jī)選擇一個(gè)代理 proxy = random.choice(proxy_list)
但是,這些免費(fèi)開(kāi)放的代理一般會(huì)有很多人都在使用,而且代理有壽命短、速度慢、匿名度不高、HTTP/HTTPS支持不穩(wěn)定等缺點(diǎn)。
所以,要根據(jù)自己的需求,選擇是否需要使用高品質(zhì)的私密代理(通常需要找專(zhuān)門(mén)的代理供應(yīng)商購(gòu)買(mǎi),再通過(guò)用戶(hù)名/密碼授權(quán)使用)。
Cookie
Cookie是指某些網(wǎng)站服務(wù)器為了辨別用戶(hù)身份和進(jìn)行Session跟蹤,而儲(chǔ)存在用戶(hù)瀏覽器上的文本文件,Cookie可以保持登錄信息到用戶(hù)下次與服務(wù)器的會(huì)話(huà)。
Cookie原理
HTTP是無(wú)狀態(tài)的面向連接的協(xié)議,為了保持連接狀態(tài),引入了Cookie機(jī)制,Cookie是HTTP消息頭中的一種屬性,包括:
Cookie名字(Name) Cookie的值(Value) Cookie的過(guò)期時(shí)間(Expires/Max-Age) Cookie作用路徑(Path) Cookie所在域名(Domain), 使用Cookie進(jìn)行安全連接(Secure)。 前兩個(gè)參數(shù)是Cookie應(yīng)用的必要條件,另外,還包括Cookie大小(Size,不同瀏覽器對(duì)Cookie個(gè)數(shù)及大小限制是有差異的)。
Cookie由變量名和值組成,根據(jù)Netscape公司的規(guī)定,Cookie格式如下:
Set-Cookie: NAME=VALUE;Expires=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE
http.cookiejar庫(kù)和HTTPCookieProcessor處理器
在Python3.x處理Cookie,一般是通過(guò)http.cookjar模塊和urllib.request模塊的HTTPCookieProcessor處理器類(lèi)一起使用。
http.cookjar模塊:主要作用是提供用于存儲(chǔ)cookie的對(duì)象 HTTPCookieProcessor處理器:主要作用是處理這些cookie對(duì)象,并構(gòu)建handler對(duì)象。
http.cookjar庫(kù)
該模塊主要的對(duì)象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
(1)CookieJar:管理HTTP cookie值、存儲(chǔ)HTTP請(qǐng)求生成的cookie、向傳出的HTTP請(qǐng)求添加cookie的對(duì)象。整個(gè)cookie都存儲(chǔ)在內(nèi)存中,對(duì)CookieJar實(shí)例進(jìn)行垃圾回收后cookie也將丟失。
(2)FileCookieJar(filename, delayload = None, policy = None):從CookieJar派生而來(lái),用來(lái)創(chuàng)建FileCookieJar實(shí)例,檢索cookie信息并將cookie存儲(chǔ)到文件中。filename是存儲(chǔ)cookie的文件名。delayload為T(mén)rue時(shí)支持延遲訪(fǎng)問(wèn)訪(fǎng)問(wèn)文件,即只有在需要時(shí)才讀取文件或文件中存儲(chǔ)數(shù)據(jù)。
(3)MozillaCookieJar(filename, delayload = None, policy = None):從FileCookieJar派生而來(lái),創(chuàng)建與Mozilla瀏覽器cookies.txt兼容的FileCookieJar實(shí)例。
(4)LWPCookieJar(filename, delayload = None, policy = None):從FileCookieJar派生而來(lái),創(chuàng)建與libwww-perl標(biāo)準(zhǔn)的Set-Cookie3文件格式兼容的FileCookieJar實(shí)例。
其實(shí)大多數(shù)情況下,我們只用CookieJar(),如果需要和本地文件交互,就用MozillaCookiejar()或LWPCookieJar()。
案例:利用http.cookiejar和post登錄人人網(wǎng)
#!/usr/bin/python3 # -*- coding:utf-8 -*- """ 利用http.cookiejar和post登錄人人網(wǎng) url = "http://www.renren.com/PLogin.do" """ import urllib import urllib.request import http.cookiejar # 構(gòu)建一個(gè)CookieJar對(duì)象實(shí)例來(lái)保存cookie cookie = http.cookiejar.CookieJar() # 使用HTTPCookieProcessor()來(lái)創(chuàng)建cookie處理器對(duì)象,參數(shù)為CookieJar()對(duì)象 cookie_handler = urllib.request.HTTPCookieProcessor(cookie) # 通過(guò)build_opener()來(lái)構(gòu)建opener opener = urllib.request.build_opener(cookie_handler) # 設(shè)置User-Agent頭:addheaders接受一個(gè)列表,里面每個(gè)元素都是一個(gè)headers信息的元組,opener將附帶headers信息 opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36')] # 需要登錄的賬戶(hù)和密碼 email = input("請(qǐng)輸入您的賬戶(hù):") password = input("請(qǐng)輸入您的密碼:") data = {"email": email, "password": password} # 通過(guò)urlencode()轉(zhuǎn)碼 postdata = urllib.parse.urlencode(data) postdata = postdata.encode(encoding = "utf-8") # str轉(zhuǎn)bytes # 構(gòu)建Request請(qǐng)求對(duì)象,包含需要發(fā)送的用戶(hù)名和密碼 request = urllib.request.Request("http://www.renren.com/PLogin.do", data = postdata) # 通過(guò)opener發(fā)送這個(gè)請(qǐng)求,并獲取登錄后的Cookie值 opener.open(request) # opener包含用戶(hù)登錄后的Cookie值,可以直接訪(fǎng)問(wèn)那些登錄后才可以訪(fǎng)問(wèn)的頁(yè)面 response = opener.open("http://www.renren.com/413928886/profile") # 獲取頁(yè)面內(nèi)容 html = response.read() # 將頁(yè)面內(nèi)容存儲(chǔ)至本地磁盤(pán) fo = open("renren.html", "wb") fo.write(html) fo.close()
模擬登錄要注意幾點(diǎn):
1.登錄一般都會(huì)先有一個(gè)HTTP GET,用于獲取一些信息及獲得Cookie,然后再HTTP POST登錄。
2.HTTP POST登錄的鏈接有可能是動(dòng)態(tài)的,從GET返回的信息中獲取。
3.password(密碼)有些是明文發(fā)送,有些是加密后發(fā)送。有些網(wǎng)站甚至采用動(dòng)態(tài)加密的,同時(shí)包括了很多其他數(shù)據(jù)的加密信息,只能通過(guò)查看JS源碼獲得加密算法,再去破解加密,非常困難。
4.大多數(shù)網(wǎng)站的登錄整體流程是類(lèi)似的,可能部分細(xì)節(jié)不一樣,所以其他網(wǎng)站登錄時(shí),需根據(jù)具體情況,作對(duì)應(yīng)的修改。
上述就是小編為大家分享的Python爬蟲(chóng)中Handler和Opener的區(qū)別了,如果剛好有類(lèi)似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。