您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“Python爬蟲(chóng)使用瀏覽器cookies:browsercookie的示例分析”,內(nèi)容簡(jiǎn)而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Python爬蟲(chóng)使用瀏覽器cookies:browsercookie的示例分析”這篇文章吧。
由于http協(xié)議的無(wú)狀態(tài)性,登錄驗(yàn)證都是通過(guò)傳遞cookies來(lái)實(shí)現(xiàn)的。通過(guò)瀏覽器登錄一次,登錄信息的cookie是就會(huì)被瀏覽器保存下來(lái)。下次再打開(kāi)該網(wǎng)站時(shí),瀏覽器自動(dòng)帶上保存的cookies,只有cookies還未過(guò)期,對(duì)于網(wǎng)站來(lái)說(shuō)你就還是登錄狀態(tài)的。
browsercookie模塊就是這樣一個(gè)從瀏覽器提取保存的cookies的工具。它是一個(gè)很有用的爬蟲(chóng)工具,通過(guò)加載你瀏覽器的cookies到一個(gè)cookiejar對(duì)象里面,讓你輕松下載需要登錄的網(wǎng)頁(yè)內(nèi)容。
安裝
pip install browsercookie
在Windows系統(tǒng)中,內(nèi)置的sqlite模塊在加載FireFox數(shù)據(jù)庫(kù)時(shí)會(huì)拋出錯(cuò)誤。需要更新sqlite的版本:
pip install pysqlite
使用方法
下面是從網(wǎng)頁(yè)提取標(biāo)題的例子:
>>> import re >>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()
下面是未登錄狀況下下載得到的標(biāo)題:
>>> import urllib2 >>> url = 'https://bitbucket.org/' >>> public_html = urllib2.urlopen(url).read() >>> get_title(public_html) 'Git and Mercurial code management for teams'
接下來(lái)使用browsercookie從登錄過(guò)Bitbucket的FireFox里面獲取cookie再下載:
>>> import browsercookie >>> cj = browsercookie.firefox() >>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) >>> login_html = opener.open(url).read() >>> get_title(login_html) 'richardpenman / home — Bitbucket'
上面是Python2的代碼,再試試 Python3:
>>> import urllib.request >>> public_html = urllib.request.urlopen(url).read() >>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
你可以看到你的用戶(hù)名出現(xiàn)在title里面了,說(shuō)明browsercookie模塊成功從FireFox加載了cookies。小編整理一套Python資料和PDF,有需要Python學(xué)習(xí)資料可以加學(xué)習(xí)群:631441315 ,反正閑著也是閑著呢,不如學(xué)點(diǎn)東西啦~~
下面是使用requests的例子,這次我們從Chrome里面加載cookies,當(dāng)然你需要事先用Chrome登錄Bitbucket:
>>> import requests >>> cj = browsercookie.chrome() >>> r = requests.get(url, cookies=cj) >>> get_title(r.content) 'richardpenman / home — Bitbucket'
如果你不知道或不關(guān)心那個(gè)瀏覽器有你需要的cookies,你可以這樣操作:
>>> cj = browsercookie.load() >>> r = requests.get(url, cookies=cj) >>> get_title(r.content) 'richardpenman / home — Bitbucket'
支持
目前,該模塊支持以下平臺(tái):
Chrome: Linux, OSX, Windows
Firefox: Linux, OSX, Windows
以上是“Python爬蟲(chóng)使用瀏覽器cookies:browsercookie的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。