您好,登錄后才能下訂單哦!
requests.gPython用requests.get獲取網(wǎng)頁內(nèi)容為空的問題怎么解決,針對(duì)這個(gè)問題,這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。
下面先來看一個(gè)例子:
import requests result=requests.get("http://data.10jqka.com.cn/financial/yjyg/") result
輸出結(jié)果:
表示成功處理了請(qǐng)求,一般情況下都是返回此狀態(tài)碼; 報(bào)200代表沒問題
繼續(xù)運(yùn)行,發(fā)現(xiàn)返回空值,在請(qǐng)求網(wǎng)頁爬取的時(shí)候,輸出的text信息中會(huì)出現(xiàn)抱歉,無法訪問等字眼,這就是禁止爬取,需要通過反爬機(jī)制去解決這個(gè)問題。headers
是解決requests
請(qǐng)求反爬的方法之一,相當(dāng)于我們進(jìn)去這個(gè)網(wǎng)頁的服務(wù)器本身,假裝自己本身在爬取數(shù)據(jù)。對(duì)反爬蟲網(wǎng)頁,可以設(shè)置一些headers
信息,模擬成瀏覽器取訪問網(wǎng)站 。
拿兩個(gè)常用的瀏覽器舉例:
界面 F12
點(diǎn)擊network 鍵入 CTRL+R
單擊第一個(gè) 最下邊就是我門需要的 把他設(shè)置成headers
解決問題
同樣 F12 打開開發(fā)者工具
點(diǎn)擊網(wǎng)絡(luò),CTRL+R
前文代碼修改:
import requests ur="http://data.10jqka.com.cn/financial/yjyg/" headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '} result = requests.get(ur, headers=headers) result.text
成功解決不能爬取問題。
關(guān)于requests.gPython用requests.get獲取網(wǎng)頁內(nèi)容為空的問題怎么解決問題的解答就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。