您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“python怎么偽裝成瀏覽器”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“python怎么偽裝成瀏覽器”這篇文章吧。
偽裝成瀏覽器
某些網(wǎng)站反感爬蟲的到訪,于是對爬蟲一律拒絕請求。所以用urllib2直接訪問網(wǎng)站經(jīng)常會出現(xiàn)HTTP Error 403: Forbidden的情況。
對有些 header 要特別留意,Server 端會針對這些 header 做檢查:
User-Agent 有些 Server 或 Proxy 會檢查該值,用來判斷是否是瀏覽器發(fā)起的 Request
Content-Type 在使用 REST 接口時,Server 會檢查該值,用來確定 HTTP Body 中的內(nèi)容該怎樣解析 這時可以通過修改http包中的header來實現(xiàn),代碼片段如下:
import urllib2 headers = { 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6' } request = urllib2.Request( url = 'http://my.oschina.net/jhao104/blog?catalog=3463517', headers = headers ) print urllib2.urlopen(request).read()
以上是“python怎么偽裝成瀏覽器”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。