您好,登錄后才能下訂單哦!
小編給大家分享一下python3.7中爬蟲的示例分析,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
python3.7爬蟲的具體代碼如下所示:
#https://www.runoob.com/w3cnote/python-spider-intro.html #Python 爬蟲介紹 import urllib.parse import urllib.request from http import cookiejar url = "http://www.baidu.com" response1 = urllib.request.urlopen(url) print("第一種方法") #獲取狀態(tài)碼,200表示成功 print(response1.getcode()) #獲取網(wǎng)頁內(nèi)容的長度 print(str(response1.read())) print(len(response1.read())) print("第二種方法") request = urllib.request.Request(url) #模擬Mozilla瀏覽器進行爬蟲 request.add_header("user-agent","Mozilla/5.0") response2 = urllib.request.urlopen(request) print(response2.getcode()) print(len(response2.read())) print("第三種方法") cookie = cookiejar.CookieJar() #加入urllib2處理cookie的能力# opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie)) urllib.request.install_opener(opener) response3 = urllib.request.urlopen(url) print(response3.getcode()) print(len(response3.read())) print(cookie)
code: https://github.com/pascal19821003/python path: python/study/tutorial/pachong/1.py
看完了這篇文章,相信你對“python3.7中爬蟲的示例分析”有了一定的了解,如果想了解更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。