您好,登錄后才能下訂單哦!
如何使用python寫爬蟲(chóng)?這個(gè)問(wèn)題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見(jiàn)到的。希望通過(guò)這個(gè)問(wèn)題能讓你收獲頗深。下面是小編給大家?guī)?lái)的參考內(nèi)容,讓我們一起來(lái)看看吧!
爬蟲(chóng)是什么?
如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng),數(shù)據(jù)便是存放于蜘蛛網(wǎng)的各個(gè)節(jié)點(diǎn),而爬蟲(chóng)就是一只小蜘蛛,
沿著網(wǎng)絡(luò)抓取自己的獵物(數(shù)據(jù))爬蟲(chóng)指的是:向網(wǎng)站發(fā)起請(qǐng)求,獲取資源后分析并提取有用數(shù)據(jù)的程序;
從技術(shù)層面來(lái)說(shuō)就是通過(guò)程序模擬瀏覽器請(qǐng)求站點(diǎn)的行為,把站點(diǎn)返回的HTML代碼/JSON數(shù)據(jù)/二進(jìn)制數(shù)據(jù)(圖片、視頻) 爬到本地,進(jìn)而提取自己需要的數(shù)據(jù),存放起來(lái)使用;
爬蟲(chóng)的基本流程:
用戶獲取網(wǎng)絡(luò)數(shù)據(jù)的方式:
方式1:瀏覽器提交請(qǐng)求--->下載網(wǎng)頁(yè)代碼--->解析成頁(yè)面
方式2:模擬瀏覽器發(fā)送請(qǐng)求(獲取網(wǎng)頁(yè)代碼)->提取有用的數(shù)據(jù)->存放于數(shù)據(jù)庫(kù)或文件中
1、發(fā)起請(qǐng)求
使用http庫(kù)向目標(biāo)站點(diǎn)發(fā)起請(qǐng)求,即發(fā)送一個(gè)Request
Request包含:請(qǐng)求頭、請(qǐng)求體等
Request模塊缺陷:不能執(zhí)行JS 和CSS 代碼
2、獲取響應(yīng)內(nèi)容
如果服務(wù)器能正常響應(yīng),則會(huì)得到一個(gè)Response
Response包含:html,json,圖片,視頻等
3、解析內(nèi)容
解析html數(shù)據(jù):正則表達(dá)式(RE模塊),第三方解析庫(kù)如Beautifulsoup,pyquery等
解析json數(shù)據(jù):json模塊
解析二進(jìn)制數(shù)據(jù):以wb的方式寫入文件
4、保存數(shù)據(jù)
數(shù)據(jù)庫(kù)(MySQL,Mongdb、Redis)
文件
http協(xié)議 請(qǐng)求與響應(yīng)
Request:用戶將自己的信息通過(guò)瀏覽器(socket client)發(fā)送給服務(wù)器(socket server)
Response:服務(wù)器接收請(qǐng)求,分析用戶發(fā)來(lái)的請(qǐng)求信息,然后返回?cái)?shù)據(jù)(返回的數(shù)據(jù)中可能包含其他鏈接,如:圖片,js,css等)
ps:瀏覽器在接收Response后,會(huì)解析其內(nèi)容來(lái)顯示給用戶,而爬蟲(chóng)程序在模擬瀏覽器發(fā)送請(qǐng)求然后接收Response后,是要提取其中的有用數(shù)據(jù)。
感謝各位的閱讀!看完上述內(nèi)容,你們對(duì)如何使用python寫爬蟲(chóng)大概了解了嗎?希望文章內(nèi)容對(duì)大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。