Python爬蟲Ajax動(dòng)態(tài)加載知識(shí)點(diǎn)有哪些

這篇文章主要介紹了Python爬蟲Ajax動(dòng)態(tài)加載知識(shí)點(diǎn)有哪些，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

　　Python爬蟲Ajax動(dòng)態(tài)加載知識(shí)點(diǎn)講解，Ajax動(dòng)態(tài)加載從網(wǎng)頁的url加載網(wǎng)頁的源代碼之后，會(huì)在瀏覽器里執(zhí)行JavaScript程序。這些程序會(huì)加載出更多的內(nèi)容，并把這些內(nèi)容傳輸?shù)骄W(wǎng)頁中。

　　網(wǎng)頁的不希望被爬蟲拿到的數(shù)據(jù)使用Ajax動(dòng)態(tài)加載，這樣就為爬蟲造成了絕大的麻煩，如果一個(gè)爬蟲不具備js引擎，或者具備js引擎，但是沒有處理js返回的方案，或者是具備了js引擎，但是沒辦法讓站點(diǎn)顯示啟用腳本設(shè)置?；谶@些情況，ajax動(dòng)態(tài)加載反制爬蟲還是相當(dāng)有效的。

　　Ajax動(dòng)態(tài)加載的工作原理是：從網(wǎng)頁的url加載網(wǎng)頁的源代碼之后，會(huì)在瀏覽器里執(zhí)行JavaScript程序。這些程序會(huì)加載出更多的內(nèi)容，并把這些內(nèi)容傳輸?shù)骄W(wǎng)頁中。這就是為什么有些網(wǎng)頁直接爬它的URL時(shí)卻沒有數(shù)據(jù)的原因。

　　處理方法：若使用審查元素分析”請(qǐng)求“對(duì)應(yīng)的鏈接(方法：右鍵→審查元素→Network→清空，點(diǎn)擊”加載更多“，出現(xiàn)對(duì)應(yīng)的GET鏈接尋找Type為text/html的，點(diǎn)擊，查看get參數(shù)或者復(fù)制RequestURL)，循環(huán)過程。如果“請(qǐng)求”之前有頁面，依據(jù)上一步的網(wǎng)址進(jìn)行分析推導(dǎo)第1頁。以此類推，抓取抓Ajax地址的數(shù)據(jù)。對(duì)返回的json使用requests中的json進(jìn)行解析，使用eval（）轉(zhuǎn)成字典處理可以格式化輸出json數(shù)據(jù)。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Python爬蟲Ajax動(dòng)態(tài)加載知識(shí)點(diǎn)有哪些”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!