怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)

這篇文章主要介紹“怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)”，在日常操作中，相信很多人在怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

抓取帖子用的JavaScript函數(shù)如下：

function getPostByAJAX(requestURL){   var html = $.ajax({         url: requestURL,         async: false}).responseText;         return html;
}

就是一個(gè)非常簡(jiǎn)單的AJAX請(qǐng)求：

傳入該函數(shù)的輸入?yún)?shù)requestURL的值為：  http://tieba.baidu.com/i/i/my_tie

上面的url，我直接在瀏覽器里訪問(wèn)可以正常工作，返回47.2KB大小的數(shù)據(jù)。

然而當(dāng)我用AJAX函數(shù)訪問(wèn)該url時(shí)，在Chrome開(kāi)發(fā)者工具里遇到如下錯(cuò)誤：

然而，這個(gè)錯(cuò)誤沒(méi)有任何明細(xì)信息，我沒(méi)有線索去排錯(cuò)。

于是，就有了本文這個(gè)Chrome開(kāi)發(fā)者工具的隱藏技能的用武之地。

在Chrome地址欄打開(kāi):  chrome://net-internals

點(diǎn)擊Event標(biāo)簽頁(yè)：

再回到我的百度貼吧爬蟲(chóng)網(wǎng)頁(yè)，該網(wǎng)頁(yè)發(fā)起AJAX請(qǐng)求，按F5刷新后發(fā)送一個(gè)新的請(qǐng)求，然后回到Chrome開(kāi)發(fā)者工具。

該AJAX請(qǐng)求的明細(xì)就詳細(xì)顯示出來(lái)了。找到我關(guān)心的url： http://tieba.baidu.com/i/i/my_tie

chrome://net-internals 這個(gè)界面顯示的網(wǎng)絡(luò)請(qǐng)求的明細(xì)比Network標(biāo)簽頁(yè)里要詳細(xì)得多：

在響應(yīng)頭字段里發(fā)現(xiàn)了引起這個(gè)錯(cuò)誤的一些線索：

從上面的截圖發(fā)現(xiàn)，HTTP響應(yīng)狀態(tài)字段為302，location字段為 “ http://static.tieba.baidu.com/tb/error.html?ErrType=1 ” 。這兩條線索給了我提示：這個(gè)錯(cuò)誤一定和百度網(wǎng)站的登陸狀態(tài)處理相關(guān)：我使用的url不支持匿名訪問(wèn)。

我在瀏覽器里訪問(wèn)該url能夠成功，因?yàn)槲业腃ookie在起作用。

Goole了一下，發(fā)現(xiàn)了解決方案。在AJAX的請(qǐng)求參數(shù)中添加:

xhrFields:{
withCredentials: true}

如此一來(lái)，可以將我的cookie和AJAX請(qǐng)求一齊發(fā)送給百度服務(wù)器。

加上該參數(shù)后，請(qǐng)求就能夠得到期望的響應(yīng)了。

使用Chrome開(kāi)發(fā)者工具這個(gè)隱藏技能，我們還能觀察到一些其他的平時(shí)很難發(fā)現(xiàn)的細(xì)節(jié)。

比如我的AJAX請(qǐng)求通過(guò)本地的jQuery庫(kù)文件發(fā)出，我的HTML代碼里直接引用了本地文件jquery1.7.1.js。在運(yùn)行時(shí)，這個(gè)jquery1.7.1.js文件需要被加載到內(nèi)存中。

使用這個(gè)隱藏技能，我現(xiàn)在能觀察到j(luò)query1.7.1.js是通過(guò)分塊的方式被讀入到內(nèi)存中的，參考現(xiàn)在URL_REQUEST_JOB_BYTES_READ的參數(shù)：byte_count = 32768。總共分了8塊讀取，最后1塊因?yàn)槌叽绮粷M32768，只讀了剩下的22285字節(jié)。

這8塊的總字節(jié)數(shù)251661正好是jquery1.7.1.js的字節(jié)數(shù)。由此再次證明， chrome://net-internals 提供的功能比Network標(biāo)簽頁(yè)里的要強(qiáng)大。

到此，關(guān)于“怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！