如何分析Chrome 開發(fā)者工具

在《論語》中，孔子提倡“學(xué)而不思則罔，思而不學(xué)則殆”的學(xué)習(xí)方法。我們再往深層面挖掘，“思”究竟是在思考什么？個人理解是思考并總結(jié)出一些共性的東西，即“套路”。有套路了，我們學(xué)習(xí)或工作會更加有效率。

當(dāng)我們爬取不同的網(wǎng)站時，每個網(wǎng)站頁面的實現(xiàn)方式各不相同，我們需要對每個網(wǎng)站都進(jìn)行分析。那是否有一些通用的分析方法？我分享下自己爬取分析的“套路”。在某個網(wǎng)站上，分析頁面以及抓取數(shù)據(jù)，我用得最多的工具是 Chrome 開發(fā)者工具。

Chrome 開發(fā)者工具是一套內(nèi)置于 Google Chrome 中的 Web 開發(fā)和調(diào)試工具，可用來對網(wǎng)站進(jìn)行迭代、調(diào)試和分析。因為國內(nèi)很多瀏覽器內(nèi)核都是基于 Chrome 內(nèi)核，所以國產(chǎn)瀏覽器也帶有這個功能。例如：UC 瀏覽器、QQ 瀏覽器、360 瀏覽器等。

接下來，我們來看看 Chrome 開發(fā)者工具一些比較牛逼的功能。

通過元素（Element）面板，我們能查看到想抓取頁面渲染內(nèi)容所在的標(biāo)簽、使用什么 CSS 屬性（例如：class="middle"）等內(nèi)容。例如我想要抓取我知乎主頁中的動態(tài)標(biāo)題，在網(wǎng)頁頁面所在處上右擊鼠標(biāo)，選擇“檢查”，可進(jìn)入 Chrome 開發(fā)者工具的元素面板。

通過這種方法，我們能快速定位出頁面某個DOM 節(jié)點，然后可以提取出相關(guān)的解析語句。鼠標(biāo)移動到節(jié)點，然后右擊鼠標(biāo)，選擇 “Copy”，能快速復(fù)制出 Xpath 、CSS elector 等內(nèi)容解析庫的解析語句。

網(wǎng)絡(luò)（Network）面板記錄頁面上每個網(wǎng)絡(luò)操作的相關(guān)信息，包括詳細(xì)的耗時數(shù)據(jù)、HTTP 請求與響應(yīng)標(biāo)頭和 Cookie，等等。這就是我們通常說的抓包。

其中的 Filters 窗格，我經(jīng)常使用其來過濾出一些 HTTP 請求，例如過濾出使用 Ajax 發(fā)起的異步請求、圖片、視頻等。

最大的窗格叫 Requests Table，此表格會列出了檢索的每一個 HTTP 請求。默認(rèn)情況下，此表格按時間順序排序，最早的資源在頂部。點擊資源的名稱可以顯示更多信息。

• Headers 是顯示 HTTP 請求的 Headers，我們通過這個能看到請求的方式，以及攜帶的請求參數(shù)等。

• Preview 是請求結(jié)果的預(yù)覽。一般用來查看請求到的圖片，對于抓取圖片網(wǎng)站比較給力。

• Response 是請求返回的結(jié)果。一般的內(nèi)容是整個網(wǎng)站的源代碼。如果該請求是異步請求，返回的結(jié)果內(nèi)容一般是 Json 文本數(shù)據(jù)。

• Cookies 能看到請求攜帶的 Cookies 以及服務(wù)器返回的 Cookies。有時候是需要使用到 Response 的 Cookies。例如，某個頁面必須登錄才能看到。