推薦4個爬蟲抓包神器

爬蟲的基本原理就是模擬客戶端（可以是瀏覽器，也有可能是APP）向遠(yuǎn)程服務(wù)器發(fā)送 HTTP 請求，我們需要知道目標(biāo)服務(wù)器的 HOST、URI、請求方法、請求參數(shù)、請求頭、請求體。Web 網(wǎng)站通過 Chrome 瀏覽器可以找到這些信息。但是對于 APP 爬蟲，就顯得有些束手無策。這時候必須借用一些抓包工具來輔助我們分析APP背后的秘密。

今天推薦4個HTTP代理工具通過抓包分析，幫助你還原APP背后的每個請求。

Fiddler

Fiddler 是 Windows 平臺最好用的可視化抓包工具，也是大家最熟知的 HTTP 代理工具，功能非常強(qiáng)大，除了可以清晰的了解每個請求與響應(yīng)之外，還可以進(jìn)行斷點設(shè)置，修改請求數(shù)據(jù)、攔截響應(yīng)內(nèi)容。

此外，還可以自定義規(guī)則，通過修改腳本，加入自己的特殊處理，不過因為它是 C# 編寫的，如果你要寫復(fù)雜的腳本，需要懂C#。

過濾器功能使得你可以通過正則表達(dá)式規(guī)則將你關(guān)心的請求顯示出來，如果你只需要抓特定網(wǎng)站的數(shù)據(jù)，這個功能就顯得非常有用，可以去除很多干擾信息。

Charles

Charles 是 macOS 平臺下最好用的抓包分析工具之一，同樣提供GUI界面，界面簡潔，基本功能包括HTTP、HTTPS請求抓包，支持請求參數(shù)的修改，最新的 Charles 4 還支持 HTTP/2。當(dāng)然，也同時支持Windows 和 Linux， 不過這款工具是要收費的，免費試用 30 天，試用期過后功能受限。

AnyProxy

AnyProxy 是 阿里巴巴開源的 HTTP 抓包工具，基于 NodeJS 實現(xiàn)，優(yōu)點是支持二次開發(fā)，可自定義請求處理邏輯，如果你會寫JS的話，同時需要做一些自定義的處理，那么AnyProxy 是非常適合的。支持 HTTPS，提供了GUI界面。 GitHub地址：https://github.com/alibaba/anyproxy

mitmproxy

mitmproxy 是一款基于 Python，支持 SSL 的抓包工具，用 Python 寫爬蟲的一定會很喜歡，因為他不僅是跨平臺的，而且提供的是命令行交互模式，很有極（zhuang）客（bi）感。mitmproxy 包含 3 款工具：

mitmproxy: 帶交互的終端界面

mitmdump: mitmproxy 的命令行版本，類似于 tcpdump

libmproxy: 用于 mitmproxy/mitmdump 的庫

GitHub 地址：https://github.com/mitmproxy/mitmproxy