Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)-7、APP爬取相關(guān)庫的安裝：MitmProxy的安裝

MitmProxy 是一個(gè)支持 HTTP 和 HTTPS 的抓包程序，類似 Fiddler、Charles 的功能，只不過它是一個(gè)控制臺(tái)的形式操作。
同時(shí) MitmProxy 還有兩個(gè)關(guān)聯(lián)組件，一個(gè)是 MitmDump，它是 MitmProxy 的命令行接口，利用它我們可以對接 Python 腳本，用 Python 實(shí)現(xiàn)監(jiān)聽后的處理。另一個(gè)是 MitmWeb，它是一個(gè) Web 程序，通過它我們可以清楚地觀察到 MitmProxy 捕獲的請求。
本節(jié)我們來了解一下 MitmProxy、MitmDump、MitmWeb 的安裝方式。

1. 相關(guān)鏈接

• GitHub：https://github.com/mitmproxy/...
• 官方網(wǎng)站：https://mitmproxy.org
• PyPi：https://pypi.python.org/pypi/...
• 官方文檔：http://docs.mitmproxy.org
• MitmDump腳本：http://docs.mitmproxy.org/en/...
• 下載地址：https://github.com/mitmproxy/...
• DockerHub：https://hub.docker.com/r/mitm...

2. Pip安裝

最簡單的安裝方式還是使用 Pip，直接執(zhí)行如下命令即可安裝：

pip3 install mitmproxy

這是最簡單和通用的安裝方式，執(zhí)行完畢之后即可完成 MitmProxy的安裝，另外還安裝了MitmDump、MitmWeb 兩個(gè)組件，如果不想用此種方式安裝也可以選擇下文列出的專門針對各個(gè)平臺(tái)的安裝方式或者 Docker 安裝方式。

3. Mac下的安裝

Mac 的安裝非常簡單，使用 HomeBrew 即可，命令如下：

brew install mitmproxy
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

執(zhí)行命令后即可完成 MitmProxy 的安裝。

4. Docker安裝

MitmProxy 也支持 Docker，其 Docker Hub 的地址為https://hub.docker.com/r/mitm...
Docker 下 MitmProxy 的安裝命令為：

docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump

這樣就在 8080 端口上啟動(dòng)了 MitmProxy 和 MitmDump。
如果想要獲取 CA 證書，可以選擇掛載磁盤選項(xiàng)，命令如下：

docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump

這樣可以在 ~/.mitmproxy 目錄找到 CA 證書。
另外還可以在 8081 端口上啟動(dòng) MitmWeb，命令如下：

docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081mitmproxy/mitmproxy mitmweb
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

更多啟動(dòng)方式可以參考 Docker Hub 的安裝說明。

5. 證書配置

對于 MitmProxy 來說，如果想要截獲 HTTPS 請求，我們就需要設(shè)置證書，MitmProxy 在安裝后會(huì)提供一套 CA 證書，只要客戶端信任了 MitmProxy 提供的證書，我們就可以通過 MitmProxy 獲取 HTTPS 請求的具體內(nèi)容，否則 MitmProxy 是無法解析 HTTPS 請求的。
首先運(yùn)行一下命令產(chǎn)生 CA 證書，啟動(dòng) MitmDump 即可：
mitmdump
這樣即可啟動(dòng) MitmDump，接下來我們就可以在用戶目錄下的 .mitmproxy 目錄里面找到 CA 證書，如圖 1-61 所示：

圖 1-61 證書文件
證書一共五個(gè)，下面是對這五個(gè)證書的說明：

下面我們介紹一下 Mac、iOS、Android 平臺(tái)下的證書配置過程。

Mac

Mac 下雙擊 mitmproxy-ca-cert.pem 即可彈出鑰匙串管理頁面，然后找到 mitmproxy 證書，點(diǎn)擊打開其設(shè)置選項(xiàng)，選擇始終信任即可，如圖 1-66 所示：

圖 1-66 證書配置
這樣就配置完成 Mac 下信任 CA 證書了。

iOS

將 mitmproxy-ca-cert.pem 文件發(fā)送到 iPhone 上，推薦使用郵件的方式發(fā)送，iPhone 上可以直接點(diǎn)擊附件并識(shí)別安裝，如圖 1-67 所示：

圖 1-67 證書安裝頁面
點(diǎn)擊之后會(huì)跳到安裝描述文件的頁面，點(diǎn)擊右上角的安裝按鈕即可安裝，此處會(huì)有警告提示，如圖 1-68 所示：

圖 1-68 安裝警告頁面
繼續(xù)點(diǎn)擊右上角的安裝即可，安裝成功之后會(huì)有已安裝的提示，如圖 1-69 所示：

如果你的 iOS 版本是 10.3 以下的話，此處信任 CA 證書的流程就已經(jīng)完成了。
如果你的 iOS 版本是 10.3 及以上，還需要在設(shè)置->通用->關(guān)于本機(jī)->證書信任設(shè)置將證書添加完全信任，如圖 1-70 所示：

圖 1-70 證書信任設(shè)置
在這里將 MitmProxy 的完全信任開關(guān)打開即可。
這樣 iOS 上配置信任 CA 證書的流程就結(jié)束了。
Android
Android 手機(jī)同樣需要將證書 mitmproxy-ca-cert.pem 文件發(fā)送到手機(jī)上，例如直接拷貝文件。Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎
接下來點(diǎn)擊證書便會(huì)出現(xiàn)一個(gè)提示窗口，如圖 1-71 所示：

圖 1-71 證書安裝頁面
這時(shí)輸入證書的名稱，然后點(diǎn)擊確定即可完成安裝。

6. 結(jié)語

本節(jié)我們了解了 MitmProxy、MitmDump、MitmWeb 的安裝方式，在后文我們會(huì)用它來進(jìn)行 APP 數(shù)據(jù)的抓取。