爬蟲如何利用Mitmproxy破解app

這篇文章將為大家詳細講解有關爬蟲如何利用Mitmproxy破解app，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

mitmproxy就是用于MITM的proxy，MITM即中間人攻擊（Man-in-the-middle attack）。用于中間人攻擊的代理首先會向正常的代理一樣轉發(fā)請求，保障服務端與客戶端的通信，其次會實時查、記錄其截獲的數(shù)據(jù)或篡改數(shù)據(jù)，引發(fā)服務端或客戶端特定的行為。

利用Fiddler可以過濾出瀏覽器對某個特定URL的請求，并查看、分析其數(shù)據(jù)，
但實現(xiàn)不了高度定制化的需求，類似于：“截獲對瀏覽器對該URL的請求，將返回內(nèi)容置空，并將真實的返回內(nèi)容存到某個數(shù)據(jù)庫，出現(xiàn)異常時發(fā)出郵件通知”。而對于mitmproxy，這樣的需求可以通過載入自定義python腳本輕松實現(xiàn)。

但mitmproxy并不會真的對無辜的人發(fā)起中間人攻擊，由于mitmproxy工作在HTTP層，而當前HTTPS的普及讓客戶端擁有了檢測并規(guī)避中間人攻擊的能力，所以要讓mitmproxy 能夠正常工作，必須要讓客戶端（APP 或瀏覽器）主動信任 mitmproxy 的SSL證書，或忽略證書異常，這也就意味著APP或瀏覽器是屬于開發(fā)者本人的——顯而易見，這不是在做黑產(chǎn)，而是在做開發(fā)或測試。

目前比較廣泛的應用是做仿真爬蟲，即利用手機模擬器、無頭瀏覽器來爬取APP或網(wǎng)站的數(shù)據(jù)，mitmproxy作為代理可以攔截、存儲爬蟲獲取到的數(shù)據(jù)，或修改數(shù)據(jù)調(diào)整爬蟲的行為。

(1)安裝Python2、Python3環(huán)境

(2)App爬蟲神器mitmproxy

Mac/Windows環(huán)境安裝mitmproxy

python3
pip3 install mitmproxy
或者
python2
pip install mitmproxy

(3)按鍵精靈

(4)強制抓包工具postern

https://github.com/postern-overwal/postern-stuff

啟動mitmproxy

要啟動mitmproxy用mitmproxy、mitmdump、mitmweb這三個命令中的任意一個即可，這三個命令功能一致，且都可以加載自定義腳本，唯一的區(qū)別是交互界面的不同。
mitmproxy命令啟動后，會提供一個命令行界面，用戶可以實時看到發(fā)生的請求，并通過命令過濾請求，查看請求數(shù)據(jù)

使用mitmproxy + python做攔截代理

http://kemok4.com/article/164560.htm

https://mitmproxy.org/

設置代理地址和端口

然后在瀏覽器中訪問地址前，先選擇代理方式，再進行訪問

安裝證書

正常情況下，mitmproxy啟動后，只能抓取到HTTP請求的信息，要抓取HTTPS請求信息需要安裝證書。證書安裝有兩種方式

如果沒有打開mitmproxy進行抓包的話，在這一步會得到如下錯誤

如果打開mitmproxy進行抓包的話

使用的mitmproxy啟動

使用的mitmweb啟動

使用的mitmdump啟動

=

關于爬蟲如何利用Mitmproxy破解app就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。