溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python中怎么利用Mitmproxy爬取公眾號文章

發(fā)布時間:2021-07-10 11:25:37 來源:億速云 閱讀:240 作者:Leah 欄目:大數(shù)據(jù)

Python中怎么利用Mitmproxy爬取公眾號文章,針對這個問題,這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

將手機(jī)端的代理IP設(shè)為pc端的IP地址

當(dāng)我們安裝好證書后,就可以進(jìn)行如下操作。首先在pc端的開始欄輸入cmd,然后輸入控制命令ipconfig,查看pc端的IP地址,如下圖;

Python中怎么利用Mitmproxy爬取公眾號文章

然后在手機(jī)端的所連接的wifi選項中打開代理ip手動設(shè)置,用戶名填入IPv4地址,端口一般設(shè)為8080即可。

爬取文章閱讀信息

完成上述操作后,我們就進(jìn)行py代碼的如下操作。

代碼修改操作

在參考博客中我們只需要修改wxCrawler.py這個py代碼即可,其余代碼均可不必修改,因為該代碼是爬取文章的關(guān)鍵。我們將wxCrawler.py代碼的爬取鏈接改為爬取到的文章的閱讀信息即可;wxCrawler.py在for循環(huán)處導(dǎo)入?yún)⒖疾┛蛅ext_01.py代碼類傳入相應(yīng)的參數(shù),(參考博客為articles.py代碼);只做這一處修改即可完成爬取公眾號文章閱讀信息。

text_01.py代碼

Python中怎么利用Mitmproxy爬取公眾號文章

修改后的wxCrawler.py代碼

Python中怎么利用Mitmproxy爬取公眾號文章

Python中怎么利用Mitmproxy爬取公眾號文章

運(yùn)行結(jié)果示例:

以該公眾號為例的測試結(jié)果圖為;

Python中怎么利用Mitmproxy爬取公眾號文章

注意事項

事項1:將所有的py代碼放入同一個文件夾。

事項2:閱讀該博客前,請先閱讀參考博客和關(guān)于參考博客難點介紹的那篇博客。

事項3:盡量用pycharm打開文件夾運(yùn)行py代碼。

事項4:參考博客中的代碼存在代碼縮進(jìn),符號等問題,在上一篇博客我已經(jīng)將其修改完畢,只需要將wxCrawler.py代碼改為修改后的代碼然后加入text_01.py代碼即可。

關(guān)于Python中怎么利用Mitmproxy爬取公眾號文章問題的解答就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI