您好,登錄后才能下訂單哦!
背景介紹
最近遇到一個需求,大致就是要獲取某個小程序上的數(shù)據(jù)。心想小程序本質(zhì)上就是移動端加殼的瀏覽器,所以想到用Python去獲取數(shù)據(jù)。在網(wǎng)上學(xué)習(xí)了一下如何實(shí)現(xiàn)后,記錄一下我的實(shí)現(xiàn)過程以及所踩過的小坑。本文關(guān)鍵詞:Python,小程序,Charles抓包
目標(biāo)小程序:
公眾號“同城商圈網(wǎng)”左下角“找商家”->汽車維修->小車維修->所有的商家信息,如下圖所示:
環(huán)境
PC端:Windows 10
移動端:iPhone
軟件:Charles
Charles抓包
雖說網(wǎng)上大佬的教程很好很詳細(xì),但我想加入幾個坑點(diǎn)解釋,請點(diǎn)此查看Charles配置教程
Charles清空當(dāng)前獲取到的連接,防止干擾(學(xué)會使用這個黃色掃把!很有用)
打開微信小程序進(jìn)入到指定界面,Charles中顯示如下
進(jìn)入到某個具體商家后,最先請求的是這個
于是我們猜測,這個可能就是小程序相關(guān)的http請求,點(diǎn)進(jìn)去我們看一下
此時手機(jī)的界面是這樣的
誒,好像就是這個?。ㄆ鋵?shí)我也是一個一個試了好久,多試試就會找到啦,當(dāng)然如果你懂點(diǎn)英文,能看懂左側(cè)的英文就更好了!merchant就是商家的意思~),
但是我們想要獲取所有的商家信息怎么辦呢?那就先點(diǎn)擊Charles上的黃色小掃把~,再返回到商家列表看看
手機(jī)界面如下:
沒錯就是這個請求了!
分析請求
選中左邊發(fā)送的請求,右邊點(diǎn)擊Overview選項(xiàng)卡,查看請求信息,我們不難發(fā)現(xiàn)這是個POST請求
我們知道POST請求提交的是表單,那么表單數(shù)據(jù)在哪里呢?我們可以在右邊界面,鼠標(biāo)右擊,點(diǎn)擊Copy Request就能獲取表單數(shù)據(jù)了!
復(fù)制到這里看看:
{"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}
看到這里,我們就能猜出個大概了,pageIndex是頁碼,pageSize是每頁顯示數(shù)量,regionId是地區(qū)編號,categoryId是貨品編號,orderRule是排序規(guī)則,至此抓包結(jié)束,我們成功抓到了目標(biāo)包!
本節(jié)抓包方法理論上適合所有小程序,其他的你們可以自行嘗試哦~
編寫python代碼
這里我們就簡單的寫個demo
import requests url = "http://api.tc688.net/api/services/app/merchant/LoadCategoryMerchants" header = { 'Origin':'http://zazhi.tc688.net', 'Host':'api.tc688.net', 'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.14(0x17000e2e) NetType/WIFI Language/zh_CN', 'Referer':'http://zazhi.tc688.net/companylist?id=148', } data = {"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0} r = requests.post(url=url,data=data,headers=header) print(r.text)
運(yùn)行結(jié)果:
完整項(xiàng)目
有關(guān)數(shù)據(jù)處理以及更換地區(qū)的詳細(xì)代碼,請?jiān)L問我的GitHub:GitHub
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。