您好,登錄后才能下訂單哦!
小編給大家分享一下python如何爬取微信公眾號(hào)文章評(píng)論,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
1、獲取Cookie
因?yàn)槭桥雷约何⑿盘?hào)文章里面的評(píng)論,首先你需要登錄公眾號(hào)后臺(tái),登錄后才能看到文章的評(píng)論,登錄就會(huì)涉及到 cookie,發(fā)起請(qǐng)求時(shí)只有帶上 cookie 才能得到正確的數(shù)據(jù)。所以第一步就是把 cookie 信息取到。
打開(kāi) Chrome 瀏覽器你會(huì)看到發(fā)送請(qǐng)求時(shí)會(huì)自動(dòng)把 Cookie 信息發(fā)送給微信,我們就把這段 Cookie 數(shù)據(jù)拷貝出來(lái),用 Python 構(gòu)建一個(gè) Cookie 對(duì)象,給 requests 使用。
from http.cookies import SimpleCookie
raw_cookie = "gsScrollPos-5517=; ..中間還省略很多... bizuin=2393828"
cookie = SimpleCookie(raw_cookie)
requests_cookies = dict([(c, cookie[c].value) for c in cookie])
r = requests.get(url, cookies=requests_cookies)
2、構(gòu)造URL
打開(kāi)任意文章的評(píng)論列表,你會(huì)發(fā)現(xiàn)它的 URL 結(jié)構(gòu)非常清晰,根據(jù)名字基本能判斷每個(gè)參數(shù)的意義,這里比較重要的參數(shù)是 begin,它是作為分頁(yè)的起始位置,其實(shí)它固定不變就好
url = "https://mp.weixin.qq.com/misc/appmsgcomment?" \
"action=list_comment&" \
"mp_version=7&" \
"type=0&" \
"comment_id=2881104117&" \ # 被評(píng)論的文章ID
"begin=0&" \ # 分頁(yè)參數(shù)
"count=10&" \ # 每次返回10條評(píng)論
"token=1300595798&" \
"lang=zh_CN"
3、抓取數(shù)據(jù)
把 Cookie 和 URL 都搞清楚了,就可以把模擬瀏覽器抓取數(shù)據(jù)并進(jìn)行清洗,開(kāi)始想著用 BeautifulSoup 來(lái)解析網(wǎng)頁(yè),結(jié)果失敗了。
查找了原因,把爬下來(lái)的頁(yè)面另存為 html 文件,在 html 源代碼文件中找留言里面的關(guān)鍵字,發(fā)現(xiàn)評(píng)論并沒(méi)有在 div 標(biāo)簽中,而是存在于一段 JS 代碼塊中,看起來(lái)像 JSON 數(shù)據(jù),看來(lái)數(shù)據(jù)是在本地用 JavaScript 渲染后顯示的。
于是改用正則表達(dá)式,截取需要的數(shù)據(jù),最終存儲(chǔ)數(shù)據(jù)庫(kù),差不多10代碼搞定。
def main():
# 普通留言, 精選留言總數(shù)
normal_count, selected_count = 141, 100
# 普通留言u(píng)rl
normal_url = "https://mp.weixin.qq.com/misc/appmsgcomment?"
dd = dict([(normal_count, selected_url)])
for k, v in dd.items():
crawler(k, v)
def crawler(count, url):
for i in range(0, count, 10):
r = requests.get(url.format(begin=i), cookies=requests_cookies)
match = re.search(r'"comment":(\[\{.*\}\])', r.text, re.S)
if match:
data = json.loads(match.group(1), encoding="utf-8")
conn.insert_many(data)
time.sleep(1)
這是文章Python進(jìn)階好書(shū)推薦,還有送書(shū)中的評(píng)論詞云:
以上是“python如何爬取微信公眾號(hào)文章評(píng)論”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。