怎么用Python爬蟲公眾號(hào)文章和鏈接

這篇文章主要講解了“怎么用Python爬蟲公眾號(hào)文章和鏈接”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“怎么用Python爬蟲公眾號(hào)文章和鏈接”吧！

抓包

我們需要通過抓包提取公眾號(hào)文章的請(qǐng)求的 URL，參考之前寫過的一篇抓包的文章 Python爬蟲APP前的準(zhǔn)備，pk哥這次直接抓取 PC  端微信的公眾號(hào)文章列表信息，更簡(jiǎn)單。

我以抓包工具 Charles 為例，勾選容許抓取電腦的請(qǐng)求，一般是默認(rèn)就勾選的。

為了過濾掉其他無(wú)關(guān)請(qǐng)求，我們?cè)谧笙路皆O(shè)置下我們要抓取的域名。

打開 PC 端微信，打開 「Python知識(shí)圈」公眾號(hào)文章列表后，Charles 就會(huì)抓取到大量的請(qǐng)求，找到我們需要的請(qǐng)求，返回的 JSON  信息里包含了文章的標(biāo)題、摘要、鏈接等信息，都在 comm_msg_info 下面。

這些都是請(qǐng)求鏈接后的返回，請(qǐng)求鏈接 url 我們可以在 Overview 中查看。

通過抓包獲取了這么多信息后，我們可以寫爬蟲爬取所有文章的信息并保存了。

初始化函數(shù)

公眾號(hào)歷史文章列表向上滑動(dòng)，加載更多文章后發(fā)現(xiàn)鏈接中變化的只有 offset 這個(gè)參數(shù)，我們創(chuàng)建一個(gè)初始化函數(shù)，加入代理 IP，請(qǐng)求頭和信息，請(qǐng)求頭包含了  User-Agent、Cookie、Referer。

這些信息都在抓包工具可以看到。

請(qǐng)求數(shù)據(jù)

通過抓包分析出來(lái)了請(qǐng)求鏈接，我們就可以用 requests 庫(kù)來(lái)請(qǐng)求了，用返回碼是否為 200 做一個(gè)判斷，200  的話說明返回信息正常，我們?cè)贅?gòu)建一個(gè)函數(shù) parse_data() 來(lái)解析提取我們需要的返回信息。

def request_data(self):     try:         response = requests.get(self.base_url.format(self.offset), headers=self.headers, proxies=self.proxy)         print(self.base_url.format(self.offset))         if 200 == response.status_code:            self.parse_data(response.text)     except Exception as e:         print(e)         time.sleep(2)         pass

提取數(shù)據(jù)

通過分析返回的 Json 數(shù)據(jù)，我們可以看到，我們需要的數(shù)據(jù)都在 app_msg_ext_info 下面。

我們用 json.loads 解析返回的 Json 信息，把我們需要的列保存在 csv  文件中，有標(biāo)題、摘要、文章鏈接三列信息，其他信息也可以自己加。

def parse_data(self, responseData):             all_datas = json.loads(responseData)             if 0 == all_datas['ret'] and all_datas['msg_count']>0:                 summy_datas = all_datas['general_msg_list']                 datas = json.loads(summy_datas)['list']                 a = []                 for data in datas:                     try:                         title = data['app_msg_ext_info']['title']                         title_child = data['app_msg_ext_info']['digest']                         article_url = data['app_msg_ext_info']['content_url']                         info = {}                         info['標(biāo)題'] = title                         info['小標(biāo)題'] = title_child                         info['文章鏈接'] = article_url                         a.append(info)                     except Exception as e:                         print(e)                         continue                  print('正在寫入文件')                 with open('Python公眾號(hào)文章合集1.csv', 'a', newline='', encoding='utf-8') as f:                     fieldnames = ['標(biāo)題', '小標(biāo)題', '文章鏈接']  # 控制列的順序                     writer = csv.DictWriter(f, fieldnames=fieldnames)                     writer.writeheader()                     writer.writerows(a)                     print("寫入成功")                  print('----------------------------------------')                 time.sleep(int(format(random.randint(2, 5))))                 self.offset = self.offset+10                 self.request_data()             else:                 print('抓取數(shù)據(jù)完畢！')

這樣，爬取的結(jié)果就會(huì)以 csv 格式保存起來(lái)。

運(yùn)行代碼時(shí)，可能會(huì)遇到 SSLError 的報(bào)錯(cuò)，最快的解決辦法就是 base_url 前面的 https 去掉 s 再運(yùn)行。

保存markdown格式的鏈接

經(jīng)常寫文章的人應(yīng)該都知道，一般寫文字都會(huì)用 Markdown 的格式來(lái)寫文章，這樣的話，不管放在哪個(gè)平臺(tái)，文章的格式都不會(huì)變化。

在 Markdown 格式里，用 [文章標(biāo)題](文章url鏈接) 表示，所以我們保存信息時(shí)再加一列信息就行，標(biāo)題和文章鏈接都獲取了，Markdown  格式的 url 也就簡(jiǎn)單了。

md_url = '[{}]'.format(title) + '({})'.format(article_url)

爬取完成后，效果如下。

我們把 md鏈接這一列全部粘貼到 Markdown 格式的筆記里就行了，大部分的筆記軟件都知道新建 Markdown 格式的文件的。

感謝各位的閱讀，以上就是“怎么用Python爬蟲公眾號(hào)文章和鏈接”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)怎么用Python爬蟲公眾號(hào)文章和鏈接這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！