Python怎么爬取微信公眾號文章、標題、文章地址

本篇內(nèi)容主要講解“Python怎么爬取微信公眾號文章、標題、文章地址”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“Python怎么爬取微信公眾號文章、標題、文章地址”吧!

前言

本文的文字及圖片過濾網(wǎng)絡(luò)，可以學(xué)習(xí)，交流使用，不具有任何商業(yè)用途，如有問題請及時聯(lián)系我們以作處理。

Python爬蟲、數(shù)據(jù)分析、網(wǎng)站開發(fā)等案例教程視頻免費在線觀看

https://space.bilibili.com/523606542

基本開發(fā)環(huán)境

• Python 3.6

• 皮查姆

爬取兩個公眾號的文章：

1，爬取青燈編程公眾號所有的文章

2，爬取所有關(guān)于python的公眾號文章

爬取青燈編程公眾號所有的文章

1，登陸公眾號之后點擊圖文

3，點擊超鏈接

相關(guān)的數(shù)據(jù)加載出來，就有關(guān)于數(shù)據(jù)包，包含了文章標題，鏈接，摘要，發(fā)布時間等等，也可以選擇其他的公眾號也可以爬取的，但是這需要你有一個微信公眾號。

要加cookie

import pprint
import time
import requests
import csv

f = open('青燈公眾號文章.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標題', '文章發(fā)布時間', '文章地址'])
csv_writer.writeheader()

for page in range(0, 40, 5):
    url = f'https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin={page}&count=5&fakeid=&type=9&query=&token=1252678642&lang=zh_CN&f=json&ajax=1'
    headers = {
        'cookie': '加cookie',
        'referer': 'https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&createType=0&token=1252678642&lang=zh_CN',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    }

    response = requests.get(url=url, headers=headers)
    html_data = response.json()
    pprint.pprint(response.json())
    lis = html_data['app_msg_list']
    for li in lis:
        title = li['title']
        link_url = li['link']
        update_time = li['update_time']
        timeArray = time.localtime(int(update_time))
        otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
        dit = {
            '標題': title,
            '文章發(fā)布時間': otherStyleTime,
            '文章地址': link_url,
        }
        csv_writer.writerow(dit)
        print(dit)

爬取所有關(guān)于python的公眾號文章

1，搜狗搜索python選擇微信

注意：如果不登陸只能爬取前十頁數(shù)據(jù)，登陸之后可以爬取2W多篇文章。

2，爬取標題，公眾號，文章地址，發(fā)布時間靜態(tài)網(wǎng)頁直接爬取即可

import time
import requests
import parsel
import csv

f = open('公眾號文章.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標題', '公眾號', '文章發(fā)布時間', '文章地址'])
csv_writer.writeheader()

for page in range(1, 2447):
    url = f'https://weixin.sogou.com/weixin?query=python&_sug_type_=&s_from=input&_sug_=n&type=2&page={page}&ie=utf8'
    headers = {
        'Cookie': '自己的cookie',
        'Host': 'weixin.sogou.com',
        'Referer': 'https://www.sogou.com/web?query=python&_asf=www.sogou.com&_ast=&w=01019900&p=40040100&ie=utf8&from=index-nologin&s_from=index&sut=1396&sst0=1610779538290&lkt=0%2C0%2C0&sugsuv=1590216228113568&sugtime=1610779538290',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    }
    response = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response.text)
    lis = selector.css('.news-list li')
    for li in lis:
        title_list = li.css('.txt-box h4 a::text').getall()
        num = len(title_list)
        if num == 1:
            title_str = 'python' + title_list[0]
        else:
            title_str = 'python'.join(title_list)

        href = li.css('.txt-box h4 a::attr(href)').get()
        article_url = 'https://weixin.sogou.com' + href
        name = li.css('.s-p a::text').get()
        date = li.css('.s-p::attr(t)').get()
        timeArray = time.localtime(int(date))
        otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
        dit = {
            '標題': title_str,
            '公眾號': name,
            '文章發(fā)布時間': otherStyleTime,
            '文章地址': article_url,
        }
        csv_writer.writerow(dit)
        print(title_str, name, otherStyleTime, article_url)

到此，相信大家對“Python怎么爬取微信公眾號文章、標題、文章地址”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！