使用python怎么爬取微博評(píng)論

今天就跟大家聊聊有關(guān)使用python怎么爬取微博評(píng)論，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

python主要應(yīng)用領(lǐng)域有哪些

1、云計(jì)算，典型應(yīng)用OpenStack。2、WEB前端開(kāi)發(fā)，眾多大型網(wǎng)站均為Python開(kāi)發(fā)。3.人工智能應(yīng)用，基于大數(shù)據(jù)分析和深度學(xué)習(xí)而發(fā)展出來(lái)的人工智能本質(zhì)上已經(jīng)無(wú)法離開(kāi)python。4、系統(tǒng)運(yùn)維工程項(xiàng)目，自動(dòng)化運(yùn)維的標(biāo)配就是python+Django/flask。5、金融理財(cái)分析，量化交易，金融分析。6、大數(shù)據(jù)分析。

一、爬蟲(chóng)微博

與QQ空間爬蟲(chóng)類似，可以爬取新浪微博用戶的個(gè)人信息、微博信息、粉絲、關(guān)注和評(píng)論等。

爬蟲(chóng)抓取微博的速度可以達(dá)到 1300萬(wàn)/天 以上，具體要視網(wǎng)絡(luò)情況。

難度程度排序：網(wǎng)頁(yè)端>手機(jī)端>移動(dòng)端。微博端就是最好爬的微博端。

二、python爬蟲(chóng)爬取微博評(píng)論

第一步：確定評(píng)論用戶的id

# -*- coding:utf-8 -*-
import requests
import re
import time
import pandas as pd
urls = 'https://m.weibo.cn/api/comments/show?id=4073157046629802&page={}'
headers = {'Cookies':'Your cookies',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}

第二步：找到html標(biāo)簽

tags = re.compile('</?\w+[^>]*>')

第三步：設(shè)置提取評(píng)論function

def get_comment(url):
 
 
    j = requests.get(url, headers=headers).json()
 
 
    comment_data = j['data']['data']
 
 
    for data in comment_data:
 
 
        try:

第四步：利用正則表達(dá)式去除文本中的html標(biāo)簽

comment = tags.sub('', data['text']) # 去掉html標(biāo)簽
 
 
            reply = tags.sub('', data['reply_text'])
 
 
            weibo_id = data['id']
 
 
            reply_id = data['reply_id']
 
 
 
            comments.append(comment)
 
 
            comments.append(reply)
 
 
            ids.append(weibo_id)
 
 
            ids.append(reply_id)

第五步：爬取評(píng)論

df = pd.DataFrame({'ID': ids, '評(píng)論': comments})
 
 
df = df.drop_duplicates()
 
 
df.to_csv('觀察者網(wǎng).csv', index=False, encoding='gb18030')

看完上述內(nèi)容，你們對(duì)使用python怎么爬取微博評(píng)論有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。