Python怎么爬取騰訊視頻彈幕

這篇文章主要介紹“Python怎么爬取騰訊視頻彈幕”，在日常操作中，相信很多人在Python怎么爬取騰訊視頻彈幕問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Python怎么爬取騰訊視頻彈幕”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

基本開發(fā)環(huán)境

• Python 3.6

• Pycharm

相關(guān)模塊的使用

• jieba

• wordcloud

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

一、明確需求

選擇 <歡樂喜劇人 第七季> 爬取網(wǎng)友發(fā)送的彈幕信息

二、分析網(wǎng)頁數(shù)據(jù)

復制網(wǎng)頁中的彈幕，再開發(fā)者工具里面進行搜索。

這里面就有對應的彈幕數(shù)據(jù)。這個url地址有一個小特點，鏈接包含著 danmu 所以大膽嘗試一下，過濾搜索一下 danmu 這個關(guān)鍵詞，看一下是否有像類似的內(nèi)容

循環(huán)遍歷就可以實現(xiàn)爬取整個視頻的彈幕了。

三、解析數(shù)據(jù)

在這里想問一下，你覺得請求這個url地址給你返回的數(shù)據(jù)是什么樣的數(shù)據(jù)？給大家三秒考慮時間。

1 …2…3…

好的，現(xiàn)在公布答案了，它是一個 字符串 你沒有聽錯。如果你直接獲取 respons.json() 那你會出現(xiàn)報錯

那如何才能讓它編程json數(shù)據(jù)呢，畢竟json數(shù)據(jù)更好提取數(shù)據(jù)。

第一種方法

• 正則匹配提取中間的數(shù)據(jù)部分的數(shù)據(jù)

• 導入json模塊，字符串轉(zhuǎn)json數(shù)據(jù)

import requests
import re
import json
import pprint
url = 'https://mfm.video.qq.com/danmu?otype=json&callback=jQuery19108312825154929784_1611577043265&target_id=6416481842%26vid%3Dt0035rsjty9&session_key=30475%2C0%2C1611577043×tamp=105&_=1611577043296'

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
result = re.findall('jQuery19108312825154929784_1611577043265\((.*?)\)', response.text)[0]
json_data = json.loads(result)
pprint.pprint(json_data)

第二種方法

刪除鏈接中的 callback=jQuery19108312825154929784_1611577043265 就可以直接使用 response.json()

import requests
import pprint
url = 'https://mfm.video.qq.com/danmu?otype=json&target_id=6416481842%26vid%3Dt0035rsjty9&session_key=30475%2C0%2C1611577043×tamp=105&_=1611577043296'

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
# result = re.findall('jQuery19108312825154929784_1611577043265\((.*?)\)', response.text)[0]
json_data = response.json()
pprint.pprint(json_data)

這樣也可以，而且可以讓代碼更加簡單。

小知識點：

pprint 是格式化輸出模塊，讓類似json數(shù)據(jù)輸出的效果更加好看

完整實現(xiàn)代碼

import requests
for page in range(15, 150, 15):
    url = 'https://mfm.video.qq.com/danmu'
    params = {
        'otype': 'json',
        'target_id': '6416481842&vid=t0035rsjty9',
        'session_key': '30475,0,1611577043',
        'timestamp': page,
        '_': '1611577043296',
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=url, params=params, headers=headers)
    json_data = response.json()
    contents = json_data['comments']
    for i in contents:
        content = i['content']
        with open('喜劇人彈幕.txt', mode='a', encoding='utf-8') as f:
            f.write(content)
            f.write('\n')
            print(content)

到此，關(guān)于“Python怎么爬取騰訊視頻彈幕”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>