怎么用Python獲取主播人氣排行榜

本篇內(nèi)容主要講解“怎么用Python獲取主播人氣排行榜”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“怎么用Python獲取主播人氣排行榜”吧!

本文知識(shí)點(diǎn)：

1、系統(tǒng)性的網(wǎng)頁(yè)分析

2、數(shù)據(jù)處理

3、jsonpath模塊的使用

環(huán)境介紹：

python 3.6

pycharm

requests

josnpath

爬蟲的一般思路

1、分析目標(biāo)網(wǎng)頁(yè),確定爬取的url路徑，headers參數(shù)

2、發(fā)送請(qǐng)求 -- requests 模擬瀏覽器發(fā)送請(qǐng)求，獲取響應(yīng)數(shù)據(jù)

3、解析數(shù)據(jù) -- jsonpath模塊：JsonPath 是一種信息抽取類庫(kù)，是從JSON文檔中抽取指定信息的工具

4、數(shù)據(jù)輸出

爬取數(shù)據(jù)

1、導(dǎo)入相關(guān)的數(shù)據(jù)庫(kù)

import jsonpath
import requests
import pprint

2、分析目標(biāo)網(wǎng)頁(yè),確定爬取的url路徑，headers參數(shù)

URL地址：

base_url = 'https://www.douyu.com/gapi/rknc/directory/yzRec/1'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}

3、發(fā)送請(qǐng)求 -- requests 模擬瀏覽器發(fā)送請(qǐng)求，獲取響應(yīng)數(shù)據(jù)

response = requests.get(url=base_url, headers=headers)
json_data = response.json()

4、解析數(shù)據(jù) -- jsonpath模塊：JsonPath 是一種信息抽取類庫(kù)，是從JSON文檔中抽取指定信息的工具

字典根據(jù)值降序排列

sorted方法，sorted的三個(gè)參數(shù)：

iterable ： 可迭代對(duì)象。

key ： 主要是用來(lái)進(jìn)行比較的元素，只有一個(gè)參數(shù)，具體的函數(shù)的參數(shù)就是取自于可迭代對(duì)象中，可以指定可迭代對(duì)象中的一個(gè)元素來(lái)進(jìn)行排序。

reverse ：排序規(guī)則，reverse = True 降序 ， reverse = False 升序（默認(rèn)）。

names = jsonpath.jsonpath(json_data, '$..nn')  # $ 從根節(jié)點(diǎn)提取  .. 跨節(jié)點(diǎn)提取
hot = jsonpath.jsonpath(json_data, '$..ol')
print(names)
print(hot)

item_dict = {}
for name, value in zip(names, hot):
    # print(name, value)
    item_dict[name] = value
print(item_dict)

print(item_dict.items())  # items() 函數(shù)以列表返回可遍歷的(鍵, 值) 元組數(shù)組。

change_score = sorted(item_dict.items(), key=lambda x: x[1], reverse=True)  # lambda中的1是元組的索引
print(change_score)

5、數(shù)據(jù)輸出

enumerate枚舉 enumerate多用于在for循環(huán)中得到計(jì)數(shù)，利用它可以同時(shí)獲得索引和值，即需要index和value值的時(shí)候可以使用enumerate

or player, hot_num in enumerate(change_score):
    print('第{}名=======是{}========人氣值為:{}'.format(player

到此，相信大家對(duì)“怎么用Python獲取主播人氣排行榜”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！