怎么用python獲取百度熱榜鏈接

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)怎么用python獲取百度熱榜鏈接，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

目標(biāo)網(wǎng)址：

https://www.baidu.com/

要獲取的內(nèi)容：

鏈接分析：

從下圖可以看出只需要獲取關(guān)鍵字，再構(gòu)建就可以了。

完整代碼：

import requests
import pprint
import re
import urllib.parse

url = 'https://www.baidu.com/'

headers = {
    'Host': 'www.baidu.com',
    'Referer': 'https://www.baidu.com/',
    'User-Agent': 你的User-Agent,
    'Cookie': 你的Cookie
}

response = requests.get(url, headers=headers).content.decode('utf-8')
# 獲取關(guān)鍵字
pat = '"pure_title": "(.*?)"'
keyword = re.findall(pat, response, re.S)
print(len(keyword))

for hot_word in keyword:
    # 漢字不符合url標(biāo)準(zhǔn)，所以這里需要進(jìn)行url編碼
    i = urllib.parse.quote(hot_word, encoding='utf-8', errors='replace')
    # url構(gòu)建
    link = f'https://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd={i}&rsv_idx=2&rsv_dl=fyb_n_homepage&hisfilter=1'
    print(link)

你會(huì)發(fā)現(xiàn)結(jié)果很長(zhǎng)：

但其實(shí)關(guān)鍵字后面的幾個(gè)參數(shù)是可以去掉的，這樣url就沒有那么長(zhǎng)了。

上述就是小編為大家分享的怎么用python獲取百度熱榜鏈接了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。