Python如何實(shí)現(xiàn)抖音熱搜定時(shí)爬取功能

這篇“Python如何實(shí)現(xiàn)抖音熱搜定時(shí)爬取功能”文章的知識(shí)點(diǎn)大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細(xì)，步驟清晰，具有一定的借鑒價(jià)值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“Python如何實(shí)現(xiàn)抖音熱搜定時(shí)爬取功能”文章吧。

抖音熱搜榜

整個(gè)熱榜共50條數(shù)據(jù)，本次爬取的內(nèi)容：排名、熱度、標(biāo)題、鏈接。

requests 爬取

requests 是一種非常簡單的方法，由于該頁面沒有反爬措施，所以直接get 請(qǐng)求頁面即可。

import requests
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'
}
url = 'https://tophub.today/n/K7GdaMgdQy'
page_text = requests.get(url=url, headers=headers).text
page_text

可以看到，只需要幾行代碼，數(shù)據(jù)就很輕松地獲取到了。

selenium 爬取

將selenium設(shè)置為無頭瀏覽器，打開指定url獲取頁面數(shù)據(jù)。

from selenium import webdriver

option = webdriver.ChromeOptions()
option.add_argument('--headless')

driver = webdriver.Chrome(options=option)

url = 'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)

page_text = driver.page_source

兩種爬取方法都能夠成功獲取到數(shù)據(jù)，但requests相對(duì)簡潔，整個(gè)代碼運(yùn)行速度也更快，如果頁面數(shù)據(jù)不是動(dòng)態(tài)加載的話，用requests相對(duì)方便。

數(shù)據(jù)解析

現(xiàn)在用lxml庫解析我們爬取的數(shù)據(jù)，并保存到excel中。

tree = etree.HTML(page_text)

tr_list = tree.xpath(
    '//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')

df = pd.DataFrame(columns=['排名', '熱度', '標(biāo)題', '鏈接'])
for index, tr in enumerate(tr_list):
    hot = tr.xpath('./td[3]/text()')[0]
    title = tr.xpath('./td[2]/a/text()')[0]
    article_url = tr.xpath('./td[2]/a/@href')[0]
    df = df.append({
        '排名': index + 1,
        '熱度': hot,
        '標(biāo)題': title,
        '鏈接': article_url}, ignore_index=True)
df['鏈接'] = 'https://tophub.today' + df['鏈接']
df

運(yùn)行結(jié)果

設(shè)置定時(shí)運(yùn)行

至此，爬取代碼已經(jīng)完成，想要實(shí)現(xiàn)每小時(shí)自動(dòng)運(yùn)行代碼，可以使用任務(wù)計(jì)劃程序。

打開任務(wù)計(jì)劃程序，【創(chuàng)建任務(wù)】

輸入名稱，名稱隨便起就好。

選擇【觸發(fā)器】>>【新建】>>【設(shè)置觸發(fā)時(shí)間】

選擇【操作】>>【新建】>>【選擇程序】

最后確認(rèn)即可。到時(shí)間就會(huì)自動(dòng)運(yùn)行，或者右鍵任務(wù)手動(dòng)運(yùn)行。

以上就是關(guān)于“Python如何實(shí)現(xiàn)抖音熱搜定時(shí)爬取功能”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對(duì)大家有幫助，若想了解更多相關(guān)的知識(shí)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。