溫馨提示×

怎么使用BeautifulSoup與requests庫爬取網(wǎng)頁

小億
106
2024-05-14 12:47:13
欄目: 編程語言

首先需要安裝BeautifulSoup和requests庫，可以通過以下命令安裝：

pip install beautifulsoup4
pip install requests

接下來可以使用以下代碼來爬取網(wǎng)頁內(nèi)容：

import requests
from bs4 import BeautifulSoup

# 發(fā)起GET請求
url = 'https://www.example.com'
response = requests.get(url)

# 解析網(wǎng)頁內(nèi)容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到需要的內(nèi)容
content = soup.find('div', class_='content').text

print(content)

在上面的代碼中，首先發(fā)起一個GET請求并獲取網(wǎng)頁的內(nèi)容，然后使用BeautifulSoup解析網(wǎng)頁內(nèi)容。接著通過find方法找到需要的內(nèi)容，最后打印出來?？梢愿鶕?jù)網(wǎng)頁的具體結(jié)構(gòu)和需要的內(nèi)容做相應(yīng)的調(diào)整。

0 踩