溫馨提示×

怎么用python爬蟲抓取網(wǎng)頁文本

小億
165
2023-10-17 02:36:20
欄目: 編程語言

使用Python爬蟲抓取網(wǎng)頁文本可以使用第三方庫requests和beautifulsoup。

首先，安裝requests和beautifulsoup庫：

pip install requests
pip install beautifulsoup4

然后，編寫Python代碼：

import requests
from bs4 import BeautifulSoup
# 發(fā)送GET請求，獲取網(wǎng)頁內(nèi)容
url = "http://example.com"  # 要抓取的網(wǎng)頁URL
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析網(wǎng)頁內(nèi)容
soup = BeautifulSoup(html, 'html.parser')
# 提取網(wǎng)頁文本
text = soup.get_text()
print(text)

以上代碼中，首先使用requests庫發(fā)送GET請求，獲取網(wǎng)頁內(nèi)容并保存在變量html中。然后，使用BeautifulSoup庫將網(wǎng)頁內(nèi)容進行解析，生成一個BeautifulSoup對象soup。最后，使用soup的get_text()方法提取網(wǎng)頁的純文本內(nèi)容，并打印出來。

需要注意的是，使用爬蟲抓取網(wǎng)頁文本時，需要遵守網(wǎng)站的使用規(guī)則，尊重網(wǎng)站的robots.txt文件，不進行惡意爬取。另外，可能需要處理一些反爬機制，如設(shè)置User-Agent、延時請求等。

0 踩