要使用Python爬取文章內容,首先需要安裝一個用于網(wǎng)絡爬取的庫,比如requests或者urllib。然后,需要了解目標網(wǎng)站的結構和URL,確定要爬取的文章內容所在的頁面。
接下來,可以通過發(fā)送HTTP請求獲取頁面的HTML內容,然后使用BeautifulSoup或者正則表達式等方法從HTML中提取出文章內容。最后,可以將提取的文章內容保存到本地文件中或者進行其他處理。
以下是一個簡單的示例代碼,演示如何使用Python爬取文章內容:
import requests
from bs4 import BeautifulSoup
url = 'https://example.com/article'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
article = soup.find('div', class_='article-content').get_text()
print(article)
在這個示例中,我們首先使用requests庫發(fā)送了一個GET請求獲取了文章頁面的HTML內容,然后使用BeautifulSoup庫解析HTML,找到了文章內容所在的標簽,并提取出文章內容。最后,將文章內容打印出來。你可以根據(jù)需要對文章內容進行進一步的處理或保存。