python網(wǎng)絡(luò)爬蟲怎樣寫代碼

要編寫Python網(wǎng)絡(luò)爬蟲，您可以使用一些流行的庫，如Requests和BeautifulSoup。以下是一個簡單的網(wǎng)絡(luò)爬蟲示例，用于抓取網(wǎng)站上的標題和鏈接：

首先，確保您已經(jīng)安裝了所需的庫。在命令行中運行以下命令來安裝它們：

pip install requests beautifulsoup4

接下來，創(chuàng)建一個名為simple_crawler.py的文件，并在其中編寫以下代碼：

import requests
from bs4 import BeautifulSoup

def get_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        print(f"Error: Unable to fetch the page. Status code: {response.status_code}")
        return None

def parse_page(html):
    soup = BeautifulSoup(html, "html.parser")
    titles = soup.find_all("h2") # 根據(jù)網(wǎng)站中標題的標簽進行修改
    links = soup.find_all("a")

    for title, link in zip(titles, links):
        print(title.get_text(), link["href"])

def main():
    url = input("Enter the URL of the website you want to crawl: ")
    html = get_page(url)
    if html:
        parse_page(html)

if __name__ == "__main__":
    main()

這個簡單的網(wǎng)絡(luò)爬蟲首先從用戶那里獲取要抓取的網(wǎng)站URL，然后使用Requests庫獲取頁面的HTML內(nèi)容。接下來，它使用BeautifulSoup解析HTML，并提取所有<h2>標簽的文本（這通常是標題）和所有<a>標簽的href屬性（這通常是鏈接）。最后，它打印出提取到的標題和鏈接。

請注意，這個示例僅適用于具有特定HTML結(jié)構(gòu)的網(wǎng)站。要使其適用于其他網(wǎng)站，您需要根據(jù)目標網(wǎng)站的HTML結(jié)構(gòu)修改parse_page函數(shù)中的代碼。您可以使用瀏覽器的開發(fā)者工具（按F12打開）來檢查頁面元素并找到正確的標簽和屬性。