Python中怎么實現(xiàn)一個網(wǎng)頁采集器

本篇文章為大家展示了Python中怎么實現(xiàn)一個網(wǎng)頁采集器，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

requests模塊

python中封裝好的一個基于網(wǎng)絡請求的模塊。用來模擬瀏覽器發(fā)請求。安裝：pip install requests

requests模塊的編碼流程

1. 指定url

2. 發(fā)起請求

3. 獲取相應數(shù)據(jù)

4. 持久化儲存

# 爬取搜狗首頁的頁面源碼數(shù)據(jù)

import requests

# 1. 指定url
url = "https://www.sogou.com"
# 2.發(fā)送請求 get
response = requests.get(url=url)  # get返回值是Response對象
# 獲取響應數(shù)據(jù)，響應數(shù)據(jù)在Response對象里
page_text = response.text   # text返回字符串形式的響應數(shù)據(jù)
# 4.持久化儲存
with open("sogou.html","w",encoding='utf-8') as fp:
    fp.write(page_text)

項目：實現(xiàn)一個簡易的網(wǎng)頁采集器

要求：程序基于搜狗錄入任意的關鍵字然后獲取關鍵字對應的相關的整個頁面。

# 1.指定url，需要讓url攜帶的參數(shù)動態(tài)化

url = "https://www.sogou.com/web"
# 實現(xiàn)參數(shù)動態(tài)化，不推薦參數(shù)的拼接，參數(shù)如果太多就相當麻煩。
# requests模塊實現(xiàn)了更為簡便的方法
ky = input("enter a key")
params = {
    'query':ky
}
# 將需要的請求參數(shù)對應的字典作用到get方法的params參數(shù)中，params參數(shù)接受一個字典
response = requests.get(url=url,params=params)
page_text = response.text

with open(f"{ky}.html","w",encoding='utf-8') as fp:
    fp.write(page_text)

上述代碼執(zhí)行后：

1. 出現(xiàn)了亂碼

2. 數(shù)據(jù)量級不對

# 解決亂碼

url = "https://www.sogou.com/web"

ky = input("enter a key")
params = {
    'query':ky
}
response = requests.get(url=url,params=params)
# print(response.encoding) 會打印原來response的編碼格式
response.encoding = 'utf-8'  # 修改響應數(shù)據(jù)的編碼格式
page_text = response.text
with open(f"{ky}.html","w",encoding='utf-8') as fp:
    fp.write(page_text)

上述代碼執(zhí)行后：

收到了錯誤頁面（搜狗的反爬機制）

UA檢測

• 絕大多數(shù)網(wǎng)站都有UA檢查反爬機制

• 門戶網(wǎng)站通過檢測請求載體的身份標識判定該請求是否為爬蟲發(fā)出的請求

反反爬策略：UA偽裝 請求頭增加User-Agent

打開瀏覽器請求搜狗頁面，右鍵點擊檢查進入Network，點擊Headers找到瀏覽器的User-Agent
注意：任意瀏覽器的身份標識都可以。

# 反反爬策略：請求頭增加User-Agent
url = "https://www.sogou.com/web"

ky = input("enter a key")
params = {
    'query':ky
}
# 請求頭中增加User-Agent ,注意請求頭的數(shù)據(jù)格式是鍵值對，且都是字符串。
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36"
}
response = requests.get(url=url,params=params,headers=headers)
response.encoding = 'utf-8'  
page_text = response.text
with open(f"{ky}.html","w",encoding='utf-8') as fp:
    fp.write(page_text)

上述內容就是Python中怎么實現(xiàn)一個網(wǎng)頁采集器，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業(yè)資訊頻道。