如何快速的生成一個Python爬蟲請求頭

今天就跟大家聊聊有關(guān)如何快速的生成一個Python爬蟲請求頭，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

python可以做什么

Python是一種編程語言，內(nèi)置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強(qiáng)大，在許多領(lǐng)域中都有廣泛的應(yīng)用，例如最熱門的大數(shù)據(jù)分析，人工智能，Web開發(fā)等。

請求頭：

一般來說，我們只要添加 user-agent 就能滿足絕大部分需求了，Python 代碼如下：

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些請求，我們要把特定的 headers 參數(shù)添加上才能獲得正確的網(wǎng)絡(luò)響應(yīng)，不知道哪個參數(shù)是必要的情況下，就要先把所有參數(shù)都添加上，再逐個排除。

但是手動復(fù)制粘貼 headers 字典里的每一個鍵值對太費(fèi)事了

一個不那么方便的解決方案：

用正則表達(dá)式或者直接字符串替換，把 headers 字符串直接轉(zhuǎn)化為字典，封裝成函數(shù)方便以后反復(fù)調(diào)用。

有的人喜歡用這種方法，每次復(fù)制headers信息，然后調(diào)用自己封裝好的函數(shù)，但我覺得還是挺麻煩的。

那么還有沒有快速一鍵生成 Python 爬蟲請求頭的方法呢？
這里給大家介紹兩個：

• 網(wǎng)站在線轉(zhuǎn)換

• Postman

實(shí)戰(zhàn)演練

抓取網(wǎng)站：https://developer.mozilla.org...

網(wǎng)站在線轉(zhuǎn)換

1，Chrome 打開開發(fā)者選項(xiàng)（ f12 ）---> network 選項(xiàng)卡 ---> 刷新頁面,獲取請求 ---> 找到頁面信息對應(yīng)的請求 (通過請求的名稱、后綴和 response 內(nèi)容來判斷)

2，右鍵，copy ---> copy as cURL (bash)，注意不是【copy as cURL (cmd)】

3，打開網(wǎng)站，https://curl.trillworks.com/，粘貼 cURL (bash) 到左邊 curl command，右邊會自動出 Python 代碼

4，生成代碼如下圖

5，print ( response.text ) 就可以直接打印網(wǎng)頁源代碼啦！

Postman

1，下載 postman ( Chrome 也有個 postman 的插件，操作應(yīng)該差不多)

2，打開 postman，彈出的界面可以直接關(guān)掉

3，import --> paste raw text，在 Chrome 里復(fù)制 curl (bash)，粘貼到下面的對話框里，點(diǎn)擊 import 按鈕

4，點(diǎn)擊 send，模擬網(wǎng)絡(luò)請求，下方可查看源代碼

5，確保源代碼正常后，點(diǎn)擊 code

6，左上角可以選擇編程語言，右上角復(fù)制到剪貼板

看完上述內(nèi)容，你們對如何快速的生成一個Python爬蟲請求頭有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。