請求頭一鍵轉(zhuǎn)換為字典的示例分析

請求頭一鍵轉(zhuǎn)換為字典的示例分析，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

我們在寫爬蟲的時候經(jīng)常需要拷貝瀏覽器的請求頭來使用，但是拷貝過來的并不是字典不能直接使用，怎么能一鍵轉(zhuǎn)換其為字典形式呢，下面介紹幾種方式：

方法一，不夠優(yōu)雅：

方法二

可以發(fā)現(xiàn)復制請求頭很簡單了，只要把請求頭全部copy下來，然后用headers_raw_to_dict 轉(zhuǎn)一下，就直接變成了dict了.

推薦方法

方法三

借助IDE的正則替換（PyCharm為例）
PyCharm中替換的快捷鍵是Ctrl+R，選中Regex正則模式

212121.gif

源匹配為 (.): (.)$
替換匹配為 "$1": "$2",

方法四：Chrome插件Postman

Postman是很強大的調(diào)試工具，但是目前Google已經(jīng)放棄了Chrome App，目前在商店里只能直接搜索到插件。

你可以安裝插件以后點擊鏈接獲取Postman App：

開啟Postman Interceptor，訪問的任意請求都會被Postman截獲。
在Postman點擊請求-Code-選擇Python-選擇相應方式即可。

可以看到Postman支持非常多種語言的導出。
可以看到Postman的確是個非常強大的工具，甚至可以直接幫我們生成requests代碼了，而不僅僅是把headers轉(zhuǎn)化為字典…
但是呢，我個人感覺使用Postman來干這件事有種殺雞焉用牛刀的感覺。這款工具太重了…大家需要衡量學習成本，只做爬蟲而不做Web開發(fā)的話估計用的會少一些。另一方面就是可能依然有人有人沒辦法訪問Google…

方法五：使用curlconverter

curl.trillworks.com/
使用這個方法前我們需要知道什么是curl。
curl是Linux命令行下的文件傳輸工具，可以直接訪問URL，支持多種協(xié)議和參數(shù)設置甚至cookie設置。簡單來說，就是可以模擬一個請求。
Chorme瀏覽器的開發(fā)工具支持直接copy as curl，所以我們只需要這么做：
在開發(fā)工具中選中請求copy as curl，然后粘貼到網(wǎng)站表單中，獲得Python代碼。這個網(wǎng)站只支持Python、NodeJS和PHP。這種輕量級的方法應該是最方便的一種了…

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。