怎么用Python爬蟲搞定發(fā)送中文HTTP請求頭

本篇內(nèi)容主要講解“怎么用Python爬蟲搞定發(fā)送中文HTTP請求頭”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“怎么用Python爬蟲搞定發(fā)送中文HTTP請求頭”吧!

有時需要將HTTP請求頭的值設(shè)為中文，但如果直接設(shè)成中文，會拋出異常，例如，下面的代碼為Chinese請求頭設(shè)置了中文。

from urllib import request url = 'http://httpbin.org/post' headers = {     'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',     'Host':'httpbin.org',     'Chinese':'李寧', } req = request.Request(url = url,headers=headers,method="POST") request.urlopen(req)

執(zhí)行這段代碼，會拋出如下的異常。

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-1: ordinal not in range(256)

這個異常表明HTTP請求頭只能是英文字符和符號，不能是雙字節(jié)的文字，如中文。為了解決這個問題，在設(shè)置HTTP請求頭時需要將中文編碼，然后發(fā)送到服務(wù)端后，在服務(wù)端用同樣的規(guī)則解碼?？梢圆捎枚喾N編碼方式，例如url編碼，base64編碼，url編碼就是在瀏覽器地址欄中如果輸入中文，會將其轉(zhuǎn)換為%xx的形式。如輸入“中國”，會變成E4%B8%AD%E5%9B%BD。

對字符串url編碼，需要使用urllib.parse模塊的urlencode函數(shù)，解碼要使用unquote函數(shù)，代碼如下：

from urllib.parse import unquote,urlencode # 對中文進(jìn)行編碼 value = urlencode({'name':'李寧'}) print(value) # 對中文進(jìn)行解碼 print(unquote(value))

執(zhí)行這段代碼，會輸出如下結(jié)果：

name=%E6%9D%8E%E5%AE%81 name=李寧

使用urlencode函數(shù)進(jìn)行編碼時，需要指定字典類型，不能直接對字符串進(jìn)行編碼。因為urlencode函數(shù)只能對url參數(shù)進(jìn)行編碼。

base64編碼需要使用base64模塊中的b64encode函數(shù)，解碼使用b64decode函數(shù)，代碼如下：

import base64 # 對中文進(jìn)行編碼 base64Value = base64.b64encode(bytes('Python從菜鳥到高手',encoding='utf-8')) print(str(base64Value,'utf-8')) # 對中文進(jìn)行解碼，并按utf-8編碼格式將解碼后的結(jié)果轉(zhuǎn)換為字符串 print(str(base64.b64decode(base64Value),'utf-8'))

b64encode函數(shù)編碼后返回的是bytes類型，需要使用str函數(shù)將其轉(zhuǎn)換為字符串類型。b64decode函數(shù)解碼時需要指定bytes類型的值，b64decode函數(shù)的返回值也是bytes類型，所以也需要str函數(shù)將該函數(shù)的返回值轉(zhuǎn)換為字符串。

下面的例子演示了設(shè)置中文HTTP請求頭，并對其解碼的完整過程。

from urllib import request from urllib.parse import unquote,urlencode import base64 url = 'http://httpbin.org/post' headers = {     'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',     'Host':'httpbin.org',     'Chinese1':urlencode({'name':'李寧'}),  # 設(shè)置中文HTTP請求頭，用url編碼格式     # 設(shè)置中文HTTP請求頭，用base64編碼格式     'MyChinese':base64.b64encode(bytes('這是中文HTTP請求頭',encoding='utf-8')),     'who':'Python Scrapy' } dict = {     'name':'Bill',     'age':30 } data = bytes(urlencode(dict),encoding='utf-8') req = request.Request(url = url,data=data,headers=headers,method="POST") # 通過add_header方法添加中文HTTP請求頭，url編碼格式 req.add_header('Chinese2',urlencode({"國籍":"中國"})) response=request.urlopen(req) # 獲取服務(wù)端的響應(yīng)信息 value = response.read().decode('utf-8') print(value) import json # 將返回值轉(zhuǎn)換為json對象 responseObj = json.loads(value) # 解碼url編碼格式的HTTP請求頭 print(unquote(responseObj['headers']['Chinese1'])) # 解碼url編碼格式的HTTP請求頭 print(unquote(responseObj['headers']['Chinese2'])) # 解碼base64編碼格式的HTTP請求頭 print(str(base64.b64decode(responseObj['headers']['Mychinese']),'utf-8'))

到此，相信大家對“怎么用Python爬蟲搞定發(fā)送中文HTTP請求頭”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！