Python?Http發(fā)送請求怎么實現(xiàn)

本篇內(nèi)容介紹了“Python Http發(fā)送請求怎么實現(xiàn)”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

淺析requests

在不借助其他第三方庫的情況下，requests 只能發(fā)送同步請求。requests 是一個Python第三方庫，處理URL資源特別方便，而且相對于urllib3來說封裝了更多功能，并且使用步驟簡單。

我們深入一下到requests api源碼來看一下： 

 從圖片來看，其實可以大概看出requests支持哪些功能 然后圈紅的其實是最常用的一些功能，也就是可以設(shè)置請求方式，請求頭，cookie，過期時間，請求接口驗證，文件上傳等等功能。

整理了日常大概常用的方，應(yīng)該是下面這幾種格式：

# get 請求
requests.get(url, params)

# post 請求
requests.post(url, data)
# 文件上傳
upload_files = {'file': open('report.xls', 'rb')}
requests.post(url, file=upload_files)  
# 設(shè)置header
headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'}
requests.post(url, headers=headers)
# 設(shè)置cookie
cookies = {'token': '12345', 'status': '摸魚'}
requests.post(url, cookies=cookies)

如果單純請求一個接口，獲取接口數(shù)據(jù)的話，上面的完全夠用了，不需要額外的操作。

但是requests有時候挺多用在爬蟲場景下，爬蟲有的需要保持登錄信息去爬取其他接口，那么單純的去使用requests.get 或者 requests.post，這都是一次性的請求，是不太滿足需求的。 對于登錄成功，再去請求其他的接口，可能需要之前生成的cookie或者token，這時候，這些信息就需要進(jìn)行保存。對于這種情況，可以使用requests.session,它可以自動處理cookies，做狀態(tài)保持.

大概的使用步驟應(yīng)該是這樣子：

# 先實例化一個對象
session = requests.session()
# 給 requests.session() 對象設(shè)置cookie信息，這個看情況使用，具體情況具體分析啊
cookies_dict = {}
session.cookies = requests.utils.cookiejar_from_dict(cookies_dict)
# 后面用法和直接使用requests一樣了
# get請求
response = session.get(url)
# post請求
response = session.post(url, json=json_data)
result = response.json()
#獲取登陸的所有cookies信息
print(result.cookies.values())

通過上面這些大概步驟，對于信息狀態(tài)保持是已經(jīng)足夠了，這時候再用這些保持的信息去爬取接口是沒有多大問題的（按道理啊，經(jīng)典案例的話可以去模擬爬取一下淘寶PC端，本文具體的就不介紹了。）

淺析aiohttp

在不借助其他第三方庫的情況下，aiohttp只能發(fā)送異步請求。

其實，人都是貪心的，在同步請求足夠完成需求后，那么人就會去從其他方面去提升， 比如同樣的接口，希望能更快的處理返回，減少消耗時間，不希望阻塞。

那么隨著這種需要，那么異步請求也就出現(xiàn)了。目前支持異步請求的方式有 async/await+asyncio+requests 組合構(gòu)成，也可以使用aiohttp.aiohttp是一個為Python提供異步HTTP客戶端、服務(wù)端編程，基于asyncio的異步庫。aiohttp 同樣是可以設(shè)置請求方式，請求頭，cookie，代理，上傳文件等功能的

大概用代碼來表示，應(yīng)該是常見這些：

# post 請求
payload = {
        "data": "hello world"
    }
async with aiohttp.ClientSession() as session:
	async with session.post(url, json=payload) as resp:
		print(resp.status)
# get請求
# 創(chuàng)建使用session
async with aiohttp.ClientSession() as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

# 上傳文件
files = {'file': open('report.xls', 'rb')}
async with aiohttp.ClientSession() as sess:
	async with sess.post(url, data=files) as resp:
		print(resp.status)
		print(await resp.text())

# 設(shè)置header, cookie
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚'}
async with aiohttp.ClientSession(headers=headers, cookies=cookies) as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

當(dāng)然異步的請求，多可以是對接口返回數(shù)據(jù)在其他地方?jīng)]有太強(qiáng)的依賴，異步的作用更多是用于提高效率，節(jié)省同步等待時間。

淺析httpx

在不借助其他第三方庫的情況下，httpx既能發(fā)送同步請求，又能發(fā)送異步請求

httpx是Python新一代的網(wǎng)絡(luò)請求庫，它包含以下特點：

• 1.基于Python3的功能齊全的http請求模塊

• 2.既能發(fā)送同步請求，也能發(fā)送異步請求

• 3.支持HTTP/1.1和HTTP/2

• 4.能夠直接向WSGI應(yīng)用程序或者ASGI應(yīng)用程序發(fā)送請求

安裝 httpx需要Python3.6+（使用異步請求需要Python3.8+）

httpx是Python新一代的網(wǎng)絡(luò)請求庫, 功能和requests基本都一致，但是requests在沒有第三方庫的支持下只能發(fā)同步請求， 但是httpx不僅可以發(fā)同步請求，還可以異步，這個是比requests要好的。因為和requests差不多，那么requests能支持設(shè)置的，那么httpx也同樣可以支持

基本的使用方法：

data = {
    'name': 'autofelix',
    'age': 25
}

# get請求
httpx.get(url,params=data)
# post請求
httpx.post(url, data=data)

# 設(shè)置header,cookie,timeout
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚'}
httpx.get(url, headers=headers, cookies=cookies, timeout=10.0)

# 使用client發(fā)送（同步）請求
with httpx.Client() as client:
   response = client.get(url)

異步操作, 使用async/await語句來進(jìn)行異步操作，使用異步client比使用多線程發(fā)送請求更加高效，更能體現(xiàn)明顯的性能優(yōu)勢

import asyncio
import httpx

async def main():
    # 異步請求AsyncClient
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        print(response)

if __name__ == '__main__':
    # python3.7+ 支持寫法
    # asyncio.run(main())
    # python3.6及以下版本寫法
    loop = asyncio.get_event_loop()
    result = loop.run_until_complete(asyncio.gather(main()))
    loop.close()

大體看下，同步請求使用httpx.client(), 異步請求使用httpx.AsyncClient(), 然后其他的一些基本用法都大體相似?？梢哉f，如果你對requests熟練，那么對于aiohttp以及httpx也是很快就能上手理解的。

“Python Http發(fā)送請求怎么實現(xiàn)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！