溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python中怎么利用Requests實(shí)現(xiàn)網(wǎng)絡(luò)請求

發(fā)布時(shí)間：2021-07-10 14:31:31 來源：億速云 閱讀：247 作者：Leah 欄目：大數(shù)據(jù)

Python中怎么利用Requests實(shí)現(xiàn)網(wǎng)絡(luò)請求，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

場景

>>> r = requests.get('https://google.cn') # get
>>> r
<Response [200]> # HTTP 響應(yīng)200
>>> r.headers['content-type'] # 網(wǎng)頁類型
'text/html'
>>> r.encoding # 正在使用的編碼
'ISO-8859-1

   

基礎(chǔ)用法

上面這個(gè)是最簡單的，不需要上面認(rèn)證、服務(wù)器認(rèn)證代理、請求內(nèi)容、定制頭等，比如帶上請求數(shù)據(jù)，把需要的數(shù)據(jù)封裝為字典，然后用 params 帶入即可。


# 在瀏覽器訪問的網(wǎng)址是
# https://google.cn/get?key2=value2&key1=value1
# 用 Requests 來訪問
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://google.cn/get', params=payload)

 


對(duì)返回的內(nèi)容還可以解析，有一個(gè)內(nèi)置的 JSON 解碼器，不過是針對(duì)一個(gè)返回的是一個(gè)字典，如果是多個(gè)字典的話，有報(bào)錯(cuò)異常提示。


>>> import requests
>>> r = requests.get('https://google.cn/events')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://google.cn/...

 


如果JSON解碼失敗，則 r.json() 引發(fā)異常。例如，如果響應(yīng)獲得 204（無內(nèi)容），或者響應(yīng)包含無效的 JSON ，則嘗試 r.json() 引發(fā)。


ValueError: No JSON object could be decoded
 


自定義 header 內(nèi)容


>>> headers = {'user-agent': 'my-app/0.0.1'}
>>> r = requests.get(url, headers=headers)

 


對(duì)于 POST 的請求，則需要帶上 data


>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("https://google.cn/post", data=payload)

    

在爬取數(shù)據(jù)的時(shí)候，有時(shí)候會(huì)遇到網(wǎng)站是用 cookies 來訪問的，這個(gè)時(shí)候需要認(rèn)證，獲取到 cookies，然后帶上參數(shù) cookies 即可訪問。


>>> url = 'https://google.cn/cookies'
>>> cookies = dict(cookies_are='working')
>>> r = requests.get(url, cookies=cookies)

 


還有一些網(wǎng)站反「爬」機(jī)制的，會(huì)加上多個(gè)路徑的 cookies，就可以用到


>>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'https://google.cn/cookies'
>>> r = requests.get(url, cookies=jar)


關(guān)于Python中怎么利用Requests實(shí)現(xiàn)網(wǎng)絡(luò)請求問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手