requests模塊怎么用

這篇文章給大家分享的是有關(guān)requests模塊怎么用的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

一、安裝

第一步：pip安裝

https://pypi.org/project/pip/#files下載pip壓縮文件包，最好將其下載到scripts目錄下。進(jìn)入到安裝目錄下，執(zhí)行：

python setup.py install

D:\envi\python2.7\Scripts添加到環(huán)境變量新打開一個(gè)命令行窗口，執(zhí)行

pip list

第二步：requests安裝命令

pip install requests

二、使用：爬取百度網(wǎng)站內(nèi)容

導(dǎo)入模塊

#導(dǎo)入requests模塊

import requests

指定url

#1:指定url

url='https://www.baidu.com/'

發(fā)起請求

#2:發(fā)起請求(get方法會返回一個(gè)響應(yīng)對象)

response = requests.get(url=url)

獲取響應(yīng)數(shù)據(jù)

#3:獲取響應(yīng)數(shù)據(jù)

page_text = response.text

持久化存儲

#4:持久化存儲

with open('./baidu.html','w',encoding='utf-8') as fp:

 fp.write(page_text)

print('爬完了')

三：requests異常處理

異常：比如網(wǎng)絡(luò)連接錯(cuò)誤、http錯(cuò)誤異常、重定向異常、請求url超時(shí)異常等等。

處理：可以利用 response.raise_for_status() 語句去捕捉異常，該語句在方法內(nèi)部判斷r.status_code是否等于200，如果不等于，則拋出異常。

爬取網(wǎng)頁的通用代碼框架：

try:

    response=requests.get(url)

    response.raise_for_status()   #如果狀態(tài)不是200，則引發(fā)異常

except:

    print("產(chǎn)生異常")

requests 會自動(dòng)實(shí)現(xiàn)持久連接keep-alive，requests 支持 HTTP 連接保持和連接池，支持使用 cookie 保持會話，支持文件上傳，支持自動(dòng)確定響應(yīng)內(nèi)容的編碼，支持國際化的 URL 和 POST 數(shù)據(jù)自動(dòng)編碼，現(xiàn)代、國際化、人性化。

感謝各位的閱讀！關(guān)于requests模塊怎么用就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！