python中 requests庫(kù)模塊安裝發(fā)送請(qǐng)求和獲取網(wǎng)頁(yè)的字符串

　　requests基本介紹

　　為什么要學(xué)習(xí)requests，而不是urllib?

　　1.requests的底層實(shí)現(xiàn)就是urllib

　　2.requests在python2 和python3中通用，方法完全一樣

　　3.requests簡(jiǎn)單易用

　　4.requests能夠自動(dòng)幫助我們解壓(gzip壓縮等的)網(wǎng)頁(yè)內(nèi)容

　　requests的作用

　　發(fā)送網(wǎng)絡(luò)請(qǐng)求，獲取響應(yīng)數(shù)據(jù)

　　中文文檔API：https://2.python-requests.org//zh_CN/latest/user/install.html

　　網(wǎng)址最好在Chrome瀏覽器打開，如果是英文，還可以右擊翻譯成中文

　　requests的安裝使用

　　發(fā)送請(qǐng)求

　　首先導(dǎo)入requests模塊，這是一個(gè)第三方模塊，需要安裝，pip install時(shí)需注意是Python2的pip還是Python3的pip,在終端通過pip --version查看版本，pip后面有一個(gè)空格。如果pip --version出來的結(jié)果是Python2.7，安裝時(shí)需要pip3 --安裝包，否則就是安裝在Python2的環(huán)境里，以后在pycharm中很可能有些模塊用不了。

　　安裝requests包時(shí)提示先升級(jí)pip,直接升級(jí)權(quán)限不夠，在終端中用sudo -s直接切換到管理員身份，再輸入命令pip install --upgrade pip即可成功升級(jí)pip，然后再pip install requests,ctrl+d退出管理員權(quán)限。

　　發(fā)送get請(qǐng)求

　　requests.get(“url地址”)，方法可以獲取一個(gè)URL地址，獲取的內(nèi)容放在變量r中，r作為一個(gè)response對(duì)象。

　　r = requests.get(“url地址”)

　　發(fā)送post請(qǐng)求

　　r = requests.post(“url地址”)

　　請(qǐng)求的URL地址中必須有http協(xié)議，否則就會(huì)報(bào)錯(cuò)

　　獲取URL的HTML

　　r = requests.get(“http://www.baidu.com”)

　　r此時(shí)是一個(gè)response對(duì)象

　　如何區(qū)分屬性和方法

　　根據(jù)詞性區(qū)分，名詞是屬性，后面沒有括號(hào)，動(dòng)詞是方法，后面有括號(hào)

　　自己定義類時(shí)，類屬性、實(shí)例屬性都應(yīng)該定義成名詞;定義方法時(shí)盡量用動(dòng)詞。

　　r的text屬性，名詞，后面沒括號(hào)

　　在ipython3交互模式下，import requests后，r = requests.get(“http://www.baidu.com”)，r.text，返回的結(jié)果里有亂碼，因?yàn)榫幋a方式和解碼方式不一致。

　　encoding屬性?無錫婦科醫(yī)院 http://www.bhnnk120.com/

　　r.encoding,根據(jù)HTML頭部推斷編碼方式，返回編碼方式，是requests模塊推測(cè)出來的。但是推測(cè)出來的一般是錯(cuò)誤的

　　此時(shí)需要指定解碼方式，r.encoding = “utf-8”，然后再r.text即可返回沒有亂碼的內(nèi)容

　　content屬性

　　r.content 返回的內(nèi)容是一個(gè)b開頭的bytes類型數(shù)據(jù)，需要轉(zhuǎn)換成字符串類型

　　r.content.decode(),此時(shí)返回的結(jié)果就是有中文的

　　decode()方法

　　默認(rèn)使用utf-8的方法解碼，優(yōu)先使用

　　r.content.decode(),此時(shí)返回的結(jié)果就是有中文的

　　解碼方式優(yōu)先順序

　　r.content.decode() --默認(rèn)用utf-8解碼

　　r.content.decode(“gbk”) --用gbk解碼

　　r.text --requests模塊猜的解碼方式

　　response.text和response.content的區(qū)別

　　requests保存網(wǎng)頁(yè)圖片到本地

　　pycharm中或者vim中

　　新建文件

　　vim 01-保存網(wǎng)頁(yè)圖片到本地

　　思路：

　　首先找到一個(gè)網(wǎng)頁(yè)圖片，右擊圖片，復(fù)制鏈接

　　發(fā)送請(qǐng)求

　　保存

　　#with open(“a.png”,“wb”) as f:里傳遞的參數(shù)，第一個(gè)是文件名，第二個(gè)是打開參數(shù)wb,用二進(jìn)制打開,w是字符串

　　1 import requests

　　2

　　3 # 發(fā)送請(qǐng)求

　　4 r = requests.get("https://2.python-requests.org/en/master/_static/requests-s idebar.png")

　　5 # 保存

　　6 with open("a.png","wb") as f:

　　7 f.write(r.content)