python 爬蟲開發(fā)基礎(chǔ)知識(shí)

1. Request
   請(qǐng)求方式 常用的有g(shù)et post
   請(qǐng)求的url
   第一部分是協(xié)議(或稱為服務(wù)方式)
   第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào))
   第三部分是主機(jī)資源的具體地址，如目錄和文件名等
   請(qǐng)求頭 包含請(qǐng)求時(shí)的頭部信息，如User-Agent,Host,Cookies等信息
   請(qǐng)求體 請(qǐng)求時(shí)攜帶的數(shù)據(jù)，如提交表單數(shù)據(jù)時(shí)候的表單數(shù)據(jù)
2. Response
   所有HTTP響應(yīng)的第一行都是狀態(tài)行，依次是當(dāng)前HTTP版本號(hào)，3位數(shù)字組成的狀態(tài)代碼，以及描述狀態(tài)的短語，彼此由空格分隔
   相應(yīng)狀態(tài) 有多種響應(yīng)狀態(tài)，如：200代表成功，301跳轉(zhuǎn)，404找不到頁面，502服務(wù)器錯(cuò)誤
   響應(yīng)頭 如內(nèi)容類型，類型的長(zhǎng)度，服務(wù)器信息，設(shè)置Cookie
   響應(yīng)體 最主要的部分，包含請(qǐng)求資源的內(nèi)容，如網(wǎng)頁HTMl,圖片，二進(jìn)制數(shù)據(jù)等
   3.URL解析
   urlparse
   from urllib.parse import urlparse
   result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
   urlencode 這個(gè)方法可以將字典轉(zhuǎn)換為url參數(shù)
   urlencode(params) params 是字典格式
   4.Requests是用python語言基于urllib編寫的
   response.text會(huì)出現(xiàn)亂碼的問題，所以這個(gè)使用response.content
   這樣返回的數(shù)據(jù)格式其實(shí)是二進(jìn)制格式，然后通過decode()轉(zhuǎn)換為utf-8，這樣就解決了通過response.text直接返回顯示亂碼的問題.
   Requests模塊允許使用params關(guān)鍵字傳遞參數(shù)，以一個(gè)字典來傳遞這些參數(shù)
   response = requests.get("http://httpbin.org/get",params=data)
   response = requests.post("http://httpbin.org/post",data=data)
   文件上傳
   files= {"files":open("git.jpeg","rb")}
   response = requests.post("http://httpbin.org/post",files=files)
   獲取cookie response.cookies
   證書驗(yàn)證
   from requests.packages import urllib3
   urllib3.disable_warnings()
   response = requests.get("https://www.12306.cn",verify=False)
   代理設(shè)置
   requests.get("https://www.baidu.com",proxies=proxies)
   認(rèn)證設(shè)置
   response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
   異常
   所有的異常方法都在requests.exceptions，使用時(shí)根據(jù)需要進(jìn)行引入即可