教你10個python爬蟲入門技巧

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

# 第一個爬蟲示例,爬取百度頁面

import requests #導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("http://www.baidu.com") #生成一個response對象

response.encoding = response.apparent_encoding #設(shè)置編碼格式

print("狀態(tài)碼:"+ str( response.status_code ) ) #打印狀態(tài)碼

print(response.text)#輸出爬取的信息

# 第二個get方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("http://httpbin.org/get") #get方法

print( response.status_code ) #狀態(tài)碼

print( response.text )

# 第三個 post方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.post("http://httpbin.org/post") #post方法訪問

print( response.status_code ) #狀態(tài)碼

print( response.text )

# 第四個 put方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.put("http://httpbin.org/put") # put方法訪問

print( response.status_code ) #狀態(tài)碼

print( response.text )

# 第五個 get傳參方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

# 第六個 get傳參方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

# 第七個 post傳參方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

# 第好幾個方法實例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get( "http://www.zhihu.com") #第一次訪問知乎，不設(shè)置頭部信息

print( "第一次,不設(shè)頭部信息,狀態(tài)碼:"+response.status_code )# 沒寫headers，不能正常爬取，狀態(tài)碼不是 200

#下面是可以正常爬取的區(qū)別，更改了User-Agent字段

headers = {

		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}#設(shè)置頭部信息,偽裝瀏覽器

response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers參數(shù)，

print( response.status_code ) # 200！訪問成功的狀態(tài)碼

print( response.text )

# 爬取一個html并保存

import requests

url = "http://www.baidu.com"

response = requests.get( url )

response.encoding = "utf-8" #設(shè)置接收編碼格式

print("\nr的類型" + str( type(response) ) )

print("\n狀態(tài)碼是:" + str( response.status_code ) )

print("\n頭部信息:" + str( response.headers ) )

print( "\n響應(yīng)內(nèi)容:" )

print( response.text )

#保存文件
file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個文件，w是文件不存在則新建一個文件，這里不用wb是因為不用保存成二進(jìn)制

file.write( response.text )

file.close()

#保存百度圖片到本地

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get("https://cache.yisu.com/upload/information/20201101/112/2118.gif") #get方法的到圖片響應(yīng)

file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個文件,wb表示以二進(jìn)制格式打開一個文件只用于寫入

file.write(response.content) #寫入文件

file.close()#關(guān)閉操作，運行完畢后去你的目錄看一眼有沒有保存成功