溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
前段時間喜歡用python去抓一些頁面玩，但都基本上都是用get請求一些頁面，再通過正則去過濾。
今天試了一下，模擬登陸個人網(wǎng)站。發(fā)現(xiàn)也比較簡單。讀懂本文需要對http協(xié)議和http會話有一定的理解。
注明：因為模擬登陸的是我的個人網(wǎng)站，所以以下代碼對個人網(wǎng)站和賬號密碼做了處理。
網(wǎng)站分析
爬蟲的必備第一步，分析目標(biāo)網(wǎng)站。這里使用谷歌瀏覽器的開發(fā)者者工具分析。
通過登陸抓取，看到這樣一個請求。
上方部分為請求頭，下面部分為請求是傳的參數(shù)。由圖片可以看出，頁面通過表單提交了三個參數(shù)。分別為_csrf,usermane,password。
其中csrf是為了預(yù)防跨域腳本偽造。原理很簡單，就是每一次請求，服務(wù)器生成一串加密字符串。放在隱藏的input表單中。再一次請求的時候，把這個字符串一起傳過去，為了驗證是否為同一個用戶的請求。
因此，我們的代碼邏輯就有了。首先請求一次登錄頁面。然后分析頁面，拿到csrf字符串。最后把這個字符串和賬號密碼一起傳給服務(wù)器用來登錄。
第一份代碼
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import requests
import re
# 頭部信息
headers = {
'Host':"localhost",
'Accept-Language':"zh-CN,zh;q=0.8",
'Accept-Encoding':"gzip, deflate",
'Content-Type':"application/x-www-form-urlencoded",
'Connection':"keep-alive",
'Referer':"http://localhost/login",
'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}
# 登陸方法
def login(url,csrf):
data = {
"_csrf" : csrf,
"username": "xiedj",
"password": "***"
}
response = requests.post(url, data=data, headers=headers)
return response.content
# 第一次訪問獲取csrf值
def get_login_web(url):
page = requests.get('http://localhost/login')
reg = r'<meta name="csrf-token" content="(.+)">'
csrf = re.findall(reg,page.content)[0]
login_page = login(url,csrf)
print login_page
if __name__ == "__main__":
url = "http://localhost/login/checklogin"
get_login_web(url)
代碼看起來好像沒有什么問題。然而執(zhí)行的時候出錯了。核查了一下，錯誤的原因是，csrf驗證失??！
再多次確認(rèn)獲取的csrf和請求登錄的csrf字符串沒問題了之后，我想到了一個問題。
如果，大家還不知道錯誤原因的話，這里可以暫停思考一個問題?！胺?wù)器如何知道，第一次請求獲取csrf和第二次post登錄請求是同一個用戶？”
到這，應(yīng)該都清楚了，如果要登錄成功，需要解決如何讓服務(wù)相信兩次請求是同一個用戶。這里需要用到http會話（不清楚的可以自行百度，這里簡單介紹）。
http協(xié)議是一個種無狀態(tài)的協(xié)議。為了使這種無狀態(tài)變得有狀態(tài)，因此引進(jìn)了會話。簡單的講，通過session去記錄這個狀態(tài)。當(dāng)一個用戶第一次請求web服務(wù)的時候，服務(wù)器會生成一個session，用于保存這個用戶的信息。同時，在返回給用戶端時，把這個sessionID保存在cookies里。當(dāng)用戶再一次請求的時候，瀏覽器會把這個cookies帶上。因此在服務(wù)器端就能知道多次請求是否為同一個用戶。
因此我們的代碼，需要在第一次請求的時候拿到這個sessionID。第二次請求的時候把這個sessionID一起傳過去。而requests厲害的地方就是，一句簡單requests.Session()，就能使用這個會話對象。
第二份代碼
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import requests
import re
# 頭部信息
headers = {
'Host':"localhost",
'Accept-Language':"zh-CN,zh;q=0.8",
'Accept-Encoding':"gzip, deflate",
'Content-Type':"application/x-www-form-urlencoded",
'Connection':"keep-alive",
'Referer':"http://localhost/login",
'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}
# 登陸方法
def login(url,csrf,r_session):
data = {
"_csrf" : csrf,
"username": "xiedj",
"password": "***"
}
response = r_session.post(url, data=data, headers=headers)
return response.content
# 第一次訪問獲取csrf值
def get_login_web(url):
r_session = requests.Session()
page = r_session.get('http://localhost/login')
reg = r'<meta name="csrf-token" content="(.+)">'
csrf = re.findall(reg,page.content)[0]
login_page = login(url,csrf,r_session)
print login_page
if __name__ == "__main__":
url = "http://localhost/login/checklogin"
get_login_web(url)
成功獲取登陸后的頁面
由代碼可以知道，requests.Session()啟動會話對象后，第二次請求會自動把上一次的sessionID一起傳過去。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼