F12 開(kāi)發(fā)者模式 (鼠標(biāo)右擊,點(diǎn)擊檢查元素)–點(diǎn)擊網(wǎng)絡(luò) –>..."/>
您好,登錄后才能下訂單哦!
我們以學(xué)信網(wǎng)為例爬取個(gè)人信息
**如果看不清楚
按照以下步驟:**
1.火狐為例 打開(kāi)需要登錄的網(wǎng)頁(yè)–> F12 開(kāi)發(fā)者模式 (鼠標(biāo)右擊,點(diǎn)擊檢查元素)–點(diǎn)擊網(wǎng)絡(luò) –>需要登錄的頁(yè)面登錄下–> 點(diǎn)擊網(wǎng)絡(luò)找到 一個(gè)POST提交的鏈接點(diǎn)擊–>找到post(注意該post中信息就是我們提交時(shí)需要構(gòu)造的表單信息)
import requests from bs4 import BeautifulSoup from http import cookies import urllib import http.cookiejar headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Referer':'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check', } session = requests.Session() session.headers.update(headers) username = 'xxx' password = 'xxx' url = 'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check' def login(username,password,lt,_eventId='submit'): #模擬登入函數(shù) #構(gòu)造表單數(shù)據(jù) data = { #需要傳去的數(shù)據(jù) '_eventId':_eventId, 'lt':lt, 'password':password, 'submit':u'登錄', 'username':username, } html = session.post(url,data=data,headers=headers) def get_lt(url): #解析登入界面_eventId html = session.get(url) #獲取 lt soup = BeautifulSoup(html.text,'lxml',from_encoding="utf-8") lt=soup.find('input',type="hidden")['value'] return lt lt = get_lt(url)#獲取登錄form表單信息 以學(xué)信網(wǎng)為例 login(username,password,lt) login_url = 'https://my.chsi.com.cn/archive/gdjy/xj/show.action' per_html = session.get(login_url) soup = BeautifulSoup(per_html.text,'lxml',from_encoding="utf-8") print(soup) for tag in soup.find_all('table',class_='mb-table'): print(tag) for tag1 in tag.find_all('td'): title= tag1.get_text(); print(title)
以上這篇python 爬取學(xué)信網(wǎng)登錄頁(yè)面的例子就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。