Python爬蟲之采集登陸后才能看到數(shù)據(jù)的方法是什么

這篇文章主要介紹“Python爬蟲之采集登陸后才能看到數(shù)據(jù)的方法是什么”，在日常操作中，相信很多人在Python爬蟲之采集登陸后才能看到數(shù)據(jù)的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Python爬蟲之采集登陸后才能看到數(shù)據(jù)的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

爬蟲在采集網(wǎng)站的過程中，部分?jǐn)?shù)據(jù)價值較高的網(wǎng)站，會限制訪客的訪問行為。這種時候建議通過登錄的方式，獲取目標(biāo)網(wǎng)站的cookie，然后再使用cookie配合代理IP進行數(shù)據(jù)采集分析。

1 使用表單登陸

這種情況屬于post請求，即先向服務(wù)器發(fā)送表單數(shù)據(jù)，服務(wù)器再將返回的cookie存入本地。

#! -*- encoding:utf-8 -*-  import requests  import random  import requests.adapters    # 要訪問的目標(biāo)頁面  targetUrlList = [      "https://httpbin.org/ip",      "https://httpbin.org/headers",      "https://httpbin.org/user-agent",  ]    # 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn)  proxyHost = "t.16yun.cn"  proxyPort = "31111"    # 代理隧道驗證信息  proxyUser = "username"  proxyPass = "password"    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {      "host": proxyHost,      "port": proxyPort,      "user": proxyUser,      "pass": proxyPass,  }    # 設(shè)置 http和https訪問都是用HTTP代理  proxies = {      "http": proxyMeta,      "https": proxyMeta,  }    # 訪問三次網(wǎng)站，使用相同的Session(keep-alive)，均能夠保持相同的外網(wǎng)IP  s = requests.session()    # 設(shè)置cookie  cookie_dict = {"JSESSION":"123456789"}  cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)  s.cookies = cookies    for i in range(3):      for url in targetUrlList:          r = s.get(url, proxies=proxies)          print r.text

2 使用cookie登陸

使用cookie登陸，服務(wù)器會認(rèn)為你是一個已登陸的用戶，所以就會返回給你一個已登陸的內(nèi)容。因此，需要驗證碼的情況可以使用帶驗證碼登陸的cookie解決。

response_captcha = requests_session.get(url=url_login, cookies=cookies)   response1 = requests.get(url_login) # 未登陸   response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！   response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！

若存在驗證碼，此時采用response = requests_session.post(url=url_login,  data=data)是不行的，做法應(yīng)該如下：

response_captcha = requests_session.get(url=url_login, cookies=cookies)   response1 = requests.get(url_login) # 未登陸   response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！   response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！

到此，關(guān)于“Python爬蟲之采集登陸后才能看到數(shù)據(jù)的方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>