您好,登錄后才能下訂單哦!
小編給大家分享一下Python3爬蟲中Selenium有什么用,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
Selenium是一個自動化測試工具,利用它可以驅(qū)動瀏覽器執(zhí)行特定的動作,如點(diǎn)擊、下拉等操作,同時還可以獲取瀏覽器當(dāng)前呈現(xiàn)的頁面的源代碼,做到可見即可爬。對于一些JavaScript動態(tài)渲染的頁面來說,此種抓取方式非常有效。
1. 準(zhǔn)備工作
本節(jié)以Chrome為例來講解Selenium的用法。在開始之前,請確保已經(jīng)正確安裝好了Chrome瀏覽器并配置好了ChromeDriver。另外,還需要正確安裝好Python的Selenium庫,詳細(xì)的安裝和配置過程可以參考第1章。
2. 基本使用
準(zhǔn)備工作做好之后,首先來大體看一下Selenium有一些怎樣的功能。示例如下:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome() try: browser.get('https://www.baidu.com') input = browser.find_element_by_id('kw') input.send_keys('Python') input.send_keys(Keys.ENTER) wait = WebDriverWait(browser, 10) wait.until(EC.presence_of_element_located((By.ID, 'content_left'))) print(browser.current_url) print(browser.get_cookies()) print(browser.page_source) finally: browser.close()
運(yùn)行代碼后發(fā)現(xiàn),會自動彈出一個Chrome瀏覽器。瀏覽器首先會跳轉(zhuǎn)到百度,然后在搜索框中輸入Python,接著跳轉(zhuǎn)到搜索結(jié)果頁,如圖7-1所示。
圖7-1 運(yùn)行結(jié)果
搜索結(jié)果加載出來后,控制臺分別會輸出當(dāng)前的URL、當(dāng)前的Cookies和網(wǎng)頁源代碼:
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=Python&rsv_pq=c94d0df9000a72d0&rsv_t= 07099xvun1ZmC0bf6eQvygJ43IUTTUOl5FCJVPgwG2YREs70GplJjH2F%2BCQ&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug2= 0&inputT=87&rsv_sug4=87 [{'secure': False, 'value': 'B490B5EBF6F3CD402E515D22BCDA1598', 'domain': '.baidu.com', 'path': '/', 'httpOnly': False, 'name': 'BDORZ', 'expiry': 1491688071.707553}, {'secure': False, 'value': '22473_1441_21084_17001', 'domain': '.baidu.com', 'path': '/', 'httpOnly': False, 'name': 'H_PS_PSSID'}, {'secure': False, 'value': '12883875381399993259_00_0_I_R_2_0303_C02F_N_I_I_0', 'domain': '.www.baidu.com', 'path': '/', 'httpOnly': False, 'name': '__bsi', 'expiry': 1491601676.69722}] <!DOCTYPE html><!--STATUS OK-->...</html>
源代碼過長,在此省略??梢钥吹?,我們得到的當(dāng)前URL、Cookies和源代碼都是瀏覽器中的真實(shí)內(nèi)容。
所以說,如果用Selenium來驅(qū)動瀏覽器加載網(wǎng)頁的話,就可以直接拿到JavaScript渲染的結(jié)果了,不用擔(dān)心使用的是什么加密系統(tǒng)。
下面來詳細(xì)了解一下Selenium的用法。
3. 聲明瀏覽器對象
Selenium支持非常多的瀏覽器,如Chrome、Firefox、Edge等,還有Android、BlackBerry等手機(jī)端的瀏覽器。另外,也支持無界面瀏覽器PhantomJS。
此外,我們可以用如下方式初始化:
from selenium import webdriver browser = webdriver.Chrome() browser = webdriver.Firefox() browser = webdriver.Edge() browser = webdriver.PhantomJS() browser = webdriver.Safari()
這樣就完成了瀏覽器對象的初始化并將其賦值為browser對象。接下來,我們要做的就是調(diào)用browser對象,讓其執(zhí)行各個動作以模擬瀏覽器操作。
4. 訪問頁面
我們可以用get()方法來請求網(wǎng)頁,參數(shù)傳入鏈接URL即可。比如,這里用get()方法訪問淘寶,然后打印出源代碼,代碼如下:
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') print(browser.page_source) browser.close()
運(yùn)行后發(fā)現(xiàn),彈出了Chrome瀏覽器并且自動訪問了淘寶,然后控制臺輸出了淘寶頁面的源代碼,隨后瀏覽器關(guān)閉。
通過這幾行簡單的代碼,我們可以實(shí)現(xiàn)瀏覽器的驅(qū)動并獲取網(wǎng)頁源碼,非常便捷。
5. 查找節(jié)點(diǎn)
Selenium可以驅(qū)動瀏覽器完成各種操作,比如填充表單、模擬點(diǎn)擊等。比如,我們想要完成向某個輸入框輸入文字的操作,總需要知道這個輸入框在哪里吧?而Selenium提供了一系列查找節(jié)點(diǎn)的方法,我們可以用這些方法來獲取想要的節(jié)點(diǎn),以便下一步執(zhí)行一些動作或者提取信息。
單個節(jié)點(diǎn)
比如,想要從淘寶頁面中提取搜索框這個節(jié)點(diǎn),首先要觀察它的源代碼,如圖7-2所示。
圖7-2 源代碼
可以發(fā)現(xiàn),它的id是q,name也是q。此外,還有許多其他屬性,此時我們就可以用多種方式獲取它了。比如,find_element_by_name()是根據(jù)name值獲取,find_element_by_id()是根據(jù)id獲取。另外,還有根據(jù)XPath、CSS選擇器等獲取的方式。
我們用代碼實(shí)現(xiàn)一下:
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') input_first = browser.find_element_by_id('q') input_second = browser.find_element_by_css_selector('#q') input_third = browser.find_element_by_xpath('//*[@id="q"]') print(input_first, input_second, input_third) browser.close()
這里我們使用3種方式獲取輸入框,分別是根據(jù)ID、CSS選擇器和XPath獲取,它們返回的結(jié)果完全一致。運(yùn)行結(jié)果如下:
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.564956309 6161541-1")> <selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.564956309 6161541-1")> <selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.564956309 6161541-1")>
可以看到,這3個節(jié)點(diǎn)都是WebElement類型,是完全一致的。
這里列出所有獲取單個節(jié)點(diǎn)的方法:
find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector
另外,Selenium還提供了通用方法find_element(),它需要傳入兩個參數(shù):查找方式By和值。實(shí)際上,它就是find_element_by_id()這種方法的通用函數(shù)版本,比如find_element_by_id(id)就等價于find_element(By.ID, id),二者得到的結(jié)果完全一致。我們用代碼實(shí)現(xiàn)一下:
from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() browser.get('https://www.taobao.com') input_first = browser.find_element(By.ID, 'q') print(input_first) browser.close()
實(shí)際上,這種查找方式的功能和上面列舉的查找函數(shù)完全一致,不過參數(shù)更加靈活。
多個節(jié)點(diǎn)
如果查找的目標(biāo)在網(wǎng)頁中只有一個,那么完全可以用find_element()方法。但如果有多個節(jié)點(diǎn),再用find_element()方法查找,就只能得到第一個節(jié)點(diǎn)了。如果要查找所有滿足條件的節(jié)點(diǎn),需要用find_elements()這樣的方法。注意,在這個方法的名稱中,element多了一個s,注意區(qū)分。
比如,要查找淘寶左側(cè)導(dǎo)航條的所有條目,如圖7-3所示。
圖7-3 導(dǎo)航欄
就可以這樣來實(shí)現(xiàn):
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') lis = browser.find_elements_by_css_selector('.service-bd li') print(lis) browser.close()
運(yùn)行結(jié)果如下:
[<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.0922104 4033125603-1")>, <selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-2")>, <selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d 96bfab3740d19", element="0.09221044033125603-3")>...<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-16")>]
這里簡化了輸出結(jié)果,中間部分省略。
可以看到,得到的內(nèi)容變成了列表類型,列表中的每個節(jié)點(diǎn)都是WebElement類型。
也就是說,如果我們用find_element()方法,只能獲取匹配的第一個節(jié)點(diǎn),結(jié)果是WebElement類型。如果用find_elements()方法,則結(jié)果是列表類型,列表中的每個節(jié)點(diǎn)是WebElement類型。
這里列出所有獲取多個節(jié)點(diǎn)的方法:
find_elements_by_id find_elements_by_name find_elements_by_xpath find_elements_by_link_text find_elements_by_partial_link_text find_elements_by_tag_name find_elements_by_class_name find_elements_by_css_selector
當(dāng)然,我們也可以直接用find_elements()方法來選擇,這時可以這樣寫:
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')
結(jié)果是完全一致的。
6. 節(jié)點(diǎn)交互
Selenium可以驅(qū)動瀏覽器來執(zhí)行一些操作,也就是說可以讓瀏覽器模擬執(zhí)行一些動作。比較常見的用法有:輸入文字時用send_keys()方法,清空文字時用clear()方法,點(diǎn)擊按鈕時用click()方法。示例如下:
from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://www.taobao.com') input = browser.find_element_by_id('q') input.send_keys('iPhone') time.sleep(1) input.clear() input.send_keys('iPad') button = browser.find_element_by_class_name('btn-search') button.click()
這里首先驅(qū)動瀏覽器打開淘寶,然后用find_element_by_id()方法獲取輸入框,然后用send_keys()方法輸入iPhone文字,等待一秒后用clear()方法清空輸入框,再次調(diào)用send_keys()方法輸入iPad文字,之后再用find_element_by_class_name()方法獲取搜索按鈕,最后調(diào)用click()方法完成搜索動作。
通過上面的方法,我們就完成了一些常見節(jié)點(diǎn)的動作操作,更多的操作可以參見官方文檔的交互動作介紹:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement。
7. 動作鏈
在上面的實(shí)例中,一些交互動作都是針對某個節(jié)點(diǎn)執(zhí)行的。比如,對于輸入框,我們就調(diào)用它的輸入文字和清空文字方法;對于按鈕,就調(diào)用它的點(diǎn)擊方法。其實(shí),還有另外一些操作,它們沒有特定的執(zhí)行對象,比如鼠標(biāo)拖曳、鍵盤按鍵等,這些動作用另一種方式來執(zhí)行,那就是動作鏈。
比如,現(xiàn)在實(shí)現(xiàn)一個節(jié)點(diǎn)的拖曳操作,將某個節(jié)點(diǎn)從一處拖曳到另外一處,可以這樣實(shí)現(xiàn):
from selenium import webdriver from selenium.webdriver import ActionChains browser = webdriver.Chrome() url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable' browser.get(url) browser.switch_to.frame('iframeResult') source = browser.find_element_by_css_selector('#draggable') target = browser.find_element_by_css_selector('#droppable') actions = ActionChains(browser) actions.drag_and_drop(source, target) actions.perform()
首先,打開網(wǎng)頁中的一個拖曳實(shí)例,然后依次選中要拖曳的節(jié)點(diǎn)和拖曳到的目標(biāo)節(jié)點(diǎn),接著聲明ActionChains對象并將其賦值為actions變量,然后通過調(diào)用actions變量的drag_and_drop()方法,再調(diào)用perform()方法執(zhí)行動作,此時就完成了拖曳操作,如圖7-4和圖7-5所示。
圖7-4 拖曳前的頁面
圖7-5 拖曳后的頁面
更多的動作鏈操作可以參考官方文檔:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。
8. 執(zhí)行JavaScript
對于某些操作,Selenium API并沒有提供。比如,下拉進(jìn)度條,它可以直接模擬運(yùn)行JavaScript,此時使用execute_script()方法即可實(shí)現(xiàn),代碼如下:
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.zhihu.com/explore') browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') browser.execute_script('alert("To Bottom")')
這里就利用execute_script()方法將進(jìn)度條下拉到最底部,然后彈出alert提示框。
所以說有了這個方法,基本上API沒有提供的所有功能都可以用執(zhí)行JavaScript的方式來實(shí)現(xiàn)了。
9. 獲取節(jié)點(diǎn)信息
前面說過,通過page_source屬性可以獲取網(wǎng)頁的源代碼,接著就可以使用解析庫(如正則表達(dá)式、Beautiful Soup、pyquery等)來提取信息了。
不過,既然Selenium已經(jīng)提供了選擇節(jié)點(diǎn)的方法,返回的是WebElement類型,那么它也有相關(guān)的方法和屬性來直接提取節(jié)點(diǎn)信息,如屬性、文本等。這樣的話,我們就可以不用通過解析源代碼來提取信息了,非常方便。
接下來,就看看通過怎樣的方式來獲取節(jié)點(diǎn)信息吧。
獲取屬性
我們可以使用get_attribute()方法來獲取節(jié)點(diǎn)的屬性,但是其前提是先選中這個節(jié)點(diǎn),示例如下:
from selenium import webdriver from selenium.webdriver import ActionChains browser = webdriver.Chrome() url = 'https://www.zhihu.com/explore' browser.get(url) logo = browser.find_element_by_id('zh-top-link-logo') print(logo) print(logo.get_attribute('class'))
運(yùn)行之后,程序便會驅(qū)動瀏覽器打開知乎頁面,然后獲取知乎的logo節(jié)點(diǎn),最后打印出它的class。
控制臺的輸出結(jié)果如下:
<selenium.webdriver.remote.webelement.WebElement (session="e08c0f28d7f44d75ccd50df6bb676104", element="0.723639066 0048155-1")> zu-top-link-logo
通過get_attribute()方法,然后傳入想要獲取的屬性名,就可以得到它的值了。
獲取文本值
每個WebElement節(jié)點(diǎn)都有text屬性,直接調(diào)用這個屬性就可以得到節(jié)點(diǎn)內(nèi)部的文本信息,這相當(dāng)于Beautiful Soup的get_text()方法、pyquery的text()方法,示例如下:
from selenium import webdriver browser = webdriver.Chrome() url = 'https://www.zhihu.com/explore' browser.get(url) input = browser.find_element_by_class_name('zu-top-add-question') print(input.text)
這里依然先打開知乎頁面,然后獲取“提問”按鈕這個節(jié)點(diǎn),再將其文本值打印出來。
控制臺的輸出結(jié)果如下:
提問
獲取id、位置、標(biāo)簽名和大小
另外,WebElement節(jié)點(diǎn)還有一些其他屬性,比如id屬性可以獲取節(jié)點(diǎn)id,location屬性可以獲取該節(jié)點(diǎn)在頁面中的相對位置,tag_name屬性可以獲取標(biāo)簽名稱,size屬性可以獲取節(jié)點(diǎn)的大小,也就是寬高,這些屬性有時候還是很有用的。示例如下:
from selenium import webdriver browser = webdriver.Chrome() url = 'https://www.zhihu.com/explore' browser.get(url) input = browser.find_element_by_class_name('zu-top-add-question') print(input.id) print(input.location) print(input.tag_name) print(input.size)
這里首先獲得“提問”按鈕這個節(jié)點(diǎn),然后調(diào)用其id、location、tag_name、size屬性來獲取對應(yīng)的屬性值。
10. 切換Frame
我們知道網(wǎng)頁中有一種節(jié)點(diǎn)叫作iframe,也就是子Frame,相當(dāng)于頁面的子頁面,它的結(jié)構(gòu)和外部網(wǎng)頁的結(jié)構(gòu)完全一致。Selenium打開頁面后,它默認(rèn)是在父級Frame里面操作,而此時如果頁面中還有子Frame,它是不能獲取到子Frame里面的節(jié)點(diǎn)的。這時就需要使用switch_to.frame()方法來切換Frame。示例如下:
import time from selenium import webdriver from selenium.common.exceptions import NoSuchElementException browser = webdriver.Chrome() url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable' browser.get(url) browser.switch_to.frame('iframeResult') try: logo = browser.find_element_by_class_name('logo') except NoSuchElementException: print('NO LOGO') browser.switch_to.parent_frame() logo = browser.find_element_by_class_name('logo') print(logo) print(logo.text)
控制臺的輸出如下:
NO LOGO <selenium.webdriver.remote.webelement.WebElement (session="4bb8ac03ced4ecbdefef03ffdc0e4ccd", element="0.1379261132 0464965-2")> RUNOOB.COM
這里還是以前面演示動作鏈操作的網(wǎng)頁為實(shí)例,首先通過switch_to.frame()方法切換到子Frame里面,然后嘗試獲取父級Frame里的logo節(jié)點(diǎn)(這是不能找到的),如果找不到的話,就會拋出NoSuchElementException異常,異常被捕捉之后,就會輸出NO LOGO。接下來,重新切換回父級Frame,然后再次重新獲取節(jié)點(diǎn),發(fā)現(xiàn)此時可以成功獲取了。
所以,當(dāng)頁面中包含子Frame時,如果想獲取子Frame中的節(jié)點(diǎn),需要先調(diào)用switch_to.frame()方法切換到對應(yīng)的Frame,然后再進(jìn)行操作。
11. 延時等待
在Selenium中,get()方法會在網(wǎng)頁框架加載結(jié)束后結(jié)束執(zhí)行,此時如果獲取page_source,可能并不是瀏覽器完全加載完成的頁面,如果某些頁面有額外的Ajax請求,我們在網(wǎng)頁源代碼中也不一定能成功獲取到。所以,這里需要延時等待一定時間,確保節(jié)點(diǎn)已經(jīng)加載出來。
這里等待的方式有兩種:一種是隱式等待,一種是顯式等待。
隱式等待
當(dāng)使用隱式等待執(zhí)行測試的時候,如果Selenium沒有在DOM中找到節(jié)點(diǎn),將繼續(xù)等待,超出設(shè)定時間后,則拋出找不到節(jié)點(diǎn)的異常。換句話說,當(dāng)查找節(jié)點(diǎn)而節(jié)點(diǎn)并沒有立即出現(xiàn)的時候,隱式等待將等待一段時間再查找DOM,默認(rèn)的時間是0。示例如下:
from selenium import webdriver browser = webdriver.Chrome() browser.implicitly_wait(10) browser.get('https://www.zhihu.com/explore') input = browser.find_element_by_class_name('zu-top-add-question') print(input)
這里我們用implicitly_wait()方法實(shí)現(xiàn)了隱式等待。
顯式等待
隱式等待的效果其實(shí)并沒有那么好,因?yàn)槲覀冎灰?guī)定了一個固定時間,而頁面的加載時間會受到網(wǎng)絡(luò)條件的影響。
這里還有一種更合適的顯式等待方法,它指定要查找的節(jié)點(diǎn),然后指定一個最長等待時間。如果在規(guī)定時間內(nèi)加載出來了這個節(jié)點(diǎn),就返回查找的節(jié)點(diǎn);如果到了規(guī)定時間依然沒有加載出該節(jié)點(diǎn),則拋出超時異常。示例如下:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome() browser.get('https://www.taobao.com/') wait = WebDriverWait(browser, 10) input = wait.until(EC.presence_of_element_located((By.ID, 'q'))) button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search'))) print(input, button)
這里首先引入WebDriverWait這個對象,指定最長等待時間,然后調(diào)用它的until()方法,傳入要等待條件expected_conditions。比如,這里傳入了presence_of_element_located這個條件,代表節(jié)點(diǎn)出現(xiàn)的意思,其參數(shù)是節(jié)點(diǎn)的定位元組,也就是ID為q的節(jié)點(diǎn)搜索框。
這樣可以做到的效果就是,在10秒內(nèi)如果ID為q的節(jié)點(diǎn)(即搜索框)成功加載出來,就返回該節(jié)點(diǎn);如果超過10秒還沒有加載出來,就拋出異常。
對于按鈕,可以更改一下等待條件,比如改為element_to_be_clickable,也就是可點(diǎn)擊,所以查找按鈕時查找CSS選擇器為.btn-search的按鈕,如果10秒內(nèi)它是可點(diǎn)擊的,也就是成功加載出來了,就返回這個按鈕節(jié)點(diǎn);如果超過10秒還不可點(diǎn)擊,也就是沒有加載出來,就拋出異常。
運(yùn)行代碼,在網(wǎng)速較佳的情況下是可以成功加載出來的。
控制臺的輸出如下:
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.564264629 4074107-1")> <selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.564264629 4074107-2")>
可以看到,控制臺成功輸出了兩個節(jié)點(diǎn),它們都是WebElement類型。
如果網(wǎng)絡(luò)有問題,10秒內(nèi)沒有成功加載,那就拋出TimeoutException異常,此時控制臺的輸出如下:
TimeoutException Traceback (most recent call last) <ipython-input-4-f3d73973b223> in <module>() 7 browser.get('https://www.taobao.com/') 8 wait = WebDriverWait(browser, 10) ----> 9 input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
關(guān)于等待條件,其實(shí)還有很多,比如判斷標(biāo)題內(nèi)容,判斷某個節(jié)點(diǎn)內(nèi)是否出現(xiàn)了某文字等。表7-1列出了所有的等待條件。
表7-1 等待條件及其含義
12. 前進(jìn)和后退
平常使用瀏覽器時都有前進(jìn)和后退功能,Selenium也可以完成這個操作,它使用back()方法后退,使用forward()方法前進(jìn)。示例如下:
import time from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com/') browser.get('https://www.taobao.com/') browser.get('https://www.python.org/') browser.back() time.sleep(1) browser.forward() browser.close()
這里我們連續(xù)訪問3個頁面,然后調(diào)用back()方法回到第二個頁面,接下來再調(diào)用forward()方法又可以前進(jìn)到第三個頁面。
13. Cookies
使用Selenium,還可以方便地對Cookies進(jìn)行操作,例如獲取、添加、刪除Cookies等。示例如下:
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.zhihu.com/explore') print(browser.get_cookies()) browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'}) print(browser.get_cookies()) browser.delete_all_cookies() print(browser.get_cookies())
首先,我們訪問了知乎。加載完成后,瀏覽器實(shí)際上已經(jīng)生成Cookies了。接著,調(diào)用get_cookies()方法獲取所有的Cookies。然后,我們添加一個Cookie,這里傳入一個字典,有name、domain和value等內(nèi)容。接下來,再次獲取所有的Cookies??梢园l(fā)現(xiàn),結(jié)果就多了這一項(xiàng)新加的Cookie。最后,調(diào)用delete_all_cookies()方法刪除所有的Cookies。再重新獲取,發(fā)現(xiàn)結(jié)果就為空了。
控制臺的輸出如下:
[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888 849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}] [{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849 ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}] []
14. 選項(xiàng)卡管理
在訪問網(wǎng)頁的時候,會開啟一個個選項(xiàng)卡。在Selenium中,我們也可以對選項(xiàng)卡進(jìn)行操作。示例如下:
import time from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com') browser.execute_script('window.open()') print(browser.window_handles) browser.switch_to_window(browser.window_handles[1]) browser.get('https://www.taobao.com') time.sleep(1) browser.switch_to_window(browser.window_handles[0]) browser.get('https://python.org')
控制臺的輸出如下:
['CDwindow-4f58e3a7-7167-4587-bedf-9cd8c867f435', 'CDwindow-6e05f076-6d77-453a-a36c-32baacc447df']
首先訪問了百度,然后調(diào)用了execute_script()方法,這里傳入window.open()這個JavaScript語句新開啟一個選項(xiàng)卡。接下來,我們想切換到該選項(xiàng)卡。這里調(diào)用window_handles屬性獲取當(dāng)前開啟的所有選項(xiàng)卡,返回的是選項(xiàng)卡的代號列表。要想切換選項(xiàng)卡,只需要調(diào)用switch_to_window()方法即可,其中參數(shù)是選項(xiàng)卡的代號。這里我們將第二個選項(xiàng)卡代號傳入,即跳轉(zhuǎn)到第二個選項(xiàng)卡,接下來在第二個選項(xiàng)卡下打開一個新頁面,然后切換回第一個選項(xiàng)卡重新調(diào)用switch_to_window()方法,再執(zhí)行其他操作即可。
15. 異常處理
在使用Selenium的過程中,難免會遇到一些異常,例如超時、節(jié)點(diǎn)未找到等錯誤,一旦出現(xiàn)此類錯誤,程序便不會繼續(xù)運(yùn)行了。這里我們可以使用try except語句來捕獲各種異常。
首先,演示一下節(jié)點(diǎn)未找到的異常,示例如下:
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com') browser.find_element_by_id('hello')
這里首先打開百度頁面,然后嘗試選擇一個并不存在的節(jié)點(diǎn),此時就會遇到異常。
運(yùn)行之后控制臺的輸出如下:
NoSuchElementException Traceback (most recent call last) <ipython-input-23-978945848a1b> in <module>() 3 browser = webdriver.Chrome() 4 browser.get('https://www.baidu.com') ----> 5 browser.find_element_by_id('hello')
可以看到,這里拋出了NoSuchElementException異常,這通常是節(jié)點(diǎn)未找到的異常。為了防止程序遇到異常而中斷,我們需要捕獲這些異常,示例如下:
from selenium import webdriver from selenium.common.exceptions import TimeoutException, NoSuchElementException browser = webdriver.Chrome() try: browser.get('https://www.baidu.com') except TimeoutException: print('Time Out') try: browser.find_element_by_id('hello') except NoSuchElementException: print('No Element') finally: browser.close()
這里我們使用try except來捕獲各類異常。比如,我們對find_element_by_id()查找節(jié)點(diǎn)的方法捕獲NoSuchElementException異常,這樣一旦出現(xiàn)這樣的錯誤,就進(jìn)行異常處理,程序也不會中斷了。
控制臺的輸出如下:
No Element
看完了這篇文章,相信你對Python3爬蟲中Selenium有什么用有了一定的了解,想了解更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。