溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)

發(fā)布時間：2021-12-18 10:48:54 來源：億速云 閱讀：199 作者：小新 欄目：大數(shù)據(jù)

小編給大家分享一下web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

Selenium是一個基于Web的開源自動化工具。Python使用Selenium用于自動化測試。 特點是易于使用。Selenium可以將標準Python命令發(fā)送到不同的瀏覽器，盡管它們的瀏覽器設(shè)計有所不同。

使用Selenium自動打開谷歌瀏覽器然后訪問地址http://econpy.pythonanywhere.com/ex/001.html，并將改頁面中的購買者姓名和商品價格抓取下來打印，然后自動關(guān)閉瀏覽器的操作。

分析頁面源代碼可知 購買者姓名和商品價格的html代碼信息如下：

web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)

使用Selenium自動打開谷歌瀏覽器的時候需要下載谷歌的驅(qū)動程序，我的谷歌瀏覽器版本為74：

web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)

所以我們訪問驅(qū)動程序下載地址：

https://sites.google.com/a/chromium.org/chromedriver/downloads

進行下載：

web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)

然后我們要使用Selenium 需要進行安裝，這里使用pip install selenium。

接下來開始編碼部分：

#導(dǎo)入包from selenium import webdriver#打開谷歌瀏覽器 并訪問要抓取數(shù)據(jù)的地址#注意：驅(qū)動chromedriver.exe與改python文件在同一個目錄driver = webdriver.Chrome('chromedriver.exe') driver.get("http://econpy.pythonanywhere.com/ex/001.html")# 使用xpath找到購買者和商品價格元素列表buyers = driver.find_elements_by_xpath('//div[@title="buyer-name"]')prices = driver.find_elements_by_xpath('//span[@class="item-price"]')
# 打印所有信息num_page_items = len(buyers)for i in range(num_page_items):    print(buyers[i].text + " : " + prices[i].text)
#完成任務(wù)后 關(guān)閉瀏覽器driver.close()

運行結(jié)果部分內(nèi)容為：

Carson Busses : $29.95Earl E. Byrd : $8.37Patty Cakes : $15.26Derri Anne Connecticut : $19.25Moe Dess : $19.25Leda Doggslife : $13.99Dan Druff : $31.57Al Fresco : $8.49。。。。。。

我簡單錄制了一下運行過程，由于單手操作錄制，畫面抖動，大家對付觀看一下，過程為：運行程序，自動打開谷歌瀏覽器，訪問地址，抓取數(shù)據(jù)打印，關(guān)閉瀏覽器完成

看完了這篇文章，相信你對“web爬蟲中怎么用Selenium操作瀏覽器抓數(shù)據(jù)”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問一下細節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手