溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何使用Selenium操作谷歌瀏覽器抓取多頁(yè)的數(shù)據(jù)并將結(jié)果保存到CSV文件中

發(fā)布時(shí)間：2021-12-18 10:41:13 來(lái)源：億速云 閱讀：468 作者：小新 欄目：大數(shù)據(jù)

這篇文章給大家分享的是有關(guān)如何使用Selenium操作谷歌瀏覽器抓取多頁(yè)的數(shù)據(jù)并將結(jié)果保存到CSV文件中的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

首先我們查看被抓取的網(wǎng)址中一共包含了5頁(yè)內(nèi)容：

如何使用Selenium操作谷歌瀏覽器抓取多頁(yè)的數(shù)據(jù)并將結(jié)果保存到CSV文件中

我們修改上一篇文章的代碼來(lái)實(shí)現(xiàn)今天的功能，接下來(lái)開(kāi)始：

#導(dǎo)入包from selenium import webdriverimport csv#定義分頁(yè)總數(shù)MAX_PAGE_NUM = 5#定義分頁(yè)數(shù)字位數(shù)MAX_PAGE_DIG = 3
#打開(kāi)谷歌瀏覽器 并訪問(wèn)要抓取數(shù)據(jù)的地址#注意：驅(qū)動(dòng)chromedriver.exe與改python文件在同一個(gè)目錄driver = webdriver.Chrome('chromedriver.exe') 
#創(chuàng)建csv文件進(jìn)行寫入csv_file = open('results.csv', 'w')csv_writer = csv.writer(csv_file)#寫入csv標(biāo)題頭內(nèi)容csv_writer.writerow(['購(gòu)買者', '商品價(jià)格'])for i in range(1, MAX_PAGE_NUM + 1):  #獲取分頁(yè)url中的數(shù)字內(nèi)容:001 002...004 005  page_num = (MAX_PAGE_DIG - len(str(i))) * "0" + str(i)  url = "http://econpy.pythonanywhere.com/ex/" + page_num + ".html"  driver.get(url)  # 使用xpath找到購(gòu)買者和商品價(jià)格元素列表  buyers = driver.find_elements_by_xpath('//div[@title="buyer-name"]')  prices = driver.find_elements_by_xpath('//span[@class="item-price"]')  # 打印所有信息  num_page_items = len(buyers)  for i in range(num_page_items):    #數(shù)據(jù)寫入csv文件    csv_writer.writerow([buyers[i].text, prices[i].text])#完成任務(wù)后 關(guān)閉瀏覽器driver.close()

運(yùn)行后會(huì)生成一個(gè)results.csv文件內(nèi)容截圖為：

如何使用Selenium操作谷歌瀏覽器抓取多頁(yè)的數(shù)據(jù)并將結(jié)果保存到CSV文件中

過(guò)程為運(yùn)行程序-打開(kāi)谷歌瀏覽器-一次訪問(wèn)每個(gè)分頁(yè)的地址然后抓取數(shù)據(jù)保存到csv文件中-關(guān)閉瀏覽器完成。

感謝各位的閱讀！關(guān)于“如何使用Selenium操作谷歌瀏覽器抓取多頁(yè)的數(shù)據(jù)并將結(jié)果保存到CSV文件中”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手