溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
使用selenium和PhantomJS來模擬瀏覽器點擊下一頁，獲取頁面數(shù)據(jù)進行抓取分析
用python寫爬蟲的時候，主要用的是selenium的Webdriver來獲取頁面數(shù)據(jù)
使用webdriver需要安裝對應瀏覽器的driver，并加入到環(huán)境變量中
from selenium import webdriver
driver = webdriver.PhantomJS() 使用PhantomJS瀏覽器創(chuàng)建瀏覽器對象
driver.get("https://www.douyu.com/directory/all") 使用get方法加載頁面
driver.find_element_by_class_name("shark-pager-next").click() class="shark-pager-next"是下一頁按鈕，click() 是模擬點擊
利用BeatuifulSoup 對頁面信息進行提取
模擬點擊時需要安裝 https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-windows.zip
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
