python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法

這篇文章給大家分享的是有關(guān)python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

我們?cè)谧鼍W(wǎng)頁抓取的時(shí)候，一般來說使用urllib和urllib2就能滿足大部分需求。

但是有時(shí)候我們遇見那種使用js動(dòng)態(tài)加載的網(wǎng)頁。就會(huì)發(fā)現(xiàn)urllib只能抓出一個(gè)部分內(nèi)容空白的網(wǎng)頁。就像下面百度圖片的結(jié)果頁：

審查元素之后，發(fā)現(xiàn)百度圖片中，顯示圖片的div為：pullimages

這個(gè)div里面的內(nèi)容是動(dòng)態(tài)加載的。而使用urllib&urllib2是抓取不到的。

要抓取動(dòng)態(tài)加載的元素，首先考慮使用selenium來調(diào)用瀏覽器進(jìn)行抓取。

而我們運(yùn)行的環(huán)境是linux，最理想的方法是在無界面情況下進(jìn)行抓取，所以使用selenium+phantomjs來進(jìn)行無界面抓取。

phantomjs是什么呢？它是一個(gè)基于webkit內(nèi)核的無頭瀏覽器，即沒有UI界面，即它就是一個(gè)瀏覽器。

selenium和phantomjs的安裝配置可以google，這里就略過不談了。

代碼如下：

from selenium import webdriver
driver = webdriver.PhantomJS(executable_path='/bin/phantomjs/bin/phantomjs')
#如果不方便配置環(huán)境變量。就使用phantomjs的絕對(duì)路徑也可以
driver.get('http://image.baidu.com/i?ie=utf-8&word=%E5%91%A8%E6%9D%B0%E4%BC%A6')
#抓取了百度圖片，query：周杰倫
driver.page_source 
#這就是返回的頁面內(nèi)容了，與urllib2.urlopen().read()的效果是類似的，但比urllib2強(qiáng)在能抓取到動(dòng)態(tài)渲染后的內(nèi)容。
driver.quit()

到這里。就抓取動(dòng)態(tài)頁面成功了。

感謝各位的閱讀！關(guān)于python獲取js動(dòng)態(tài)加載數(shù)據(jù)的方法就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！