您好,登錄后才能下訂單哦!
這篇文章主要介紹了scrapy框架怎么python爬蟲中找尋下一頁,具有一定借鑒價值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
實(shí)現(xiàn)自動翻頁一般有兩種方法:
在當(dāng)前頁面中找到下一頁的地址;
自己根據(jù)URL的變化規(guī)律構(gòu)造所有頁面地址。
一般情況下我們使用第一種方法,第二種方法適用于頁面的下一頁地址為JS加載的情況。
觀察頁面的網(wǎng)頁源碼后可以得到,直接拼接URL即可得到下一頁的鏈接。
再次運(yùn)行結(jié)果,打開douban.csv。是不是發(fā)現(xiàn)所有的影片信息都獲取到了,250個一個不多一個不少
最后,利用Excel的篩選功能你可以篩選任意符合你要求的影片。(PS:Excel可以直接打開csv進(jìn)行操作)
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享scrapy框架怎么python爬蟲中找尋下一頁內(nèi)容對大家有幫助,同時也希望大家多多支持億速云,關(guān)注億速云行業(yè)資訊頻道,遇到問題就找億速云,詳細(xì)的解決方法等著你來學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。