python爬取js請求的方法

發(fā)布時間：2020-07-24 11:43:52 來源：億速云閱讀：162 作者：清晨欄目：編程語言

這篇文章將為大家詳細(xì)講解有關(guān)python爬取js請求的方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

網(wǎng)頁的新聞在HTML源碼中一條都找不到，全是由JS動態(tài)生成加載。

遇到這種情況，我們應(yīng)該如何對網(wǎng)頁進行爬取呢？有兩種方法：

1、從網(wǎng)頁響應(yīng)中找到JS腳本返回的JSON數(shù)據(jù)；

2、使用Selenium對網(wǎng)頁進行模擬訪問

從網(wǎng)頁響應(yīng)中找到JS腳本返回的JSON數(shù)據(jù)

即使網(wǎng)頁內(nèi)容是由JS動態(tài)生成加載的，JS也需要對某個接口進行調(diào)用，并根據(jù)接口返回的JSON數(shù)據(jù)再進行加載和渲染。

所以我們可以找到JS調(diào)用的數(shù)據(jù)接口，從數(shù)據(jù)接口中找到網(wǎng)頁中最后呈現(xiàn)的數(shù)據(jù)。

關(guān)于python爬取js請求的方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

猜你喜歡