Node.js中怎么爬取豆瓣數(shù)據(jù)

發(fā)布時(shí)間：2021-06-17 11:55:44 來源：億速云閱讀：122 作者：小新欄目：web開發(fā)

小編給大家分享一下Node.js中怎么爬取豆瓣數(shù)據(jù)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

1、需要解決的問題

2、搭建服務(wù)

搭建服務(wù)有好幾種方式，一開始我用的http，但是http有個(gè)弊端就是不能解析https協(xié)議的url，所以就用了express，解析https協(xié)議的網(wǎng)址我用了request包，豆瓣的網(wǎng)址是https的，

今天爬取的是https://movie.douban.com/chart這個(gè)網(wǎng)址；如下圖，我要獲取的有三個(gè)部分，圖片、電影名字、電影鏈接.

Node.js中怎么爬取豆瓣數(shù)據(jù)

3、怎么處理爬到的數(shù)據(jù)

我們用request爬到的數(shù)據(jù)，怎么處理呢？cheerio包可以讓我們像Jq那樣處理爬到的html數(shù)據(jù)。

①、首先解析數(shù)據(jù)，取到爬取網(wǎng)頁的html數(shù)據(jù)；

Node.js中怎么爬取豆瓣數(shù)據(jù)

②、然后利用cheerio包操作爬到的數(shù)據(jù)，取到你想要的數(shù)據(jù)。

Node.js中怎么爬取豆瓣數(shù)據(jù)

③、取到數(shù)據(jù)，創(chuàng)建html，輸出到頁面。如下圖，我用的字符串拼接，辦法有點(diǎn)笨，還沒有找到更好的辦法。

Node.js中怎么爬取豆瓣數(shù)據(jù)

4、怎么自動(dòng)打開默認(rèn)瀏覽器

不知道你有沒有看vue-cli中webpack的配置，自動(dòng)打開瀏覽器，vue-cli用的opn包.

Node.js中怎么爬取豆瓣數(shù)據(jù)

這個(gè)包用起來很方便，引入包，直接調(diào)用opn（url）即可；

5、展示

Node.js中怎么爬取豆瓣數(shù)據(jù)

以上是“Node.js中怎么爬取豆瓣數(shù)據(jù)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

猜你喜歡