nodejs中怎么利用axios實(shí)現(xiàn)一個(gè)爬蟲

這篇文章給大家介紹nodejs中怎么利用axios實(shí)現(xiàn)一個(gè)爬蟲，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

Nodejs中的axios 是標(biāo)準(zhǔn)的DOM 解析庫，采用類似于 jquery 語法的，可以直接分析數(shù)據(jù) DOM 中的相關(guān)內(nèi)容，方便簡潔的進(jìn)行數(shù)據(jù)采集，同時(shí)加上爬蟲代理IP，能夠有效避免網(wǎng)站限制，輕松實(shí)現(xiàn)數(shù)據(jù)采集。

const axios = require('axios');
 // 要訪問的目標(biāo)頁面
 const targetUrl = "https://www.baidu.com";
 // 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn)
 const proxyHost = "t.16yun.cn";
 const proxyPort = 31111;
 // 代理驗(yàn)證信息
 const proxyUser = "username";
 const proxyPass = "password";
 var proxy = {
     host: proxyHost,
     port: proxyPort,
     auth: {
         username: proxyUser,
         password: proxyPass
     }
 };
 axios.get(targetUrl,{proxy:proxy})
     .then(function (response) {
         // handle success
         console.log(response.data);
     })
     .catch(function (error) {
         // handle error
         console.log(error);
     })
     .finally(function () {
         // always executed
     })

關(guān)于nodejs中怎么利用axios實(shí)現(xiàn)一個(gè)爬蟲就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。