nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法

發(fā)布時間：2020-10-16 16:27:47 來源：腳本之家閱讀：242 作者：意外金喜欄目：web開發(fā)

我在網(wǎng)上了解了一下nodejs中sleep功能,搜索了很多關(guān)于nodejs中sleep功能介紹,下面我來記錄一下,有需要了解的朋友可參考。希望此文章對各位有所幫助。

一背景

在使用nodejs爬蟲的時候,經(jīng)常會遇到別人的網(wǎng)站對頻率的反爬機(jī)制,這個時候如果不做處理程序就會掛掉,重新啟動也會繼續(xù)被屏蔽.這個問題怎么解決呢,我的想法就是程序暫停10分鐘或者更長的時間,繼續(xù)爬取.

二方法

其實(shí)使用setTimeout就可以實(shí)現(xiàn),只是nodejs異步已經(jīng)很金字塔了,再加一層會更恐怖,所以本文使用nodejs的第三方模塊async來實(shí)現(xiàn),async的目的就是讓多個異步的程序,按照開發(fā)者想要的順序來執(zhí)行,代碼書寫符合同步風(fēng)格,其實(shí)運(yùn)行還是異步的,也解決了回調(diào)金字塔的問題.

async基礎(chǔ)使用 :https://www.jb51.net/article/118526.htm

三正常代碼

訪問3個網(wǎng)站,百度,優(yōu)酷,騰訊為例.不暫停的代碼.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('訪問3個網(wǎng)站時間統(tǒng)計'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度訪問結(jié)果: " + res.statusCode);  
  callback(null); 
 }).on('error', function(e) {  
  console.log("百度訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) { 
  console.log("優(yōu)酷訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("騰訊訪問結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("騰訊訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('訪問3個網(wǎng)站時間統(tǒng)計'); 
 if(err) return console.log(err); 
 console.log('全部訪問成功'); 
})

四測試

nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法

執(zhí)行訪問網(wǎng)站需要時間,3個網(wǎng)站訪問時間統(tǒng)計254ms.

五暫停代碼

比如,訪問第一個網(wǎng)站后暫停5秒,訪問第二個網(wǎng)站后暫停10秒.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('訪問3個網(wǎng)站時間統(tǒng)計'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度訪問結(jié)果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 5000); 
 }).on('error', function(e) {  
  console.log("百度訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 10000); 
 }).on('error', function(e) { 
  console.log("優(yōu)酷訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("騰訊訪問結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("騰訊訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('訪問3個網(wǎng)站時間統(tǒng)計'); 
 if(err) return console.log(err); 
 console.log('全部訪問成功'); 
})

六測試

nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法

從打印中能看得出,訪問第二個網(wǎng)站等待了5秒,訪問第三個網(wǎng)站等待了10秒.OK!

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽