Node爬取大批量文件的方法示例

const cheerio = require("cheerio"); //用于處于HTML文檔流，用法類似jQuery
const http = require("http"); //用于發(fā)起請求
const fs = require("fs"); //用于檢測、寫入文件等其他文件操作

// "http://www.compassedu.hk/sitemap1.txt",
// "http://www.compassedu.hk/sitemap2.txt", //重復的鏈接
var source = [ //Robots.txt顯示的數(shù)據(jù)源
  "http://m.compassedu.hk/sitemap3.txt",
  "http://m.compassedu.hk/sitemap4.txt",
  "http://m.compassedu.hk/sitemap6.txt",
  "http://m.compassedu.hk/sitemap7.txt",
  "http://m.compassedu.hk/sitemap8.txt"
]
var s = 0; //控制源的序號
var arr = []; //合并的下載地址數(shù)組
var sou = []; //源下載地址數(shù)組
var i = 0; //當前下載地址數(shù)組序號

fs.exists(__dirname+"/compassedu", function(flag){ //下載路徑檢測
  if(!flag) fs.mkdirSync(__dirname+"/compassedu"); //創(chuàng)建下載存放目錄
})
fs.exists(__dirname+"/logs", function(flag){ //日志路徑檢測
  if(!flag) fs.mkdirSync(__dirname+"/logs"); //創(chuàng)建日志存放目錄
})

if(fs.existsSync(__dirname+"/logs/compassedu_backup")){ //是否存在斷連恢復下載的控制文檔
  let obj = JSON.parse(fs.readFileSync(__dirname+"/logs/compassedu_backup")); //存在則讀取上次下載的位置
  i = obj.index;
  init(); //開始初始化程序
}
else{
  init(); //開始初始化程序
}

function init(){ //初始化
  http.get(source[s], function(res){ //獲取源下載地址文件

    //將源文件的內(nèi)容存儲到數(shù)組
    let rawData = "";
    res.setEncoding("utf8");
    res.on("data", function(chunk){ //監(jiān)聽數(shù)據(jù)流
      rawData += chunk;
    });
    res.on("end", function(){ //監(jiān)聽結束
      sou[s] = rawData.split("\n");
      console.log("源", s+1, ": ", sou[s].length, "條數(shù)據(jù)");
      s++;
      if(s<source.length){ //源文件還未讀取完
        init();
      }
      else{ //源文件讀取完畢
        for(let m=0;m<sou.length;m++){ //將所有的地址數(shù)組合并
          arr = arr.concat(sou[m]);
        }
        arr = [...new Set(arr)]; //去重
        console.log("總計: ", arr.length, "條數(shù)據(jù)", "\n爬蟲配置完畢!!\n開始爬取 >>");
        start(); //開始爬取程序
      }
    });
  })
}

function start(){ //開始
  let url = arr[i];
  console.log(url); //打印當前爬取的URL
  
  http.get(url,function(res){ //發(fā)起請求
    let obj = { //將當前的信息存儲到對象中
     "time": new Date().toLocaleTimeString(),
      "index": i,
      "url": url,
      "status": res.statusCode
    };
    fs.appendFileSync("./logs/download.log", JSON.stringify(obj), "utf8"); //寫入日志文件
    fs.writeFileSync("./logs/compassedu_backup", JSON.stringify({"index": i}), "utf8"); //將當前的下載URL序號寫入斷連恢復文件
    //讀取請求到的數(shù)據(jù)流
    let rawData = "";
    res.setEncoding("utf8");
    res.on("data", function(chunk){ //監(jiān)聽數(shù)據(jù)流事件
      rawData += chunk;
    });
    res.on("end", function(){ //監(jiān)聽結束事件
      $ = cheerio.load(rawData); //啟用類jQuery插件
      title = $(".container-public h2").text().replace(/\s/,"").trim(); //讀取數(shù)據(jù)流部分的標題
      body = $(".container-public").html(); //讀取數(shù)據(jù)流部分的內(nèi)容
      body = body.split("visible-xs")[0]; //剝離多于的數(shù)據(jù)或其他處理，準備寫入文件
      i++; //序號+1
      fs.writeFile(__dirname+"/compassedu/"+title+".html", body, "utf8", function(err){ //將處理好的數(shù)據(jù)寫入文件
        if(!err) console.log(title, "寫入成功");
        else{
          console.log(err);
        }
      });
      if(i>=arr.length) { //若序號達到數(shù)組的最后，結束程序
        console.log("爬取結束");
        fs.unlinkSync("./logs/compassedu_backup");//爬取結束，銷毀斷連恢復文件
        return;
      }
      else { //否則遞歸運行
        start();
      }
    });
    res.on("error", function(err){ //監(jiān)聽其他錯誤
      console.log(err);
    });
  })
}