node爬取新型冠狀病毒的疫情實(shí)時(shí)動(dòng)態(tài)

npm config set registry http://registry.npm.taobao.org/
npm install -g cheerio
npm i -g puppeteer
npm i -g fs
npm i -g cron

npm install cnpm -g --registry=https://registry.npm.taobao.org/
cnpm install -g cheerio
cnpm i -g puppeteer
cnpm i -g fs
cnpm i -g cron

const puppeteer = require('puppeteer');
 
(async () => {
 const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});  //啟動(dòng)瀏覽器實(shí)例
  /* puppeteer.launch()的可選參數(shù)如下：
  headless: 是否打開(kāi)瀏覽器，默認(rèn)為true
  ignoreHTTPSErrors: 是否忽略https錯(cuò)誤，默認(rèn)為true
  executablePath: 配置要調(diào)用瀏覽器的可執(zhí)行路徑，默認(rèn)是同Puppeteer一起安裝的Chromeium
  slowMo：指定的毫秒延緩Puppeteer的操作
  args：設(shè)置瀏覽器的相關(guān)參數(shù)，比如是否啟動(dòng)沙箱模式“--no-sandbox”，是否更換代理“--proxy-server”，
  */
 const page = await browser.newPage();  //新建頁(yè)面
 await page.goto('https://ncov.dxy.cn/');  //訪(fǎng)問(wèn)目標(biāo)網(wǎng)頁(yè)：丁香醫(yī)生
 await page.screenshot({  //進(jìn)行截圖
  path: 'p1.png',
  type: 'png',
  // quality: 100, 只對(duì)jpg有效
  // 指定區(qū)域截圖，clip和fullPage兩者只能設(shè)置一個(gè)
  // fullPage: true,
  clip: {
   x: 0,
   y: 0,
   width: 1000,
   height: 1000
  }
 });
 browser.close();  //關(guān)閉瀏覽器
})();

const puppeteer = require('puppeteer');
 
(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://ncov.dxy.cn/');
 //page.frames() 獲取當(dāng)前頁(yè)面所有的 iframe，然后根據(jù) iframe 的名字精確獲取某個(gè)想要的 iframe
 const frame = await page.mainFrame();
 const bodyHandle = await frame.$('html');  //獲取所有的html
 //frame.evaluate()在瀏覽器中執(zhí)行函數(shù)，相當(dāng)于在控制臺(tái)中執(zhí)行函數(shù)，返回一個(gè)Promise
 const html = await frame.evaluate(body=>body.innerHTML,bodyHandle);
 await bodyHandle.dispose();
 browser.close();
 console.log(html);
})();

// 使用cheerio模塊裝載我們得到的頁(yè)面源代碼,返回的是一個(gè)類(lèi)似于jquery中的$對(duì)象
// 使用這個(gè)$對(duì)象就像操作jquery對(duì)象一般去操作我們獲取得到的頁(yè)面的源代碼
var $ = cheerio.load(html);
var $menu_box = $(".statistics___1cFUQ");
console.log($menu_box.html());

/* fs.wirteFile有三個(gè)參數(shù)
  * 1,第一個(gè)參數(shù)是要寫(xiě)入的文件路徑
  * 2,第二個(gè)參數(shù)是要寫(xiě)入得內(nèi)容
  * 3,第三個(gè)參數(shù)是可選參數(shù),表示要寫(xiě)入的文件編碼格式,一般就不寫(xiě),默認(rèn)就行
  * 4,第四個(gè)參數(shù)是個(gè)回調(diào)函數(shù) 只有一個(gè)參數(shù)error,來(lái)判斷是否寫(xiě)入成功
  */
fs.writeFile("./coronavirus.php",$menu_box.html(),error=>{
  if(error) return console.log("寫(xiě)入文件失敗,原因是:"+error.message);
  console.log('寫(xiě)入成功');
});

<div id="header-bg">
  <style type="text/css">
    .title___2d1_B img {
      width: 18px;
      height: 18px;
      cursor:pointer;
    }
    #novel_coronavirus {
      text-align: center;
      position:relative;
      top:50px;
      background-color:rgba(255,255,255,0.7);
    }
    #novel_coronavirus li {
      margin: 10px;
      padding:2px;
      border:1px slide #000;
    }
    #novel_coronavirus ul li { 
      list-style:none;
      display: inline-block;
    }
    .count___3GCdh p{
      font-size:12px;
    }
    .count___3GCdh span{
      font-size:20px;
    }
  </style>
  <div id="novel_coronavirus" > 
    <strong><p >新型冠狀病毒疫情實(shí)時(shí)動(dòng)態(tài)</p></strong>
    <?php require("./test/coronavirus.php");?>
  </div>
</div>

const cheerio = require('cheerio');
const puppeteer = require('puppeteer');
const fs = require('fs');
var cronJob = require('cron').CronJob;
new cronJob('0 */1 * * * *',function(){
 update();
},null,true);  //每分鐘執(zhí)行一次
//爬取全國(guó)新型肺炎疫情實(shí)時(shí)動(dòng)態(tài)并寫(xiě)入到指定的.php文件
function update() {
 (async () => {
  const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});
  const page = await browser.newPage();
  await page.goto('https://ncov.dxy.cn/');
  const frame = await page.mainFrame();
  const bodyHandle = await frame.$('html');
  const html = await frame.evaluate(body=>body.innerHTML,bodyHandle);
  await bodyHandle.dispose();
  browser.close();
  var $ = cheerio.load(html);
  var $menu_box = $(".statistics___1cFUQ");
  fs.writeFile("coronavirus.php",$menu_box.html(),error=>{
   if(error) {
    console.log("寫(xiě)入文件失敗,原因是:"+error.message);
   } else { 
    console.log('更新成功');
   }
  });
 })();
}