怎么用node抓取寶可夢(mèng)圖鑒并生成Excel文件

本文小編為大家詳細(xì)介紹“怎么用node抓取寶可夢(mèng)圖鑒并生成Excel文件”，內(nèi)容詳細(xì)，步驟清晰，細(xì)節(jié)處理妥當(dāng)，希望這篇“怎么用node抓取寶可夢(mèng)圖鑒并生成Excel文件”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來(lái)學(xué)習(xí)新知識(shí)吧。

爬取數(shù)據(jù)

既然是爬取數(shù)據(jù)，那我們先找一個(gè)有寶可夢(mèng)圖鑒數(shù)據(jù)的網(wǎng)頁(yè)：

這個(gè)網(wǎng)站是用PHP寫的，前后沒(méi)有做分離，所以我們不會(huì)讀接口來(lái)捕獲數(shù)據(jù)，我們使用 crawler 庫(kù)，來(lái)捕獲網(wǎng)頁(yè)中的元素從而得到數(shù)據(jù)。提前說(shuō)明一下，用 crawler 庫(kù)，好處是你可以用 jQuery 的方式在Node環(huán)境中捕獲元素。

安裝：

yarn add crawler

實(shí)現(xiàn)：

const Crawler = require("crawler");
const fs = require("fs")
const { resolve } = require("path")

let crawler = new Crawler({
    timeout: 10000,
    jQuery: true,
});

let crawler = new Crawler({
    timeout: 10000,
    jQuery: true,
});

function getPokemon() {
    let uri = "" // 寶可夢(mèng)圖鑒地址
    let data = []
    return new Promise((resolve, reject) => {
        crawler.queue({
            uri,
            callback: (err, res, done) => {
                if (err) reject(err);
                let $ = res.$;
                try {
                    let $tr = $(".roundy.eplist tr");
                    $tr.each((i, el) => {
                        let $td = $(el).find("td");
                        let _code = $td.eq(1).text().split("\n")[0]
                        let _name = $td.eq(3).text().split("\n")[0]
                        let _attr = $td.eq(4).text().split("\n")[0]
                        let _other = $td.eq(5).text().split("\n")[0]
                        _attr = _other.indexOf("屬性") != -1 ? _attr : `${_attr}+${_other}`
                        if (_code) {
                            data.push([_code, _name, _attr])
                        }
                    })
                    done();
                    resolve(data)
                } catch (err) {
                    done()
                    reject(err)
                }

            }
        })
    })
}

在生成實(shí)例的時(shí)候，還需要開(kāi)啟 jQuery 模式，然后，就可以使用 $ 符了。而以上代碼的中間部分的業(yè)務(wù)就是在捕獲元素爬取網(wǎng)頁(yè)中所需要的數(shù)據(jù)，使用起來(lái)和 jQuery API 一樣，這里就不再贅述了 。

getPokemon().then(async data => {
    console.log(data)
})

最后我們可以執(zhí)行并打印一下傳過(guò)來(lái)的 data 數(shù)據(jù)，來(lái)驗(yàn)證確實(shí)爬取到了格式也沒(méi)有錯(cuò)誤。

寫入Excel

既然剛才已經(jīng)爬取到數(shù)據(jù)了，接下來(lái)，我們就將使用 node-xlsx 庫(kù)，來(lái)完成把數(shù)據(jù)寫入并生成一個(gè) Excel 文件中。

首先，我們先介紹一下，node-xlsx 是一個(gè)簡(jiǎn)單的 excel 文件解析器和生成器。由 TS 構(gòu)建的一個(gè)依靠 SheetJS xlsx 模塊來(lái)解析/構(gòu)建 excel 工作表，所以，在一些參數(shù)配置上，兩者可以通用。

安裝：

yarn add node-xlsx

實(shí)現(xiàn)：

const xlsx = require("node-xlsx")

getPokemon().then(async data => {
    let title = ["編號(hào)", "寶可夢(mèng)", "屬性"]
    let list = [{
        name: "關(guān)都",
        data: [
            title,
            ...data
        ]
    }];
    const sheetOptions = { '!cols': [{ wch: 15 }, { wch: 20 }, { wch: 20 }] };
    const buffer = await xlsx.build(list, { sheetOptions })
    try {
        await fs.writeFileSync(resolve(__dirname, "data/pokemon.xlsx"), buffer, "utf8")
    } catch (error) { }
})

其 name 則是Excel文件中的欄目名，而其中的 data 類型是數(shù)組其也要傳入一個(gè)數(shù)組，構(gòu)成二維數(shù)組，其表示從 ABCDE.... 列中開(kāi)始排序傳入文本。同時(shí)，可以通過(guò)!cols來(lái)設(shè)置列寬。第一個(gè)對(duì)象wch:10  則表示 第一列寬度為10 個(gè)字符，還有很多參數(shù)可以設(shè)置，可以參照 xlsx 庫(kù) 來(lái)學(xué)習(xí)這些配置項(xiàng)。

最后，我們通過(guò) xlsx.build 方法來(lái)生成 buffer 數(shù)據(jù)，最后用 fs.writeFileSync 寫入或創(chuàng)建一個(gè) Excel 文件中，為了方便查看，我這里存入了 名叫 data 的文件夾里，此時(shí)，我們?cè)?data 文件夾 就會(huì)發(fā)現(xiàn)多出一個(gè)叫 pokemon.xlsx 的文件，打開(kāi)它，數(shù)據(jù)還是那些，這樣把數(shù)據(jù)寫入到Excel的這步操作就完成了。

讀取Excel

讀取Excel其實(shí)非常容易甚至不用寫  fs 的讀取， 用xlsx.parse 方法傳入文件地址就能直接讀取到。

xlsx.parse(resolve(__dirname, "data/pokemon.xlsx"));

當(dāng)然，我們?yōu)榱蓑?yàn)證準(zhǔn)確無(wú)誤，直接寫一個(gè)接口，看看能不能訪問(wèn)到數(shù)據(jù)。為了方便我直接用 express 框架來(lái)完成這件事。

先來(lái)安裝一下：

yarn add express

然后，再創(chuàng)建  express 服務(wù)，我這里端口號(hào)就用3000了，就寫一個(gè) GET 請(qǐng)求把讀取Excel文件的數(shù)據(jù)發(fā)送出去就好。

const express = require("express")
const app = express();
const listenPort = 3000;

app.get("/pokemon",(req,res)=>{
    let data = xlsx.parse(resolve(__dirname, "data/pokemon.xlsx"));
    res.send(data)
})

app.listen(listenPort, () => {
    console.log(`Server running at http://localhost:${listenPort}/`)
})

最后，我這里用 postman 訪問(wèn)接口，就可以清楚的看到，我們從爬取到存入表格所有的寶可夢(mèng)數(shù)據(jù)都接收到了。

讀到這里，這篇“怎么用node抓取寶可夢(mèng)圖鑒并生成Excel文件”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識(shí)點(diǎn)還需要大家自己動(dòng)手實(shí)踐使用過(guò)才能領(lǐng)會(huì)，如果想了解更多相關(guān)內(nèi)容的文章，歡迎關(guān)注億速云行業(yè)資訊頻道。