使用aardio抓取網(wǎng)頁數(shù)據(jù)

項目說明：【抓取網(wǎng)頁數(shù)據(jù)】

項目介紹：
采集指定網(wǎng)頁內(nèi)容，通過模式匹配匹配到要采集的數(shù)據(jù)格式返回到數(shù)組中

項目步驟：
1.創(chuàng)建匹配模式表
2.請求網(wǎng)頁連接
3.過濾文本,并對數(shù)據(jù)去重處理
4.顯示結(jié)果

效果展示：   

完整代碼：

    import console; 
/*
項目說明：【抓取網(wǎng)頁數(shù)據(jù)】
項目介紹：
    采集指定網(wǎng)頁內(nèi)容，通過模式匹配匹配到要采集的數(shù)據(jù)格式返回到數(shù)組中
項目步驟：
    1.創(chuàng)建匹配模式表
    2.請求網(wǎng)頁連接
    3.過濾文本,并對數(shù)據(jù)去重處理
    4.顯示結(jié)果
*/
//參考來源：http://bbs.aardio.com/forum.php?mod=viewthread&tid=11218&extra=page%3D1

import web.rest.jsonClient;

var httpUrl="http://www.meijumi.vip/usa/katong/5754.html";

//1.獲取用于查找的模式匹配數(shù)組
var parttern = {};
table.push(parttern, `ed2k\://[^\s"']+`);

//2.請求網(wǎng)頁鏈接
var http = web.rest.jsonClient();
var magnet = http.api(httpUrl,,parttern);
var urls = magnet.get();

//console.log("采集到的數(shù)據(jù)列表：");
//for(k,v in urls){ 
//  console.log(k, v);
//}

//3.過濾文本,并對數(shù)據(jù)去重處理
var resultStr="";
if(urls){
    var f = `S01E`;//過濾文本
    if(#f){
        //篩選結(jié)果
        urls = table.filter(urls, function(v){
            return string.find(v,f); 
        })  

        urls = table.unique(urls);//數(shù)組去重
    } 
    //提取結(jié)果
    resultStr = string.join(urls,'\r\n');//將字符串數(shù)組使用指定的分隔符合并為一個字符串   
}

//4.顯示結(jié)果
console.log("采集結(jié)果：", resultStr)

console.pause(true);