您好,登錄后才能下訂單哦!
本文介紹了Node.js爬蟲之網(wǎng)頁請(qǐng)求模塊,分享給大家,具體如下:
注:如您下載最新的nodegrass版本,由于部分方法已經(jīng)更新,本文的例子已經(jīng)不再適應(yīng),詳細(xì)請(qǐng)查看開源地址中的例子。
一、為什么我要寫這樣一個(gè)模塊?
源于筆者想使用Node.js寫一個(gè)爬蟲,雖然Node.js官方API提供的請(qǐng)求遠(yuǎn)程資源的方法已經(jīng)非常簡(jiǎn)便,具體參考
http://nodejs.org/api/http.html 其中對(duì)于Http的請(qǐng)求提供了,http.get(options, callback)和http.request(options, callback)兩個(gè)方法,
看方法便知,get方法用于get方式的請(qǐng)求,而request方法提供更多的參數(shù),例如其它請(qǐng)求方式,請(qǐng)求主機(jī)的端口等等。對(duì)于Https的請(qǐng)求于Http類似。一個(gè)最簡(jiǎn)單的例子:
var https = require('https'); https.get('https://encrypted.google.com/', function(res) { console.log("statusCode: ", res.statusCode); console.log("headers: ", res.headers); res.on('data', function(d) { process.stdout.write(d); }); }).on('error', function(e) { console.error(e); });
對(duì)于以上代碼,我們無非就是想請(qǐng)求遠(yuǎn)程主機(jī),得到響應(yīng)信息,例如響應(yīng)狀態(tài),響應(yīng)頭,響應(yīng)主體內(nèi)容。其中g(shù)et方法的第二個(gè)參數(shù)是一個(gè)回調(diào)函數(shù),我們異步的獲取響應(yīng)信息,然后,在該回調(diào)函數(shù)中,res對(duì)象又監(jiān)聽data,on方法中第二個(gè)參數(shù)又是一個(gè)回調(diào),而你得到d(你請(qǐng)求到的響應(yīng)信息)后,很可能在對(duì)它進(jìn)行操作的時(shí)候再次引入回調(diào),一層層下去,最后就暈了。。。對(duì)于異步方式的編程,對(duì)于一些習(xí)慣同步方式寫代碼的同學(xué)是非常糾結(jié)的,當(dāng)然國內(nèi)外已經(jīng)對(duì)此提供了一些非常優(yōu)秀的同步類庫,例如老趙的Wind.js......好像有點(diǎn)扯遠(yuǎn)了。其實(shí),我們調(diào)用get最終要得到的無非就是響應(yīng)信息,而不關(guān)心res.on這樣的監(jiān)聽過程,因?yàn)樘珣卸?。不想每次都res.on('data',func),于是誕生了今天我要介紹的nodegrass。
二、nodegrass請(qǐng)求資源,像Jquery的$.get(url,func)
一個(gè)最簡(jiǎn)單的例子:
var nodegrass = require('nodegrass'); nodegrass.get("http://www.baidu.com",function(data,status,headers){ console.log(status); console.log(headers); console.log(data); },'gbk').on('error', function(e) { console.log("Got error: " + e.message); });
咋一看,和官方原來的get沒啥區(qū)別,確實(shí)差不多=。=!只不過少了一層res.on('data',func)的事件監(jiān)聽回調(diào)而已。不管你信不信,反正我看上去感覺舒服多了,第二個(gè)參數(shù)同樣是一個(gè)回調(diào)函數(shù),其中的參數(shù)data是響應(yīng)主體內(nèi)容,status是響應(yīng)狀態(tài),headers是響應(yīng)頭。得到響應(yīng)內(nèi)容,我們就可以對(duì)得到的資源提取任何我們感興趣的信息啦。當(dāng)然這個(gè)例子中,只是簡(jiǎn)單的打印的控制臺(tái)而已。第三個(gè)參數(shù)是字符編碼,目前Node.js不支持gbk,這里nodegrass內(nèi)部引用了iconv-lite進(jìn)行了處理,所以,如果你請(qǐng)求的網(wǎng)頁編碼是gbk的,例如百度。只需加上這個(gè)參數(shù)就行了。
那么對(duì)于https的請(qǐng)求呢?如果是官方api,你得引入https模塊,但是請(qǐng)求的get方法等和http類似,于是nodegrass順便把他們整合在一塊了??蠢樱?/p>
var nodegrass = require('nodegrass'); nodegrass.get("https://github.com",function(data,status,headers){ console.log(status); console.log(headers); console.log(data); },'utf8').on('error', function(e) { console.log("Got error: " + e.message); });
nodegrass會(huì)根據(jù)url自動(dòng)識(shí)別是http還是https,當(dāng)然你的url必須得有,不能只寫www.baidu.com/而需要http://www.baidu.com/。
對(duì)于post的請(qǐng)求,nodegrass提供了post方法,看例子:
var ng=require('nodegrass'); ng.post("https://api.weibo.com/oauth3/access_token",function(data,status,headers){ var accessToken = JSON.parse(data); var err = null; if(accessToken.error){ err = accessToken; } callback(err,accessToken); },headers,options,'utf8');
以上是新浪微博Auth3.0請(qǐng)求accessToken的一部分,其中使用nodegrass的post請(qǐng)求access_token的api。
post方法相比get方法多提供了headers請(qǐng)求頭參數(shù),options--post的數(shù)據(jù),它們都是對(duì)象字面量的類型:
var headers = { 'Content-Type': 'application/x-www-form-urlencoded', 'Content-Length':data.length }; var options = { client_id : 'id', client_secret : 'cs', grant_type : 'authorization_code', redirect_uri : 'your callback url', code: acode };
三、利用nodegrass做代理服務(wù)器?……**
看例子:
var ng = require('nodegrass'), http=require('http'), url=require('url'); http.createServer(function(req,res){ var pathname = url.parse(req.url).pathname; if(pathname === '/'){ ng.get('http://www.cnblogs.com/',function(data){ res.writeHeader(200,{'Content-Type':'text/html;charset=utf-8'}); res.write(data+"\n"); res.end(); },'utf8'); } }).listen(8088); console.log('server listening 8088...');
就這么簡(jiǎn)單,當(dāng)然代理服務(wù)器還有復(fù)雜的多,這個(gè)不算是,但至少你訪問本地8088端口,看到的是不是博客園的頁面呢?
nodegrass的開源地址:https://github.com/scottkiss/nodegrass
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。