用好anyproxy提高公眾號文章采集效率的方法步驟

本篇內(nèi)容主要講解“用好anyproxy提高公眾號文章采集效率的方法步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“用好anyproxy提高公眾號文章采集效率的方法步驟”吧!

影響因素主要會有以下幾點(diǎn)：

1、網(wǎng)絡(luò)環(huán)境不佳；

2、手機(jī)或模擬器中微信客戶端崩潰；

3、其它一些網(wǎng)絡(luò)傳輸錯誤；

因?yàn)槲冶容^看重采集系統(tǒng)的運(yùn)行成本，這個成本包括硬件投入，運(yùn)算力投入和占用的人工精力。所以必須提高運(yùn)行的穩(wěn)定性。因此如果采集中斷，必然增加人工精力的成本。所以針對這一點(diǎn)我對anyproxy做了一些進(jìn)階的改造，并且借助了其它一些工具提高了運(yùn)行效率。以下就是具體的解決方法：

一、代碼升級

1）微信瀏覽器白屏

解決方法：修改文件requestHandler.js，還是在rule_default.js同級目錄下，（mac系統(tǒng)/usr/local/lib/node_modules/anyproxy/lib/；win系統(tǒng)評論區(qū)網(wǎng)友cnbattle提供C:\Users\Administrator\AppData\Roaming\npm\node_modules\anyproxy\lib）

在代碼中找到proxyReq.on("error",function(e){這個函數(shù)，并修改內(nèi)容

//userRes.end();//把這一行注釋掉
userRes.end('<script>setTimeout(function(){window.location.reload();},2000);</script>');//插入這一行

這樣當(dāng)發(fā)生錯誤時，會返回一個刷新當(dāng)前頁面的js；這樣程序就能繼續(xù)下去了

2）替換所有圖片，減輕瀏覽器負(fù)擔(dān)

首先需要制作一張非常小的圖片，我做的是1x1像素，png透明圖；放到任意文件夾里。然后修改文件rule_default.js的代碼：

在文件開頭有許多var的位置加入以下代碼

var fs = require("fs"),
 img = fs.readFileSync("/Library/WebServer/Documents/space.png");//代碼絕對路徑替換成自己的

在下面的代碼中找到shouldUseLocalResponse : function(req,reqBody){函數(shù)，在函數(shù)內(nèi)插入代碼：

if(/mmbiz\.qpic\.cn/i.test(req.url)){
 req.replaceLocalFile = true;
 return true;
}else{
 return false;
}

繼續(xù)在下面的代碼中找到dealLocalResponse : function(req,reqBody,callback){函數(shù)，在函數(shù)內(nèi)插入代碼：

if(req.replaceLocalFile){
 callback(200, {"content-type":"image/png"},img );
}

這三段代碼就會將公眾號里面的所有圖片替換成本地圖片，減輕網(wǎng)絡(luò)傳輸壓力和瀏覽器占用的內(nèi)存，有效的提高運(yùn)行效率；

3）禁止手機(jī)或模擬器訪問一些無用的和會導(dǎo)致錯誤的網(wǎng)址

同樣在rule_default.js里找到代碼replaceRequestOption : function(req,option){函數(shù)，在函數(shù)內(nèi)部插入代碼：

var newOption = option;
if(/google|btrace/i.test(newOption.headers.host)){//這里面的正則可以替換成自己不希望訪問的網(wǎng)址特征字符串，這里面的btrace是一個騰訊視頻的域名，經(jīng)過實(shí)踐發(fā)現(xiàn)特別容易導(dǎo)致瀏覽器崩潰，所以加在里面了，繼續(xù)添加可以使用|分割。
 newOption.hostname = "127.0.0.1";//這個ip也可以替換成其他的
 newOption.port  = "80";
}
return newOption;

這個修改之前的文章也提到過了，在這里重新再詳細(xì)介紹一下。他的用途很多，不同的手機(jī)和模擬器都有可能訪問一些無用的地址導(dǎo)致設(shè)備變慢，通過這個代碼就可以阻止訪問。

二、使用pm2管理anyproxy進(jìn)程

pm2 是一個帶有負(fù)載均衡功能的Node應(yīng)用的進(jìn)程管理器.

當(dāng)你要把你的獨(dú)立代碼利用全部的服務(wù)器上的所有CPU，并保證進(jìn)程永遠(yuǎn)都活著，0秒的重載， PM2是完美的。它非常適合IaaS結(jié)構(gòu)，但不要把它用于PaaS方案（隨后將開發(fā)Paas的解決方案）.

主要特性：

內(nèi)建負(fù)載均衡（使用Node cluster 集群模塊）

后臺運(yùn)行

0秒停機(jī)重載，我理解大概意思是維護(hù)升級的時候不需要停機(jī).

具有Ubuntu和CentOS 的啟動腳本

停止不穩(wěn)定的進(jìn)程（避免無限循環(huán)）

控制臺檢測

提供 HTTP API

遠(yuǎn)程控制和實(shí)時的接口API ( Nodejs 模塊,允許和PM2進(jìn)程管理器交互 )

測試過Nodejs v0.11 v0.10 v0.8版本，兼容CoffeeScript,基于Linux 和MacOS.

首先安裝pm2

sudo npm install -g pm2

在pm2環(huán)境下運(yùn)行anyproxy

sudo pm2 start anyproxy -x -- -i

現(xiàn)在anyproxy就在pm2的環(huán)境中運(yùn)行了

之后還有幾個pm2的命令可以幫助管理和監(jiān)控anyproxy

//查看運(yùn)行日志
sudo pm2 logs anyproxy [--lines 10]
//關(guān)閉anyproxy
sudo pm2 delete anyproxy
//重啟anyproxy
sudo pm2 restart anyproxy
//監(jiān)控內(nèi)存占用
sudo pm2 monit
//監(jiān)控運(yùn)行狀態(tài)
sudo pm2 list

特別提示：pm2運(yùn)行后，終端窗口是可以關(guān)閉的。

使用pm2管理anyproxy進(jìn)程，最重要的目的是：anyproxy因?yàn)殄e誤而退出程序之后，pm2可以另anyproxy自動重啟。

三、取消sudo密碼，并使pm2開機(jī)自啟

以下內(nèi)容是在mac環(huán)境下的方法，windows也應(yīng)該有類似的方法，如果了解的網(wǎng)友可以私信發(fā)給我。

1）首先取消sudo的密碼

運(yùn)行命令：

sudo visudo

找到代碼：

%admin   ALL = (ALL) ALL

修改為：

%admin   ALL = (ALL) NOPASSWD: ALL

這樣sudo的密碼就取消掉了，然后就可以將pm2加入到開機(jī)自啟動中了

2）設(shè)置開機(jī)自啟

在終端中輸入命令：

cd
touch autoexec.sh
vim autoexec.sh

然后進(jìn)入編輯模式，按鍵盤字母i開始編輯，粘貼代碼：

#!/bin/sh 
sudo pm2 start anyproxy -x -- -i
sudo pm2 monit

編輯完之后，按esc，再鍵入命令wq保存退出編輯模式。

再執(zhí)行命令：

chmod 755 autoexec.sh

這樣一個可執(zhí)行文件就建立好了

然后打開mac系統(tǒng)的“系統(tǒng)偏好設(shè)置”，找到“用戶與群組”，在左側(cè)選擇當(dāng)前用戶，右側(cè)選擇登錄項(xiàng)；然后點(diǎn)擊+號，找到當(dāng)前用戶的根目錄（可以按shift+command+h快捷鍵），選擇autoexec.sh文件，添加到登錄項(xiàng)中，就可以開機(jī)自啟動了。

經(jīng)過以上的幾項(xiàng)設(shè)置之后，anyproxy系統(tǒng)就會比原來更加穩(wěn)定，其實(shí)主要原因是模擬器或手機(jī)的不穩(wěn)定導(dǎo)致的anyproxy發(fā)生的錯誤。經(jīng)過實(shí)際測試，anyproxy目前可以長時間運(yùn)行不崩潰。而微信客戶端還是在運(yùn)行大約6個小時之后崩潰，以2秒翻一頁的速度，采集總數(shù)大約1萬個頁面。如果不采集閱讀量，就可以是1萬個公眾號的歷史消息頁。

微信客戶端的崩潰現(xiàn)象是退出微信瀏覽器，停留在查看公眾號資料頁面。所以如果希望再進(jìn)一步提高自動化，也可以使用觸動精靈之作自動化腳本，定時推出微信瀏覽器，再點(diǎn)擊歷史消息頁。這樣應(yīng)該就可以實(shí)現(xiàn)長時間自動化采集了。

到此，相信大家對“用好anyproxy提高公眾號文章采集效率的方法步驟”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！