Zabbix監(jiān)控日志的方法

Zabbix 簡(jiǎn)介

zabbix是一個(gè)基于WEB界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級(jí)的開(kāi)源解決方案。

zabbix能監(jiān)視各種網(wǎng)絡(luò)參數(shù)，保證服務(wù)器系統(tǒng)的安全運(yùn)營(yíng)；并提供靈活的通知機(jī)制以讓系統(tǒng)管理員快速定位/解決存在的各種問(wèn)題。

zabbix由2部分構(gòu)成，zabbix server與可選組件zabbix agent。

zabbix server可以通過(guò)SNMP，zabbix agent，ping，端口監(jiān)視等方法提供對(duì)遠(yuǎn)程服務(wù)器/網(wǎng)絡(luò)狀態(tài)的監(jiān)視，數(shù)據(jù)收集等功能，它可以運(yùn)行在Linux，Solaris，HP-UX，AIX，F(xiàn)ree BSD，Open BSD，OS X等平臺(tái)上。

Zabbix優(yōu)點(diǎn)：

1 支持分布式監(jiān)控

2 自帶繪圖功能，獲取到數(shù)值型的數(shù)據(jù)，可自動(dòng)生成圖

3 Web配置方式，操作易用性較好。添加監(jiān)控項(xiàng)或機(jī)器時(shí)速度很快。

4 有報(bào)警時(shí)無(wú)論在任何界面會(huì)彈出小窗口報(bào)警，同時(shí)有報(bào)警的聲音提示，同時(shí)可對(duì)監(jiān)控項(xiàng)的快速查看。

5 自帶內(nèi)置函數(shù)較為豐富，同時(shí)也支持腳本及nagios等腳本的調(diào)用。

6 出現(xiàn)問(wèn)題時(shí)，可自動(dòng)遠(yuǎn)程執(zhí)行命令(需對(duì)agent設(shè)置執(zhí)行權(quán)限)

Zabbix 缺點(diǎn)：

1 批量修改不方便，可用數(shù)據(jù)庫(kù)輔助

2 深入后，中文資料相當(dāng)少，大部分問(wèn)題需看官方的文檔及論壇。

3 缺少數(shù)據(jù)匯總功能，如無(wú)法查看一組服務(wù)器平均值，可考慮對(duì)其進(jìn)行二次開(kāi)發(fā)。

4 zabbix較cacti來(lái)說(shuō)，畫(huà)圖功能較差些、流量獲取較為復(fù)雜。

示例一:

監(jiān)控項(xiàng)目

鍵值設(shè)置：

log[/data/canal/logs/job-xxx-xxx/job-xxx-xxx.log,"caused|Exception|DRROR",,,skip,,]

yyyy-MM-dd hh:mm:SS

這個(gè)鍵值里邊的內(nèi)容為，日志絕對(duì)路徑，關(guān)鍵字，skip是跳過(guò)老內(nèi)容，只監(jiān)控新產(chǎn)生的日志， 其他的不寫(xiě)的用","隔開(kāi)

觸發(fā)器：

問(wèn)題表達(dá)式：{aws-bigdata-canal-49-63:log[ /data/canal/logs/job-xxx-xxx/job-xxx-xxx.log,"caused|Exception|DRROR",,,skip,,].nodata(10s)}=0
恢復(fù)表達(dá)式：{aws-bigdata-canal-49-63:log[ /data/canal/logs/job-xxx-xxx/job-xxx-xxx.log,"caused|Exception|DRROR",,,skip,,].nodata(2m)}=1

nodata(2m) 這個(gè)函數(shù)是在2分鐘內(nèi)沒(méi)有數(shù)據(jù) 1:true 0:false 。 所以獲取到關(guān)鍵字 "caused|Exception|DRROR" nodata函數(shù)值就會(huì)變成false，就會(huì)觸發(fā) 觸發(fā)器，達(dá)到監(jiān)控的目的!

##示例二:
  通常我們監(jiān)控會(huì)監(jiān)控到一些關(guān)鍵字就直接報(bào)錯(cuò)，但是往往有需求關(guān)鍵字和一些字符串組合起來(lái)是沒(méi)有問(wèn)題的 即使是存在關(guān)鍵字error exception 等等 這個(gè)時(shí)候就需要我們使用強(qiáng)大的正則

監(jiān)控項(xiàng)目：

  log[/var/log/test_file.log,"Error|(?<!Api)Exception|before system exit|kill current process failed|known server|timed out",,,skip,]   

這里重點(diǎn)講解(?<!Api)Exception只匹配到Exception 不匹配ApiException找到相關(guān)文章解釋如下

(?:pattern) 非獲取匹配，匹配pattern但不獲取匹配結(jié)果，不進(jìn)行存儲(chǔ)供以后使用。這在使用或字符“(|)”來(lái)組合一個(gè)模式的各個(gè)部分是很有用。例如“industr(?:y|ies)”就是一個(gè)比“industry|industries”更簡(jiǎn)略的表達(dá)式。 

(?=pattern) 非獲取匹配，正向肯定預(yù)查，在任何匹配pattern的字符串開(kāi)始處匹配查找字符串，該匹配不需要獲取供以后使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。預(yù)查不消耗字符，也就是說(shuō)，在一個(gè)匹配發(fā)生后，在最后一次匹配之后立即開(kāi)始下一次匹配的搜索，而不是從包含預(yù)查的字符之后開(kāi)始。 (?!pattern) 非獲取匹配，正向否定預(yù)查，在任何不匹配pattern的字符串開(kāi)始處匹配查找字符串，該匹配不需要獲取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。

(?<=pattern) 非獲取匹配，反向肯定預(yù)查，與正向肯定預(yù)查類似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。 

(?<!pattern) 非獲取匹配，反向否定預(yù)查，與正向否定預(yù)查類似，只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。這個(gè)地方不正確，有問(wèn)題