日志監(jiān)控_ElasticStack-0002.Logstash編碼插件及實際生產(chǎn)案例應(yīng)用?

新版插件:

說明: 從5.0開始,插件都獨立拆分成gem包,每個插件可獨立更新,無需等待Logstash自身整體更新,具體管理命令可參考./bin/logstash-plugin --help幫助信息../bin/logstash-plugin list其實所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目錄下

擴(kuò)展: 如果GitHub上面(https://github.com/logstash-plugins/)發(fā)布了擴(kuò)展插件,可通過./bin/logstash-plugin install <plugin-name>,當(dāng)然升級也很方便./bin/logstash-plugin update <plugin-name>,如果要安裝更新本地已有的插件可通過./bin/logstash-plugin install/update <plugin-path>即可.

注意: 默認(rèn)./bin/logstash-plugin install/update時是到https://rubygems.org/下載包,速度非常慢,所以強(qiáng)烈推薦手動從https://github.com/logstash-plugins/或https://rubygems.org/下載下來更新

解碼插件: https://www.elastic.co/guide/en/logstash/current/codec-plugins.html

說明: 編碼插件可用于input/output區(qū)段中,可以改變事件的數(shù)據(jù)表示,之前版本只支持純文本輸入,現(xiàn)在可輸入期處理不同類型的數(shù)據(jù),數(shù)據(jù)流變?yōu)閕nput | decode | filter | encode | output,codec的出現(xiàn),使得更方便的與其它自定義數(shù)據(jù)格式的運維產(chǎn)品共存,支持如上列表中所有的插件

插件名稱: json(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-json.html)

input {
    file {
        path => ["/xm-workspace/xm-webs/xmcloud/logs/*.log"]
        type => "dss-pubserver"
codec => json
        start_position => "beginning"
    }
}
output{
    stdout{
        codec => rubydebug
    }
}

說明: 很多時候為了降低過濾器的CPU負(fù)載,會直接輸入預(yù)定義的Json數(shù)據(jù),這樣可以省略掉filter/grok配置,對于web服務(wù)器apache/nginx的訪問日志可以很好的工作,不過如果作為代理服務(wù)器運行時,訪問日志中有些變量如$upstream_response_time可能不是數(shù)字而是"-",導(dǎo)致輸入數(shù)據(jù)驗證異常,可以加雙引號,也可以通過input插件的stdin從終端讀取sed替換后導(dǎo)入.

插件名稱: multilline(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html)

input {
    stdin {
        codec => multiline {
            patterns_dir => ["/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns"]
            pattern => "^%{YEAR}/%{MONTHNUM2}/%{MONTHDAY} %{TIME}"
            negate => true
            what => "previous"
        }
    }
}
output{
    stdout{
        codec => rubydebug
    }
}

生產(chǎn)案例:

2016/07/09 10:19:49 [notice] 32715#0: start worker process 32717
2016/07/09 10:20:19 [error] 32716#0: *1 lua entry thread aborted: runtime error: ...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:387: attempt to index upvalue 'lua_url' (a boolean value)
stack traceback:
coroutine 0:
...stTool/test/Openresty/authserver_lua/lua/auth-server.lua: in function 'process_msg'
...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:423: in function <...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:2>, client: 10.2.5.51, server: , request: "POST /webservice/c928/%E4%B8%8A%E8%99%9E%E9%9C%87%E8%BF%9C&1468030819562&e118f0d7aca5a0de1abadb94866173a4& HTTP/1.1", host: "10.2.5.51:9902"
2016/07/09 10:24:24 [notice] 32715#0: signal 15 (SIGTERM) received, exiting

說明: 很多時候程序調(diào)試日志會包含豐富內(nèi)容,為一個事件打印出很多行內(nèi)容,可通過在輸入中通過codec的multiline預(yù)多行處理,由于Logstash默認(rèn)自帶非常多的正則,可通過patterns_dir以數(shù)組的形式加載自帶的或自定義的正則目錄,它會自動掃描并加載目錄下的正則文件,pattern指定正則表達(dá)式,negate和what配合使用表示當(dāng)不匹配pattern時,此行屬于前行,以此來累計直到匹配pattern的行結(jié)束作為一行內(nèi)容.

擴(kuò)展: 應(yīng)用日志常常會用到Log4j,對于此類型日志雖然可通過codec=>multiline實現(xiàn),但其實Logstash還提供了另一種input=>log4j(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html),可直接處理TCP端口接收的數(shù)據(jù).

插件名稱: (https://www.elastic.co/guide/en/logstash/current/plugins-codecs-netflow.html)

input {
udp {
port => 9995
codec => netflow {
definitions => "/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-codec-netflow-3.1.2/lib/logstash/codecs/netflow/netflow.yaml"
versions => [5]
}
    }
}
output {
stdout { 
codec => rubydebug 
}
}

說明: NetFlow是Cisco創(chuàng)造的數(shù)據(jù)交換格式,常用于收集路由器等設(shè)備的NetFlow網(wǎng)絡(luò)流量數(shù)據(jù)以便對數(shù)據(jù)進(jìn)一步分析,Logstash codec=>netflow需要指定definitions默認(rèn)包含定義的標(biāo)準(zhǔn)netflow字段文件,versions目前支持5/9版.