如何進(jìn)行ELK的原理及工作是怎么樣的

本篇文章為大家展示了如何進(jìn)行ELK的原理及工作是怎么樣的，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

EKL

核心組成

1.Elastic Search 開源分布式搜索引擎，他的特點(diǎn)是分布式、零配置、自動發(fā)現(xiàn)、索引自動分片，索引副本機(jī)制，restful接口，多數(shù)據(jù)源，自動搜索負(fù)載。

安裝Elastic Search   高可用，易擴(kuò)展，支持集群(cluster),分片和復(fù)制(sharding和replicas)

驗證啟動：curl -X GET http://localhost:9200

2.Logstash 完全開源的工具，可以用來對日志進(jìn)行收集，分析，并將期存儲供以后使用。

安裝Logstash  實時渠道能力的數(shù)據(jù)收集引擎。由三部分組成

1.shipper-發(fā)送日志數(shù)據(jù)

2.broker-收集數(shù)據(jù)，缺省內(nèi)置redis

3.indexer-數(shù)據(jù)寫入

啟動驗證： ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

3.Kibala 可以為ES和Logstash提供的日志分析友好的界面，匯總，分析和搜索重要的日志。 可以在Elasticsearch 的索引中查找，交互數(shù)據(jù)，并生成各種維度的表圖

vi kibana.yml  添加下面配置

elasticsearch_url: "http://192.168.1.104:9200"

瀏覽器訪問kinaba  http://39.106.48.25:5601/

在kibana中查找執(zhí)行超過400ms的記錄

"READ_COMMITTED"   AND  message:/[4-9]{1}[0-9][0-9]ms/

四大組件

1.Logstatsh: logstash server 端用來收集日志。

2.Elastic Search:存儲各類日志。

3.Kibala: web化查詢和可視化接口.

4.Logstash forwarder: logstash client端用來通過lumberjack 網(wǎng)絡(luò)協(xié)議發(fā)送日志到logstash server.

ELK工作流程

    在需要收集日志的服務(wù)器上部署logstash,作為logstash agent(shipper) 用于監(jiān)控并過濾收集日志，將過濾后的內(nèi)容發(fā)送到Broker（缺省Redis），然后logstash indexer 將日志收集到一起交給全文搜索引擎Elastic Search,可以用Elastic Search進(jìn)行自定義搜索通過Kibana來結(jié)合自定義搜索進(jìn)行頁面展示。

上述內(nèi)容就是如何進(jìn)行ELK的原理及工作是怎么樣的，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。