ELK日志平臺(tái)原理

1. 作為運(yùn)維工程師，我們每天需要對(duì)服務(wù)器進(jìn)行故障排除，那么最先能幫助我們定位問(wèn)題的就是查看服務(wù)器日志，通過(guò)日志可以快速的定位問(wèn)題。目前我們說(shuō)的日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開(kāi)發(fā)人員可以通過(guò)日志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常需要分析日志可以了解服務(wù)器的負(fù)荷，性能，安全性，從而及時(shí)采取措施糾正錯(cuò)誤。而且日志被分散的儲(chǔ)存不同的設(shè)備上。

2. 如果你管理數(shù)上百臺(tái)服務(wù)器，我們登錄到每臺(tái)機(jī)器的傳統(tǒng)方法查閱日志。這樣是不是感覺(jué)很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理，例如：開(kāi)源的syslog，將所有服務(wù)器上的日志收集匯總。

3. 集中化管理日志后，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情，一般我們使用find、grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)，但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。今天給大家分享的開(kāi)源實(shí)時(shí)日志分析ELK平臺(tái)能夠完美的解決我們上述的問(wèn)題，ELK由ElasticSearch、Logstash和Kiabana三個(gè)開(kāi)源工具組成。

1)? Elasticsearch是個(gè)開(kāi)源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等，ELK官網(wǎng)：https://www.elastic.co/

2)? Logstash是一個(gè)完全開(kāi)源的工具，他可以對(duì)你的日志進(jìn)行收集、過(guò)濾，并將其存儲(chǔ)供以后使用（如，搜索）。

3)? Kibana 也是一個(gè)開(kāi)源和免費(fèi)的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

4)? Logstash和Elasticsearch是用Java語(yǔ)言編寫(xiě)，而Kibana使用node.js框架，在配置ELK環(huán)境要保證系統(tǒng)有JAVA JDK開(kāi)發(fā)庫(kù)。

?

???????????????????????????????????????ELK原理拓?fù)鋱D

1)? ELK工作流程

通過(guò)logstash收集客戶端APP的日志數(shù)據(jù)，將所有的日志過(guò)濾出來(lái)，存入Elasticsearch 搜索引擎里，然后通過(guò)Kibana GUI在WEB前端展示給用戶，用戶需要可以進(jìn)行查看指定的日志內(nèi)容。

同時(shí)也可以加入redis通信隊(duì)列：

圖一；

圖二；

? 2）??加入Redis隊(duì)列后工作流程

Logstash包含Index和Agent（shipper） ，Agent負(fù)責(zé)客戶端監(jiān)控和過(guò)濾日志，而Index負(fù)責(zé)收集日志并將日志交給ElasticSearch，ElasticSearch將日志存儲(chǔ)本地，建立索引、提供搜索，kibana可以從ES集群中獲取想要的日志信息。