怎么分析Elastic Stack的日志分析架構(gòu)

本篇文章給大家分享的是有關(guān)怎么分析Elastic Stack的日志分析架構(gòu)，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

ELK Stack主要是三大組件構(gòu)成 Logstash、ElasticSearch與Kibana。提供了數(shù)據(jù)的采集、存儲分析與數(shù)據(jù)可視化的能力。這些組件滿足了日志管理和分析領(lǐng)域的常用需求。

在ELK Stack中Logstash的定位既是數(shù)據(jù)的采集Agent又是數(shù)據(jù)的解析處理工具。最終數(shù)據(jù)發(fā)送到ElasticSearch中。這樣就會造成在真實環(huán)境中Logstash對于數(shù)據(jù)的采集、富化、解析等都會占用較高的資源。同時Logstash也具有固有的性能問題。

Beats是一組開源的日志搜集器。采用Go語言進(jìn)行編寫（對比Logstash的Java）。不同的Beat用于搜集不同的日志數(shù)據(jù)，包含F(xiàn)ilebeat、Winlogbeat、Packetbeat、Heartbeat等。Beat采用Go語言編寫，在Elastic Stack中主要負(fù)責(zé)日志的采集工作。例如Filebeat用于采集文本類型的數(shù)據(jù)，Packetbeat用于采集實時網(wǎng)絡(luò)包的數(shù)據(jù)。Beats提供簡單的對于數(shù)據(jù)的解析方式如果需要實現(xiàn)較為復(fù)雜的數(shù)據(jù)解析可以通過Beats把數(shù)據(jù)發(fā)送到Logstash進(jìn)行解析。Logstash提供強(qiáng)大的數(shù)據(jù)解析處理插件。所以對于Elastic Stack就變成了

增加beats之后，數(shù)據(jù)的采集端處理的問題就變少了，正常來說例如filbeats僅僅需要處理的是單行數(shù)據(jù)的采集或者是多行數(shù)據(jù)的合并采集等問題。數(shù)據(jù)采集完成后beats直接使用TCP的方式把數(shù)據(jù)發(fā)送到Logstash中，Logstash再進(jìn)行復(fù)雜的數(shù)據(jù)解析、富化問題。這樣就把生產(chǎn)服務(wù)與日志處理框架的資源基本進(jìn)行了隔離。并且實現(xiàn)非常的簡單，不需要太多的額外配置。能夠沿用之前的Logstash的配置。

以上內(nèi)容可以使用于小型的數(shù)據(jù)分析處理場景。在生產(chǎn)中處理大量的數(shù)據(jù)還需要考慮其他的因素，例如彈性伸縮，安全性，削峰，重新解析等。那么就可以引入消息隊列。 

引入Kafka或其他消息隊列能夠?qū)崿F(xiàn)對于數(shù)據(jù)的緩存與保證其不會產(chǎn)生丟失。ElasticSearch是整個系統(tǒng)的核心，但是它在對大量的數(shù)據(jù)建立索引時會非常容易受到負(fù)載的影響。在ElasticSearch非常的忙碌時，Logstash也會受之影響而變慢。所以一般都會增加Kafka來保證數(shù)據(jù)獲得更好的可用性。

Elastic Stack增加了Beats來分離了數(shù)據(jù)的采集與解析端或者說Beats提供了更好的，資源占用率更低的數(shù)據(jù)采集、簡單解析、發(fā)送方案。使當(dāng)前的Elastic Stack更加適用于生產(chǎn)中。

以上就是怎么分析Elastic Stack的日志分析架構(gòu)，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。