怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺

這篇文章主要介紹“怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺”，在日常操作中，相信很多人在怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

ELK平臺介紹

日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負荷，性能安全性，從而及時采取措施糾正錯誤。

通常，日志被分散的儲存不同的設(shè)備上。如果你管理數(shù)十上百臺服務(wù)器，你還在使用依次登錄每臺機器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務(wù)之急我們使用集中化的日志管理，例如：開源的syslog，將所有服務(wù)器上的日志收集匯總。

集中化管理日志后，日志的統(tǒng)計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現(xiàn)檢索和統(tǒng)計，但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。

開源實時日志分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網(wǎng)站：https://www.elastic.co/products

1. Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機制，restful風格接口，多數(shù)據(jù)源，自動搜索負載等。

2. Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，并將其存儲供以后使用（如，搜索）。

3. Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

如圖：Logstash收集AppServer產(chǎn)生的Log，并存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數(shù)據(jù)生成圖表，再返回給Browser。

ELK平臺搭建

Elasticsearch 安裝

1. 點擊下載，

2. 解壓zip或者tar包等

3. 在bin/elasticsearch (windows版本是bin\elasticsearch.bat)

4. 請求 http://localhost:9200/ 能看到帶版本的返回值即可

Logstash 安裝

1. 點擊下載

2. 解壓zip或者tar包等

3. 在bin目錄創(chuàng)建一個 logstash.conf文件 內(nèi)容如下

    input {
      tcp {
       port => 4567 //項目日志配置文件中寫的端口
       type => "logs" 
     }
    }
   
    filter {
    }
    output {
            stdout{codec =>rubydebug}
       elasticsearch {
       hosts => ["localhost:9200"] // Elasticsearch 的ip 端口
      }
    }

   
   

4. bin/logstash -f logstash.conf 即可

Kibana 安裝

1. 點擊下載

2. 解壓zip或者tar包等

3. vi config/kibana.yml 文件 修改 elasticsearch.url = Elasticsearch 的ip 端口 如Elasticsearch 的ip 端口

4. 執(zhí)行bin/kibana （windows執(zhí)行bin\kibana.bat）

5. 瀏覽器打開http://localhost:5601

驗證

1. logback.xml 配置

2. 測試類

3. Logstash 日志

4. Kibana 顯示

到此，關(guān)于“怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>