如何解決ELK的實(shí)用性問題

今天就跟大家聊聊有關(guān)如何解決ELK的實(shí)用性問題，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

一、ELK實(shí)用知識(shí)點(diǎn)總結(jié)

1、編碼轉(zhuǎn)換問題

這個(gè)問題，主要就是中文亂碼。

input中的codec=>plain轉(zhuǎn)碼：

codec => plain {          charset => "GB2312" }

將GB2312的文本編碼，轉(zhuǎn)為UTF-8的編碼。

也可以在filebeat中實(shí)現(xiàn)編碼的轉(zhuǎn)換(推薦)：

filebeat.prospectors: - input_type: log   paths:     - c:\Users\Administrator\Desktop\performanceTrace.txt   encoding: GB2312

2、刪除多余日志中的多余行

if ([message] =~ "^20.*-\ task\ request,.*,start\ time.*") {   #用正則需刪除的多余行             drop {}     }

日志示例：

2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59   #需刪除的行 -- Request String :  {"UserName":"15046699023","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End -- Response String :  {"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End

3、grok處理多種日志不同的行

日志示例：

2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 -- Request String :  {"UserName":"15046699023","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End -- Response String :  {"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End

在logstash filter中g(shù)rok分別處理3行：

match => {     "message" => "^20.*-\ task\ request,.*,start\ time\:%{TIMESTAMP_ISO8601:RequestTime}" match => {     "message" => "^--\ Request\ String\ :\ \{\"UserName\":\"%{NUMBER:UserName:int}\",\"Pwd\":\"(?<Pwd>.*)\",\"DeviceType\":%{NUMBER:DeviceType:int},\"DeviceId\":\"(?<DeviceId>.*)\",\"EquipmentNo\":(?<EquipmentNo>.*),\"SSID\":(?<SSID>.*),\"RegisterPhones\":(?<RegisterPhones>.*),\"AppKey\":\"(?<AppKey>.*)\",\"Version\":\"(?<Version>.*)\"\}\ --\ \End.*"     } match => {     "message" => "^--\ Response\ String\ :\ \{\"ErrorCode\":%{NUMBER:ErrorCode:int},\"Success\":(?<Success>[a-z]*),\"ErrorMsg\":(?<ErrorMsg>.*),\"Result\":(?<Result>.*),\"WaitInterval\":%{NUMBER:WaitInterval:int}\}\ --\ \End.*" } ... 等多行

4、日志多行合并處理—multiline插件(重點(diǎn))

示例：

①日志

2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 -- Request String :  {"UserName":"15046699903","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End -- Response String :  {"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End

②logstash grok對(duì)合并后多行的處理。合并多行后續(xù)都一樣，如下：

filter { grok { match => { "message" => "^%{TIMESTAMP_ISO8601:InsertTime}\ .*-\ task\ request,.*,start\ time:%{TIMESTAMP_ISO8601:RequestTime}\n--\ Request\ String\ :\ \{\"UserName\":\"%{NUMBER:UserName:int}\",\"Pwd\":\"(?<Pwd>.*)\",\"DeviceType\":%{NUMBER:DeviceType:int},\"DeviceId\":\"(?<DeviceId>.*)\",\"EquipmentNo\":(?<EquipmentNo>.*),\"SSID\":(?<SSID>.*),\"RegisterPhones\":(?<RegisterPhones>.*),\"AppKey\":\"(?<AppKey>.*)\",\"Version\":\"(?<Version>.*)\"\}\ --\ \End\n--\ Response\ String\ :\ \{\"ErrorCode\":%{NUMBER:ErrorCode:int},\"Success\":(?<Success>[a-z]*),\"ErrorMsg\":(?<ErrorMsg>.*),\"Result\":(?<Result>.*),\"WaitInterval\":%{NUMBER:WaitInterval:int}\}\ --\ \End" } } }

在filebeat中使用multiline插件(推薦)：

①介紹multiline

• pattern：正則匹配從哪行合并;

• negate：true/false，匹配到pattern 部分開始合并，還是不配到的合并。

match：after/before(需自己理解)

• after：匹配到pattern 部分后合并，注意：這種情況末尾一行日志不會(huì)被匹配處理;

• before：匹配到pattern 部分前合并(推薦)。

②5.5版本之后(before為例)

filebeat.prospectors: - input_type: log   paths:     - /root/performanceTrace*   fields:     type: zidonghualog   multiline.pattern: '.*\"WaitInterval\":.*--\ End'   multiline.negate: true   multiline.match: before

③5.5版本之前(after為例)

filebeat.prospectors: - input_type: log       paths:       - /root/performanceTrace*       input_type: log        multiline:            pattern: '^20.*'            negate: true            match: after

在logstash input中使用multiline插件(沒有filebeat時(shí)推薦)：

①介紹multiline

• pattern：正則匹配從哪行合并;

• negate：true/false，匹配到pattern 部分開始合并，還是不配到的合并。

what：previous/next(需自己理解)

• previous：相當(dāng)于filebeat 的after;

• next：相當(dāng)于filebeat 的before。

②用法

input {         file {                 path => ["/root/logs/log2"]                 start_position => "beginning"                 codec => multiline {                         pattern => "^20.*"                         negate => true                         what => "previous"                 }         } }

在logstash filter中使用multiline插件(不推薦)：

不推薦的原因：

• filter設(shè)置multiline后，pipline worker會(huì)自動(dòng)降為1;

• 5.5 版本官方把multiline 去除了，要使用的話需下載，下載命令如下：

/usr/share/logstash/bin/logstash-plugin install logstash-filter-multiline

示例：

filter {   multiline {     pattern => "^20.*"     negate => true     what => "previous"   } }

5、logstash filter中的date使用

日志示例：

2018-03-20 10:44:01 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59

date使用：

date {                 match => ["InsertTime","YYYY-MM-dd HH:mm:ss "]                 remove_field => "InsertTime"         }

注：match => ["timestamp" ,"dd/MMM/YYYY H:m:s Z"]

匹配這個(gè)字段，字段的格式為：日日/月月月/年年年年 時(shí)/分/秒 時(shí)區(qū)，也可以寫為：match =>  ["timestamp","ISO8601"](推薦)

date介紹：

就是將匹配日志中時(shí)間的key替換為@timestamp的時(shí)間，因?yàn)锧timestamp的時(shí)間是日志送到logstash的時(shí)間，并不是日志中真正的時(shí)間。

6、對(duì)多類日志分類處理(重點(diǎn))

在filebeat的配置中添加type分類：

filebeat:   prospectors:     -       paths:         #- /mnt/data/WebApiDebugLog.txt*         - /mnt/data_total/WebApiDebugLog.txt*       fields:         type: WebApiDebugLog_total     -       paths:         - /mnt/data_request/WebApiDebugLog.txt*         #- /mnt/data/WebApiDebugLog.txt*       fields:         type: WebApiDebugLog_request     -       paths:         - /mnt/data_report/WebApiDebugLog.txt*         #- /mnt/data/WebApiDebugLog.txt*       fields:         type: WebApiDebugLog_report

在logstash filter中使用if，可進(jìn)行對(duì)不同類進(jìn)行不同處理：

filter {    if [fields][type] == "WebApiDebugLog_request" {   #對(duì)request 類日志         if ([message] =~ "^20.*-\ task\ report,.*,start\ time.*") {   #刪除report 行                 drop {}         }     grok {         match => {"... ..."}         } }

在logstash output中使用if：

if [fields][type] == "WebApiDebugLog_total" {     elasticsearch {         hosts => ["6.6.6.6:9200"]         index => "logstashl-WebApiDebugLog_total-%{+YYYY.MM.dd}"         document_type => "WebApiDebugLog_total_logs" }

二、對(duì)ELK整體性能的優(yōu)化

1、性能分析

服務(wù)器硬件Linux：1cpu4GRAM

假設(shè)每條日志250Byte。

分析：

①logstash-Linux：1cpu 4GRAM

• 每秒500條日志;

• 去掉ruby每秒660條日志;

• 去掉grok后每秒1000條數(shù)據(jù)。

②filebeat-Linux：1cpu 4GRAM

• 每秒2500-3500條數(shù)據(jù);

• 每天每臺(tái)機(jī)器可處理：24h*60min*60sec* 3000*250Byte=64,800,000,000Bytes，約64G。

③瓶頸在logstash從Redis中取數(shù)據(jù)存入ES，開啟一個(gè)logstash，每秒約處理6000條數(shù)據(jù);開啟兩個(gè)logstash，每秒約處理10000條數(shù)據(jù)(cpu已基本跑滿);

④logstash的啟動(dòng)過程占用大量系統(tǒng)資源，因?yàn)槟_本中要檢查java、ruby以及其他環(huán)境變量，啟動(dòng)后資源占用會(huì)恢復(fù)到正常狀態(tài)。

2、關(guān)于收集日志的選擇：logstash/filter

沒有原則要求使用filebeat或logstash，兩者作為shipper的功能是一樣的。

區(qū)別在于：

• logstash由于集成了眾多插件，如grok、ruby，所以相比beat是重量級(jí)的;

• logstash啟動(dòng)后占用資源更多，如果硬件資源足夠則無需考慮二者差異;

• logstash基于JVM，支持跨平臺(tái);而beat使用golang編寫，AIX不支持;

• AIX 64bit平臺(tái)上需要安裝jdk(jre) 1.7 32bit，64bit的不支持;

• filebeat可以直接輸入到ES，但是系統(tǒng)中存在logstash直接輸入到ES的情況，這將造成不同的索引類型造成檢索復(fù)雜，建議統(tǒng)一輸入到els  的源。

總結(jié)：

logstash/filter總之各有千秋，但是我推薦選擇：在每個(gè)需要收集的日志服務(wù)器上配置filebeat，因?yàn)檩p量級(jí)，用于收集日志;再統(tǒng)一輸出給logstash，做對(duì)日志的處理;然后統(tǒng)一由logstash輸出給els。

3、logstash的優(yōu)化相關(guān)配置

可以優(yōu)化的參數(shù)，可根據(jù)自己的硬件進(jìn)行優(yōu)化配置：

①pipeline線程數(shù)，官方建議是等于CPU內(nèi)核數(shù)

• 默認(rèn)配置 ---> pipeline.workers: 2;

• 可優(yōu)化為 ---> pipeline.workers: CPU內(nèi)核數(shù)(或幾倍CPU內(nèi)核數(shù))。

②實(shí)際output時(shí)的線程數(shù)

• 默認(rèn)配置 ---> pipeline.output.workers: 1;

• 可優(yōu)化為 ---> pipeline.output.workers: 不超過pipeline線程數(shù)。

③每次發(fā)送的事件數(shù)

• 默認(rèn)配置 ---> pipeline.batch.size: 125;

• 可優(yōu)化為 ---> pipeline.batch.size: 1000。

④發(fā)送延時(shí)

• 默認(rèn)配置 ---> pipeline.batch.delay: 5;

• 可優(yōu)化為 ---> pipeline.batch.size: 10。

總結(jié)：

通過設(shè)置-w參數(shù)指定pipeline  worker數(shù)量，也可直接修改配置文件logstash.yml。這會(huì)提高filter和output的線程數(shù)，如果需要的話，將其設(shè)置為cpu核心數(shù)的幾倍是安全的，線程在I/O上是空閑的。

默認(rèn)每個(gè)輸出在一個(gè)pipeline worker線程上活動(dòng)，可以在輸出output中設(shè)置workers設(shè)置，不要將該值設(shè)置大于pipeline  worker數(shù)。

還可以設(shè)置輸出的batch_size數(shù)，例如ES輸出與batch size一致。

filter設(shè)置multiline后，pipline  worker會(huì)自動(dòng)將為1，如果使用filebeat，建議在beat中就使用multiline，如果使用logstash作為shipper，建議在input中設(shè)置multiline，不要在filter中設(shè)置multiline。

Logstash中的JVM配置文件：

Logstash是一個(gè)基于Java開發(fā)的程序，需要運(yùn)行在JVM中，可以通過配置jvm.options來針對(duì)JVM進(jìn)行設(shè)定。比如內(nèi)存的大小、垃圾清理機(jī)制等等。JVM的內(nèi)存分配不能太大不能太小，太大會(huì)拖慢操作系統(tǒng)。太小導(dǎo)致無法啟動(dòng)。默認(rèn)如下：

• Xms256m#下限使用內(nèi)存;

• Xmx1g#上限使用內(nèi)存。

4、引入Redis的相關(guān)問題

filebeat可以直接輸入到logstash(indexer)，但logstash沒有存儲(chǔ)功能，如果需要重啟需要先停所有連入的beat，再停logstash，造成運(yùn)維麻煩;另外如果logstash發(fā)生異常則會(huì)丟失數(shù)據(jù);引入Redis作為數(shù)據(jù)緩沖池，當(dāng)logstash異常停止后可以從Redis的客戶端看到數(shù)據(jù)緩存在Redis中;

Redis可以使用list(最長(zhǎng)支持4,294,967,295條)或發(fā)布訂閱存儲(chǔ)模式;

Redis做ELK緩沖隊(duì)列的優(yōu)化：

• bind 0.0.0.0 #不要監(jiān)聽本地端口;

• requirepass ilinux.io #加密碼，為了安全運(yùn)行;

• 只做隊(duì)列，沒必要持久存儲(chǔ)，把所有持久化功能關(guān)掉：

快照(RDB文件)和追加式文件(AOF文件)，性能更好;

save "" 禁用快照;

appendonly no 關(guān)閉RDB。

• 把內(nèi)存的淘汰策略關(guān)掉，把內(nèi)存空間調(diào)到盡可能大

maxmemory 0 #maxmemory為0的時(shí)候表示我們對(duì)Redis的內(nèi)存使用沒有限制。

5、Elasticsearch節(jié)點(diǎn)優(yōu)化配置

服務(wù)器硬件配置，OS參數(shù)：

1)/etc/sysctl.conf 配置

vim /etc/sysctl.conf

① vm.swappiness = 1                     #ES 推薦將此參數(shù)設(shè)置為 1，大幅降低 swap 分區(qū)的大小，強(qiáng)制使用內(nèi)存，注意，這里不要設(shè)置為 0, 這會(huì)很可能會(huì)造成 OOM ② net.core.somaxconn = 65535     #定義了每個(gè)端口監(jiān)聽隊(duì)列上限的長(zhǎng)度 ③ vm.max_map_count= 262144    #限制一個(gè)進(jìn)程可以擁有的VMA(虛擬內(nèi)存區(qū)域)的數(shù)量。虛擬內(nèi)存區(qū)域是一個(gè)連續(xù)的虛擬地址空間區(qū)域。當(dāng)VMA 的數(shù)量超過這個(gè)值，OOM ④ fs.file-max = 518144                   #設(shè)置 Linux 內(nèi)核分配的文件句柄的max數(shù)量

[root@elasticsearch]# sysctl -p生效一下。

2)limits.conf 配置

vim /etc/security/limits.conf

elasticsearch    soft    nofile          65535 elasticsearch    hard    nofile          65535 elasticsearch    soft    memlock         unlimited elasticsearch    hard    memlock         unlimited

3)為了使以上參數(shù)一直生效，還要設(shè)置兩個(gè)地方：

vim /etc/pam.d/common-session-noninteractive vim /etc/pam.d/common-session

添加如下屬性：

session required pam_limits.so

可能需重啟后生效。

Elasticsearch中的JVM配置文件

-Xms2g

-Xmx2g

• 將Xms和Xmx設(shè)置為彼此相等。

• Elasticsearch可用的堆越多，可用于緩存的內(nèi)存就越多。但請(qǐng)注意，太多的堆可能會(huì)使您長(zhǎng)時(shí)間垃圾收集暫停。

• 設(shè)置Xmx為不超過物理RAM的50%，以確保有足夠的物理內(nèi)存留給內(nèi)核文件系統(tǒng)緩存。

• 不要設(shè)置Xmx為JVM用于壓縮對(duì)象指針的臨界值以上;確切的截止值有所不同，但接近32  GB。不要超過32G，如果空間大，多跑幾個(gè)實(shí)例，不要讓一個(gè)實(shí)例太大內(nèi)存。

Elasticsearch配置文件優(yōu)化參數(shù)：

1)vim elasticsearch.yml

bootstrap.memory_lock: true  #鎖住內(nèi)存，不使用swap #緩存、線程等優(yōu)化如下 bootstrap.mlockall: true transport.tcp.compress: true indices.fielddata.cache.size: 40% indices.cache.filter.size: 30% indices.cache.filter.terms.size: 1024mb threadpool:     search:         type: cached         size: 100         queue_size: 2000

2)設(shè)置環(huán)境變量

vim /etc/profile.d/elasticsearch.sh export ES_HE AP _SIZE=2g #Heap  Size不超過物理內(nèi)存的一半，且小于32G。

集群的優(yōu)化(我未使用集群)：

• ES是分布式存儲(chǔ)，當(dāng)設(shè)置同樣的cluster.name后會(huì)自動(dòng)發(fā)現(xiàn)并加入集群;

• 集群會(huì)自動(dòng)選舉一個(gè)master，當(dāng)master宕機(jī)后重新選舉;

• 為防止"腦裂"，集群中個(gè)數(shù)建議為奇數(shù)個(gè);

• 為有效管理節(jié)點(diǎn)，可關(guān)閉廣播discovery. zen.ping.multicast.enabled:  false，并設(shè)置單播節(jié)點(diǎn)組discovery.zen.ping.unicast.hosts: ["ip1", "ip2", "ip3"]。

6、性能的檢查

檢查輸入和輸出的性能：

Logstash和其連接的服務(wù)運(yùn)行速度一致，它可以和輸入、輸出的速度一樣快。

檢查系統(tǒng)參數(shù)：

1)CPU

• 注意CPU是否過載。在Linux/Unix系統(tǒng)中可以使用top-H查看進(jìn)程參數(shù)以及總計(jì)。

• 如果CPU使用過高，直接跳到檢查JVM堆的章節(jié)并檢查L(zhǎng)ogstash worker設(shè)置。

2)Memory

• 注意Logstash是運(yùn)行在Java虛擬機(jī)中的，所以它只會(huì)用到你分配給它的內(nèi)存。

• 檢查其他應(yīng)用使用大量?jī)?nèi)存的情況，這將造成Logstash使用硬盤swap，這種情況會(huì)在應(yīng)用占用內(nèi)存超出物理內(nèi)存范圍時(shí)。

3)I/O監(jiān)控磁盤I/O檢查磁盤飽和度

• 使用Logstash plugin(例如使用文件輸出)磁盤會(huì)發(fā)生飽和。

• 當(dāng)發(fā)生大量錯(cuò)誤，Logstash生成大量錯(cuò)誤日志時(shí)磁盤也會(huì)發(fā)生飽和。

• 在Linux中，可使用iostat，dstat或者其他命令監(jiān)控磁盤I/O。

4)監(jiān)控網(wǎng)絡(luò)I/O

• 當(dāng)使用大量網(wǎng)絡(luò)操作的input、output時(shí)，會(huì)導(dǎo)致網(wǎng)絡(luò)飽和。

• 在Linux中可使用dstat或iftop監(jiān)控網(wǎng)絡(luò)情況。

檢查JVM heap：

• heap設(shè)置太小會(huì)導(dǎo)致CPU使用率過高，這是因?yàn)镴VM的垃圾回收機(jī)制導(dǎo)致的。

• 一個(gè)快速檢查該設(shè)置的方法是將heap設(shè)置為兩倍大小然后檢測(cè)性能改進(jìn)。不要將heap設(shè)置超過物理內(nèi)存大小，保留至少1G內(nèi)存給操作系統(tǒng)和其他進(jìn)程。

• 你可以使用類似jmap命令行或VisualVM更加精確的計(jì)算JVM heap。

看完上述內(nèi)容，你們對(duì)如何解決ELK的實(shí)用性問題有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。