LogStash中 filter如何使用

LogStash中 filter如何使用，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習下，希望你能有所收獲。

<一> grok

1. 自定義grok格式

   在conf 文件的文件夾同級目錄下，一般是在patterns 文件夾下，建立自己的pattern 文件，比如extra 文件

   # contents of ./patterns/postfix:

   POSTFIX_QUEUEID [0-9A-F]{10,11}

使用舉例，針對日志格式：Jan 1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=<20130101142543.5828399CCAF@mailserver14

conf 配置:

 grok{

    patterns_dir => "./patterns"

    match => [ "message", "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" ]

  }

}

結(jié)果為：

匹配正確

2.一些比較神奇的Grok Pattern

比如：GREEDYDATA .*

說明：如果我不想面面俱到的匹配一坨東西，直接用Greedydata

舉例：比如匹配,52:awfasdf0r8b123e:222g1g16:885579b2:9afr

    在filter 的grok 中，添加%{GREEDYDATA:sth}，即可匹配上面那一串。如果你想更詳細的匹配，那就自己寫正則，對每一項進行匹配。 

<二> 

<三> 實際使用舉例

1. 想處理java 日志信息，包括正常的info 與錯誤的堆棧信息怎么處理？

思路：

    filter 中，使用 multiline 對日志信息進行分組；然后使用grok 進行拆分。

需要注意的事情，可能會遇到換行的問題，這個時候怎么做？

這個時候的處理是這樣的，使用GREEDYDATA 是無效的，因為這只是匹配 .* ，而 . 是不匹配 newline 的，這個時候，應(yīng)該將 GreedyData 換成：

(?<message>(.|\r|\n)*)

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。