怎么用Fluentd進(jìn)行簡(jiǎn)單流處理

這篇文章主要講解了“怎么用Fluentd進(jìn)行簡(jiǎn)單流處理”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“怎么用Fluentd進(jìn)行簡(jiǎn)單流處理”吧！

在某些日志采集場(chǎng)景中，我們需要對(duì)數(shù)據(jù)流進(jìn)行一些轉(zhuǎn)換。比如，我們可能需要從日志記錄中提取某些字段以進(jìn)行錯(cuò)誤告警，或向日志記錄中插入新的字段用以后續(xù)的分析。

本文簡(jiǎn)單介紹一下使用Fluentd進(jìn)行數(shù)據(jù)操作的技術(shù)細(xì)節(jié)。

1. 根據(jù)日志字段取值來(lái)過(guò)濾事件
   談到過(guò)濾，我們通常會(huì)想到正則表達(dá)式，在linux中通常使用grep來(lái)進(jìn)行文本查找和過(guò)濾。Fluentd內(nèi)置了filter_grep過(guò)濾插件，可對(duì)數(shù)據(jù)流進(jìn)行正則過(guò)濾。
   
    
   假設(shè)我們正在使用一個(gè)web服務(wù)，比如Apache，我們需要對(duì)其訪問(wèn)日志進(jìn)行監(jiān)控。由輸入插件產(chǎn)生的事件類似如下結(jié)構(gòu)：
    

   {  "host": "192.168.1.1",  "method": "GET",  "path": "/index.html",  "code": 200,  "size": 2344,  "referer": null}

    

   這其中的code字段表示用戶請(qǐng)求狀態(tài)，我們可能對(duì)狀態(tài)為2xx的請(qǐng)求不太關(guān)心，這樣就可以將這類事件過(guò)濾掉，專門(mén)處理用戶請(qǐng)求可能發(fā)生的異常情況。

   我們可以通過(guò)在Fluentd中增加如下<filter>配置來(lái)實(shí)現(xiàn)事件過(guò)濾。
   

   <filter apache.**>  @type grep  <exclude>    key code    pattern ^2\d\d$  </exclude></filter>

    

   使用grep過(guò)濾插件，通過(guò)key指定code字段為過(guò)濾字段，通過(guò)pattern匹配code值為2xx的事件，將這些事件排除（exclude）掉。

   
   

   filter_grep還可以對(duì)多個(gè)字段進(jìn)行過(guò)濾。比如，保留狀態(tài)碼為5xx的事件，但過(guò)濾掉url中以/test/開(kāi)頭的請(qǐng)求。如下所示：
   

   <filter apache.**>  @type grep  <regexp>    key code    pattern ^5\d\d$  </regexp>  <exclude>    key path    pattern ^/test/  </exclude></filter>

    

   
   

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

2. 向事件中插入定制字段
   我們可以在某個(gè)處理階段向日志記錄中插入一些字段，供后續(xù)使用。這可以通過(guò)Fluentd內(nèi)置的filter_record_transformer過(guò)濾器插件來(lái)實(shí)現(xiàn)。
   假設(shè)我們是以集群的方式來(lái)部署web服務(wù)的，我們可能需要標(biāo)記用戶請(qǐng)求是由哪臺(tái)服務(wù)器來(lái)處理的。
   在Fluentd中進(jìn)行如下配置即可實(shí)現(xiàn)此類需求：

   <filter apache.**>  @type record_transformer  <record>    server "${hostname}"  </record></filter>

    

   這里，record_transformer插件向事件record中插入了一個(gè)server字段，其值為web服務(wù)器的主機(jī)名。新的日志record就更新為如下格式：
   

   {  "host": "192.168.1.1",  "method": "GET",  "path": "/index.html",  "code": 200,  "size": 2344,  "referer": null,  "server": "app1"}

    

   filter_record_transformer除了可以直接插入預(yù)定義的一些變量，如${hostname}，還可以插入其他變量或者使用ruby表達(dá)式來(lái)計(jì)算字段值。具體可參考此插件的使用說(shuō)明，我們也會(huì)在后續(xù)的插件系列中進(jìn)行介紹。

   
   

感謝各位的閱讀，以上就是“怎么用Fluentd進(jìn)行簡(jiǎn)單流處理”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)怎么用Fluentd進(jìn)行簡(jiǎn)單流處理這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！