Fluentd中如何配置高可用

這篇文章將為大家詳細講解有關(guān)Fluentd中如何配置高可用，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

對于高訪問量的web站點或者服務(wù)，我們可以采用Fluentd的高可用配置模式。

1. 消息分發(fā)語義

   Fluentd設(shè)計初衷主要是用作事件日志分發(fā)系統(tǒng)的。這類系統(tǒng)支持幾種不同的分發(fā)模式：

1. 至多一次。消息被立即發(fā)送，若傳輸成功，該消息不會再被發(fā)送。發(fā)送失敗，則會導(dǎo)致消息丟失。現(xiàn)實環(huán)境下會有很多情況導(dǎo)致發(fā)送失敗，比如網(wǎng)絡(luò)暫時不可用。

2. 至少一次。消息至少會被發(fā)送一次，若發(fā)送失敗，消息會被重發(fā)。這保證了消息不會被丟失，但可能導(dǎo)致接收端收到重復(fù)的消息。

3. 精確只發(fā)一次。消息剛好發(fā)送一次，能確保送達且不會重復(fù)。這是大家所期望的分發(fā)模式。實現(xiàn)此模式可能需要采用同步化的日志處理方式，當(dāng)達到發(fā)送瓶頸時，告知業(yè)務(wù)層已無法接收更多的日志。

為了在不影響業(yè)務(wù)性能的情況下收集大量的日志，日志層必須以異步的方式運行。因此，F(xiàn)luentd只提供了前兩種傳輸模式。




2. 網(wǎng)絡(luò)拓撲

   為使得Fluentd具備高可用性，典型的部署架構(gòu)需要包含兩種不同角色的Fluentd模塊：轉(zhuǎn)發(fā)器（forwarder）和聚合器（aggregator）。其拓撲結(jié)構(gòu)如下圖所示
   

   

   轉(zhuǎn)發(fā)器部署在業(yè)務(wù)節(jié)點，用于收集業(yè)務(wù)方產(chǎn)生的本地日志事件，并將事件發(fā)送至聚合器。

   聚合器持續(xù)地從轉(zhuǎn)發(fā)器接收日志，對日志進行緩存，并定期上傳日志到下一個處理方（典型的就是存儲）。

   聚合器采用主備模式。如上圖，192.168.0.1為主，192.168.0.2為備。

   
   

3. 轉(zhuǎn)發(fā)器配置

   轉(zhuǎn)發(fā)器的典型配置如下所示：

   # TCP input<source>  @type forward  port 24224</source>
   # HTTP input<source>  @type http  port 8888</source>
   # Log Forwarding<match mytag.**>  @type forward
     # primary host  <server>    host 192.168.0.1    port 24224  </server>  # use secondary host  <server>    host 192.168.0.2    port 24224    standby  </server>
     # use longer flush_interval to reduce CPU usage.  # note that this is a trade-off against latency.  <buffer>    flush_interval 60s  </buffer></match>

    

   這里有兩個輸入源，使用forward插件將日志事件發(fā)送到兩個聚合器server中，其中通過standby指定192.168.0.2為備用聚合器。若兩個聚合器節(jié)點都不可用，日志將會緩存在轉(zhuǎn)發(fā)器節(jié)點。

   
   

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

4. 聚合器配置

   聚合器的典型配置如下所示：
   

   # Input<source>  @type forward  port 24224</source>
   # Output<match mytag.**>  ...</match>

    

   這個比較簡單，使用forward插件作為輸入源。日志會在本地緩存，并通過重傳機制確保能送達目的地。

   
   

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

5. 失敗場景提示

1. 轉(zhuǎn)發(fā)失敗

   轉(zhuǎn)發(fā)器收到應(yīng)用層的日志事件后，先將事件寫入本地磁盤緩存（由buffer_path指定）。每個flush_interval到來時，緩存事件被轉(zhuǎn)發(fā)至聚合器。

   轉(zhuǎn)發(fā)器進程若發(fā)生崩潰，進程重啟后會自動重發(fā)已緩存的日志；轉(zhuǎn)發(fā)器和聚合器網(wǎng)絡(luò)若發(fā)生故障，轉(zhuǎn)發(fā)器也會對日志進行重傳。這在一定程度上保證了轉(zhuǎn)發(fā)器的健壯性。

   但仍有一些情況可導(dǎo)致數(shù)據(jù)丟失：

1. 轉(zhuǎn)發(fā)器收到業(yè)務(wù)層日志，在將日志寫入緩存之前發(fā)生崩潰

2. 磁盤損壞
   

2. 聚合失敗

   聚合器采用和轉(zhuǎn)發(fā)器相同的失敗處理機制，失敗場景類似。

   
   

6. 錯誤排查

   采用此架構(gòu)進行部署時，有時候會遇到“no nodes are available”的錯誤提示。這可能是節(jié)點間網(wǎng)絡(luò)不通導(dǎo)致的。需要注意的是，節(jié)點之間通過24224端口傳輸數(shù)據(jù)，既使用TCP，也會使用UDP。

   可通過以下命令進行檢查：

   $ telnet host 24224$ nmap -p 24224 -sU host

   
   

關(guān)于Fluentd中如何配置高可用就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。