如何進行Flume的分析

如何進行Flume的分析，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

一、什么是Flume?
　　flume 作為 cloudera 開發(fā)的實時日志收集系統(tǒng)，受到了業(yè)界的認可與廣泛應用。Flume 初始的發(fā)行版本目前被統(tǒng)稱為 Flume OG（original generation），屬于 cloudera。但隨著 FLume 功能的擴展，F(xiàn)lume OG 代碼工程臃腫、核心組件設(shè)計不合理、核心配置不標準等缺點暴露出來，尤其是在 Flume OG 的最后一個發(fā)行版本 0.94.0 中，日志傳輸不穩(wěn)定的現(xiàn)象尤為嚴重，為了解決這些問題，2011 年 10 月 22 號，cloudera 完成了 Flume-728，對 Flume 進行了里程碑式的改動：重構(gòu)核心組件、核心配置以及代碼架構(gòu)，重構(gòu)后的版本統(tǒng)稱為 Flume NG（next generation）；改動的另一原因是將 Flume 納入 apache 旗下，cloudera Flume 改名為 Apache Flume。

        flume的特點：
　　flume是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(比如文本、HDFS、Hbase等)的能力 。
　　flume的數(shù)據(jù)流由事件(Event)貫穿始終。事件是Flume的基本數(shù)據(jù)單位，它攜帶日志數(shù)據(jù)(字節(jié)數(shù)組形式)并且攜帶有頭信息，這些Event由Agent外部的Source生成，當Source捕獲事件后會進行特定的格式化，然后Source會把事件推入(單個或多個)Channel中。你可以把Channel看作是一個緩沖區(qū)，它將保存事件直到Sink處理完該事件。Sink負責持久化日志或者把事件推向另一個Source。

        flume的可靠性 
　　當節(jié)點出現(xiàn)故障時，日志能夠被傳送到其他節(jié)點上而不會丟失。Flume提供了三種級別的可靠性保障，從強到弱依次分別為：end-to-end（收到數(shù)據(jù)agent首先將event寫到磁盤上，當數(shù)據(jù)傳送成功后，再刪除；如果數(shù)據(jù)發(fā)送失敗，可以重新發(fā)送。），Store on failure（這也是scribe采用的策略，當數(shù)據(jù)接收方crash時，將數(shù)據(jù)寫到本地，待恢復后，繼續(xù)發(fā)送），Besteffort（數(shù)據(jù)發(fā)送到接收方后，不會進行確認）。

        flume的可恢復性：
　　還是靠Channel。推薦使用FileChannel，事件持久化在本地文件系統(tǒng)里(性能較差)。 

　　flume的一些核心概念：

• Agent        使用JVM 運行Flume。每臺機器運行一個agent，但是可以在一個agent中包含多個sources和sinks。

• Client        生產(chǎn)數(shù)據(jù)，運行在一個獨立的線程。

• Source        從Client收集數(shù)據(jù)，傳遞給Channel。

• Sink        從Channel收集數(shù)據(jù)，運行在一個獨立線程。

• Channel        連接 sources 和 sinks ，這個有點像一個隊列。

• Events        可以是日志記錄、 avro 對象等。

　　Flume以agent為最小的獨立運行單位。一個agent就是一個JVM。單agent由Source、Sink和Channel三大組件構(gòu)成，如下圖：

                                


　　值得注意的是，F(xiàn)lume提供了大量內(nèi)置的Source、Channel和Sink類型。不同類型的Source,Channel和Sink可以自由組合。組合方式基于用戶設(shè)置的配置文件，非常靈活。比如：Channel可以把事件暫存在內(nèi)存里，也可以持久化到本地硬盤上。Sink可以把日志寫入HDFS, HBase，甚至是另外一個Source等等。Flume支持用戶建立多級流，也就是說，多個agent可以協(xié)同工作，并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes，這也正是NB之處。

看完上述內(nèi)容，你們掌握如何進行Flume的分析的方法了嗎？如果還想學到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！