日志采集工具Flume有什么用

這篇文章主要為大家展示了“日志采集工具Flume有什么用”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“日志采集工具Flume有什么用”這篇文章吧。

Flume是一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(比如文本、HDFS、Hbase等)的能力。Flume的數(shù)據(jù)流由事件(Event)貫穿始終。事件是Flume的基本數(shù)據(jù)單位，它攜帶日志數(shù)據(jù)(字節(jié)數(shù)組形式)并且攜帶有頭信息，這些Event由Agent外部的Source生成，當(dāng)Source捕獲事件后會(huì)進(jìn)行特定的格式化，然后Source會(huì)把事件推入(單個(gè)或多個(gè))Channel中。你可以把Channel看作是一個(gè)緩沖區(qū)，它將保存事件直到Sink處理完該事件。Sink負(fù)責(zé)持久化日志或者把事件推向另一個(gè)Source。

Flume的一些核心概念：

1. Agent：使用JVM 運(yùn)行Flume。每臺(tái)機(jī)器運(yùn)行一個(gè)agent，但是可以在一個(gè)agent中包含多個(gè)sources和sinks。

2. Client：生產(chǎn)數(shù)據(jù)，運(yùn)行在一個(gè)獨(dú)立的線程。

3. Source：從Client收集數(shù)據(jù)，傳遞給Channel。

4. Sink ：從Channel收集數(shù)據(jù)，運(yùn)行在一個(gè)獨(dú)立線程。

5. Channel ：連接 sources 和 sinks ，這個(gè)有點(diǎn)像一個(gè)隊(duì)列。

6. Events：可以是日志記錄、 avro 對(duì)象等。

Flume以agent為最小的獨(dú)立運(yùn)行單位。一個(gè)agent就是一個(gè)JVM。單agent由Source、Sink和Channel三大組件構(gòu)成，如下圖： 

　　值得注意的是，F(xiàn)lume提供了大量內(nèi)置的Source、Channel和Sink類型。不同類型的Source,Channel和Sink可以自由組合。組合方式基于用戶設(shè)置的配置文件，非常靈活。比如：Channel可以把事件暫存在內(nèi)存里，也可以持久化到本地硬盤上。Sink可以把日志寫入HDFS, HBase，甚至是另外一個(gè)Source等等。Flume支持用戶建立多級(jí)流，也就是說，多個(gè)agent可以協(xié)同工作，并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes，這也正是NB之處。如下圖所示: 

日志收集實(shí)際應(yīng)用案例：

Flume：日志收集

HDFS/HBase：日志存儲(chǔ)

Hive：日志分析

以上是“日志采集工具Flume有什么用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！