Flume應(yīng)用場景及用法有哪些

本篇內(nèi)容主要講解“Flume應(yīng)用場景及用法有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Flume應(yīng)用場景及用法有哪些”吧!

Flume簡介

    Flume是一個分布式的、高可用的海量日志采集系統(tǒng)。它支持對日志數(shù)據(jù)的發(fā)送方、接收方進(jìn)行定義，可將多種來源的日志數(shù)據(jù)寫到指定的接收方，如：文本、HDFS、Hbase等。
    我認(rèn)為Flume最讓我稱贊的就是，可以在不干涉已有系統(tǒng)運行的情況下，無侵入地對采集到該系統(tǒng)的日志信息。

    Flume的數(shù)據(jù)流由event（事件）貫穿始終，event是Flume的基本數(shù)據(jù)單位，它攜帶日志數(shù)據(jù)（字節(jié)數(shù)組形式）和頭信息，這些event由Agent外部的Source生成。 當(dāng)Source捕獲到事先設(shè)定的事件（這里的事件，是指廣義上的事件）， 就會生成event并推送到單個或多個Channel中。你可以把Channel看作是一個緩沖區(qū)，它保存event直到Sink對其處理完畢。Sink負(fù)責(zé)處理event，它對日志進(jìn)行持久化或把event 轉(zhuǎn)給另一個Source。

    Flume以agent為最小的獨立運行單位，每臺機(jī)器運行一個agent，一個agent由Source、Sink和Channel三大組件構(gòu)成，如下圖：

• Client生產(chǎn)數(shù)據(jù)，運行在一個獨立的線程，比如我們的應(yīng)用系統(tǒng)。

• Source從Client收集數(shù)據(jù)，傳遞給Channel。

• Sink從Channel收集數(shù)據(jù)，運行在一個獨立線程。

• Channel連接 sources 和 sinks ，這個有點像一個隊列。

• Events可以是日志記錄、 avro 對象等。

    一個agent中包含多個sources和sinks：

應(yīng)用場景及用法

1. sources.type = netcat
       Flume可以監(jiān)聽到某臺計算機(jī)（Client）接收到其它計算機(jī)發(fā)來的netcat、telnet消息， 然后將這些消息傳送到指定的地方，如hdfs、HBase、Kafka等。

2. sources.type = exec
       Flume可以監(jiān)聽到某臺計算機(jī)（Client）某個指令的執(zhí)行，然后把指令執(zhí)行產(chǎn)生的輸出信息發(fā)送到指定的地方，如hdfs、HBase、Kafka。如設(shè)定：
   sources.command = tail -F /app/xxx.log
       那么每當(dāng)有10條新的日志產(chǎn)生后，F(xiàn)lume就把這10條新日志傳送到指定的地方，如hdfs、HBase、Kafka等。

3. sources.type = spooldir
       Flume可以監(jiān)聽到某臺計算機(jī)（Client）上某個目錄文件的變化，當(dāng)有新的日志文件產(chǎn)生時，F(xiàn)lume就把這個日志文件的內(nèi)容傳送到指定的地方，如hdfs、HBase、Kafka等。

4. sources.type = http
   
   

5. sources.type = syslogtcp
       Flume可以監(jiān)聽到某臺計算機(jī)（Client）TCP的端口，把從端口接收到的消息傳送到指定的地方，如hdfs、HBase、Kafka等。

到此，相信大家對“Flume應(yīng)用場景及用法有哪些”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！