flume案例支持

2019/2/22 星期五

flume案例支持

flume的部署類型 //參考鏈接為 https://www.cnblogs.com/qingyunzong/p/8994494.html
1、單一流程
2、多代理流程（多個(gè)agent順序鏈接） 不推薦 有一段失敗則整個(gè)event事件失敗
3、流的合并（多個(gè)Agent的數(shù)據(jù)匯聚到同一個(gè)Agent ） //應(yīng)用場景廣泛
4、多路復(fù)用流（多級流）//Flume還支持多級流，什么多級流？來舉個(gè)例子，當(dāng)syslog， java， nginx、 tomcat等混合在一起的日志流開始流入一個(gè)agent后，可以agent中將混雜的日志流分開，然后給每種日志建立一個(gè)自己的傳輸通道。
5、load balance功能 //Agent1是一個(gè)路由節(jié)點(diǎn)，負(fù)責(zé)將Channel暫存的Event均衡到對應(yīng)的多個(gè)Sink組件上，而每個(gè)Sink組件分別連接到一個(gè)獨(dú)立的Agent上 。

Flume 作用
Flume 工作機(jī)制
Flume 架構(gòu)、組件
flume 常用配置

Flume Sources 描述
Avro source ：Avro是一個(gè)數(shù)據(jù)序列化系統(tǒng)，設(shè)計(jì)用于支持大 批量數(shù)據(jù)交換的應(yīng)用
Avro 可以發(fā)送一個(gè)給定的文件給Flume，Avro 源使用AVRO RPC 機(jī)制。
Thrift Source ：ThriftSource 與Avro Source 基本一致。只要把source的類型改成thrift即可，例如a1.sources.r1.type = thrift，比較簡單
Exec Source ：ExecSource的配置就是設(shè)定一個(gè)Unix(linux)命令，然后通過這個(gè)命令不斷輸出數(shù)據(jù)。如果進(jìn)程退出，Exec Source也一起退出，不會(huì)產(chǎn)生進(jìn)一步的數(shù)據(jù)。//EXEC 執(zhí)行一個(gè)給定的命令獲得輸出的源,如果要使用tail 命令，必選使得file 足夠大才能看到輸出內(nèi)容。
JMS Source：從JMS系統(tǒng)（消息、主題）中讀取數(shù)據(jù)，
Spooling Directory Source：Spooling Directory Source監(jiān)測配置的目錄下新增的文件，并將文件中的數(shù)據(jù)讀取出來。
其中，Spool Source有2個(gè)注意地方，第一個(gè)是拷貝到spool目錄下的文件不可以再打開編輯，第二個(gè)是spool目錄下不可包含相應(yīng)的子目錄。這個(gè)主要用途作為對日志的準(zhǔn)實(shí)時(shí)監(jiān)控。
Syslogtcp Source：Syslogtcp 監(jiān)聽TCP 的端口做為數(shù)據(jù)源
JSONHandler Source：

sink
Hadoop sink :把數(shù)據(jù)最終存儲(chǔ)在hdfs上
File Roll Sink ： 在本地文件系統(tǒng)中存儲(chǔ)事件。每隔指定時(shí)長生成文件保存這段時(shí)間內(nèi)收集到的日志信息。

channel
Replicating Channel Selector：
Flume 支持Fan out 流從一個(gè)源到多個(gè)通道。有兩種模式的Fan out，分別是復(fù)制和復(fù)用。
在復(fù)制的情況下，流的事件被發(fā)送到所有的配置通道。
在復(fù)用的情況下，事件被發(fā)送到可用的渠道中的一個(gè)子集。
Fan out 流需要指定源和Fan out 通道的規(guī)則。

Memory Channel event保存在Java Heap中。如果允許數(shù)據(jù)小量丟失，推薦使用
File Channel event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel
JDBC Channel event保存在關(guān)系數(shù)據(jù)中，一般不推薦使用

Flume 入門--幾種不同的Sinks https://www.cnblogs.com/itdyb/p/6270893.html
Flume的Source類型 https://www.cnblogs.com/qingyunzong/p/8995554.html
Flume：三種channel比較 https://blog.csdn.net/weixin_38750084/article/details/83059871