flume多路復(fù)用怎么寫(xiě)

這篇文章主要介紹“flume多路復(fù)用怎么寫(xiě)”，在日常操作中，相信很多人在flume多路復(fù)用怎么寫(xiě)問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”flume多路復(fù)用怎么寫(xiě)”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

一、編寫(xiě)目地
通過(guò)對(duì)flume組件的了解，除使用攔截器外，還可以對(duì)源碼修改或自定義源。本次測(cè)試使用的是對(duì)源碼修改。使用虛擬搭建flume + kafka環(huán)境，編寫(xiě)功能簡(jiǎn)單的多路復(fù)用，主要是用flume的exec收集數(shù)據(jù)源，放入到logger、hdfs、kafka隊(duì)列。

二、編譯環(huán)境說(shuō)明
1、jdk版本：jdk1.7.0_80  注：根據(jù)pom.xml中要求flume-ng-1.6.0需要在jdk1.7中編譯，使jdk1.8可能會(huì)存在問(wèn)題
2、flume版本：flume-ng-1.6.0-cdh6.7.0
3、maven版本：apache-maven-3.3.9

三、Flume源碼的修改
3、用maven編譯flume-ng-1.6.0-cdh6.7.0源碼
3.1、下載flume
cd /opt/sourcecode
wget http://archive.cloudera.com/cdh6/cdh/5/flume-ng-1.6.0-cdh6.7.0-src.tar.gz
tar -zxvf flume-ng-1.6.0-cdh6.7.0-src.tar.gz

3.2、修改源碼：
cd /opt/sourcecode/flume-ng-1.6.0-cdh6.7.0/flume-ng-core/src/main/java/org/apache/flume/source
在ExecSource.java中增加如下代碼：
vi ExecSource.java
// 創(chuàng)建map(注：在源碼中336行增加)

1. <repository>
   

2.       <releases>
   

3.         <enabled>true</enabled>
   

4.         <updatePolicy>always</updatePolicy>
   

5.         <checksumPolicy>warn</checksumPolicy>
   

6.       </releases>
   

7.       <id>conjars</id>
   

8.       <name>Conjars</name>
   

9.       <url>http://conjars.org/repo</url>
   

10.       <layout>default</layout>
    

11.     </repository>

到此，關(guān)于“flume多路復(fù)用怎么寫(xiě)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！