溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章為大家展示了如何進行flume1.6.0 和kafka整合，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
一、啟動kafka，使用默認配置
①啟動zookeeper，bin/-server-start.sh -daemon config/server.properties
②啟動kafka：bin/kafka-server-start.sh -daemon config/server.properties
③創(chuàng)建主題：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider
④啟動消費者：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning
二、配置flume并啟動
flume的詳細配置可以看我前面的關于flume的詳細配置
將flume（1.6.0，自定義sink會在后面博客補充）的sink改為：
agent1.sinks.log-sink1.channel = ch2
agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.log-sink1.topic = spider
agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
agent1.sinks.log-sink1.requiredAcks = 1
agent1.sinks.log-sink1.batchSize = 1
啟動flume
三、測試
這里的測試類還是使用上一次log4j整合flume的例子，運行測試類，如果看到下面輸出，則表示整合成功
上述內(nèi)容就是如何進行flume1.6.0 和kafka整合，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業(yè)資訊頻道。
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
