您好,登錄后才能下訂單哦!
這篇文章主要介紹“怎么解決kafka消費(fèi)不到遠(yuǎn)程bootstrap-server數(shù)據(jù)的問(wèn)題”,在日常操作中,相信很多人在怎么解決kafka消費(fèi)不到遠(yuǎn)程bootstrap-server數(shù)據(jù)的問(wèn)題問(wèn)題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”怎么解決kafka消費(fèi)不到遠(yuǎn)程bootstrap-server數(shù)據(jù)的問(wèn)題”的疑惑有所幫助!接下來(lái),請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧!
執(zhí)行 ./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test
取不到數(shù)據(jù)沒(méi)有任何返回,也沒(méi)有報(bào)錯(cuò)
使用./bin/kafka-console-consumer.sh --zookeeper 10.10.151.12:2181 --topic flink_test
終于看到報(bào)錯(cuò)信息了
[2020-12-02 10:06:41,087] WARN [console-consumer-73229_localhost.localdomain-1606874800409-65d73e12-leader-finder-thread]: Failed to add leader for partitions flink_test-5,flink_test-16,flink_test-2,flink_test-13,flink_test-21,flink_test-10,flink_test-15,flink_test-4,flink_test-7,flink_test-18,flink_test-1,flink_test-23,flink_test-12,flink_test-20,flink_test-9,flink_test-6,flink_test-17,flink_test-22,flink_test-3,flink_test-14,flink_test-19,flink_test-8,flink_test-0,flink_test-11; will retry (kafka.consumer.ConsumerFetcherManager$LeaderFinderThread) java.nio.channels.ClosedChannelException at kafka.network.BlockingChannel.send(BlockingChannel.scala:112) at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:101) at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:86) at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:152) at kafka.consumer.SimpleConsumer.earliestOrLatestOffset(SimpleConsumer.scala:191) at kafka.consumer.ConsumerFetcherThread.handleOffsetOutOfRange(ConsumerFetcherThread.scala:92) at kafka.server.AbstractFetcherThread$$anonfun$7.apply(AbstractFetcherThread.scala:243) at kafka.server.AbstractFetcherThread$$anonfun$7.apply(AbstractFetcherThread.scala:240) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.immutable.HashMap$HashMap1.foreach(HashMap.scala:221) at scala.collection.immutable.HashMap$HashTrieMap.foreach(HashMap.scala:428) at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) at scala.collection.AbstractTraversable.map(Traversable.scala:104) at kafka.server.AbstractFetcherThread.addPartitions(AbstractFetcherThread.scala:240) at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:97) at kafka.server.AbstractFetcherManager$$anonfun$addFetcherForPartitions$2.apply(AbstractFetcherManager.scala:85) at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733) at scala.collection.immutable.Map$Map3.foreach(Map.scala:161) at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:732) at kafka.server.AbstractFetcherManager.addFetcherForPartitions(AbstractFetcherManager.scala:85) at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:96) at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:64)
修改/etc/hosts文件
10.10.151.11 test01 10.10.151.12 test02 10.10.151.13 test03
重新執(zhí)行./bin/kafka-console-consumer.sh --bootstrap-server 10.10.151.12:6667 --topic flink_test
成功獲取數(shù)據(jù)
1.原來(lái)kafka消費(fèi)者和kafka server 在一個(gè)集群中hosts文件都一樣,所以沒(méi)有問(wèn)題。
2.新的kafka消費(fèi)者是我新加的一個(gè)機(jī)器,是獨(dú)立于集群的,但是需要消費(fèi)集群中部分?jǐn)?shù)據(jù)做實(shí)驗(yàn)用
3.集群中的kafka配置中使用的的是hostname,所以新加的機(jī)器沒(méi)有配hosts就連接不上
4.kafka版本比較老了是1.0.0,但是我們項(xiàng)目定版了,這個(gè)版就要用1.0.0版防止沖突,下個(gè)版本我在升級(jí)一下吧。
到此,關(guān)于“怎么解決kafka消費(fèi)不到遠(yuǎn)程bootstrap-server數(shù)據(jù)的問(wèn)題”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。