Kafka數(shù)據(jù)中轉(zhuǎn)傳輸?shù)氖纠治?/h1>

發(fā)布時間：2021-12-15 10:28:38 來源：億速云 閱讀：284 作者：柒染 欄目：云計算

今天就跟大家聊聊有關(guān)Kafka數(shù)據(jù)中轉(zhuǎn)傳輸?shù)氖纠治?，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

需求起源

由于某些海外節(jié)點的數(shù)據(jù)發(fā)送到Kafka的上海集群會產(chǎn)生較高的延遲,因為公網(wǎng)訪問的時候數(shù)據(jù)可能會進行多次中轉(zhuǎn),而導(dǎo)致網(wǎng)絡(luò)延遲較高。所以增加了一個地區(qū)中轉(zhuǎn)，該地區(qū)的網(wǎng)絡(luò)情況到所有的節(jié)點的網(wǎng)絡(luò)情況較好(廠商推薦)。

所以想把數(shù)據(jù)通過該地區(qū)做一次中轉(zhuǎn)，再發(fā)送到上海。這樣來看整體時延約120ms+。所以在Kafka的producer直接把host配置為該中轉(zhuǎn)節(jié)點。經(jīng)過測試，發(fā)現(xiàn)數(shù)據(jù)能夠到上海。

設(shè)想的數(shù)據(jù)流程

服務(wù)器，使用 kafka-producer-perf-test進行壓力測試，直接出現(xiàn)大量的timeout。網(wǎng)絡(luò)情況非常不好。
看完上述內(nèi)容，你們對Kafka數(shù)據(jù)中轉(zhuǎn)傳輸?shù)氖纠治鲇羞M一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。

kafka安裝 kafka集群搭建 kafka zookeeper kafka原理 librdkafka kafka集群 spring-kafka apache kafka 編程工具 同步復(fù)制 文件瀏覽器 extra 安裝步驟 lftp timedatectl dev c++ 表格邊框 orderedict tungsten fabric effective