kafka原理及架構(gòu)是什么

這篇文章主要介紹“kafka原理及架構(gòu)是什么”，在日常操作中，相信很多人在kafka原理及架構(gòu)是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”kafka原理及架構(gòu)是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

kafka背景及應(yīng)用場景

     由LinkedIn 公司開發(fā)的一個分布式的消息系統(tǒng)；
     高吞吐率；
     支持Kafka Server間的消息分區(qū)，及分布式消費；
     同時支持離線數(shù)據(jù)處理和實時數(shù)據(jù)處理；
     支持在線水平擴展。

kafka基本架構(gòu)

kafka基本名詞解釋

kafka順序?qū)懘疟P

Kafka的文件存儲機制

Kafka的文件復(fù)制原理

Kafka的數(shù)據(jù)可靠性的保證

request.required.acks=-1參數(shù)來設(shè)置數(shù)據(jù)可靠性的級別
min.insync.replicas配合使用

Kafka的發(fā)送模式，默認同步producer.type=sync，以下是異步的參數(shù)

Kafka的消息傳輸保障

At most once: 消息可能會丟，但絕不會重復(fù)傳輸
At least once：消息絕不會丟，但可能會重復(fù)傳輸
Exactly once：每條消息肯定會被傳輸一次且僅傳輸一次

Kafka的單節(jié)點搭建

Kafka版本下載
配置server.properties和consumer.properties
Kafka依賴zookeeper

搭建步驟

1：下載kafka
    地址：http://kafka.apache.org/downloads

2：上傳安裝包到服務(wù)器上面，并且進行解壓

3：進入kafka的安裝目錄下的config目錄
    1）編輯server.properties文件，修改zk的服務(wù)地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

    2）編輯consumer.properties文件，修改zk的服務(wù)地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

4：啟動zk集群
     ./zookeeper-3.4.8/bin/zkServer.sh start

5：啟動kafka的server
    ./bin/kafka-server-start.sh config/server.properties 啟動kafka服務(wù)

6：克隆一個會話來進行創(chuàng)建一個主題，topic
     ./bin/kafka-topics.sh --create --zookeeper hm02:2181,hs0201:2181,hs0202:2181 --replication-factor 1 --partitions 1 --topic mykaka

    查看有那些topic：
    ./bin/kafka-topics.sh  --list --zookeeper hm02:2181,hs0201:2181,hs0202:2181

7：創(chuàng)建一個生產(chǎn)者，這里是使用命令行的producer
    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mykaka

8：創(chuàng)建一個消費者，這里也是用命令行的consumer
     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mykaka --from-beginning

到此，關(guān)于“kafka原理及架構(gòu)是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>