分布式消息隊列Kafka的基本概念和常用命令

這篇文章主要介紹“分布式消息隊列Kafka的基本概念和常用命令”，在日常操作中，相信很多人在分布式消息隊列Kafka的基本概念和常用命令問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”分布式消息隊列Kafka的基本概念和常用命令”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

基本概念

主題：好比數(shù)據(jù)庫表，或者系統(tǒng)中文件夾

分區(qū)：一個主題可以分若干分區(qū)，同一個分區(qū)內(nèi)可以保證有序

偏移量：一個不斷遞增的整數(shù)值，每個分區(qū)的偏移量是唯一的

broker：一個獨立的kafka服務器

MirrorMaker工具：多集群間消息復制

Zookeeper：保存集群元數(shù)據(jù)和消費者信息，broker和主題元數(shù)據(jù)、消費者元數(shù)據(jù)分區(qū)偏移量

硬件選擇

磁盤吞吐量、磁盤容量、內(nèi)存、網(wǎng)絡、CPU

生產(chǎn)者（KafkaProducer）

序列化：自定義序列化、Avro

分區(qū)：ProducerRecord對象包含了目標主題、鍵和值，

鍵有兩個作用：可以作為消息的附加信息，也可以用來決定消息改寫到主題的那個分區(qū)，擁有相當鍵的消息會被寫到同一個分區(qū)。

消費者（KafkaConsumer）

消費者和消費者群組

kafka構建數(shù)據(jù)管道：數(shù)據(jù)段之間的大型緩存區(qū)

kafka是一個強大的消息總線，可以傳遞事件流，但是沒有處理和轉(zhuǎn)換事件的能力，kafka的可靠的傳遞能力讓它成為流式處理系統(tǒng)的完美數(shù)據(jù)來源

flume是分布式的日志收集系統(tǒng)，它將各個服務器中的數(shù)據(jù)收集起來并送到指定的地方去

日志輸出到flume，log4j里加上日志

業(yè)界比較典型的一中用法是：

線上數(shù)據(jù) -> flume -> kafka -> hdfs -> MR離線計算 或者：

線上數(shù)據(jù) -> flume -> kafka -> storm

簡單點概括 flume類似于管道，kafka類似于消息隊列。之所以題主覺得類似大概是因為都能用于數(shù)據(jù)傳輸

Flume和Kafka應該結合來使用，F(xiàn)lume作為日志收集端，Kafka作為日志消費端。

Flume的Source-Channel-Sink模型，非常適合作為日志收集的模型

kafka常用命令：

創(chuàng)建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

展示topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

描述topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

生產(chǎn)者：

bin/kafka-console-producer.sh --broker-list 130.51.23.95:9092 --topic my-replicated-topic

消費者：

bin/kafka-console-consumer.sh --zookeeper 130.51.23.95:2181 --topic test --from-beginnin

到此，關于“分布式消息隊列Kafka的基本概念和常用命令”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>