您好,登錄后才能下訂單哦!
今天小編給大家分享的是Kafka的安裝配置,相信大部分人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,話不多說,一起往下看吧。
安裝 Kafka 服務(wù)
直接到 kafka 官網(wǎng) , 下載最新的
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz
解壓,進入目錄
tar -zxvf kafka_2.13-2.5.0.tgz cd kafka_2.13-2.5.0
啟動 Kafka 服務(wù)
使用安裝包中的腳本啟動單節(jié)點 Zookeeper 實例
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
使用 kafka-server-start.sh 啟動 kafka 服務(wù)
bin/kafka-server-start.sh config/server.properties
創(chuàng)建 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看 topic 列表,檢查是否創(chuàng)建成功
bin/kafka-topics.sh --list --zookeeper localhost:2181 $ test
生產(chǎn)者,發(fā)送消息
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
服務(wù)方面到這里就差不多了,接下來就是 php 的事了。
安裝 PHP 擴展
rdkafka 安裝需要依賴 librdkafka , 所以先安裝 librdkafka
git clone https://github.com/edenhill/librdkafka.git cd librdkafka ./configure make && make install
安裝 php-rdkafka 擴展
git clone https://github.com/arnaud-lb/php-rdkafka.git cd php-rdkafka phpize ./configure --with-php-config=/usr/local/Cellar/php@7.2/7.2.24/bin/php-config ## 這里根據(jù)自己的情況填寫路徑 make && make install
在 php-ini 加上
extension=rdkafka.so
重啟,php-fpm,就應(yīng)該可以看到該擴展。
使用Kafka
創(chuàng)建一個生產(chǎn)者類
<?php class KafkaProducer { public static $brokerList = '127.0.0.1:9092'; public static function send($message, $topic) { self::producer($message, $topic); } public static function producer($message, $topic = 'test') { $conf = new \RdKafka\Conf(); $conf->set('metadata.broker.list', self::$brokerList); $producer = new \RdKafka\Producer($conf); $topic = $producer->newTopic($topic); $topic->produce(RD_KAFKA_PARTITION_UA, 0, json_encode($message)); $producer->poll(0); $result = $producer->flush(10000); if (RD_KAFKA_RESP_ERR_NO_ERROR !== $result) { throw new \RuntimeException('Was unable to flush, messages might be lost!'); } } }
創(chuàng)建一個消費類
<?php class KafkaConsumer { public static $brokerList = '127.0.0.1:9092'; public static function consumer() { $conf = new \RdKafka\Conf(); $conf->set('group.id', 'test'); $rk = new \RdKafka\Consumer($conf); $rk->addBrokers("127.0.0.1"); $topicConf = new \RdKafka\TopicConf(); $topicConf->set('auto.commit.interval.ms', 100); $topicConf->set('offset.store.method', 'broker'); $topicConf->set('auto.offset.reset', 'smallest'); $topic = $rk->newTopic('test', $topicConf); $topic->consumeStart(0, RD_KAFKA_OFFSET_STORED); while (true) { $message = $topic->consume(0, 120*10000); switch ($message->err) { case RD_KAFKA_RESP_ERR_NO_ERROR: var_dump($message); break; case RD_KAFKA_RESP_ERR__PARTITION_EOF: echo "No more messages; will wait for more\n"; break; case RD_KAFKA_RESP_ERR__TIMED_OUT: echo "Timed out\n"; break; default: throw new \Exception($message->errstr(), $message->err); break; } } } }
總結(jié)
1、 No Java runtime present, requesting install
因為 kafka 需要 java 環(huán)境支持,所以安裝 java 環(huán)境。可以到 javase-jdk14-downloads 選擇自己的版本進行下載安裝
2、創(chuàng)建 topic 出現(xiàn):Replication factor: 1 larger than available brokers: 0
意思是至少有一個 brokers. 也就是說并沒有有效的 brokers 可以用。你要確保你的 kafka 已經(jīng)啟動了。
以上就是Kafka的安裝配置的步驟,內(nèi)容較為全面,小編相信有部分知識點可能是我們?nèi)粘9ぷ骺赡軙姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。