spring boot中怎么整合kafka

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)spring boot中怎么整合kafka，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

一、啟動(dòng)kafka

　　啟動(dòng)kafka之前一定要啟動(dòng)zookeeper，因?yàn)橐褂胟afka必須要使用zookeeper。

　　windows環(huán)境下啟動(dòng)，直接使用kafka自帶的zookeeper：

　　E:\kafka_2.12-2.4.0\bin\windows zookeeper-server-start.bat ..\..\config\zookeeper.properties

　　接下來啟動(dòng)kafka

　　E:\kafka_2.12-2.4.0\bin\windows kafka-server-start.bat ..\..\config\server.properties

二、spring boot整合kafka項(xiàng)目實(shí)例

1.導(dǎo)入的maven

<dependency>
      <groupId>org.springframework.kafka</groupId>
      <artifactId>spring-kafka</artifactId>
    </dependency>

配置文件：

server.port=80
#kafka地址，可以有多個(gè)
spring.kafka.bootstrap-servers=127.0.0.1:9092
#------生產(chǎn)者配置文件---------
#指定kafka消息體和key的編碼格式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
#設(shè)置等待acks返回的機(jī)制，有三個(gè)值
# 0：不等待返回的acks（可能會(huì)丟數(shù)據(jù)，因?yàn)榘l(fā)送消息沒有了失敗重試機(jī)制，但是這是最低延遲）
# 1：消息發(fā)送給kafka分區(qū)中的leader后就返回（如果follower沒有同步完成leader就宕機(jī)了，就會(huì)丟數(shù)據(jù)）
# -1（默認(rèn)）：等待所有follower同步完消息后再發(fā)送（絕對不會(huì)丟數(shù)據(jù)）
spring.kafka.producer.acks=-1
# 消息累計(jì)到batch-size的值后，才會(huì)發(fā)送消息，默認(rèn)為16384
spring.kafka.producer.batch-size=16384
#如果kafka遲遲不發(fā)送消息（這里指的是消息沒堆積到指定數(shù)量），那么過了這個(gè)時(shí)間（單位：毫米）開始發(fā)送
spring.kafka.producer.properties.linger.ms=1
#設(shè)置緩沖區(qū)大小，默認(rèn)是33554432
#這個(gè)緩沖區(qū)是kafka中兩個(gè)線程里的共享變量
#這個(gè)兩個(gè)線程是main和sender，main負(fù)責(zé)把消息發(fā)送到共享變量，sender從共享變量拉數(shù)據(jù)
spring.kafka.producer.buffer-memory=33554432
#失敗重試發(fā)送的次數(shù)
spring.kafka.producer.retries=2
#------消費(fèi)者配置文件---------
#指定kafka消息體和key的編碼格式
spring.kafka.consumer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.consumer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
#指定消費(fèi)者組的group_id
spring.kafka.consumer.group-id=kafka_test
#kafka意外宕機(jī)時(shí)，再次開啟消息消費(fèi)的策略，共有三種策略
#earliest：當(dāng)各分區(qū)下有已提交的offset時(shí)，從提交的offset開始消費(fèi)；無提交的offset時(shí)，從頭開始消費(fèi)
#latest：當(dāng)各分區(qū)下有已提交的offset時(shí)，從提交的offset開始消費(fèi)；無提交的offset時(shí)，消費(fèi)新產(chǎn)生的該分區(qū)下的數(shù)據(jù)、
#none：當(dāng)所有分區(qū)都存在已提交的offset時(shí)，從offset后開始消費(fèi)；只要有一個(gè)分區(qū)不存在已提交的offset，則拋出異常
spring.kafka.consumer.auto-offset-reset=earliest
#自動(dòng)提交offset
spring.kafka.consumer.enable-auto-commit=true
#提交offset時(shí)間間隔
spring.kafka.consumer.auto-commit-interval=100
#消費(fèi)監(jiān)聽接口監(jiān)聽的主題不存在時(shí)，默認(rèn)會(huì)報(bào)錯(cuò)因此要關(guān)掉這個(gè)
spring.kafka.listener.missing-topics-fatal=false

2.創(chuàng)建topic

import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * 使用代碼創(chuàng)建的topic
 * 三個(gè)參數(shù)意思：topic的名稱；分區(qū)數(shù)量，新主題的復(fù)制因子；如果指定了副本分配，則為-1。
 */
@Configuration
public class KafkaTopic {

   @Bean
  public NewTopic batchTopic() {
    return new NewTopic("testTopic", 8, (short) 1);
  }
}

3.生產(chǎn)者代碼

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * kafka生產(chǎn)者代碼
 */
@RestController
public class ProductorController {

  @Autowired
  private KafkaTemplate<String, String> kafkaTemplate;

  @RequestMapping("/test")
  public String show() {
    kafkaTemplate.send("testTopic", "你好");
    return "發(fā)送成功";
  }

}

4.消費(fèi)者代碼

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.KafkaListener;

import java.util.Optional;

/**
 * kafka消費(fèi)者代碼
 */
@Configuration
public class KafkaConsumer {
  
  @KafkaListener(topics = "testTopic")
  public void consumer(ConsumerRecord consumerRecord){
    Optional<Object> kafkaMassage = Optional.ofNullable(consumerRecord.value());
    if(kafkaMassage.isPresent()){
      Object o = kafkaMassage.get();
      System.out.println("接收到的消息是："+o);
    }

  }

}

測試結(jié)果：

上述就是小編為大家分享的spring boot中怎么整合kafka了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。