Knative 實(shí)戰(zhàn)：基于 Kafka 實(shí)現(xiàn)消息推送

cdn.com/01ee67ae04a648166d18ad84af8538056340b4f8.png">

作者 |?元毅?阿里云智能事業(yè)群高級(jí)開(kāi)發(fā)工程師

導(dǎo)讀：當(dāng)前在 Knative 中已經(jīng)提供了對(duì) Kafka 事件源的支持，那么如何基于 Kafka 實(shí)現(xiàn)消息推送呢？本文作者將以阿里云 Kafka 產(chǎn)品為例，給大家解鎖這一新的姿勢(shì)。

背景

消息隊(duì)列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可擴(kuò)展的消息隊(duì)列服務(wù)。消息隊(duì)列 for Apache Kafka 廣泛用于日志收集、監(jiān)控?cái)?shù)據(jù)聚合、流式數(shù)據(jù)處理、在線和離線分析等大數(shù)據(jù)領(lǐng)域，已成為大數(shù)據(jù)生態(tài)中不可或缺的部分。

結(jié)合 Knative ?中提供了 KafkaSource 事件源的支持， 可以方便的對(duì)接 Kafka 消息服務(wù)。

另外也可以安裝社區(qū) Kafka 2.0.0 及以上版本使用。

在阿里云上創(chuàng)建 Kafka 實(shí)例

創(chuàng)建 Kafka 實(shí)例

登錄消息隊(duì)列 Kafka 控制臺(tái), 選擇【購(gòu)買(mǎi)實(shí)例】。由于當(dāng)前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本，在阿里云上創(chuàng)建 Kafka 實(shí)例需要選擇包年包月、專(zhuān)業(yè)版本進(jìn)行購(gòu)買(mǎi)，購(gòu)買(mǎi)之后升級(jí)到 2.0.0 即可。

部署實(shí)例并綁定 VPC

購(gòu)買(mǎi)完成之后，進(jìn)行部署，部署時(shí)設(shè)置 Knative 集群所在的 VPC 即可：

創(chuàng)建 Topic 和 Consumer Group

接下來(lái)我們創(chuàng)建 Topic 和消費(fèi)組。<br />進(jìn)入【Topic 管理】，點(diǎn)擊?創(chuàng)建 Topic, 這里我們創(chuàng)建名稱(chēng)為 demo 的 topic:

進(jìn)入【Consumer Group 管理】,點(diǎn)擊?創(chuàng)建 Consumer Group, 這里我們創(chuàng)建名稱(chēng)為 demo-consumer 的消費(fèi)組:

部署 Kafka 數(shù)據(jù)源

部署 Kafka addon 組件

登錄容器服務(wù)控制臺(tái)，進(jìn)入【Knative 組件管理】，部署 Kafka addon 組件。

創(chuàng)建 KafkaSource 實(shí)例

首先創(chuàng)建用于接收事件的服務(wù) event-display:

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: event-display
spec:
  template:
    spec:
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d

接下來(lái)創(chuàng)建 KafkaSource：

apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:
  name: alikafka-source
spec:
  consumerGroup: demo-consumer
  # Broker URL. Replace this with the URLs for your kafka cluster,
  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.
  bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092
  topics: demo
  sink:
    apiVersion: serving.knative.dev/v1alpha1
    kind: Service
    name: event-display

說(shuō)明：

• bootstrapServers: Kafka VPC 訪問(wèn)地址
• consumerGroup： 設(shè)置消費(fèi)組
• topics：設(shè)置 Topic

創(chuàng)建完成之后，我們可以查看對(duì)應(yīng)的實(shí)例已經(jīng)運(yùn)行：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods
NAME                                    READY   STATUS    RESTARTS   AGE
alikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h

驗(yàn)證

在 Kafka 控制臺(tái)，選擇 topic 發(fā)送消息，注意這里的消息格式必須是 json 格式：

我們可以看到已經(jīng)接收到了發(fā)送過(guò)來(lái)的 Kafka 消息：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container

?  CloudEvent: valid 
Context Attributes,
  SpecVersion: 0.2
  Type: dev.knative.kafka.event
  Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo
  ID: partition:7/offset:1
  Time: 2019-10-18T08:50:32.492Z
  ContentType: application/json
  Extensions: 
    key: demo
Transport Context,
  URI: /
  Host: event-display.default.svc.cluster.local
  Method: POST
Data,
  {
    "key": "test"
  }

小結(jié)

結(jié)合阿里云 Kafka 產(chǎn)品，通過(guò)事件驅(qū)動(dòng)觸發(fā)服務(wù)（函數(shù)）執(zhí)行，是不是簡(jiǎn)單又高效。這樣我們利用 Knative 得以把云原生的能力充分釋放出來(lái)，帶給我們更多的想象空間。歡迎對(duì) Knative 感興趣的一起交流。

實(shí)操視頻演示鏈接：https://v.qq.com/x/page/d3013wzs3tp.html

作者簡(jiǎn)介：元毅，阿里云容器平臺(tái)高級(jí)開(kāi)發(fā)工程師，負(fù)責(zé)阿里云容器平臺(tái) Knative 相關(guān)工作。

“ 阿里巴巴云×××icloudnative×××erverless、容器、Service Mesh等技術(shù)領(lǐng)域、聚焦云原生流行技術(shù)趨勢(shì)、云原生大規(guī)模的落地實(shí)踐，做最懂云原生開(kāi)發(fā)×××