EMQ X中數(shù)據(jù)橋接到消息隊(duì)列Kafka的示例分析

今天就跟大家聊聊有關(guān)數(shù)據(jù)橋接到消息隊(duì)列Kafka的示例分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

場(chǎng)景介紹

該場(chǎng)景需要將 EMQ X 指定主題下且滿足條件的消息橋接到 Kafka 。為了便于后續(xù)分析檢索，消息內(nèi)容需要進(jìn)行拆分。

該場(chǎng)景下設(shè)備端上報(bào)信息如下：

• 上報(bào)主題：cmd/state/:id，主題中 id 代表車輛客戶端識(shí)別碼

• 消息體：

  {
    "id": "NXP-058659730253-963945118132721-22", // 客戶端識(shí)別碼
    "speed": 32.12, // 車輛速度
    "direction": 198.33212, // 行駛方向
    "tachometer": 3211, // 發(fā)動(dòng)機(jī)轉(zhuǎn)速，數(shù)值大于 8000 時(shí)才需存儲(chǔ)
    "dynamical": 8.93, // 瞬時(shí)油耗
    "location": { // GPS 經(jīng)緯度數(shù)據(jù)
      "lng": 116.296011,
      "lat": 40.005091
    },
    "ts": 1563268202 // 上報(bào)時(shí)間
  }

  
  

當(dāng)上報(bào)數(shù)據(jù)發(fā)動(dòng)機(jī)轉(zhuǎn)速數(shù)值大于 8000 時(shí)，存儲(chǔ)當(dāng)前信息以便后續(xù)分析用戶車輛使用情況。

準(zhǔn)備工作

創(chuàng)建Kafka主題

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --topic 'emqx_rule_engine_output' --partitions 1 --replication-factor 1

創(chuàng)建 Kafka Rule 之前必須先在 Kafka 中創(chuàng)建好主題，否則創(chuàng)建 Kafka Rule 失敗。

配置說明

創(chuàng)建資源

打開 EMQ X Dashboard，進(jìn)入左側(cè)菜單的 資源 頁(yè)面，點(diǎn)擊 新建 按鈕，鍵入 Kafka 服務(wù)器信息進(jìn)行資源創(chuàng)建。

EMQ X 集群中節(jié)點(diǎn)所在網(wǎng)絡(luò)環(huán)境可能互不相同，資源創(chuàng)建成功后點(diǎn)擊列表中 狀態(tài)按鈕，查看各個(gè)節(jié)點(diǎn)資源連接狀況，如果節(jié)點(diǎn)上資源不可用，請(qǐng)檢查配置是否正確、網(wǎng)絡(luò)連通性，并點(diǎn)擊 重連 按鈕手動(dòng)重連。

創(chuàng)建規(guī)則

進(jìn)入左側(cè)菜單的 規(guī)則 頁(yè)面，點(diǎn)擊 新建 按鈕，進(jìn)行規(guī)則創(chuàng)建。這里選擇觸發(fā)事件 消息發(fā)布，在消息發(fā)布時(shí)觸發(fā)該規(guī)則進(jìn)行數(shù)據(jù)處理。

選定觸發(fā)事件后，我們可在界面上看到可選字段及示例 SQL：

篩選所需字段

規(guī)則引擎使用 SQL 語(yǔ)句進(jìn)行 處理/整型 終端消息或連接事件等。該業(yè)務(wù)中我們只需將 payload 中關(guān)鍵字段篩選出來(lái)進(jìn)行使用。為此可使用 payload.<fieldname> 格式來(lái)選擇 payload 中的字段。此外，除 payload 中的內(nèi)容外，還需要保存消息的 id 信息。則 SQL 可配置為如下格式：

SELECT
  payload.id as client_id, payload.speed as speed, 
  payload.tachometer as tachometer,
  payload.ts as ts, id
FROM
  "message.publish"
WHERE
  topic =~ 't/#'

確立篩選條件

使用 SQL 語(yǔ)句 WHERE 字句進(jìn)行條件篩選，該業(yè)務(wù)中我們需要定義兩個(gè)條件：

• 僅處理 cmd/state/:id 主題，使用主題通配符 =~ 對(duì) topic 進(jìn)行篩選：topic =~ 'cmd/state/+'

• 僅處理 tachometer > 8000 的消息，使用比較符對(duì) tachometer 進(jìn)行篩選：payload.tachometer > 8000

組合上一步驟得到 SQL 如下：

SELECT
  payload.id as client_id, payload.speed as speed, 
  payload.tachometer as tachometer,
  payload.ts as ts,
  id
FROM
  "message.publish"
WHERE
  topic =~ 'cmd/state/+'
  AND payload.tachometer > 8000

使用 SQL 測(cè)試功能進(jìn)行輸出測(cè)試

借助 SQL 測(cè)試功能，我們可以實(shí)時(shí)查看當(dāng)前 SQL 處理后的數(shù)據(jù)輸出，該功能需要我們指定 payload 等模擬原始數(shù)據(jù)。

payload 數(shù)據(jù)如下，注意更改 tachometer 數(shù)值大小，以滿足 SQL 條件：

{
  "id": "NXP-058659730253-963945118132721-22",
  "speed": 32.12,
  "direction": 198.33212,
  "tachometer": 9001,
  "dynamical": 8.93,
  "location": {
    "lng": 116.296011,
    "lat": 40.005091
  },
  "ts": 1563268202
}

點(diǎn)擊 SQL 測(cè)試 切換按鈕，更改 topic 與 payload 為場(chǎng)景中的信息，點(diǎn)擊 測(cè)試 按鈕查看數(shù)據(jù)輸出：

測(cè)試輸出數(shù)據(jù)為：

{
  "client_id": "NXP-058659730253-963945118132721-22",
  "id": "589A429E9572FB44B0000057C0001",
  "speed": 32.12,
  "tachometer": 9001,
  "ts": 1563268202
}

測(cè)試輸出與預(yù)期相符，我們可以進(jìn)行后續(xù)步驟。

添加響應(yīng)動(dòng)作，橋接消息到 Kafka

SQL 條件輸入輸出無(wú)誤后，我們繼續(xù)添加相應(yīng)動(dòng)作，配置寫入 SQL 語(yǔ)句，將篩選結(jié)果橋接到 Kafka。

點(diǎn)擊響應(yīng)動(dòng)作中的 添加 按鈕，選擇 橋接數(shù)據(jù)到Kafka 動(dòng)作，選取剛剛選定的資源，Kafka 主題填寫上文創(chuàng)建的emqx_rule_engine_output

測(cè)試

預(yù)期結(jié)果

我們成功創(chuàng)建了一條規(guī)則，包含一個(gè)處理動(dòng)作，動(dòng)作期望效果如下：

1. 設(shè)備向 cmd/state/:id 主題上報(bào)消息是，當(dāng)消息中的 tachometer 數(shù)值超過 8000 時(shí)將命中 SQL，規(guī)則列表中 已命中 數(shù)字增加 1；

2. Kafka 的 emqx_rule_engine_output 主題 將增加一條消息，數(shù)值與當(dāng)前消息一致。

使用 Dashboard 中的 Websocket 工具測(cè)試

切換到 工具 --> Websocket 頁(yè)面，使用任意信息客戶端連接到 EMQ X，連接成功后在 消息 卡片發(fā)送如下信息：

• 主題：cmd/state/NXP-058659730253-963945118132721-22

• 消息體：

  {
    "id": "NXP-058659730253-963945118132721-22",
    "speed": 32.12,
    "direction": 198.33212,
    "tachometer": 8081,
    "dynamical": 8.93,
    "location": {
      "lng": 116.296011,
      "lat": 40.005091
    },
    "ts": 1563268202
  }

  
  

點(diǎn)擊 發(fā)送 按鈕，查看得到當(dāng)前規(guī)則已命中統(tǒng)計(jì)值為 1。

然后通過 Kafka 命令去查看消息是否生產(chǎn)成功:

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic emqx_rule_engine_output --from-beginning
{"client_id":"NXP-058659730253-963945118132721-22","id":"58DEE9D97711EF440000017B30002","speed":32.12,"tachometer":8081,"ts":1563268202}

至此，我們通過規(guī)則引擎實(shí)現(xiàn)了使用規(guī)則引擎橋接消息到 Kafka 的業(yè)務(wù)開發(fā)。

開源版規(guī)則引擎僅支持轉(zhuǎn)發(fā)到 Web Server, 轉(zhuǎn)發(fā)到 Kafka 的功能僅在企業(yè)版中發(fā)行

看完上述內(nèi)容，你們對(duì)數(shù)據(jù)橋接到消息隊(duì)列Kafka的示例分析有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。