Serverless 云函數(shù)怎么實(shí)現(xiàn)CKafka 數(shù)據(jù)轉(zhuǎn)存到ES

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)Serverless 云函數(shù)怎么實(shí)現(xiàn)CKafka 數(shù)據(jù)轉(zhuǎn)存到ES，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

背景介紹

騰訊云 Serverless 云函數(shù)是下一代通用計(jì)算平臺(tái)，提供安全穩(wěn)定、高效易用的低成本無服務(wù)器運(yùn)行環(huán)境。隨著 Kafka 社區(qū)的繁榮，越來越多的用戶開始使用 Kafka 來做日志收集、大數(shù)據(jù)分析、流式數(shù)據(jù)處理等。而公有云上的產(chǎn)品 Ckafka 也借助了開源社區(qū)的力量，做了很多優(yōu)化：

• 基于 ApacheKafka 的分布式、高可擴(kuò)展、高吞吐

• 100% 兼容 Apache KafkaAPI（0.9 及 0.10）

• 無需部署，直接使用 Kafka 所有功能

• Ckafka 封裝所有集群細(xì)節(jié)，無需用戶運(yùn)維

• 支持動(dòng)態(tài)升降實(shí)例配置，按照需求付費(fèi)（開發(fā)中）

• 對(duì)消息引擎優(yōu)化，性能比社區(qū)最高提升 50%

同時(shí)，在公有云上，云函數(shù)也和 CKafka 做了深度聯(lián)動(dòng)，并推出了很多非常實(shí)用的功能。

運(yùn)行原理

如下圖，云函數(shù)可以實(shí)時(shí)消費(fèi) Ckafka 中的消息，比如做數(shù)據(jù)轉(zhuǎn)存、日志清洗、實(shí)時(shí)消費(fèi)等。并且，像數(shù)據(jù)轉(zhuǎn)存的功能已經(jīng)集成到了 Ckafka 的控制臺(tái)上，用戶可以一鍵開啟使用，大大降低了用戶使用的復(fù)雜度。

方案優(yōu)勢(shì)

對(duì)比使用云主機(jī)自建 Ckafka Consumer 的方式，云函數(shù)幫用戶屏蔽掉了很多不必要的開銷：

1. 云函數(shù)控制臺(tái)上可以一鍵開啟Ckafka觸發(fā)器，幫助用戶自動(dòng)創(chuàng)建 Consumer，并由云函數(shù)平臺(tái)來維護(hù)組建的高可用；

2. Ckafka 觸發(fā)器自身支持很多實(shí)用的配置：支持配置 offset 位置、支持配置1~1萬消息聚合條數(shù)、支持配置 1~1萬次重試次數(shù)等；

3. 基于云函數(shù)開發(fā)的業(yè)務(wù)邏輯，天然支持彈性伸縮，無需額外搭建和維護(hù)服務(wù)器集群等。

常用場(chǎng)景

如下圖所示，借助云函數(shù)和 Ckafka 觸發(fā)器，可以非常方便實(shí)現(xiàn) CKafka 消息轉(zhuǎn)存到 COS、ES、DB等，那本次也會(huì)借助云函數(shù)來替代 Logstash，實(shí)現(xiàn) Ckafka 消息羅盤 ES。

和使用 CVM 自建 Logstash 對(duì)比，云函數(shù)有以下優(yōu)勢(shì)：

1. 云函數(shù)自帶 Consumer 組件，可自行聚合；

2. 云函數(shù)的模板函數(shù)已經(jīng)實(shí)現(xiàn)了消息聚合和部分清洗能力，還可自行擴(kuò)展；

3. 云函數(shù)集群自帶高可用和監(jiān)控日志能力，業(yè)務(wù)上線速度更快；

4. 云函數(shù)采用按實(shí)際使用收費(fèi)，比自建集群費(fèi)用更優(yōu)，可以節(jié)省 50% 的費(fèi)用。

部署流程

前置條件（以廣州地域?yàn)槔?/p>

• 開啟 Elasticsearch 服務(wù)

• 開啟 Ckafka 服務(wù)

1. 創(chuàng)建云函數(shù)

登錄云函數(shù)控制臺(tái)，選擇地域后，新建函數(shù)，選擇運(yùn)行環(huán)境 Python3.6，搜索「Ckafka」，選中模板函數(shù)后，下一步。

在下一步中，點(diǎn)開高級(jí)設(shè)置：配置環(huán)境變量，如下：

必填參數(shù)：ES_Address, ES_User, ES_Password, ES_Index_KeyWord

可選填入：

• ES_Log_IgnoreWord（需要?jiǎng)h除的關(guān)鍵詞，缺省則全量寫入，如填 name, password）

• ES_Index_TimeFormat（按照天或者小時(shí)設(shè)置 Index，缺省則按照天建立索引，如填 hour）

在高級(jí)設(shè)置中，配置私有網(wǎng)絡(luò)，需要選擇和 ES 相同 VPC，完成函數(shù)創(chuàng)建。

2. 創(chuàng)建 Ckafka 觸發(fā)器

在函數(shù)的【觸發(fā)管理】頁面，創(chuàng)建觸發(fā)器，配置對(duì)應(yīng) Topic 的觸發(fā)方式，提交后即可生效。

3. 查看 ES 和函數(shù)運(yùn)行日志

查看函數(shù)運(yùn)行日志

查看 Kibana

擴(kuò)展能力介紹

如果想要實(shí)現(xiàn)高級(jí)日志清洗邏輯，可直接在函數(shù)代碼中修改邏輯。

針對(duì)函數(shù)的運(yùn)行狀態(tài)，可以自行配置監(jiān)控告警，實(shí)時(shí)感知業(yè)務(wù)運(yùn)行情況。

上述就是小編為大家分享的Serverless 云函數(shù)怎么實(shí)現(xiàn)CKafka 數(shù)據(jù)轉(zhuǎn)存到ES了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。