Kafka Connect如何實(shí)現(xiàn)同步RDS binlog數(shù)據(jù)

Kafka Connect如何實(shí)現(xiàn)同步RDS binlog數(shù)據(jù)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

下面介紹如何在E-MapReduce上使用Kafka Connect實(shí)現(xiàn)同步RDS binlog數(shù)據(jù)

　　1. 背景

　　在我們的業(yè)務(wù)開(kāi)發(fā)中，往往會(huì)碰到下面這個(gè)場(chǎng)景：

　　業(yè)務(wù)更新數(shù)據(jù)寫到數(shù)據(jù)庫(kù)中

　　業(yè)務(wù)更新數(shù)據(jù)需要實(shí)時(shí)傳遞給下游依賴處理

　　所以傳統(tǒng)的處理架構(gòu)可能會(huì)這樣：

　　本文將演示如何在E-MapReduce上實(shí)現(xiàn)將RDS binlog實(shí)時(shí)同步到Kafka集群中。

　　2. 環(huán)境準(zhǔn)備

　　實(shí)驗(yàn)中使用VPC網(wǎng)絡(luò)環(huán)境，以下實(shí)例創(chuàng)建時(shí)默認(rèn)都是在VPC環(huán)境下。

　　2.1 準(zhǔn)備一個(gè)測(cè)試RDS數(shù)據(jù)庫(kù)

　　創(chuàng)建一個(gè)RDS實(shí)例，版本選擇5.7。這里不贅述如何創(chuàng)建RDS，詳細(xì)流程請(qǐng)參考RDS文檔。創(chuàng)建完如圖：

　　注意：RDS實(shí)例和E-MapReduce Kafka集群最好在同一個(gè)VPC中，否則需要打通兩個(gè)VPC之間的網(wǎng)絡(luò)。

　　3. Kafka Connect

　　3.1 Connector

　　Kafka Connect是一個(gè)用于Kafka和其他數(shù)據(jù)系統(tǒng)之間進(jìn)行數(shù)據(jù)傳輸?shù)墓ぞ撸梢詫?shí)現(xiàn)基于Kafka的數(shù)據(jù)管道，打通上下游數(shù)據(jù)源。我們需要做的就是在Kafka Connect服務(wù)上運(yùn)行一個(gè)Connector，這個(gè)Connector是具體實(shí)現(xiàn)如何從/向數(shù)據(jù)源中讀/寫數(shù)據(jù)。Confluent提供了很多Connector實(shí)現(xiàn)，你可以在這里下載。不過(guò)今天我們使用Debezium提供的一個(gè)MySQL Connector插件，下載地址。

　　下載這個(gè)插件，并將解壓出來(lái)的jar包全部拷貝到kafka lib目錄下。注意：需要將這些jar包拷貝到Kafka集群所有機(jī)器上。

　　在Kafka集群的服務(wù)列表中重啟Kafka Connect組件。

　　登錄到Kafka集群，配置并創(chuàng)建一個(gè)connector，命令如下：

　　3.3 注意事項(xiàng)

　　server_id是多少?：你可以在RDS執(zhí)行"SELECT @@server_id;"查到。

　　創(chuàng)建connector時(shí)可能會(huì)出現(xiàn)連接失敗，請(qǐng)確保RDS的白名單已經(jīng)授權(quán)了Kafka集群機(jī)器訪問(wèn)。

　　4 測(cè)試

　　4.1 創(chuàng)建一張表

　　插入幾條數(shù)據(jù)

　　結(jié)果如圖所示：

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。