如何理解Apache Flink CDC原理與使用

CDC (Change Data Capture)

Flink在1.11版本中新增了CDC的特性，簡稱 改變數(shù)據(jù)捕獲。名稱來看有點亂，我們先從之前的數(shù)據(jù)架構(gòu)來看CDC的內(nèi)容。

以上是之前的mysql binlog日志處理流程,例如canal監(jiān)聽binlog把日志寫入到kafka中。而Apache Flink實時消費Kakfa的數(shù)據(jù)實現(xiàn)mysql數(shù)據(jù)的同步或其他內(nèi)容等。拆分來說整體上可以分為以下幾個階段。

1. mysql開啟binlog
2. canal同步binlog數(shù)據(jù)寫入到kafka
3. flink讀取kakfa中的binlog數(shù)據(jù)進行相關(guān)的業(yè)務處理。

整體的處理鏈路較長，需要用到的組件也比較多。Apache Flink CDC可以直接從數(shù)據(jù)庫獲取到binlog供下游進行業(yè)務計算分析。簡單來說鏈路會變成這樣也就是說數(shù)據(jù)不再通過canal與kafka進行同步，而flink直接進行處理mysql的數(shù)據(jù)。節(jié)省了canal與kafka的過程。

Flink 1.11中實現(xiàn)了mysql-cdc與postgre-CDC，也就是說在Flink 1.11中我們可以直接通過Flink來直接消費mysql,postgresql的數(shù)據(jù)進行業(yè)務的處理。

使用場景

• 數(shù)據(jù)庫數(shù)據(jù)的增量同步
• 數(shù)據(jù)庫表之上的物理化視圖
• 維表join
• 其他業(yè)務處理
• ...

MySQL CDC 操作實踐

首先需要保證mysql數(shù)據(jù)庫開啟了binlog。未開啟請查閱相關(guān)資料進行binlog的啟用。自建默認是不開啟binlog的。

1. 源表

DROP TABLE IF EXISTS `t_test`;
CREATE TABLE `t_test` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `ip` varchar(255) DEFAULT NULL,
  `size` bigint(20) DEFAULT NULL
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=183 DEFAULT CHARSET=utf8mb4;

2. 添加mysql-cdc相關(guān)依賴

<dependency>
  <groupId>com.alibaba.ververica</groupId>
  <artifactId>flink-connector-mysql-cdc</artifactId>
  <version>1.1.0</version>
  <scope>compile</scope>
</dependency>

3. 相關(guān)代碼實現(xiàn)

def main(args: Array[String]): Unit = {

    val envSetting = EnvironmentSettings.newInstance()
      .useBlinkPlanner()
      .inStreamingMode()
      .build()

    val env = StreamExecutionEnvironment.getExecutionEnvironment

    val tableEnv = StreamTableEnvironment.create(env, envSetting)
    val sourceDDL =
      "CREATE TABLE test_binlog (" +
      "   id INT NOT NULl," +
      "   ip STRING," +
      "   size INT" +
      ") WITH (" +
      "'connector' = 'mysql-cdc'," +
      "'hostname' = 'localhost'," +
      "'port' = '3306'," +
      "'username' = 'root'," +
      "'password' = 'cain'," +
      "'database-name' = 'test'," +
      "'table-name' = 't_test'" +
      ")"

    // 輸出目標表
    val sinkDDL =
      "CREATE TABLE test_sink (\n" +
        " ip STRING,\n" +
        " countSum BIGINT,\n" +
        " PRIMARY KEY (ip) NOT ENFORCED\n" +
        ") WITH (\n" +
        " 'connector' = 'print'\n" +
        ")"

    val exeSQL =
      "INSERT INTO test_sink " +
        "SELECT ip, COUNT(1) " +
        "FROM test_binlog " +
        "GROUP BY ip"

    tableEnv.executeSql(sourceDDL)

    tableEnv.executeSql(sinkDDL)

    val result = tableEnv.executeSql(exeSQL)
    result.print()
  }

4. 啟動flink job,并且插入數(shù)據(jù)

INSERT INTO `test`.`t_test`( `ip`, `size`) VALUES (UUID(), 1231231);
INSERT INTO `test`.`t_test`( `ip`, `size`) VALUES (UUID(), 1231231);
INSERT INTO `test`.`t_test`( `ip`, `size`) VALUES (UUID(), 1231231);
...

插入數(shù)據(jù)可直接在console中看到flink處理的結(jié)果

 

Apache Flink CDC的方式替代了之前的canal+kafka節(jié)點.直接通過sql的方式來實現(xiàn)對mysql數(shù)據(jù)的同步。