canal如何實(shí)現(xiàn)mysql的數(shù)據(jù)同步

這篇文章將為大家詳細(xì)講解有關(guān)canal如何實(shí)現(xiàn)mysql的數(shù)據(jù)同步，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

canal是什么？

canal [k?'n?l]，譯意為水道/管道/溝渠，主要用途是基于 MySQL 數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱和消費(fèi)

基于日志增量訂閱和消費(fèi)的業(yè)務(wù)包括

• 數(shù)據(jù)庫鏡像
• 數(shù)據(jù)庫實(shí)時(shí)備份
• 索引構(gòu)建和實(shí)時(shí)維護(hù)(拆分異構(gòu)索引、倒排索引等)
• 業(yè)務(wù) cache 刷新
• 帶業(yè)務(wù)邏輯的增量數(shù)據(jù)處理

當(dāng)前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

基于上面的講解，我們?cè)趯?shí)現(xiàn)canal之前，先簡單做一個(gè)主從復(fù)制。一主 一從

• 首先下載mysql 鏡像,并啟動(dòng)

docker pull mysql:latest
docker run -itd --name mysql-1 -p 23306:3306 -e MYSQL_ROOT_PASSWORD=root  mysql
docker run -itd --name mysql-2 -p 23307:3306 -e MYSQL_ROOT_PASSWORD=root  mysql復(fù)制代碼

• 相關(guān)命令再解釋一下：

name xxx  :xxx為容器名 p 111:222  其中111是宿主機(jī)端口，222是容器端口 MYSQL_ROOT_PASSWORD=root  設(shè)置root賬戶密碼為root

• 進(jìn)入容器測(cè)試一下，一切正常

• 設(shè)置 mysql-1為主，mysql-2為從庫
• 修改一下 mysql的配置，安裝vim編輯器

apt-get update
apt-get install vim復(fù)制代碼

• 在主庫 創(chuàng)建一個(gè)mysql賬戶給從庫使用

CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'slave'@'%';
FLUSH PRIVILEGES；復(fù)制代碼

• 修改一下從服務(wù)器

[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL
server_id=100
log-bin=mysql-slave-bin
relay_log=edu-mysql-relay-bin復(fù)制代碼

• 退出重啟從服務(wù)器docker
• 進(jìn)入從服務(wù)器 執(zhí)行

mysql> change master to master_host='172.17.0.4', master_user='slave', master_password='123456', master_port=3306, master_log_file='edu-mysql-bin.000001', master_log_pos= 877, master_connect_retry=30;復(fù)制代碼

相關(guān)命令解釋 master_port：Master的端口號(hào)，指的是容器的端口號(hào) master_user：用于數(shù)據(jù)同步的用戶 master_password：用于同步的用戶的密碼 master_log_file：指定 Slave 從哪個(gè)日志文件開始復(fù)制數(shù)據(jù)，即上文中提到的 File 字段的值 master_log_pos：從哪個(gè) Position 開始讀，即上文中提到的 Position 字段的值 master_connect_retry：如果連接失敗，重試的時(shí)間間隔，單位是秒，默認(rèn)是60秒 在Slave 中的mysql終端執(zhí)行show slave status \\\\G;用于查看主從同步狀態(tài)。

• 出現(xiàn)一下信息說明配置成功

• 接下來再主庫寫數(shù)據(jù)，從庫同步成功

• 簡單的主從同步完成了，但是我們要想，怎么實(shí)現(xiàn)的主從同步，對(duì)吧；

其實(shí)就是 通過 同步二進(jìn)制日志文件，從服務(wù)器 會(huì)起一個(gè)io進(jìn)程，讀取二進(jìn)制文件同步到 從服務(wù)器

• 簡單看一下二進(jìn)制文件的內(nèi)容；

為什么再 將canal 之前要先說主從復(fù)制呢，其實(shí)canal 就是把自己偽裝成了從服務(wù)器，從而讀取日志，拿到數(shù)據(jù)；

使用docker 部署canal

參考鏈接

docker pull canal/canal-server:latest
# 下載腳本
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh 

# 構(gòu)建一個(gè)destination name為test的隊(duì)列， address 對(duì)應(yīng)的數(shù)據(jù)庫ip+端口 ，dbUsername對(duì)應(yīng)數(shù)據(jù)庫用戶名，dbPassword對(duì)應(yīng)數(shù)據(jù)庫密碼，注意修改為自己的
sh run.sh -e canal.auto.scan=false \\\\
-e canal.destinations=test \\\\
-e canal.instance.master.address=172.17.0.4:3306  \\\\
-e canal.instance.dbUsername=canal  \\\\
-e canal.instance.dbPassword=canal  \\\\
-e canal.instance.connectionCharset=UTF-8 \\\\
-e canal.instance.tsdb.enable=true \\\\
-e canal.instance.gtidon=false  \\\\復(fù)制代碼

• 啟動(dòng)之后可以進(jìn)入容器，看一下里面的 日志,如果出現(xiàn)了標(biāo)紅的信息，說明成功，否則就查看里面的報(bào)錯(cuò)信息吧！也不難

• 配合php 查看數(shù)據(jù)變化（此處不限php，java,go，python等都有接口）
• 多語言連接https://github.com/alibaba/canal

php 監(jiān)聽數(shù)據(jù)變化

• canal-php

canal-php 是阿里巴巴開源項(xiàng)目 Canal是阿里巴巴mysql數(shù)據(jù)庫binlog的增量訂閱&消費(fèi)組件 的 php 客戶端。為 php 開發(fā)者提供一個(gè)更友好的使用 Canal 的方式。Canal 是mysql數(shù)據(jù)庫binlog的增量訂閱&消費(fèi)組件。

基于日志增量訂閱&消費(fèi)支持的業(yè)務(wù)：

1. 數(shù)據(jù)庫鏡像
2. 數(shù)據(jù)庫實(shí)時(shí)備份
3. 多級(jí)索引 (賣家和買家各自分庫索引)
4. search build
5. 業(yè)務(wù)cache刷新
6. 價(jià)格變化等重要業(yè)務(wù)消息

關(guān)于 Canal 的更多信息請(qǐng)?jiān)L問 github.com/alibaba/can…

• 應(yīng)用場(chǎng)景

canal-php 作為Canal的客戶端，其應(yīng)用場(chǎng)景就是Canal的應(yīng)用場(chǎng)景。關(guān)于應(yīng)用場(chǎng)景在Canal介紹一節(jié)已有概述。舉一些實(shí)際的使用例子：

1.代替使用輪詢數(shù)據(jù)庫方式來監(jiān)控?cái)?shù)據(jù)庫變更，有效改善輪詢耗費(fèi)數(shù)據(jù)庫資源。

2.根據(jù)數(shù)據(jù)庫的變更實(shí)時(shí)更新搜索引擎，比如電商場(chǎng)景下商品信息發(fā)生變更，實(shí)時(shí)同步到商品搜索引擎 Elasticsearch、solr等

3.根據(jù)數(shù)據(jù)庫的變更實(shí)時(shí)更新緩存，比如電商場(chǎng)景下商品價(jià)格、庫存發(fā)生變更實(shí)時(shí)同步到redis

4.數(shù)據(jù)庫異地備份、數(shù)據(jù)同步

5.根據(jù)數(shù)據(jù)庫變更觸發(fā)某種業(yè)務(wù)，比如電商場(chǎng)景下，創(chuàng)建訂單超過xx時(shí)間未支付被自動(dòng)取消，我們獲取到這條訂單數(shù)據(jù)的狀態(tài)變更即可向用戶推送消息。

6.將數(shù)據(jù)庫變更整理成自己的數(shù)據(jù)格式發(fā)送到kafka等消息隊(duì)列，供消息隊(duì)列的消費(fèi)者進(jìn)行消費(fèi)。

• 工作原理

canal-php 是 Canal 的 php 客戶端，它與 Canal 是采用的Socket來進(jìn)行通信的，傳輸協(xié)議是TCP，交互協(xié)議采用的是 Google Protocol Buffer 3.0。

• 工作流程

• 使用組件安裝，此處我有一個(gè)laravel框架，直接在laravel里面安裝使用了，相關(guān)代碼貼出

 # 安裝組件canal-php
 composer require xingwenge/canal_php
# 編寫腳本監(jiān)聽
<?php

namespace App\\\\Console\\\\Commands;
use xingwenge\\\\canal_php\\\\CanalClient;
use xingwenge\\\\canal_php\\\\CanalConnectorFactory;
use xingwenge\\\\canal_php\\\\Fmt;
use Illuminate\\\\Console\\\\Command;

ini_set('display_errors', 'On');
error_reporting(E_ALL);
class CanalDemo extends Command
{
    /**
     * The name and signature of the console command.
     *
     * @var string
     */
    protected $signature = 'CanalDemo';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = '測(cè)試canal';

    /**
     * Create a new command instance.
     *
     * @return void
     */
    public function __construct()
    {
        parent::__construct();
    }

    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {
        try {
            $client = CanalConnectorFactory::createClient(CanalClient::TYPE_SOCKET_CLUE);
            # $client = CanalConnectorFactory::createClient(CanalClient::TYPE_SWOOLE);

            $client->connect("172.17.0.5", 11111);//此處修改為自己的配置
            $client->checkValid();
            $client->subscribe("1001", "test", ".*\\\\\\\\..*");//對(duì)應(yīng)啟動(dòng)容器時(shí)test的隊(duì)列名
            while (true) {
                $message = $client->get(100);
                if ($entries = $message->getEntries()) {
                    foreach ($entries as $entry) {
                        Fmt::println($entry);
                    }
                }
                sleep(1);
            }

            $client->disConnect();
        } catch (\\\\Exception $e) {
            echo $e->getMessage(), PHP_EOL;
        }

    }

}復(fù)制代碼

• 更改數(shù)據(jù)

• 監(jiān)聽結(jié)果

關(guān)于canal如何實(shí)現(xiàn)mysql的數(shù)據(jù)同步就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。