mysql遷移mpp數(shù)據(jù)庫Greenplum的過程

1. 場景描述

因兄弟項目中mysql有點扛不住了，要做sql優(yōu)化，但是業(yè)務(wù)有點小復(fù)雜，優(yōu)化起來有點麻煩（sql嵌套有點多），便想著用Mpp數(shù)據(jù)庫Greenplum測試下，看性能和復(fù)雜度怎么樣，趟趟水。

2.解決方案

初步的想法是：因為mysql和postgresql（Greenplum建立在postgresql之上，i'm 軟件老王）都是使用的標(biāo)準sql，直接把mysql的建表語句在Greenplum建一邊，把數(shù)據(jù)導(dǎo)入過來測試一下就行了，應(yīng)該半天內(nèi)就能搞定。

2.1 Greenplum建表

將mysql的表結(jié)構(gòu)通過navicat for mysql導(dǎo)出（navivat中只導(dǎo)出表結(jié)構(gòu)，如下圖），但是發(fā)現(xiàn)導(dǎo)出的結(jié)構(gòu)在

Greenplum中執(zhí)行不了，mysql中的ddl語句：

1 `CONFIG_ID` varchar(36) COLLATE utf8_unicode_ci NOT NULL COMMENT '軟件老王'

 

解決辦法

（1）網(wǎng)上找了mysql轉(zhuǎn)postgresql的java代碼，寫的不是太全面，改了幾次還是有點問題，放棄。

（2）問了下dba，用的Navicat Premium 12 可以轉(zhuǎn)，網(wǎng)址：https://www.navicat.com.cn/

 

Navicat Premium可以同時操作多個數(shù)據(jù)庫，包括：mysql和greenplum（postgresql），以前使用navicat for mysql只能操作mysql數(shù)據(jù)庫，navicat for postgresql只能操作postgresql。

2.2 導(dǎo)出數(shù)據(jù)結(jié)構(gòu)

使用Navicat Premium，如下圖：

 

左邊選擇mysql，右邊選擇greenplum，同時去掉選項中的創(chuàng)建記錄，就能在Greenplum中創(chuàng)建表了。（先創(chuàng)建所有表，數(shù)據(jù)量太大，我們只導(dǎo)幾張表的數(shù)據(jù)進行測試）

 

2.3 導(dǎo)入數(shù)據(jù)。

2.3.1 初步想法

初步想法是通過Navicat 直接導(dǎo)入，使用上面的Navicat Premium12就能直接從mysql導(dǎo)入Greenplum數(shù)據(jù)，但是導(dǎo)入了幾張小表后，碰到的一張30多萬的表，導(dǎo)了20多分鐘還不到40%，看了下greenplum的master節(jié)點cpu有點高，后面還有好幾張百萬級的數(shù)據(jù)，這樣的效率要導(dǎo)到猴年馬月了。

2.3.2 外部表方式

（1）首先需要在master節(jié)點啟動外部表程序fdisk，新建個目錄，存放從mysql中導(dǎo)出的文件，我導(dǎo)出的是csv格式。

1[gpadmin@軟件老王 ~]$ mkdir script
2[gpadmin@軟件老王 ~]$ nohup gpfdist -d /home/gpadmin/script/ -p 8081 -l /home/gpadmin/script/ruanjianlaowang.log &

（2）創(chuàng)建外部表

1------------------------
2CREATE EXTERNAL TABLE "public"."t_laowang_ex" (
3  "laowang_type" numeric(3),
4  "laowang_id" varchar(36)
5) 
6location ('gpfdist://10.192.0.168:8081/laowang.csv') format 'csv' (DELIMITER ',') encoding 'utf8';

說明：

（a）可以直接將原表的ddl語句拿出來，名稱增加個_ex（新建外部表的時候，發(fā)現(xiàn)not null用不了要替換成空）

（b）其中ip地址是greenplum的master地址，laowang是csv文件名稱，csv文件是通過navicat右鍵導(dǎo)出的，i‘m 軟件老王。

1gpfdist://10.192.0.168:8081/laowang.csv

（3）數(shù)據(jù)裝載到greenplum表中

1insert into t_laowang select * from t_laowang_ex;
2i'm 軟件老王

這樣就完成了數(shù)據(jù)從mysql遷移到了greenplum中，具體測試結(jié)果對比就不在這里多說了。

2.4 總體結(jié)論

方案執(zhí)行比想象的復(fù)雜，一是兩個數(shù)據(jù)庫建表sql不一樣，后通過最新的Navicat Premium 12 解決；二是直接通過navicat導(dǎo)入，在效率上有問題，走不通，通過外部表的方式解決，外部表方式2-3秒就能導(dǎo)入完成；三是，新建外部表的時候，跟原表稍微有點差異，也的注意下。