在既有系統(tǒng)中打通Apache Ignite、MySQL和Node.js

本文由公眾號EAWorld翻譯發(fā)表，轉(zhuǎn)載需注明出處。

作者：Akmal B. Chaudhri

譯者：李玉玨 

原題：Using 'No Rip and Replace' with Apache? Ignite?, MySQL and Node.js

原文：http://t.cn/Efatkx6

本文中使用了MySQL，并且其中已經(jīng)準備好了一個名為world的數(shù)據(jù)庫，里面已經(jīng)加載了部分數(shù)據(jù)。

這個world數(shù)據(jù)庫的結(jié)構(gòu)為有三張關(guān)系表，具體如下：

• country：代表世界上的國家（239行數(shù)據(jù)）；

• city：代表國家的部分城市信息（4079行數(shù)據(jù)）；

• countrylanguage：各個國家說的語言（984行數(shù)據(jù)）。

接下來，確認MySQL是否已經(jīng)成功啟動，并接受外部連接。

為了訪問MySQL數(shù)據(jù)庫的模式信息，需要使用Ignite的Web控制臺，在本文中為了方便，使用的是GridGain托管的服務(wù)，不過Web控制臺的源代碼是可以下載的，可以在本地構(gòu)建然后在公司的防火墻后面運行，具體細節(jié)可以參見相關(guān)的文檔。

還需要一個Web代理，它可以從Web控制臺中下載，如下圖所示：

Web代理的zip包下載完成之后，可以解壓該文件，目錄結(jié)構(gòu)大致如下圖所示：

注意這里有個名為jdbc-drivers的目錄，因為本例需要訪問MySQL，所以需要下載MySQL的驅(qū)動，然后將jar文件放在該文件夾中，如下圖所示：

下面從終端窗口中啟動Web代理，如下：

./ignite-web-agent.sh

輸出大致如下圖所示：

下面就可以導(dǎo)入模式信息了，在Web控制臺的Configuration頁面中，右上角有一個Import from Database按鈕，如下圖所示：

點擊該按鈕之后，輸出大致如下圖所示：

在這個界面中，需要輸入MySQL服務(wù)器的JDBC URL、User和Password，大致如下圖所示：

填完之后點擊Next，這時就會看到各個數(shù)據(jù)庫模式，然后把除了world模式之外的都取消掉，如下圖所示：

選好之后，點擊Next，就會看到3張表，如下圖所示：

對于本文來說，這頁面中的默認值就可以了，然后點擊Next，這會跳到如下圖所示的頁面：

對于本文來說，這個頁面的默認值就可以，然后點擊Save：

接下來在Configuration頁面，可以看到列出了一個新的名為ImportedCluster配置項，如下圖所示：

為了滿足業(yè)務(wù)需求，這個配置是可以修改的。

如果點擊上圖中的ImportedCluster，就會跳轉(zhuǎn)到下面的頁面：

這個界面中有兩個選項卡：Basic和Advanced。

在Basic選項卡中，集群的配置名（第一步），如果往下滾動，Ignite存儲的名字（第二步），還有其它的若干個參數(shù)，都可以修改，在本例中，會維持這個頁面中的默認值。

在Advanced選項卡中，還有其它的子項，包括Cluster、SQL Scheme、Caches、IGFS和GridGain，如下圖所示，如果需要，這里面的很多參數(shù)都可以微調(diào)：

這里選擇SQL Scheme選項卡，選中City這一行，如下圖所示，然后向下滾動并展開Domain model for SQL query部分：

這里有一個indexes子項，值為CountryCode，如果點擊它，可以進行修改，如下圖所示：

這里將索引名改為idx_country_code，然后點擊Save按鈕。接下來為Countrylanguage重復(fù)前圖和上圖的過程，將索引名改為idx_lang_country_code之后保存更改，做這些修改，可以確保索引名在整個Ignite模式中是唯一的。

下面選擇Caches選項卡，首先選擇CityCache，如下圖所示，然后往下滾動并展開Queries & Indexing部分：

在Queries & Indexing中，有一個值為空名為SQL schema name的字段，在這里輸入PUBLIC后保存變更，然后為CountryCache和CountrylanguageCache重復(fù)這個過程。

最后，返回到Configuration頁面，選中ImportedCluster然后在Actions下拉框中下載這個工程，如下圖所示：

這時會保存一個名為ImportedCluster-project.zip的文件，解壓這個文件之后就可以在IDE中通過讀取其中的pom.xml文件創(chuàng)建一個新的工程，如下圖所示：

在pom.xml文件中，在dependencies下面，需要檢查一下mysql-connector-java依賴，如果缺失，需要加一下，如下所示：

<dependency>
    <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.15</version>
    </dependency>

這里的版本號匹配了之前使用的JDBC驅(qū)動的版本號。

在這個工程中，在resources文件夾下面，有一個名為secret.properties的文件，如下圖所示：

這里需要填入之前使用的JDBC URL、Username和Password，然后保存修改。

工程重新構(gòu)建之后，就可以啟動一個Ignite服務(wù)端節(jié)點，如下圖所示：

接下來，通過運行LoadCaches，可以把MySQL中的數(shù)據(jù)加載進Ignite存儲，如下圖所示：

在Web控制臺中，轉(zhuǎn)到Monitoring > Dashboard> Caches，可以看到Ignite存儲已經(jīng)創(chuàng)建并且數(shù)據(jù)也已經(jīng)成功加載，如下圖所示：

Ignite現(xiàn)在已經(jīng)運行起來，創(chuàng)建了存儲并且從MySQL中加載了數(shù)據(jù)，這時就可以通過任意數(shù)量不同的接口接入Ignite，不過本文會使用Node.js瘦客戶端。

使用Ignite提供的Node.js版本SQL示例作為模板，可以創(chuàng)建若干個Node.js應(yīng)用，然后執(zhí)行下表中列出的SQL查詢，完整的Node.js應(yīng)用代碼可以參見GitHub，在下面的例子中，該Node.js應(yīng)用在Ignite的Node.js示例文件夾中運行：

Q1：3個人口最多的國家

SELECT name, MAX(population)
AS max_pop FROM country
GROUP BY name, population
ORDER BY max_pop
DESC LIMIT 3

Q2：US、RUS和CHN中3個人口最多的城市

SELECT country.name, city.name, MAX(city.population)
AS max_pop FROM country
JOIN city ON city.countrycode = country.code
WHERE country.code IN ('USA','RUS','CHN')
GROUP BY country.name, city.name
ORDER BY max_pop
DESC LIMIT 3

Q3：更新國家名稱

UPDATE country
SET name = 'USA'
WHERE name = 'United States'

Q4：恢復(fù)國家名稱

UPDATE country
SET name = 'United States'
WHERE name = 'USA'

Q1的輸出如下圖所示：

Q2比Q1復(fù)雜些，包含了兩個表的關(guān)聯(lián)，Q2的輸出大致如下圖所示：

Q3執(zhí)行了一個更新操作，Q3執(zhí)行完之后，Ignite的緩存會被更新，并且更新會被回寫到MySQL中，保持兩者之間的同步?？梢允褂肈Beaver確認一下，首先在Country表中找到值為United States的行，如下圖所示：

Q3執(zhí)行完之后刷新一下DBeaver，可以看到Name字段的值已經(jīng)變?yōu)?/span>USA，如下圖所示：

Q4恢復(fù)了原來的值，通過執(zhí)行這個SQL然后刷新一下DBeaver可以進行驗證，如下圖所示：

六、下一步

通過修改和調(diào)整Ignite附帶的示例，可以進一步測試Node.js瘦客戶端。此外，Web控制臺提供了許多選項，可用于從現(xiàn)有數(shù)據(jù)庫系統(tǒng)微調(diào)和調(diào)整模式信息，具體可以參見Web控制臺的相關(guān)文檔。

在本文中，了解了如何從現(xiàn)有的MySQL數(shù)據(jù)庫系統(tǒng)中獲取模式信息并創(chuàng)建一個Ignite工程。這個Ignite工程能夠?qū)?shù)據(jù)從MySQL服務(wù)器復(fù)制到Ignite存儲，然后在該數(shù)據(jù)中執(zhí)行查詢。從規(guī)模上看，Ignite可以利用集群計算的強大功能使操作并行化，在內(nèi)存中快速執(zhí)行查詢并進行分析，甚至機器和深度學(xué)習(xí)，同時還保留現(xiàn)有系統(tǒng)的商業(yè)價值。雖然在本示例中使用了Node.js瘦客戶端，不過Ignite還支持其它編程語言的瘦客戶端。