溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Linkis JDBC是怎么適配Tableau

發(fā)布時間：2021-12-22 13:36:07 來源：億速云 閱讀：228 作者：iii 欄目：大數(shù)據(jù)

這篇文章主要介紹“Linkis JDBC是怎么適配Tableau”，在日常操作中，相信很多人在Linkis JDBC是怎么適配Tableau問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Linkis JDBC是怎么適配Tableau”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！


01

—

背景介紹


----為什么我們需要Linkis JDBC去兼容Tableau？

毫無疑問，Tableau在當今商業(yè)化BI產(chǎn)品中有著廣泛的客戶群體，很多商業(yè)機構(gòu)使用Tableau進行數(shù)據(jù)分析和構(gòu)建報表，支持Tableau的兼容方案可以使不懂java的數(shù)據(jù)分析人員依靠托拉拽的可視化方式向Linkis提交任務(wù)。無論對于用戶還是Linkis，實現(xiàn)Tableau兼容都是非常值得去做的一件事。

對于用戶來說，使用JDBC的開發(fā)人員必須掌握JDBC的使用方法，這種限制增加了分析人員的學(xué)習(xí)成本，為了豐富用戶的使用場景，不僅僅依靠java api的方式去構(gòu)建代碼與Linkis互動，兼容可視化BI工具的想法應(yīng)運而生，而Tableau正是這一想法的其中一個實現(xiàn)目標。

對于Linkis來說，Linkis項目誕生之時便有“連接一切”的愿景，實現(xiàn)豐富的底層計算存儲組件的支持和滿足多樣的上層應(yīng)用接入，通過JDBC的方式連接Linkis拓展了自身的適用場景，將Linkis JDBC適配Tableau本身也是拓展用戶群體的一種體現(xiàn)。


----應(yīng)該如何去實現(xiàn)這一目標？    
Tableau中提供了大量的數(shù)據(jù)源支持，而這些支持都是需要驅(qū)動類來實現(xiàn)的，例如Mysql、Hive等數(shù)據(jù)庫的JDBC Driver，只需要數(shù)據(jù)源廠商定制滿足Tableau接口規(guī)范的模組文件就能在Tableau中制定可插拔的數(shù)據(jù)源連接器。
Linkis JDBC是怎么適配Tableau    
圖2-1 Tableau中已經(jīng)適配的數(shù)據(jù)源        

       

       
02          
       
—          
       
使用案例    

   
Tableau的適配方法在第三章中會詳細介紹，在介紹適配方法之前，我們先來一起體驗一下適配后的Tableau如何通過JDBC輕松地聯(lián)動Linkis。

   
（1）連接數(shù)據(jù)源    

   
在適配好了Tableau之后，我們啟動Tableau，可以看到“連接”      ->“服務(wù)器”      ->“更多”的列表中已經(jīng)有了Linkis。
Linkis JDBC是怎么適配Tableau
圖2-1 服務(wù)器列表中已經(jīng)有了Linkis
點擊后彈出對話框需要填寫數(shù)據(jù)源的相關(guān)配置，包含服務(wù)器的主機IP、端口、數(shù)據(jù)庫、用戶名及密碼。這里的主機ip需要填寫部署Linkis的服務(wù)器ip，端口是gateway的服務(wù)端口，數(shù)據(jù)庫是Hive的數(shù)據(jù)庫，需要注意的是，用戶名是具有訪問Linkis權(quán)限的用戶，而不是數(shù)據(jù)庫的用戶，因為本質(zhì)上是用戶名和密碼需要經(jīng)過gateway服務(wù)進行登錄和權(quán)限校驗。
Linkis JDBC是怎么適配Tableau
圖2-2 通過Linkis JDBC連接到Linkis
填寫好相關(guān)數(shù)據(jù)點擊登錄即可。

（2）查看數(shù)據(jù)庫并提交Linkis任務(wù)

登錄后頁面會自動跳轉(zhuǎn)，左側(cè)一欄展示當前數(shù)據(jù)庫所有的Hive表信息
Linkis JDBC是怎么適配Tableau
圖2-3 登錄后的使用界面
我們來試一下查詢表的具體數(shù)據(jù)，這里使用的是testjohn1表，點擊表右側(cè)的按鈕即可快速查詢。
Linkis JDBC是怎么適配Tableau
圖2-4 查詢表數(shù)據(jù)按鈕
Linkis JDBC是怎么適配Tableau
圖2-5 查詢結(jié)果
從圖2-5可以看出，tableau已經(jīng)成功提交SQL任務(wù)到Linkis執(zhí)行，并將返回的結(jié)果集解析成表展示給用戶。我們從dss（DataSphere Studio）的管理臺可以查看到該任務(wù)的提交和執(zhí)行情況。在后續(xù)linkis1.0的版本中也將可以通過linkis的管理臺直接查看任務(wù)的提交和執(zhí)行情況。
Linkis JDBC是怎么適配Tableau
圖2-6 dss管理臺任務(wù)執(zhí)行情況
這里介紹了在Tableau使用Linkis JDBC提交任務(wù)到Linkis的具體案例，用戶可以實現(xiàn)零代碼編寫使用Linkis，下面將介紹Tableau兼容方案的具體實現(xiàn)方式，會較為詳細地介紹文件的作用和生成細節(jié)。


03    
—      
   
兼容Tableau的具體實現(xiàn)

為了實現(xiàn)將Linkis的JDBC驅(qū)動加入到服務(wù)器列表中實現(xiàn)適配，我們需要自定義修改Tableau的適配文件，適配文件包含Manifest（.xml文件）、Tableau Custom Dialog file（.tcd文件）、Tableau ConnectionResolver file（.tcr文件）、Tableau Dialect file（.tdd）、connectionBuilder(.js文件)以及Connection Properties(.js文件)這六個文件[2]，下面將逐一介紹。

（1）定義JDBC展示屬性的Manifest

Manifest文件的主要作用是用于定義連接器名字，用于在可用的數(shù)據(jù)源UI頁面展示給用戶，該文件對于每個客制化連接器來說是必選的，同樣地，在linkis的JDBC方案中，該文件也進行了修改與適配。

<?xml version='1.0' encoding='utf-8' ?><connector-plugin class='linkis_jdbc' superclass='jdbc' plugin-version='1.0' name='Linkis (JDBC)' version='2020.1.0'>  <vendor-information>    <company name="Linkis"/>    <support-link url="https://github.com/WeBankFinTech/Linkis"/>  </vendor-information>  <connection-customization class="linkis_jdbc" enabled="true" version='2020.1.0'>    <vendor name="linkis"/>    <driver name="Linkis JDBC Driver"/>    <customizations>      <customization name="CAP_JDBC_METADATA_READ_PRIMARYKEYS" value="no"/>      <customization name="CAP_JDBC_METADATA_READ_FOREIGNKEYS" value="no"/>      <customization name="CAP_JDBC_QUERY_ASYNC" value="yes"/>      <customization name="CAP_JDBC_QUERY_CANCEL" value="yes"/>      <customization name="CAP_FAST_METADATA" value="yes"/>      <customization name="CAP_SELECT_INTO" value="no"/>      <customization name="CAP_SELECT_TOP_INTO" value="no"/>      <customization name="CAP_CREATE_TEMP_TABLES" value="no"/>      <customization name="CAP_QUERY_BOOLEXPR_TO_INTEXPR" value="no"/>      <customization name="CAP_QUERY_GROUP_BY_DEGREE" value="no"/>      <customization name="CAP_QUERY_SORT_BY_DEGREE" value="no"/>      <customization name="CAP_QUERY_SUBQUERIES" value="yes"/>      <customization name="CAP_QUERY_TOPSTYLE_LIMIT" value="yes"/>      <customization name="CAP_QUERY_WHERE_FALSE_METADATA" value="yes"/>      <customization name="CAP_QUERY_SUBQUERIES_WITH_TOP" value="yes"/>      <customization name="CAP_SUPPORTS_SPLIT_FROM_LEFT" value="yes"/>      <customization name="CAP_SUPPORTS_SPLIT_FROM_RIGHT" value="yes"/>      <customization name="CAP_SUPPORTS_UNION" value="yes"/>      <customization name="CAP_QUERY_ALLOW_PARTIAL_AGGREGATION" value="no"/>      <customization name="CAP_QUERY_HAVING_REQUIRES_GROUP_BY" value="yes"/>    <customization name='CAP_JDBC_SUPPRESS_ENUMERATE_DATABASES' value='yes' />    <customization name='CAP_JDBC_SUPPRESS_ENUMERATE_SCHEMAS' value='yes' />    <customization name='CAP_QUERY_TOP_N' value='no' />    </customizations>  </connection-customization>   <connection-dialog file='connection-dialog.tcd'/>  <connection-resolver file="connectionResolver.tdr"/>  <dialect file='dialect.tdd'/></connector-plugin>

其中class的標簽值必須是唯一的，可以用于其他連接器中.xml文件的尋址、客制化定制以及Tableau工作簿中匹配連接器。
name值在Tableau 連接器窗格中顯示連接器名稱，還可以指定供應(yīng)商信息。
company name用于在Tableau 連接器窗格中的連接器名旁邊顯示，可以展示連接器的創(chuàng)建者，也就是connector name by company name，例如Linkis JDBC Driverby linkis。
customizationname主要用于定制Linkis中JDBC的功能。

（2）用于定制連接器對話框的tcd文件

Tableau CustomDialog file即tcd文件，該文件是可選的，主要用于定制連接器對話框的內(nèi)容。

   
   
   <connection-dialog class='linkis_jdbc'>
      <connection-config>
        <authentication-mode value='Basic' />
        <authentication-options>
          <option name="UsernameAndPassword" default="true" />
        </authentication-options>
        <db-name-prompt value="Database: " />
        <has-pre-connect-database value="true" />
        <port-prompt value="Port: " default="9001" />
        <show-ssl-checkbox value="true" />
      </connection-config>
    </connection-dialog>

（3）用于解析連接器的tcr文件

解析器tcr用于Tableau創(chuàng)建連接時尋找Connection文件，配置如下：

<?xml version='1.0' encoding='utf-8' ?><tdr class='linkis_jdbc'>  <connection-resolver>    <connection-builder>      <script file='connectionBuilder.js'/>    </connection-builder>    <connection-normalizer>      <required-attributes>        <setImpersonateAttributes/>        <attribute-list>          <attr>server</attr>          <attr>port</attr>          <attr>dbname</attr>          <attr>username</attr>          <attr>password</attr>          <attr>sslmode</attr>        </attribute-list>      </required-attributes>    </connection-normalizer>    <connection-properties>      <script file='connectionProperties.js'/>    </connection-properties>  </connection-resolver></tdr>

?


這里指定了connection-builder和connection-properties的文件名，以及連接器連接時的必要屬性，Tableau會將用戶填寫的這些數(shù)據(jù)信息組裝成URL字符串用于建立連接。

（4）定制SQL方言的tdd文件

SQL方言是指的不同數(shù)據(jù)庫之間的命令字不同，為了使Tableau兼容數(shù)據(jù)源，需要對數(shù)據(jù)源的方言進行轉(zhuǎn)換，由于篇幅原因，這里只列出部分tdd文件的數(shù)據(jù)：

<dialect name='HiveDialectSDK'         base='HiveDialect'         class='linkis_jdbc'         version='18.1'>  <function-map> <function group='numeric' name='LN' return-type='real'>      <formula>(CASE WHEN %1 &gt; 0 THEN LN(%1) ELSE CAST(NULL AS DOUBLE) END)</formula>      <argument type='real' />    </function>    <function group='numeric' name='LOG' return-type='real'>      <formula>(CASE WHEN %1 &gt; 0 THEN LOG10(%1) ELSE CAST(NULL AS DOUBLE) END)</formula>      <argument type='real' />    </function>    <function group='numeric' name='LOG' return-type='real'>      <formula>(CASE WHEN %1 &gt; 0 THEN LOG10(%1) / LOG10(%2) ELSE NULL END)</formula>      <argument type='real' />      <argument type='real' />    </function>    <function group='numeric' name='MAX' return-type='real'>      <formula>(CASE&#10;&#9;WHEN (%1 IS NULL) OR (%2 IS NULL) THEN NULL&#10;&#9;WHEN %1 &gt; %2 THEN %1&#10;&#9;ELSE %2 END)</formula>      <argument type='real' />      <argument type='real' />    </function>    <function group='numeric' name='MAX' return-type='int'>      <formula>(CASE&#10;&#9;WHEN (%1 IS NULL) OR (%2 IS NULL) THEN NULL&#10;&#9;WHEN %1 &gt; %2 THEN %1&#10;&#9;ELSE %2 END)</formula>      <argument type='int' />      <argument type='int' />    </function>  </function-map></dialect>
完整的SQL方言文檔可以參考
https://github.com/tableau/connector-plugin-sdk/blob/master/samples/plugins/postgres_jdbc/dialect.tdd

（5）連接器的構(gòu)造器connectionBuilder

Tableau使用連接構(gòu)造器(Linkis JDBC中的腳本名為connectionBuilder.js)創(chuàng)建JDBC連接URL的字符串，腳本映射定義連接配置方式的屬性，在這里數(shù)據(jù)庫地址、端口、以及數(shù)據(jù)庫名構(gòu)造成JDBC連接字符串傳給驅(qū)動程序。
文件具體內(nèi)容如下：

(function dsbuilder(attr) {    var urlBuilder = "jdbc:linkis://" + attr[connectionHelper.attributeServer] + ":" + attr[connectionHelper.attributePort] + "/" + attr[connectionHelper.attributeDatabase];
    return [urlBuilder];})

?


（6）連接器的參數(shù)配置文件Connection Properties

該參數(shù)配置文件是可選的，僅僅當數(shù)據(jù)源驅(qū)動是JDBC時才需要（Linkis JDBC中的腳本名為connectionProperties.js），用于構(gòu)建URL最后的參數(shù)設(shè)置。

(function propertiesbuilder(attr) {    var props = {};    props["user"] = attr[connectionHelper.attributeUsername];    props["password"] = attr[connectionHelper.attributePassword];    if (attr[connectionHelper.attributeSSLMode] == "require") {        props["ssl"] = "true";        props["sslmode"] = "require";    }
    return props;})

?


（7）打包裝入Tableau完成適配

方法一：自定義連接器插件裝載路徑（已驗證可行）
首先我們將前面六個文件裝入目錄linkis_jdbc目錄(該目錄名應(yīng)該和Mainfest中的class='linkis_jdbc'是一致的)，該目錄位于C:\connectors，文件目錄層級如下圖所示：
Linkis JDBC是怎么適配Tableau
圖3-1 適配文件路徑

上述路徑和文件名是自定義的，不必和本文章完全一致，在啟動時我們需要添加額外參數(shù)-DConnectPluginsPath=/Path定向加載適配文件。在CMD命令行中輸入

E:\tableau\bin\tableau.exe  -DConnectPluginsPath=C:\connectors

其中E:\tableau\bin\tableau.exe是Tableau的運行路徑。也可以在Tableau快捷方式中指定運行參數(shù)，這樣就可以避免每次通過命令行啟動。

Linkis JDBC是怎么適配Tableau

圖3-2 指定運行參數(shù)

方法二：通過官方文檔構(gòu)建（嘗試過未成功，可能方法有誤）
該種方法是通過構(gòu)造.taco文件存入Tableau的數(shù)據(jù)源根目錄，實現(xiàn)具體方法可以參考[1] 。
我們通過第一種方法完成了適配，在適配好了Tableau之后，我們啟動Tableau，可以看到“連接”->“服務(wù)器”->“更多”的列表中已經(jīng)有了Linkis JDBC。
Linkis JDBC是怎么適配Tableau
圖3-3 適配成功     

到此，關(guān)于“Linkis JDBC是怎么適配Tableau”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

向AI問一下細節(jié)

免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手