大數(shù)據(jù)可視洞察Davinci的安裝與配置攻略

Davinci既可作為公有云/私有云獨立使用，也可作為可視化插件集成到三方系統(tǒng)。用戶只需在可視化UI上簡單配置即可服務(wù)多種數(shù)據(jù)可視化應(yīng)用，并支持高級交互/行業(yè)分析/模式探索/社交智能等可視化功能。

一、環(huán)境準(zhǔn)備

• JDK 1.8（或更高版本）
• MySql5.5（或更高版本）
• Mail Server
• PhantomJs（安裝請參考：phantomjs.org）
• Redis（可選）

二、配置部署

1) 初始化目錄，將下載好的 Davinci 包（Release 包，不是 Source 包）解壓到某個系統(tǒng)目錄，如：~/app/davinci

cd ~/app/davinci
unzip davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist.zip

解壓后目錄結(jié)構(gòu)如下圖所示：

2) 配置環(huán)境變量，將上述解壓后的目錄配置到環(huán)境變量 DAVINCI3_HOME

export DAVINCI3_HOME=~/app/davinci/davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist

3) 初始化數(shù)據(jù)庫，修改 bin 目錄下 initdb.sh 中要的數(shù)據(jù)庫信息為要初始化的數(shù)據(jù)庫，如 davinci0.3

mysql -P 3306 -h localhost -u root -proot davinci0.3 < $DAVINCI3_HOME/bin/davinci.sql

運行腳本初始化數(shù)據(jù)庫（注：由于 Davinci0.3 系統(tǒng)數(shù)據(jù)庫中包含存儲過程，請務(wù)必在創(chuàng)建數(shù)據(jù)庫時賦予執(zhí)行權(quán)限）。**

sh bin/initdb.sh

4) 初始化配置，Davinci0.3 的配置主要包括：server、datasource、mail、phantomjs、cache 等配置

進入config目錄，將application.yml.example重命名為application.yml 后開始配置。

cd config
mv application.yml.example application.yml

注：由于0.3版本使用 ymal 作為應(yīng)用配置文件格式，請務(wù)必確保每個配置項鍵后的冒號和值之間至少有一個空格

server 配置

server:
  protocol: http
  address: 127.0.0.1
  port: 8080

  access:
    address: 192.168.1.1
    port: 80

server 配置如上示例所示，server.access.address和server.access.port表示真實訪問地址和端口，默認不開啟，其值默認為server.address和server.port。

如你在虛擬主機上部署 Davinci，啟動端口為8080，該主機真實訪問IP地址為192.168.1.1，你將虛擬主機的8080端口映射到80端口，則需打開 access 配置項，否則將不能正常使用 Davinci 的部分功能，如激活賬號、下載、分享等。

datasource 配置

這里的 datasource 配置指 Davinci 系統(tǒng)的數(shù)據(jù)源，配置如下：

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/davinci0.3?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver
    initial-size: 2
    min-idle: 1
    max-wait: 60000
    max-active: 10

將上一步初始化的數(shù)據(jù)庫地址配置到url中，url 中的參數(shù)不要做任何修改，然后修改正確的數(shù)據(jù)庫訪問用戶和密碼即username和password。

initial-size、min-idle、max-wait、max-active是連接池參數(shù)，具體屬性請參考DruidDataSource配置屬性列表

mail 配置

注：0.3 版本用戶采用注冊激活的方式維護，所以 mail 配置是此版本必不可少的，且 mail 配置出錯率較高，請務(wù)必注意

spring:
  mail:
    host: smtp.****.com
    port: 25
    username: example@***.com
    password: example_password
    nickname: Davinci

    properties:
      smtp:
        starttls:
          enable: true
          required: true
        auth: true
      mail:
        smtp:
          ssl:
            enable: false

mail 配置并不復(fù)雜，以上就是完整的 mail 配置了，username為郵箱地址，password郵箱服務(wù)密碼，需要注意的是常見免費郵箱（如 163 郵箱、QQ 郵箱、gmail 等）這里應(yīng)填客戶端獨立密碼，可前往對應(yīng)郵箱賬號設(shè)置頁面開啟 SMTP 服務(wù)，并申請客戶端授權(quán)碼（或獨立密碼，各郵箱提供商叫法不同）。

下表為常見免費郵箱 SMTP 服務(wù)地址及端口：

phantomjs 配置

phantomjs 是用來定時發(fā)送報表截圖的，只需要配置安裝好的 phantomjs 可執(zhí)行文件地址即可，如：

phantomjs_home: /usr/local/bin/phantomjs

cache 配置（可選）

cache 這里用 redis 作為緩存服務(wù)，配置如下：

spring:
    redis:
      isEnable: false
      host: 10.143.131.119
      port: 6379

    #  cluster:
    #       nodes:

      password:
      database: 0
      timeout: 1000
      jedis:
        pool:
          max-active: 8
          max-wait: 1
          max-idle: 8
          min-idle: 0

如果要開啟 cache 服務(wù)，請將isEnable設(shè)為true，并要設(shè)置相關(guān)配置（單機方式請打開host和port，集群方式請打開cluster配置項，二者只能選擇一種）。

其他配置

日志配置文件為config/logback.xml，如當(dāng)前的日志配置不能滿足你的要求，可自定義配置日志模式。

三、數(shù)據(jù)源配置

Davinci0.3 理論上支持所有有 JDBC 的數(shù)據(jù)源，我們默認支持的數(shù)據(jù)源有：

值得注意的是，Davinci 內(nèi)部只提供了 MySql 的驅(qū)動包，也就是說，如果你要使用其他數(shù)據(jù)源，還需將對應(yīng)驅(qū)動jar 包手動拷貝到lib目錄并重新啟動 Davinci 服務(wù)；Davinci 連接 ElasticSearch 目前使用 NLPchina提供的elasticsearch-sql，系統(tǒng)內(nèi)部默認 ElasticSearch 版本為5.3.2，對應(yīng)的 elasticsearch-sql 版本是5.3.2.0。

同理，如果你的 ElasticSearch 不是5.3.2，首先需要你手動下載 NLPchina 提供的對應(yīng)版本的 jar，然后替換掉目前l(fā)ib下的 jar，包括elasticsearch-xxx.jar、transport-xxx.jar、x-pack-api-xxx.jar、 x-pack-transport-xxx.jar、elasticsearch-sql-XXX.jar（xxx表示你的 ElasticSearch 版本號，XXX表示NLPchina 對應(yīng) elasticsearch-sql 版本號）。

另外值得注意的是，如果你的數(shù)據(jù)源不在以上列表中，也可以通過自定義配置注入數(shù)據(jù)源，否則沒必要開啟，除非你知道在做什么：

1）打開自定義數(shù)據(jù)源配置文件

mv datasource_driver.yml.example datasource_driver.yml

2）如下配置你的數(shù)據(jù)源，這里以 postgresql 為例

postgresql:
   name: postgresql
   desc: postgresql
   driver: org.postgresql.Driver
   keyword_prefix:
   keyword_suffix:
   alias_prefix: \"
   alias_suffix: \"

注意

• keyword_prefix和keyword_suffix表示關(guān)鍵字前綴和后綴，假設(shè)使用 mysql 數(shù)據(jù)庫，并將desc關(guān)鍵字作為字段使用，那么你的查詢語句應(yīng)該是：select desc from table 這里的 ‘`’ 就是前后綴，它們必須成對被配置，可以都為空。

• alias_prefix和alias_suffix表示別名前后綴，仍以 mysql 為例，假設(shè)你的 sql 語句如下：select column as '列' from table
  。這里為 ‘column’ 起了別名為‘列’，那么‘’’將作為前后綴配置，前后綴必須成對被配置，可以都為空。

• 對于以上別名配置，你可以使用''將字符包起來，也可以使用轉(zhuǎn)移符\，二者只能出現(xiàn)一種。

3）手動將相應(yīng)的驅(qū)動 jar 包拷貝到lib目錄下。

4）重啟 Davinci 服務(wù)。

開源地址：https://github.com/edp963/davinci

參考文檔-Davinci用戶手冊：https://edp963.github.io/davinci/