datax環(huán)境部署和管理教程

這篇文章主要介紹“datax環(huán)境部署和管理教程”，在日常操作中，相信很多人在datax環(huán)境部署和管理教程問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”datax環(huán)境部署和管理教程”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

datax環(huán)境部署和管理

前期環(huán)境準(zhǔn)備

python環(huán)境搭建
jdk環(huán)境搭建

搭建python環(huán)境

• 下載python 選擇版本為Python 2.7.12 》 Gzipped source tarball

https://www.python.org/downloads/source/

• 解壓python包，并執(zhí)行./configure進(jìn)行編譯

• make

• make install

• 上面操作命令執(zhí)行完畢，Python 會安裝在 /usr/local/bin 目錄中

• 輸入python驗(yàn)證是否安裝成功

搭建jdk環(huán)境

省略

部署datax環(huán)境

• 下載datax

https://github.com/alibaba/DataX

• 解壓

• 進(jìn)入job目錄下參照官網(wǎng)驗(yàn)證增加stream2stream.json文件 》 從stream讀取數(shù)據(jù)并打印到控制臺

• stream2stream.json內(nèi)容如下

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

• 切換到datax 所在的bin目錄，執(zhí)行

[root@localhost bin]# python datax.py ../job/stream2stream.json

部署datax-web環(huán)境

• 可參照官網(wǎng)

• 下載地址

https://github.com/WeiYe-Jing/datax-web

https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg  cpsk

• 上面文件解壓之后

• 建議先手動創(chuàng)建datax-web數(shù)據(jù)庫，并初始化datax-web-2.1.2/bin/db/datax_web.sql

• 進(jìn)入datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties手動更改dbc相關(guān)信息

• 進(jìn)入datax-web-2.1.2 執(zhí)行 ./bin/install.sh，默認(rèn)選擇Y，執(zhí)行mysql初始化步驟跳過

• 進(jìn)入datax-web-2.1.2/modules/datax-executor/bin/env.properties主要調(diào)整datax.py目錄

## PYTHON腳本執(zhí)行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/datax/bin/datax.py

• 上面成功之后， 進(jìn)入datax-web-2.1.2 執(zhí)行./bin/start-all.sh啟動相關(guān)服務(wù)

• 訪問地址為 http://{ip}}:9527/index.html

關(guān)于啟動日志查看

1、datax-web-2.1.2/modules/datax-executor/bin/console.out
2、datax-web-2.1.2/modules/datax-admin/bin/console.out

到此，關(guān)于“datax環(huán)境部署和管理教程”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！