azkaban3.9.0的編譯安裝步驟

本篇內(nèi)容介紹了“azkaban3.9.0的編譯安裝步驟”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1 Azkaban介紹

大數(shù)據(jù)業(yè)務(wù)處理場(chǎng)景中，經(jīng)常有這樣的分析場(chǎng)景：
A 任務(wù)：將收集的數(shù)據(jù)通過(guò)一系列的規(guī)則進(jìn)行清洗，然后存入 Hive 表 a 中。
B 任務(wù)：將 Hive 中已存在的表 b 和表 c 進(jìn)行關(guān)聯(lián)得到表 d 。
C 任務(wù)：將 A 任務(wù)中得到的表 a 與 B 任務(wù)中得到的表 d 進(jìn)行關(guān)聯(lián)得到分析的結(jié)果表e 。
D 任務(wù)：最后將 Hive 中得到的表 e 通過(guò) sqoop 導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù) MySQL 中供web 端查詢(xún)使用。
顯然，以上任務(wù) C 依賴(lài)于任務(wù) A 與任務(wù) B 的結(jié)果，任務(wù) D 依賴(lài)于任務(wù) C 的結(jié)果。我們一般的做法可以打開(kāi)兩個(gè)終端分別執(zhí)行任務(wù) A 與任務(wù) B ，當(dāng)任務(wù) A 與任務(wù) B 執(zhí)行完成之后再執(zhí)行任務(wù) C ，當(dāng)任務(wù) C 執(zhí)行完成之后再執(zhí)行任務(wù) D 。整個(gè)任務(wù)流程中必須保證任務(wù)A 、任務(wù) B 執(zhí)行完成之后執(zhí)行任務(wù) C ，然后再執(zhí)行任務(wù) D 。這樣某一個(gè)環(huán)節(jié)都離不開(kāi)人工的參與，需要時(shí)刻盯著各任務(wù)的執(zhí)行進(jìn)度，非常費(fèi)力。
以上業(yè)務(wù)場(chǎng)景就是一個(gè)大的任務(wù)，任務(wù)中分為四個(gè)子任務(wù) A 、 B 、 C 、 D ，如果能有一個(gè)任務(wù)調(diào)度器給我們自動(dòng)實(shí)現(xiàn)執(zhí)行任務(wù) A ，執(zhí)行任務(wù) B ，然后再執(zhí)行任務(wù) C ，最后執(zhí)行任務(wù)D ，那么就不需要人工時(shí)刻盯著任務(wù)是否執(zhí)行完成，是否該開(kāi)啟下一個(gè)任務(wù)。 Azkaban 就是這樣一個(gè)工作流的調(diào)度器，可以解決以上場(chǎng)景問(wèn)題。
2 Azkaban 的安裝
2.1 Azkaban 由三個(gè)關(guān)鍵組件

Azkaban 是一個(gè)批量工作流調(diào)度器，底層是使用 java 語(yǔ)言開(kāi)發(fā)，用于在一個(gè)工作流內(nèi)以一定的順序運(yùn)行一組任務(wù)和流程，并且提供了非常方便的 webui 界面來(lái)監(jiān)控任務(wù)調(diào)度的情況，方便我們來(lái)管理流調(diào)度任務(wù)。
Azkaban 由三個(gè)關(guān)鍵組件組成：

    AzkabanWebServer:
    主要負(fù)責(zé)項(xiàng)目管理、用戶(hù)登錄權(quán)限認(rèn)證、定時(shí)執(zhí)行工作任務(wù)、跟蹤提交任務(wù)執(zhí)行的流程、訪問(wèn)歷史執(zhí)行任務(wù)、保存執(zhí)行計(jì)劃的狀態(tài)。
    AzkabanExecutorServer:主要負(fù)責(zé)工作流程的提交、執(zhí)行、檢索和更新當(dāng)前正在執(zhí)行計(jì)劃的數(shù)據(jù)，處理執(zhí)行計(jì)劃的日志。
    關(guān)系型數(shù)據(jù)庫(kù)：
    主要是保存工作流中的原數(shù)據(jù)信息。
    下面，讓我們從零開(kāi)始搭建一個(gè) Azkaban 任務(wù)流調(diào)度系統(tǒng)。

2.2 安裝Azkaban

https://github.com/azkaban/azkaban/releases
2.2.1 環(huán)境準(zhǔn)備

在 Linux 中安裝 Azkaban ，系統(tǒng)中需要安裝好 jdk,MySQL ，這里選擇的是 jdk8和 MySQL5.1 版本。除此之外，還需要安裝 git ， git 是一個(gè)開(kāi)源的分布式版本控制系統(tǒng)，一般在項(xiàng)目版本控制中會(huì)使用 git 控制，這里安裝 Azkaban 需要 git 是因?yàn)樾枰ㄟ^(guò) git 構(gòu)建依賴(lài)包。
安裝git：

yum -y install git

2.2.2 安裝 Azkaban

    上傳下載好的 azkaban ，解壓到 /opt/azkaban-temp 文件夾

 [root@mynode5 software]# tar -zxvf ./azkaban-3.90.0.tar.gz
 [root@mynode5 software]# mv ./azkaban-3.90.0 azkaban-temp

    進(jìn)入 azkaban-temp 目錄，進(jìn)行編譯

 [root@node4 azkaban]# ./gradlew distTar
 ...
  BUILD SUCCESSFUL in 4m 6s
  54 actionable tasks: 40 executed, 14 from cache

注意：編譯過(guò)程中有可能由于網(wǎng)絡(luò)延時(shí)造成編譯時(shí)失敗，可以多重試幾次解決此問(wèn)題。
3. 新建 azkaban 目錄，將編譯好的文件復(fù)制到此目錄下

[root@node4 software]# mkdir ./azkaban
[root@node4 software]# cd azkaban
[root@node4 azkaban]# cp /software/azkaban-temp/azkaban-
db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz
/software/azkaban4.
[root@node4 azkaban]# cp /software/azkaban-temp/azkaban-web-
server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
/software/azkaban
[root@node azkaban]# cp /software/azkaban-temp/azkaban-exec-
server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
/software/azkaban

    在 azkaban 目錄下解壓各個(gè)編譯好的壓縮包，重新命名

[root@node4 azkaban]# tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
[root@node4 azkaban]# tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
[root@node4 azkaban]# tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
[root@node4 azkaban]# mv azkaban-db-0.1.0-SNAPSHOT azkaban-db
[root@node4 azkaban]# mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web
[root@node4 azkaban]# mv azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec

至此，經(jīng)歷了 Azkaban 的下載、編譯， Azkaban 安裝基本準(zhǔn)備工作已經(jīng)完成，下一步就是配置 Azkaban ，將 Azkaban 運(yùn)行起來(lái)。
2.2.3 導(dǎo)入數(shù)據(jù)庫(kù)

運(yùn)行 Azkaban 基本的原數(shù)據(jù)信息庫(kù)，在編譯好的 azkaban-db 中就有基本的庫(kù)信息，需要將這些數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中，這里就是導(dǎo)入 MySQL 數(shù)據(jù)庫(kù)中 , 導(dǎo)入的MySQL 數(shù)據(jù)庫(kù)可以和當(dāng)前 Azkaban 安裝在同一節(jié)點(diǎn)上，也可以安裝在不同的節(jié)點(diǎn)上，筆者的 Azkaban 安裝在 node4 節(jié)點(diǎn)上， MySQL 數(shù)據(jù)庫(kù)安裝在 node1 節(jié)點(diǎn)上。

    登錄 mysql 數(shù)據(jù)庫(kù)，創(chuàng)建 azkaban 數(shù)據(jù)庫(kù)

[root@mynode2 ~]# mysql -u root -p
 mysql> create database azkaban default character set latin1;

注意：這里創(chuàng)建 azkaban 時(shí)建議使用 latin1 編碼，因?yàn)樗饕L(zhǎng)， utf8 編碼格式不支持，最高支持 1000 。
2. 準(zhǔn)備 sql 文件
將 node4 節(jié)點(diǎn)上 /software/azkaban/azkaban-db 目錄下的 create-all-sql-0.1.0-SNAPSHOT.sql 復(fù)制到 node1 節(jié)點(diǎn) /software/test 目錄下。

[root@node4 azkaban-db]# scp /software/azkaban/azkaban-db/create-all-
sql-0.1.0-SNAPSHOT.sql
[root@node4:/software/test create-all-sql-0.1.0-SNAPSHOT.sql 100% 12KB 11.8KB/s 00:00

  向 MySQL 中導(dǎo)入數(shù)據(jù)庫(kù)

 mysql> use azkaban;
 mysql> source /software/test/create-all-sql-0.1.0-SNAPSHOT.sql

     檢查導(dǎo)入的數(shù)據(jù)庫(kù)表

mysql> show tables;

2.3 配置運(yùn)行 Azkaban
2.3.1 創(chuàng)建 ssl 配置

HTTP 的全稱(chēng) 是 Hypertext Transfer Protocol Vertion （超文 本傳輸協(xié)議）， HTTPS 的全稱(chēng)是 Secure Hypertext Transfer Protocol （安全超文本傳輸協(xié)議）， HTTPS 基于 HTTP 開(kāi)發(fā)，使用安全套接字層 (SSL) 進(jìn)行信息交換，簡(jiǎn)單來(lái)說(shuō)它是HTTP 的安全版。 Azkaban 支持安全的 https 訪問(wèn)，但是需要?jiǎng)?chuàng)建 ssl 配置。
在 /software/azkaban 目錄下執(zhí)行命令： keytool -keystore keystore -alias jetty -genkey -keyalg RSA 創(chuàng)建 ssl 配置。

[root@mynode5 azkaban]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
輸入密鑰庫(kù)口令:
再次輸入新口令:
輸入 <jetty> 的密鑰口令
(如果和密鑰庫(kù)口令相同, 按回車(chē)):

輸入完信息，執(zhí)行完以上命令之后，在當(dāng)前目錄下生成一個(gè) keystore 文件，將此文件復(fù)制到 azkaban web 服務(wù)器根目錄下。

 [root@node4 azkaban]# mv /software/azkaban/keystore /software/azkaban/azkaban-web

2.3.2 Azkaban web 服務(wù)器配置

進(jìn) 入 /software/azkaban/azkaban-web/conf 目 錄 下 ， 編 輯azkaban.properties 文件：

[root@node4 conf]# cd /software/azkaban/azkaban-web/conf/
[root@node4 conf]# vim azkaban.properties

編輯內(nèi)容如下：

# Azkaban Personalization Settings
azkaban.name=My Azkaban
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/root/soft/azkaban/azkaban-web/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/root/soft/azkaban/azkaban-web/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/root/soft/azkaban/azkaban-web/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
jetty.keystore=/root/soft/azkaban/azkaban-web/keystore
jetty.password=123456
jetty.keypassword=azkaban
jetty.truststore=/root/soft/azkaban/azkaban-web/keystore
jetty.trustpassword=123456
jetty.ssl.port=8443
executor.connector.stats=true
executor.port=12312
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=192.168.3.175
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

2.3.3 Azkaban executor 服務(wù)器配置

進(jìn) 入 /software/azkaban/azkaban-exec/conf 目 錄 下 ， 編 輯azkaban.properties 文件：

# Azkaban Personalization Settings
azkaban.name=My Azkaban
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/root/soft/azkaban/azkaban-web/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/root/soft/azkaban/azkaban-web/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/root/soft/azkaban/azkaban-web/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
#jetty.use.ssl=false
#jetty.maxThreads=25
#jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=https://localhost:8443
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=/root/soft/azkaban/azkaban-exec/plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=192.168.3.175
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.port=12321

2.3.4 啟動(dòng) Azkaban

    啟動(dòng) AzkabanExecutorServer
    進(jìn)入 /software/azkaban/azkaban-exec/bin 目錄，啟動(dòng)AzkabanExecutorServer ， jps 檢查進(jìn)程 , 出現(xiàn)AzkabanExecutorServer進(jìn)程表示啟動(dòng)成功。

 [root@node4 bin]# cd /software/azkaban/azkaban-exec/bin
 [root@node4 bin]# ./start-exec.sh
 [root@node4 bin]# jps

    激活 AzkabanExecutor
    啟動(dòng)/重啟 AzkabanExecutor 需要激活，在瀏覽器中執(zhí)行如下命令，激活
    AzkabanExecutor ：

 http://node4:12321/executor?action=activate

    啟動(dòng) AzkabanWebServer
    進(jìn)入 /software/azkaban/azkaban-web/bin 目錄，啟動(dòng)
    AzkabanWebServer,jps 檢查進(jìn)程，出現(xiàn) AzkabanWebServer 進(jìn)程表示啟動(dòng)成功。

 [root@node4 bin]# cd /software/azkaban/azkaban-web/bin
 [root@node4 bin]# ./start-web.sh

3. [root@mynode5 bin]# jps

至此， Azkaban 的搭建已經(jīng)完成，下面檢查 Azkaban 運(yùn)行情況。
2.4 驗(yàn)證 Azkaban 運(yùn)行情況

驗(yàn)證 Azkaban 是否啟動(dòng)成功，可以訪問(wèn) Azkaban 的 WebUI 界面，檢查是否啟動(dòng)成功。在瀏覽器輸入 http://node4:8081:
如果配置了ssl請(qǐng)?jiān)L問(wèn)：https//node4:port
在這里插入圖片描述

輸入地址之后，出現(xiàn)以上頁(yè)面表示配置 Azkaban 沒(méi)有問(wèn)題，Azkaban 啟動(dòng)成功，默認(rèn)的用戶(hù)名和密碼都是 Azkaban ，可以輸入用戶(hù)名和密碼登錄 Azkaban 的界面提交任務(wù)流，進(jìn)行任務(wù)管理和調(diào)度。：
在這里插入圖片描述

至此， Azkaban 搭建成功，下面我們模擬一個(gè)任務(wù)流來(lái)嘗試?yán)?Azkaban 來(lái)進(jìn)行任務(wù)調(diào)度。
3. 構(gòu)建工作流

以上小節(jié)介紹了安裝部署 Azkaban ，本節(jié)中我們將設(shè)計(jì)一個(gè)模擬的任務(wù)流程 flow ，通過(guò)這個(gè)任務(wù)流程來(lái)學(xué)習(xí)如何編寫(xiě) Azkaban 的任務(wù)、如何在 WebUI 中查看任務(wù)流調(diào)度及狀態(tài)。
首先介紹下 Azkaban 中 project 、 flows 、 job 之間的關(guān)系：一個(gè) project 中可以包含一個(gè)或者多個(gè) flows ，一個(gè) flows 包含多個(gè) job 。這里的 job 是在 Azkaban 中運(yùn)行的一個(gè)進(jìn)程，可以是簡(jiǎn)單的 linux 命令、 shell 腳本、 sql 腳本等。一個(gè) job 可以依賴(lài)于另一個(gè) job ，這種多個(gè) job 之間的依賴(lài)關(guān)系組成 flow ，也就是任務(wù)流。
3.1 設(shè)計(jì)工作流程

假設(shè)現(xiàn)在有 5 個(gè) job ，分別是 job1 、 job2 、 job3 、 job4 、 job5 。每個(gè) job 都執(zhí)行一個(gè) shell 腳本。 job3 依賴(lài)與 job1 和 job2 執(zhí)行的結(jié)果， job4 依賴(lài)于 job3 執(zhí)行的結(jié)果， job5 依賴(lài)于 job4 執(zhí)行的結(jié)果。
針對(duì)以上這個(gè)任務(wù)需求，我們可以設(shè)計(jì)一個(gè)任務(wù)流（ flow ），這個(gè)任務(wù)流中有 5 個(gè)job ，按照上述 job 依賴(lài)的關(guān)系，可以編寫(xiě)一個(gè)簡(jiǎn)單的任務(wù)流程提交到 Azkaban 中進(jìn)行調(diào)度執(zhí)行。
3.2 編寫(xiě)各階段 Job

編寫(xiě) job 非常容易，需要?jiǎng)?chuàng)建一個(gè)以” .job ”結(jié)尾的文本文件，文件中書(shū)寫(xiě)格式如下：

type=command
command= 需要執(zhí)行的腳本或命令

type=command 是 告 訴 Azkaban 使 用 unix 原 生 命 令 去 運(yùn) 行 命 令 或 者 腳 本 ，command= “ xxx ”就是指定當(dāng)前 job 需要執(zhí)行的命令或者腳本，如果當(dāng)前 job 依賴(lài)于其他的 job ，只需要在這個(gè)文本文件后面加上“ dependencies= 依賴(lài)的 job 名稱(chēng)”即可，依賴(lài)的 job 只需要寫(xiě)名稱(chēng)，不需要寫(xiě)出后綴“ job ”。
為了方便演示以上工作流程，這里設(shè)計(jì)的每個(gè) job 都調(diào)起 linux 上的一個(gè)腳本，腳本中就使用簡(jiǎn)單的 echo 打印一些信息供參看 ,5 個(gè) job 及對(duì)應(yīng)的腳本設(shè)置內(nèi)容如下：

    編寫(xiě) job 任務(wù)
    job1.job:

type=command
command= sh job1.sh

job2.job ：

type=command
command= sh job2.sh

job3.job:

type=command
command= sh job3.sh
dependencies=job1,job2

job4.job:

 type=command
 command= sh job4.sh
 dependencies=job3

job5.job:

 type=command
 command= sh job5.sh
 dependencies=job4

以上 job 任務(wù)的編寫(xiě)可以在本地 window 環(huán)境中編寫(xiě)，編寫(xiě)完成后需要將 5 個(gè) job
壓縮到一個(gè)壓縮文件中，后期提交到 Azkaban 中執(zhí)行。
2. 編寫(xiě)腳本內(nèi)容

job1.sh:

echo "開(kāi)始執(zhí)行 job1... ... "
echo "正在執(zhí)行 job1... ... "
echo "執(zhí)行完成 job1... ... "

job2.sh:

echo "開(kāi)始執(zhí)行 job2... ... "
echo "正在執(zhí)行 job2... ... "
echo "執(zhí)行完成 job2... ... "

job3.sh:

echo "開(kāi)始執(zhí)行 job3... ... "
echo "正在執(zhí)行 job3... ... "
echo "執(zhí)行完成 job3... ... "

job4.sh:

echo "開(kāi)始執(zhí)行 job4... ... "
echo "正在執(zhí)行 job4... ... "
echo "執(zhí)行完成 job4... ... "

job5.sh:

echo "開(kāi)始執(zhí)行 job5... ... "
echo "正在執(zhí)行 job5... ... "
echo "執(zhí)行完成 job5... ... "

以 上 腳 本 是 在 linux 中 編 寫(xiě) ， job1.sh 、 job2.sh 、 job3.sh 、 job4.sh 、job5.sh 幾個(gè)腳本都需要賦予執(zhí)行權(quán)限。
3.3 配置工作流并執(zhí)行

Azkaban 中任務(wù)提交時(shí)，必須將所有 job 文件壓縮到一個(gè) zip 文件中再提交到
Azkaban 中執(zhí)行。首先將以上 5 個(gè) job 壓縮到一個(gè) zip 文件中，然后登陸 Azkaban, 點(diǎn)
擊右上角的 Create Project 創(chuàng)建一個(gè)項(xiàng)目：
在這里插入圖片描述

在彈出的框中填寫(xiě)項(xiàng)目名稱(chēng)及項(xiàng)目描述：

在這里插入圖片描述
點(diǎn)擊 Create Project ，點(diǎn)擊 upload ，上傳壓縮好的任務(wù)：
在這里插入圖片描述
上傳完成之后，查看任務(wù)流， Azkaban 默認(rèn) Flow 名稱(chēng)是以最后一個(gè)沒(méi)有依賴(lài)的 job定義的：
在這里插入圖片描述
點(diǎn)擊 Execute Flow 可以看到任務(wù)流的詳細(xì)依賴(lài)關(guān)系：
在這里插入圖片描述
點(diǎn)擊 Execute 執(zhí)行任務(wù)。
如果想要每隔一段時(shí)間執(zhí)行一次任務(wù)，可以點(diǎn)擊 Schedule ，配置定時(shí)任務(wù)，配置好時(shí)間之后，點(diǎn)擊 Schedule 調(diào)度即可。如圖示：
在這里插入圖片描述
3.4 工作流執(zhí)行監(jiān)控

執(zhí)行任務(wù)完成之后，會(huì)自動(dòng)跳轉(zhuǎn)到執(zhí)行成功界面：
在這里插入圖片描述
3.5 Azkaban 問(wèn)題

如果在提交 Azkaban 時(shí)出現(xiàn)任務(wù)一直運(yùn)行狀態(tài)，但是執(zhí)行不完成，查看 azkabanwebui 日 志 發(fā) 現(xiàn) “ Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job job1, sleep for 60 secs and retry, at… … ”問(wèn)題，這個(gè)問(wèn)題是 executor 執(zhí)行任務(wù)之前檢查節(jié)點(diǎn)內(nèi)存是否足夠 3G ，如果不夠就會(huì)出現(xiàn)這個(gè)錯(cuò) 誤 。 可 以 在 …/azkaban-exec/plugins/jobtype 目 錄 下 ， 配 置commonprivate.properties 文 件 ， 在 文 件 中 加 入“ memCheck.enabled=false ”，不檢查內(nèi)存即可，重啟 azkaban 就可。

“azkaban3.9.0的編譯安裝步驟”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！