azkaban中job配置的示例分析

這篇文章主要介紹了azkaban中job配置的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

a) Job類型

所有的job都需要一個知道那個他們?nèi)绾稳?zhí)行的type。一般的，有這樣四種job類型：java、command、javaprocess和pig。

每個類型都有多種選項，如下描述。

i. command jobs

命令行jobs本質(zhì)上是作為單獨進程執(zhí)行的Unix命令。任何輸出都要以標準輸出或標準錯誤寫入到日志當中。如果一個job完成時退出代碼為零則代表執(zhí)行成功，若非零則失敗。

azkaban web動態(tài)傳參，command job可以通過${變量名}獲取該參數(shù)。

ii. javaprocess jobs

Java process jobs 是一個方便啟動java程序的容器。它等價于從命令行執(zhí)行一個class的main方法。下面介紹在javaprocess jobs中的可用屬性：

env.property可以通過程序獲取環(huán)境變量獲得。

iii. pig jobs

這個job類型會通過Grunt運行pig腳本。下面介紹pig jobs的可用屬性：

iv. java jobs

Java jobs是一個帶有run()方法的java類，例如。Java class不必要實現(xiàn)任何接口。Azkaban會充分利用在下面class中定義的方法：

b) Job鎖

在Azkaban中有三種類型的鎖：permit、read.lock和write.lock。

i. Permits

Permit鎖是用于限制對一個資源的并發(fā)訪問。例如：如果你想保證訪問特定數(shù)據(jù)庫一次不超過4個job，你可以建立一個有四個permit的池并且每個job需要得到一個permit才可運行。Perimits的數(shù)量可以在job目錄下的 .property 文件中的屬性當中設置。

Permit job的數(shù)量必須通過job.permits這個job參數(shù)設置提供才可運行。所有的permits會在job結(jié)束或失敗時立即釋放。

ii. Read and Write 鎖

Azkaban支持位資源設置Read/Write locks。一個常見的用例就是鎖定一個在HDFS中的文件修改的權(quán)限。例如：當你有許多job在讀一個文件，這時有一個job想重建它，你就要確保在別的job讀它的時候你不重建這個文件。讀者不會妨礙其他讀者并且允許任意數(shù)量的讀者。無論怎樣，都只能允許有一個作者，并且在開始寫的時候，所有的讀者必須執(zhí)行完畢。

這些所必須通過read.lock和write.lock下面定義參數(shù)進行設置：

e) Azkaban系統(tǒng)屬性

感謝你能夠認真閱讀完這篇文章，希望小編分享的“azkaban中job配置的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學習!