DataWorks如何使用Shell節(jié)點(diǎn)調(diào)用自定義資源組執(zhí)行腳本

這篇文章主要介紹了DataWorks如何使用Shell節(jié)點(diǎn)調(diào)用自定義資源組執(zhí)行腳本，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一、設(shè)置自定義資源組并配置權(quán)限ECS權(quán)限

1.1根據(jù)文檔添加對(duì)應(yīng)空間下的自定義資源組
https://help.aliyun.com/document_detail/169950.html
1.2查看添加的自定義資源組

1.3登陸添加為自定義資源組的ECS，建立對(duì)應(yīng)目錄，并給admin用戶設(shè)置權(quán)限

目錄下的odps_haudong為MaxCompute的客戶端

upfile.txt內(nèi)容為

chown -R amdin:admin /home

二、DataWorks新建Shell節(jié)點(diǎn)，并進(jìn)行編輯腳本

2.1創(chuàng)建臨時(shí)節(jié)點(diǎn)，并執(zhí)行以下語(yǔ)句

create table shell_test(key string);insert overwrite table shell_test values('hadoop'),('kafka'),('habse');select * from shell_test;

查看當(dāng)前數(shù)據(jù)展示

2.2建立手動(dòng)業(yè)務(wù)流程，并配置Shell腳本，以及添加調(diào)度資源組為自定義資源組

/home/export/odps_huadong/bin/odpscmd  -e "tunnel upload -overwrite true /home/export/upfile.txt  shell_test"

三、提交shell節(jié)點(diǎn)到生產(chǎn)環(huán)境，并進(jìn)行執(zhí)行

3.1提交業(yè)務(wù)流程

3.2發(fā)布任務(wù)到生產(chǎn)環(huán)境,并在手動(dòng)任務(wù)執(zhí)行

顯示執(zhí)行命令成功

四、檢測(cè)命令是否執(zhí)行

4.1返回?cái)?shù)據(jù)開(kāi)發(fā)界面執(zhí)行語(yǔ)句，確認(rèn)數(shù)據(jù)是否被覆蓋寫入

select * from shell_test;

可以看到數(shù)據(jù)寫入成功

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“DataWorks如何使用Shell節(jié)點(diǎn)調(diào)用自定義資源組執(zhí)行腳本”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!