spark02--Standalone模式兩種提交任務(wù)方式是什么

spark02--Standalone模式兩種提交任務(wù)方式是什么，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

一、Standalone-client提交任務(wù)方式

提交命令

./spark-submit --master spark://xxx:7077 --class xxx.jar 或者
./spark-submit --master spark://xxx:7077 --deploy-mode client --class xxx.jar

執(zhí)行流程

1、client模式提交任務(wù)后，會(huì)在客戶端啟動(dòng)Driver進(jìn)程。

2、Driver會(huì)向Master申請(qǐng)啟動(dòng)Application啟動(dòng)的資源。

3、資源申請(qǐng)成功，Driver端將task發(fā)送到worker端執(zhí)行。

4、worker將task執(zhí)行結(jié)果返回到Driver端。

總結(jié)

client模式適用于測(cè)試調(diào)試程序。Driver進(jìn)程是在客戶端啟動(dòng)的，這里的客戶端就是指提交應(yīng)用程序的當(dāng)前節(jié)點(diǎn)。在Driver端可以看到task執(zhí)行的情況。生產(chǎn)環(huán)境下不能使用client模式，是因?yàn)椋杭僭O(shè)要提交100個(gè)application到集群運(yùn)行，Driver每次都會(huì)在client端啟動(dòng)，那么就會(huì)導(dǎo)致客戶端100次網(wǎng)卡流量暴增的問(wèn)題。

 cluster

提交命令

./spark-submit --master spark://xxx:7077 --deploy-mode cluster --class xxx.jar

執(zhí)行流程

1、cluster模式提交應(yīng)用程序后，會(huì)向Master請(qǐng)求啟動(dòng)Driver.

2、Master接受請(qǐng)求，隨機(jī)在集群一臺(tái)節(jié)點(diǎn)啟動(dòng)Driver進(jìn)程。

3、Driver啟動(dòng)后為當(dāng)前的應(yīng)用程序申請(qǐng)資源。

4、Driver端發(fā)送task到worker節(jié)點(diǎn)上執(zhí)行。

5、worker將執(zhí)行情況和執(zhí)行結(jié)果返回給Driver端。

總結(jié)

Driver進(jìn)程是在集群某一臺(tái)Worker上啟動(dòng)的，在客戶端是無(wú)法查看task的執(zhí)行情況的。假設(shè)要提交100個(gè)application到集群運(yùn)行,每次Driver會(huì)隨機(jī)在集群中某一臺(tái)Worker上啟動(dòng)，那么這100次網(wǎng)卡流量暴增的問(wèn)題就散布在集群上

總結(jié)Standalone兩種方式提交任務(wù)，Driver與集群的通信包括：

1、Driver負(fù)責(zé)應(yīng)用程序資源的申請(qǐng)

2、 任務(wù)的分發(fā)

3、結(jié)果的回收

4、監(jiān)控task執(zhí)行情況

二、Yarn模式兩種提交任務(wù)方式

client

提交命令

./spark-submit --master yarn --class xxx.jar 或者
./spark-submit --master yarn–client --class xxx.jar 或者
./spark-submit --master yarn --deploy-mode client --class xxx.jar

執(zhí)行流程

1. 客戶端提交一個(gè)Application，在客戶端啟動(dòng)一個(gè)Driver進(jìn)程。

2. 應(yīng)用程序啟動(dòng)后會(huì)向RM(ResourceManager)發(fā)送請(qǐng)求，啟動(dòng)AM(ApplicationMaster)的資源。

3. RM收到請(qǐng)求，隨機(jī)選擇一臺(tái)NM(NodeManager)啟動(dòng)AM。這里的NM相當(dāng)于Standalone中的Worker節(jié)點(diǎn)。

4. AM啟動(dòng)后，會(huì)向RM請(qǐng)求一批container資源，用于啟動(dòng)Executor.

5. RM會(huì)找到一批NM返回給AM,用于啟動(dòng)Executor。

6. AM會(huì)向NM發(fā)送命令啟動(dòng)Executor。

7. Executor啟動(dòng)后，會(huì)反向注冊(cè)給Driver，Driver發(fā)送task到Executor,執(zhí)行情況和結(jié)果返回給Driver端。

• 總結(jié)

Yarn-client模式同樣是適用于測(cè)試，因?yàn)镈river運(yùn)行在本地，Driver會(huì)與yarn集群中的Executor進(jìn)行大量的通信，會(huì)造成客戶機(jī)網(wǎng)卡流量的大量增加.

• ApplicationMaster的作用：

1. 為當(dāng)前的Application申請(qǐng)資源

2. 給NameNode發(fā)送消息啟動(dòng)Executor。

注意：ApplicationMaster有l(wèi)aunchExecutor和申請(qǐng)資源的功能，并沒(méi)有作業(yè)調(diào)度的功能。

cluster

提交命令

./spark-submit --master yarn-cluster --class xxx.jar 或者
./spark-submit --master yarn --deploy-mode cluster --class xxx.jar

執(zhí)行流程

1. 客戶機(jī)提交Application應(yīng)用程序，發(fā)送請(qǐng)求到RS(ResourceManager),請(qǐng)求啟動(dòng)AM(ApplicationMaster)。

2. RM收到請(qǐng)求后隨機(jī)在一臺(tái)NM(NodeManager)上啟動(dòng)AM（相當(dāng)于Driver端）。

3. AM啟動(dòng)，AM發(fā)送請(qǐng)求到RM，請(qǐng)求一批container用于啟動(dòng)Executor。

4. RM返回一批NM節(jié)點(diǎn)給AM。

5. AM連接到NM,發(fā)送請(qǐng)求到NM啟動(dòng)Executor。

6. Executor反向注冊(cè)到AM所在的節(jié)點(diǎn)的Driver。Driver發(fā)送task到Executor。

• 總結(jié)

Yarn-Cluster主要用于生產(chǎn)環(huán)境中，因?yàn)镈river運(yùn)行在Yarn集群中某一臺(tái)nodeManager中，每次提交任務(wù)的Driver所在的機(jī)器都是隨機(jī)的，不會(huì)產(chǎn)生某一臺(tái)機(jī)器網(wǎng)卡流量激增的現(xiàn)象，缺點(diǎn)是任務(wù)提交后不能看到日志。只能通過(guò)yarn查看日志。

ApplicationMaster的作用：

1. 為當(dāng)前的Application申請(qǐng)資源

2. 給NameNode發(fā)送消息啟動(dòng)Excutor。

3. 任務(wù)調(diào)度。

看完上述內(nèi)容，你們掌握spark02--Standalone模式兩種提交任務(wù)方式是什么的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！