spark on yarn的兩種提交方式分別是什么

這篇文章給大家介紹spark on yarn的兩種提交方式分別是什么，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

　　和yarn-cluster模式一樣，整個程序也是通過spark-submit腳本提交的。但是yarn-client作業(yè)程序的運行不需要通過Client類來封裝啟動，而是直接通過反射機制調用作業(yè)的main函數。下面就來分析：
　　1、通過SparkSubmit類的launch的函數直接調用作業(yè)的main函數（通過反射機制實現(xiàn)），如果是集群模式就會調用Client的main函數。
　　2、而應用程序的main函數一定都有個SparkContent，并對其進行初始化；
　　3、在SparkContent初始化中將會依次做如下的事情：設置相關的配置、注冊MapOutputTracker、 BlockManagerMaster、BlockManager，創(chuàng)建taskScheduler和dagScheduler；其中比較重要的是創(chuàng)建 taskScheduler和dagScheduler。在創(chuàng)建taskScheduler的時候會根據我們傳進來的master來選擇 Scheduler和SchedulerBackend。由于我們選擇的是yarn-client模式，程序會選擇YarnClientClusterScheduler和YarnClientSchedulerBackend，并將YarnClientSchedulerBackend 的實例初始化YarnClientClusterScheduler，上面兩個實例的獲取都是通過反射機制實現(xiàn) 的，YarnClientSchedulerBackend類是CoarseGrainedSchedulerBackend類的子 類，YarnClientClusterScheduler是TaskSchedulerImpl的子類，僅僅重寫了TaskSchedulerImpl 中的getRackForHost方法。
　　4、初始化完taskScheduler后，將創(chuàng)建dagScheduler，然后通過taskScheduler.start()啟動 taskScheduler，而在taskScheduler啟動的過程中也會調用SchedulerBackend的start方法。在 SchedulerBackend啟動的過程中將會初始化一些參數，封裝在ClientArguments中，并將封裝好的 ClientArguments傳進Client類中，并client.runApp()方法獲取Application ID。
　　5、client.runApp里面的做是和前面客戶端進行操作那節(jié)類似，不同的是在里面啟動是ExecutorLauncher（yarn-cluster模式啟動的是ApplicationMaster）。
　　6、在ExecutorLauncher里面會初始化并啟動amClient，然后向ApplicationMaster注冊該 Application。注冊完之后將會等待driver的啟動，當driver啟動完之后，會創(chuàng)建一個MonitorActor對象用于和 CoarseGrainedSchedulerBackend進行通信（只有事件AddWebUIFilter他們之間才通信，Task的運行狀況不是通 過它和CoarseGrainedSchedulerBackend通信的）。然后就是設置addAmIpFilter，當作業(yè)完成的時 候，ExecutorLauncher將通過amClient設置Application的狀態(tài)為 FinalApplicationStatus.SUCCEEDED。
　　7、分配Executors，這里面的分配邏輯和yarn-cluster里面類似，就不再說了。
　　8、最后，Task將在CoarseGrainedExecutorBackend里面運行，然后運行狀況會通過Akka通知CoarseGrainedScheduler，直到作業(yè)運行完成。
　　9、在作業(yè)運行的時候，YarnClientSchedulerBackend會每隔1秒通過client獲取到作業(yè)的運行狀況，并打印出相應的運行信息，當Application的狀態(tài)是FINISHED、FAILED和KILLED中的一種，那么程序將退出等待。
　　10、最后有個線程會再次確認Application的狀態(tài)，當Application的狀態(tài)是FINISHED、FAILED和KILLED中的一種，程序就運行完成，并停止SparkContext。整個過程就結束了。

關于spark on yarn的兩種提交方式分別是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。