Yarn Client和Yarn cluster有什么作用

本篇內(nèi)容介紹了“Yarn Client和Yarn cluster有什么作用”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1、先看看Yarn client的架構(gòu)示意圖

Yarn Client首先在Client端啟動(dòng)Driver，就是在Client端跑main函數(shù)了，這時(shí)候main函數(shù)所在的jar包還沒(méi)提交給Yarn集群。SparkContext開(kāi)始跑了，并且啟動(dòng)了YarnClientSchedulerBackend。然后YarnClientSchedulerBackend向Yarn提交申請(qǐng)執(zhí)行ApplicationMaster（spark-yarn工程里的類(lèi)），Yarn集群找到一臺(tái)Container來(lái)執(zhí)行ApplicationMaster，注意了：這里和yarn cluster的區(qū)別就是在Container上只啟動(dòng)ApplicationMaster，并不會(huì)啟動(dòng)Driver，因?yàn)橐呀?jīng)啟動(dòng)過(guò)了。然后ApplicationMaster負(fù)責(zé)資源分配，調(diào)度Container來(lái)運(yùn)行Executor，并且這些被調(diào)度啟動(dòng)的Executor是與Client端的Driver進(jìn)行通信的。

2、再看看Yarn cluster的架構(gòu)示意圖

而Yarn cluster就簡(jiǎn)單的多了，Client端并不執(zhí)行任何東西，將jar提交給Yarn集群，Yarn集群找到一臺(tái)Container啟動(dòng)ApplicationMaster，這時(shí)候和yarn client的區(qū)別就來(lái)了，這時(shí)候ApplicationMaster會(huì)接著啟動(dòng)Driver，也就是說(shuō)Driver和ApplicationMaster在同一個(gè)地方，然后ApplicationMaster進(jìn)行調(diào)度啟動(dòng)的Executor也是同Driver通信，要注意的點(diǎn)就是這里的Driver和ApplicationMaster在同一個(gè)地方，運(yùn)行在同一個(gè)進(jìn)程內(nèi)。

最后，Yarn client用于調(diào)試環(huán)境，而Yarn cluster用于生產(chǎn)環(huán)境。

“Yarn Client和Yarn cluster有什么作用”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！