為什么我們生產(chǎn)上要選擇Spark On Yarn模式？

為什么我們生產(chǎn)上要選擇Spark On Yarn？

開發(fā)上我們選擇local[2]模式
生產(chǎn)上跑任務(wù)Job，我們選擇Spark On Yarn模式 ，

將Spark Application部署到y(tǒng)arn中，有如下優(yōu)點(diǎn)：

1.部署Application和服務(wù)更加方便

• 只需要yarn服務(wù)，包括Spark，Storm在內(nèi)的多種應(yīng)用程序不要要自帶服務(wù)，它們經(jīng)由客戶端提交后，由yarn提供的分布式緩存機(jī)制分發(fā)到各個(gè)計(jì)算節(jié)點(diǎn)上。

2.資源隔離機(jī)制

• yarn只負(fù)責(zé)資源的管理和調(diào)度，完全由用戶和自己決定在yarn集群上運(yùn)行哪種服務(wù)和Applicatioin，所以在yarn上有可能同時(shí)運(yùn)行多個(gè)同類的服務(wù)和Application。Yarn利用Cgroups實(shí)現(xiàn)資源的隔離，用戶在開發(fā)新的服務(wù)或者Application時(shí)，不用擔(dān)心資源隔離方面的問題。

3.資源彈性管理

• Yarn可以通過隊(duì)列的方式，管理同時(shí)運(yùn)行在yarn集群種的多個(gè)服務(wù)，可根據(jù)不同類型的應(yīng)用程序壓力情況，調(diào)整對(duì)應(yīng)的資源使用量，實(shí)現(xiàn)資源彈性管理。

Spark On Yarn有兩種模式，一種是cluster模式，一種是client模式。

運(yùn)行client模式：

• “./spark-shell –master yarn”
• “./spark-shell –master yarn-client”
• “./spark-shell –master yarn –deploy-mode client”

運(yùn)行的是cluster模式

• “./spark-shell –master yarn-cluster”
• “./spark-shell –master yarn –deploy-mode cluster”

client和cluster模式的主要區(qū)別：a. client的driver是運(yùn)行在客戶端進(jìn)程中b. cluster的driver是運(yùn)行在Application Master之中