3.spark運(yùn)行模式

spark支持的運(yùn)行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。

本地模式

local、local[N]或local[N,maxRetries]。主要用于代碼調(diào)試和跟蹤。不具備容錯(cuò)能力，不適用于生產(chǎn)環(huán)境。

本地模式只有Driver，沒有Master和Worker。執(zhí)行任務(wù)的Executor與Driver在同一個(gè)JVM進(jìn)程中。

本地集群模式

local-cluster[N,cores,memory]。也主要用于代碼調(diào)試和測(cè)試，是源碼學(xué)習(xí)常用的模式。不具備容錯(cuò)能力，不能用于生產(chǎn)環(huán)境。

Driver、Master與Worker運(yùn)行在同一個(gè)JVM進(jìn)程中。每個(gè)Worker可啟動(dòng)多個(gè)Executor，每個(gè)Executor都是一個(gè)JVM進(jìn)程。

Standalone模式

spark://。具備容錯(cuò)能力并且支持分布式部署運(yùn)行。

Driver在集群之外，可以是任意的客戶端程序。Master部署于單獨(dú)的進(jìn)程，甚至在單獨(dú)的機(jī)器上，可以有多個(gè)，但只能有一個(gè)處于激活狀態(tài)。Worker部署于單獨(dú)的進(jìn)程，推薦在單獨(dú)的機(jī)器上部署。

YARN模式

yarn模式是將任務(wù)管理與資源調(diào)度功能交給YARN框架進(jìn)行處理的模式。分為yarn-client和yarn-cluster兩種模式。

yarn-client適用于交互、調(diào)試，希望立即看到應(yīng)用的輸出；yarn-cluster適用于生產(chǎn)環(huán)境。

yarn-cluster模式下，driver運(yùn)行在AM（ApplicationMaster）中，負(fù)責(zé)向YARN申請(qǐng)資源并監(jiān)控作業(yè)的運(yùn)行狀況。當(dāng)用戶提交完作業(yè)后，就可以關(guān)閉client，作業(yè)會(huì)繼續(xù)在YARN上運(yùn)行。

yarn-cluster模式不適合運(yùn)行交互類型的作業(yè)。而在yarn-client模式下，AM（ApplicationMaster）僅僅向YARN請(qǐng)求executor，client會(huì)和請(qǐng)求的executor通信來調(diào)度工作，client不能離開。

Mesos模式

運(yùn)行模式類似于YARN，分為client和cluster兩種模式。資源調(diào)度器分為粗粒度（默認(rèn)）和細(xì)粒度（不推薦）。

忠于技術(shù)，熱愛分享。歡迎關(guān)注公眾號(hào)：java大數(shù)據(jù)編程，了解更多技術(shù)內(nèi)容。