Spark中yarn模式兩種提交任務(wù)方式

這篇文章主要介紹“Spark中yarn模式兩種提交任務(wù)方式”，在日常操作中，相信很多人在Spark中yarn模式兩種提交任務(wù)方式問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Spark中yarn模式兩種提交任務(wù)方式”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

1.yarn-client提交任務(wù)方式

配置
在client節(jié)點配置中spark-env.sh添加Hadoop_HOME的配置目錄即可提交yarn 任務(wù)，具體步驟如下：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

• 1

注意client只需要有Spark的安裝包即可提交任務(wù)，不需要其他配置（比如slaves）!!!

提交命令

/opt/spark/bin/spark-submit --master yarn  --class org.apache.spark.examples.SparkPi  /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100/opt/spark/bin/spark-submit   --master yarn-client   --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100/opt/spark/bin/spark-submit  --master yarn --deploy-mode  client --class org.apache.spark.examples.SparkPi /opt/spark/example

執(zhí)行流程
- 1.客戶端提交一個Application，在客戶端啟動一個Driver進程。
- 2.Driver進程會向RS(ResourceManager)發(fā)送請求，啟動AM(ApplicationMaster)的資源。
- 3.RS收到請求，隨機選擇一臺NM(NodeManager)啟動AM。這里的NM相當于Standalone中的Worker節(jié)點。
- 4.AM啟動后，會向RS請求一批container資源，用于啟動Executor.
- 5.RS會找到一批NM返回給AM,用于啟動Executor。
- 6.AM會向NM發(fā)送命令啟動Executor。
- 7.Executor啟動后，會反向注冊給Driver，Driver發(fā)送task到Executor,執(zhí)行情況和結(jié)果返回給Driver端。

總結(jié)

• 1.Yarn-client模式同樣是適用于測試，因為Driver運行在本地，Driver會與yarn集群中的Executor進行大量的通信，會造成客戶機網(wǎng)卡流量的大量增加.

• 2.ApplicationMaster的作用：
  為當前的Application申請資源
  給NodeManager發(fā)送消息啟動Executor。

  注意：ApplicationMaster有l(wèi)aunchExecutor和申請資源的功能，并沒有作業(yè)調(diào)度的功能。

2.yarn-cluster提交任務(wù)方式

提交命令

/opt/spark/bin/spark-submit --master yarn --deploy-mode cluster  --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar  100/opt/spark/bin/spark-submit --master yarn-cluster  --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100

結(jié)果在yarn的日志里面：

到此，關(guān)于“Spark中yarn模式兩種提交任務(wù)方式”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>