如何指定Spark1作業(yè)中Driver和Executor使用指定范圍內(nèi)端口

今天就跟大家聊聊有關(guān)如何指定Spark1作業(yè)中Driver和Executor使用指定范圍內(nèi)端口，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

1.文檔編寫目的

在CDH集群中提交Spark作業(yè)，大家也都知道Spark的Driver和Executor之間通訊端口是隨機(jī)的，Spark會(huì)隨選擇1024和65535（含）之間的端口，因此在集群之間不建議啟用防火墻。小編主要介紹如何指定Spark1作業(yè)中Driver和Executor使用指定范圍內(nèi)的端口進(jìn)行通訊。

• 內(nèi)容概述

1.配置Spark Driver和Executor端口范圍

2.驗(yàn)證端口分配

• 測(cè)試環(huán)境

1. CM和CDH版本為5.15

2. Spark版本為1.6.0

2.配置Spark Driver和Executor端口范圍

1.登錄到CM管理界面，進(jìn)入Spark服務(wù)的配置界面

2.在Gateway分類中配置也搜索“spark-defaults.conf”，添加如下配置：

spark.driver.port=10000
spark.blockManager.port=20000
spark.executor.port=30000
spark.port.maxRetries=999

（可左右滑動(dòng)）

3.保存配置，并重新部署Spark2的客戶端配置

3.驗(yàn)證端口分配

1.向集群提交一個(gè)Spark的作業(yè)

spark-submit --class org.apache.spark.examples.SparkPi\
  --master yarn-client --num-executors 4 --driver-memory 2g\
  --driver-cores 1 --executor-memory 2g --executor-cores 1\
  /opt/cloudera/parcels/CDH/lib/spark/lib/spark-examples.jar 10

（可左右滑動(dòng)）

這里的10000端口主要是用來(lái)監(jiān)聽Executor的請(qǐng)求，在Executor起來(lái)的時(shí)候需要與Driver通信并獲取具體任務(wù)信息，是Driver使用的管理段調(diào)用端口。

2.查看Spark作業(yè)的運(yùn)行界面查看Driver和Executor使用的端口號(hào)

此處Driver和Executor的端口是通過參數(shù)spark.blockManager.port控制，主要是控制Driver和Executor之間的數(shù)據(jù)傳輸端口。

3.查看每個(gè)Executor的啟動(dòng)日志

4.總結(jié)

1.spark.driver.port的10000端口是用來(lái)監(jiān)聽來(lái)自executor的請(qǐng)求，在executor起來(lái)的時(shí)候需要與driver通信并獲取具體的任務(wù)信息，是driver使用的管理調(diào)度用端口。

2.spark.blockManager.port（20000）端口是driver和executor直接數(shù)據(jù)傳輸端口（比如cached data frame, broadcast vars）。

3. spark.executor.port(30000)端口主用于和spark.driver.prot進(jìn)行交互。

4.在Spark運(yùn)行中，blockManager將不會(huì)和YARN交互，而driver是會(huì)和YARN中運(yùn)行的Application Master進(jìn)程交互。

提示：代碼塊部分可以左右滑動(dòng)查看噢

看完上述內(nèi)容，你們對(duì)如何指定Spark1作業(yè)中Driver和Executor使用指定范圍內(nèi)端口有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。