如何分析spark-submit工具參數(shù)

--master MASTER_URL

可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local

--deploy-mode DEPLOY_MODE

Driver程序運(yùn)行的地方，client或者cluster

--class CLASS_NAME

主類(lèi)名稱(chēng)，含包名

--name NAME

Application名稱(chēng)

--jars JARS

Driver依賴(lài)的第三方j(luò)ar包

--py-files PY_FILES

用逗號(hào)隔開(kāi)的放置在Python應(yīng)用程序PYTHONPATH上的.zip,  .egg, .py文件列表

--files FILES

用逗號(hào)隔開(kāi)的要放置在每個(gè)executor工作目錄的文件列表

--properties-file FILE

設(shè)置應(yīng)用程序?qū)傩缘奈募窂?，默認(rèn)是conf/spark-defaults.conf

--driver-memory MEM

Driver程序使用內(nèi)存大小

--driver-java-options

--driver-library-path

Driver程序的庫(kù)路徑

--driver-class-path

Driver程序的類(lèi)路徑

--executor-memory MEM

executor內(nèi)存大小，默認(rèn)1G

--driver-cores NUM

Driver程序的使用CPU個(gè)數(shù)，僅限于Spark Alone模式

--supervise

失敗后是否重啟Driver，僅限于Spark  Alone模式

--total-executor-cores NUM

executor使用的總核數(shù)，僅限于Spark Alone、Spark on Mesos模式

--executor-cores NUM

每個(gè)executor使用的內(nèi)核數(shù)，默認(rèn)為1，僅限于Spark on Yarn模式

--queue QUEUE_NAME

提交應(yīng)用程序給哪個(gè)YARN的隊(duì)列，默認(rèn)是default隊(duì)列，僅限于Spark on Yarn模式

--num-executors NUM

啟動(dòng)的executor數(shù)量，默認(rèn)是2個(gè)，僅限于Spark on Yarn模式

--archives ARCHIVES

僅限于Spark on Yarn模式