spark源碼閱讀（一） 啟動(dòng)代碼閱讀

spark啟動(dòng)代碼閱讀：

spark使用一系列的shell腳本作為入口：其中bin目錄下面是任務(wù)提交的腳本；sbin目錄是master和worker啟停相關(guān)的腳本。

而所有腳本最后都是通過調(diào)用bin/spark-class來實(shí)現(xiàn)對(duì)java（scala）代碼的調(diào)用。

----------------------spark-class獲取java參數(shù)分析 開始-------------------------------------

spark-class的代碼處理流程：

1. 調(diào)用org.apache.spark.launcher.Main并把傳入的參數(shù)代入，以獲取到具體的參數(shù)：

("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")將參數(shù)代入，即執(zhí)行的是：

/usr/java/jdk/bin/java -cp /home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh6.3.2.jar org.apache.spark.launcher.Main org.apache.spark.deploy.SparkSubmit --class com.xxx.xxxx.stat.core.Main --master spark://xxxx1:7077,xxxx2:7077 --executor-memory 2G --driver-memory 5G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528

這行代碼返回的是：

/usr/java/jdk/bin/java -cp /home/xxx/spark/libext/*:/home/xxx/spark/conf/:/home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh6.3.2.jar:/home/xxx/spark/lib/datanucleus-api-jdo-3.2.6.jar:/home/xxx/spark/lib/datanucleus-core-3.2.10.jar:/home/xxx/spark/lib/datanucleus-rdbms-3.2.9.jar:/home/xxx/yarn/etc/hadoop -DLOG_LEVEL=INFO -DROLE_NAME=console -Xms5G -Xmx5G -Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M org.apache.spark.deploy.SparkSubmit --master spark://xxxx1:7077,xxxx2:7077 --conf spark.driver.memory=5G --class com.xxx.xxxx.stat.core.Main --executor-memory 2G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528

可以看出org.apache.spark.launcher.Main類的主要作用就是填充了最終執(zhí)行的java命令的參數(shù)。包括classpath、java命令的堆棧參數(shù)等。下面分析下實(shí)現(xiàn)過程：

1.org.apache.spark.launcher.Main是一個(gè)單獨(dú)的路徑，不屬于core的一部分。

2.org.apache.spark.launcher.Main這個(gè)類對(duì)于org.apache.spark.deploy.SparkSubmit這個(gè)的調(diào)用，創(chuàng)建了builder = new SparkSubmitCommandBuilder(args);用來規(guī)整sparksubmit命令的java參數(shù)。

3.對(duì)于其他的調(diào)用（應(yīng)該主要是master和worker的調(diào)用），創(chuàng)建了builder = new SparkClassCommandBuilder(className, args);用于規(guī)整其他命令的java參數(shù)。

對(duì)于上面兩種情況，都是先初始化，然后調(diào)用builder的buildCommand方法兩步就生成了java代碼的參數(shù)。

SparkSubmitCommandBuilder通過調(diào)用內(nèi)部類class OptionParser extends SparkSubmitOptionParser 進(jìn)行對(duì)參數(shù)的解析。

classpath主要在

buildCommand

buildSparkSubmitCommand

buildJavaCommand(在父類中)

在各種可能含有classpath的地方獲取。

-Xms5G -Xmx5G這兩個(gè)參數(shù)是在buildSparkSubmitCommand中的通過參數(shù)中的SPARK_DRIVER_MEMORY(spark.driver.memory)解析獲取到的

-Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M則是通過addPermGenSizeOpt(cmd);在配置文件中的spark.driver.extraJavaOptions這個(gè)配置項(xiàng)（DRIVER_EXTRA_JAVA_OPTIONS = "spark.driver.extraJavaOptions";）解析獲取到的。

----------------------------spark-class獲取java參數(shù)分析 結(jié)束----------------------------------------------------------

先分析下目前使用較多的bin/spark-submit(spark任務(wù)提交，driver進(jìn)程啟動(dòng))、sbin/start-master.sh（后臺(tái)啟動(dòng)，master進(jìn)程啟動(dòng)）、sbin/start-slave.sh(后臺(tái)啟動(dòng)，worker進(jìn)程啟動(dòng))，啟動(dòng)代碼都在spark-1.5.2\core\src\main\scala\org\apache\spark\deploy：

1. spark-submit

通過spark-class調(diào)用的類名：org.apache.spark.deploy.SparkSubmit

下面來分析，是怎么把driver啟動(dòng)起來的，分析類SparkSubmit.scala

/usr/java/jdk/bin/java -cp /home/xxx/spark/libext/*:/home/xxx/spark/conf/:/home/xxx/spark/lib/spark-assembly-1.5.2-hadoop2.5.0-cdh6.3.2.jar:/home/xxx/spark/lib/datanucleus-api-jdo-3.2.6.jar:/home/xxx/spark/lib/datanucleus-core-3.2.10.jar:/home/xxx/spark/lib/datanucleus-rdbms-3.2.9.jar:/home/xxx/yarn/etc/hadoop -DLOG_LEVEL=INFO -DROLE_NAME=console -Xms5G -Xmx5G -Xss32M -XX:PermSize=128M -XX:MaxPermSize=512M org.apache.spark.deploy.SparkSubmit --master spark://xxxx1:7077,xxxx2:7077 --conf spark.driver.memory=5G --class com.xxx.xxxx.stat.core.Main --executor-memory 2G --total-executor-cores 10 /home/xxx/xxxxxxx/bigdata-xxxxxxx.jar com.xxx.xxxx.stat.xxx.XXXXJob 20180527 20180528

傳入的參數(shù)主要是：

--conf spark.driver.memory=5G

--class com.xxx.xxxx.stat.core.ExcuteMain

--executor-memory 2G

--total-executor-cores 10

/home/xxx/xxxxxxx/bigdata-xxxxxxx.jar

com.xxx.xxxx.stat.xxx.XXXXJob

20180527

20180528

SparkSubmit的Main函數(shù)，通過val appArgs = new SparkSubmitArguments(args)獲取到進(jìn)一步解析的參數(shù)，然后調(diào)用submit(appArgs)，就實(shí)現(xiàn)了提交。

SparkSubmitArguments類，先調(diào)用上面org.apache.spark.launcher.Main調(diào)用過的org.apache.spark.launcher.SparkSubmitOptionParser的parse來對(duì)參數(shù)進(jìn)行解析，然后調(diào)用loadEnvironmentArguments對(duì)環(huán)境中可能配置的參數(shù)進(jìn)行解析或者賦予默認(rèn)值。最后給action參數(shù)賦予SUBMIT的默認(rèn)值：

action = Option(action).getOrElse(SUBMIT)

下面看submit的方法的處理過程：

1. val (childArgs, childClasspath, sysProps, childMainClass) = prepareSubmitEnvironment(args)

a.定義driver代碼類childArgs、childClasspath、sysProps、childMainClass?？梢赃@樣理解：submit提交了很多信息，比如使用的核數(shù)（對(duì)應(yīng)的executor的個(gè)數(shù)）、每個(gè)核用的內(nèi)存數(shù)、執(zhí)行的driver代碼（driver代碼也視為一種提交的內(nèi)容）

b.定義集群管理clusterManager，根據(jù)master的前綴進(jìn)行區(qū)分。yarn,spark,mesos,local

c.定義提交模式deployMode，CLIENT則driver在當(dāng)前機(jī)器；CLUSTER則使用某個(gè)worker作為driver。

d.下面的代碼就是對(duì)clusterManager、deployMode、python(R)組合的特殊情況處理。我們重點(diǎn)關(guān)注standalone模式。

e.將各個(gè)參數(shù)填入options變量中。

f.對(duì)于if (deployMode == CLIENT) { 填充四個(gè)參數(shù)。 直接將childMainClass = args.mainClass填充，在sparkSubmit中直接被runMain調(diào)用執(zhí)性。

f.對(duì)于isStandaloneCluster模式（standalone和cluster模式），區(qū)分legacy和rest兩種事項(xiàng)方式來啟動(dòng)一個(gè)client來執(zhí)性dirver

rest方式將org.apache.spark.deploy.rest.RestSubmissionClient填充到childMainClass，

legacy方式：org.apache.spark.deploy.Client填充到childMainClass

在sparksubmit中執(zhí)行上面的類，而將args.mainClass作為參數(shù)傳給上面的類。

g.對(duì)于cluster模式忽略spark.driver.host參數(shù)。

h.返回四個(gè)參數(shù)

四個(gè)參數(shù)的解釋：

• This returns a 4-tuple:

• (1) the arguments for the child process,

• (2) a list of classpath entries for the child,

• (3) a map of system properties, and

• (4) the main class for the child

2. 調(diào)用doRunMain

runMain

調(diào)用提交的childMainClass，

mainClass = Utils.classForName(childMainClass)

val mainMethod = mainClass.getMethod("main", new ArrayString.getClass)

mainMethod.invoke(null, childArgs.toArray)

2. start-master.sh(中間調(diào)用了spark-daemon.sh)

通過spark-class調(diào)用的類名：org.apache.spark.deploy.master.Master

調(diào)用時(shí)帶的參數(shù)：

2. start-slave.sh(中間調(diào)用了spark-daemon.sh)

通過spark-class調(diào)用的類名：org.apache.spark.deploy.worker.Worker

調(diào)用時(shí)帶的參數(shù)：