spark-on-yarn作業(yè)提交緩慢優(yōu)化中的spark jar包處理是怎樣的

這篇文章將為大家詳細(xì)講解有關(guān)spark-on-yarn作業(yè)提交緩慢優(yōu)化中的spark jar包處理是怎樣的，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

spark on yanr方式運(yùn)行計(jì)算作業(yè)，發(fā)現(xiàn)作業(yè)提交緩慢,查看日志如下：

18/09/25 11:25:38 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
18/09/25 11:25:51 INFO yarn.Client: Uploading resource file:/tmp/spark-293d2659-5df4-4445-8e6a-2d46103402e4/__spark_libs__6050322568575248936.zip -> hdfs://hadoop001:9000/user/hadoop/.sparkStaging/application_1537843134586_0005/__spark_libs__6050322568575248936.zip
18/09/25 11:26:04 INFO yarn.Client: Uploading resource file:/tmp/spark-293d2659-5df4-4445-8e6a-2d46103402e4/__spark_conf__938847757818885511.zip -> hdfs://hadoop001:9000/user/hadoop/.sparkStaging/application_1537843134586_0005/__spark_conf__.zip

從日志信息可以看到，

如果spark.yarn.archive 或者 spark.yarn.jars這兩個(gè)參數(shù)都沒(méi)有配置，spark就會(huì)把$SPARK_HOME/jars/所有的jar上傳到分布式緩存中，大約耗時(shí)30s左右，造成提交緩慢。

解決辦法：

1、將$SPARK_HOME/jars/下面的所有jar包上傳到hdfs上

hadoop fs -mkdir -p /spark/jars/

hadoop fs -put /home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh6.7.0/jars/*.jar /spark/jars/

2、spark-default.conf文件里面添加如下參數(shù)：

spark.yarn.jar                 hdfs://hadoop001:9000/spark/jars/*.jar

關(guān)于spark-on-yarn作業(yè)提交緩慢優(yōu)化中的spark jar包處理是怎樣的就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。