溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

spark-yarn 模式 jar包優(yōu)化

發(fā)布時間：2020-06-28 07:48:11 來源：網(wǎng)絡(luò) 閱讀：1807 作者：去買大白兔 欄目：大數(shù)據(jù)

在yarn模式下，會上傳jar包到y(tǒng)arn來執(zhí)行spark程序，如果每次都上傳，很耗時間，而且如果是阿里云的機器，上傳很慢，180m的jar要上傳十幾分鐘，所以要提前上傳到hdfs中去。

spark支持如下幾個參數(shù)

spark-yarn 模式 jar包優(yōu)化

spark.yarn.jars：只能指定具體jar包，在spark1.6.2（包括）以前，從官網(wǎng)上可以下載一個大的jar包，寫上這個jar包即可，但是在2.0過后，就成為了一大堆小包

spark.yarn.archive：這個支持文件夾，但是有一點要注意，

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars")

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars/")

只有第一種寫法正確，第二種錯誤，第二種寫法不會讀取任何jar包。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手