溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

利用docker 部署 spark項目的端口問題

發(fā)布時間:2020-08-03 22:02:15 來源:網絡 閱讀:1334 作者:去買大白兔 欄目:大數(shù)據(jù)

利用Docker  安裝項目:

local模式要設置sparklocal.spark.driver.host

yarn模式中只設置sparklocal.spark.driver.host和可以啟動,但是無法執(zhí)行任何語句,需要再設置

sparkyarn.spark.driver.bindAddress

和 blockmanager

即可,在spark啟動時指定對應host和bindaddress,docker指定訪問設定的host和bindAddress

和 blockmanager即可

注意:sparkyarn.spark.driver.bindAddress 是spark2.1.0才有的參數(shù),之前是沒有的。所以說,在2.1.0之前,spark與docker結合,以上辦法行不通。


向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經查實,將立刻刪除涉嫌侵權內容。

AI