您好,登錄后才能下訂單哦!
利用Docker 安裝項目:
local模式要設置sparklocal.spark.driver.host
yarn模式中只設置sparklocal.spark.driver.host和可以啟動,但是無法執(zhí)行任何語句,需要再設置
sparkyarn.spark.driver.bindAddress
和 blockmanager
即可,在spark啟動時指定對應host和bindaddress,docker指定訪問設定的host和bindAddress
和 blockmanager即可
注意:sparkyarn.spark.driver.bindAddress 是spark2.1.0才有的參數(shù),之前是沒有的。所以說,在2.1.0之前,spark與docker結合,以上辦法行不通。
免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經查實,將立刻刪除涉嫌侵權內容。