溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

spark集群無(wú)法分配資源怎么辦

發(fā)布時(shí)間：2021-12-10 11:52:22 來(lái)源：億速云 閱讀：175 作者：小新 欄目：云計(jì)算

這篇文章給大家分享的是有關(guān)spark集群無(wú)法分配資源怎么辦的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

問(wèn)題1：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

此時(shí)程序會(huì)一直loading，running，loading，running…的循環(huán)，并持續(xù)出現(xiàn)上面的警告。
出現(xiàn)這個(gè)錯(cuò)誤很有可能是你啟動(dòng)spark的方式有問(wèn)題。

很多人啟動(dòng)spark直接用start-all.sh，但是如果你在env配置文件里沒(méi)有指定master的ip，這樣啟動(dòng)就會(huì)報(bào)上面這個(gè)問(wèn)題。如果沒(méi)有配置可以在啟動(dòng)的時(shí)候指定：

在maser上用

./start-master.sh -h “ip地址”

在worker上用

./start-slave.sh spark://"master的ip":7077

其它參數(shù)在啟動(dòng)的時(shí)候也可以指定，端口號(hào)也可以改動(dòng)。

感謝各位的閱讀！關(guān)于“spark集群無(wú)法分配資源怎么辦”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手