溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

spark運(yùn)行時(shí)如何使用yarn分配資源并設(shè)置--num-executors參數(shù)

發(fā)布時(shí)間：2022-03-14 13:53:11 來(lái)源：億速云 閱讀：534 作者：小新 欄目：移動(dòng)開(kāi)發(fā)

這篇文章主要介紹了spark運(yùn)行時(shí)如何使用yarn分配資源并設(shè)置--num-executors參數(shù)，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

運(yùn)行時(shí)使用yarn分配資源，并設(shè)置--num-executors參數(shù)

nohup /home/SASadm/spark-1.4.1-bin-hadoop2.4/bin/spark-submit
--name mergePartition
--class main.scala.week2.mergePartition
--num-executors 30
--master yarn
mergePartition.jar >server.log 2>&1 &

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“spark運(yùn)行時(shí)如何使用yarn分配資源并設(shè)置--num-executors參數(shù)”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手