溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何構(gòu)建Spark集群

發(fā)布時(shí)間：2021-12-16 14:21:58 來(lái)源：億速云 閱讀：148 作者：iii 欄目：云計(jì)算

這篇文章主要講解了“如何構(gòu)建Spark集群”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“如何構(gòu)建Spark集群”吧！

從控制臺(tái)我們可以看見有兩個(gè)DataNode，此時(shí)我們點(diǎn)擊“Live Nodes”查看一下其信息：

如何構(gòu)建Spark集群

從控制臺(tái)中看到了我們的兩個(gè)Datanode節(jié)點(diǎn)SparkWorker1和SparkWorker2，這正是我們預(yù)期中的！

第三步：?jiǎn)?dòng)yarn集群

如何構(gòu)建Spark集群

使用jps命令可以發(fā)現(xiàn)SparkMaster機(jī)器上啟動(dòng)了ResourceManager進(jìn)程：

如何構(gòu)建Spark集群

而在SparkWorker1和SparkWorker2上則分別啟動(dòng)了NodeManager進(jìn)程：

如何構(gòu)建Spark集群

如何構(gòu)建Spark集群

在SparkMaster上訪問http://SparkMaster:8088 可以通過Web控制臺(tái)查看ResourceManager運(yùn)行狀態(tài)：

如何構(gòu)建Spark集群

在SparkMaster上訪問http://SparkWorker1:8042  可以通過Web控制臺(tái)查看SparkWorker1上的NodeManager運(yùn)行狀態(tài)：

如何構(gòu)建Spark集群

在SparkMaster上訪問http://SparkWorker2:8042  可以通過Web控制臺(tái)查看SparkWorker2上的NodeManager運(yùn)行狀態(tài)：

如何構(gòu)建Spark集群

接下來(lái)使用“mr-jobhistory-daemon.sh”來(lái)啟動(dòng)JobHistory Server：

如何構(gòu)建Spark集群

啟動(dòng)后可以通過http://SparkMaster:19888 在Web控制臺(tái)上看到JobHistory中的任務(wù)執(zhí)行歷史信息：

如何構(gòu)建Spark集群

感謝各位的閱讀，以上就是“如何構(gòu)建Spark集群”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)如何構(gòu)建Spark集群這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手