溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題

發(fā)布時(shí)間：2021-07-29 19:40:56 來源：億速云 閱讀：665 作者：chen 欄目：大數(shù)據(jù)

本篇內(nèi)容介紹了“如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1     文檔編寫目的

在安裝5.11.2版本的CDH集群時(shí)，或者為5.11.2版本的CDH集群擴(kuò)容時(shí)，可能會(huì)遇到Y(jié)ARN的NodeManager實(shí)例無法啟動(dòng)的問題。本文主要講述NodeManager無法啟動(dòng)的原因以及如何解決該問題。

測(cè)試環(huán)境：

操作系統(tǒng)版本為Redhat7.2

CM和CDH版本為5.11.2

文章目錄結(jié)構(gòu)：

    1.  文檔編寫目的

    2.  問題描述

    3.  解決方案

    3.1 問題解決

    3.2 相關(guān)建議

    4.  總結(jié)

2     問題描述

在使用CDH5.11.2版本時(shí)，新增YARN的NodeManager角色，在啟動(dòng)角色實(shí)例時(shí)，出現(xiàn)如下異常：

如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題                         

查看YARN的異常日志，異常信息如下：

7月 16, 晚上10點(diǎn)58:42.862分      FATAL  org.apache.hadoop.yarn.server.nodemanager.NodeManager  

Error starting NodeManager

org.apache.hadoop.service.ServiceStateException:  org.fusesource.leveldbjni.internal.NativeDB$DBException: IO error:  /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission denied

     at  org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:59)

     at  org.apache.hadoop.service.AbstractService.init(AbstractService.java:172)

     at  org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartRecoveryStore(NodeManager.java:181)

     at  org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:245)

     at  org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

     at  org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:562)

     at  org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:609)

Caused by: org.fusesource.leveldbjni.internal.NativeDB$DBException: IO  error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission  denied

     at  org.fusesource.leveldbjni.internal.NativeDB.checkStatus(NativeDB.java:200)

     at  org.fusesource.leveldbjni.internal.NativeDB.open(NativeDB.java:218)

     at  org.fusesource.leveldbjni.JniDBFactory.open(JniDBFactory.java:168)

     at  org.apache.hadoop.yarn.server.nodemanager.recovery.NMLeveldbStateStoreService.openDatabase(NMLeveldbStateStoreService.java:944)

     at  org.apache.hadoop.yarn.server.nodemanager.recovery.NMLeveldbStateStoreService.initStorage(NMLeveldbStateStoreService.java:931)

     at  org.apache.hadoop.yarn.server.nodemanager.recovery.NMStateStoreService.serviceInit(NMStateStoreService.java:204)

     at  org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

     ... 5 more

我在Redhat7.2操作系統(tǒng)上部署5.11.2版本的CDH集群以及為該版本集群擴(kuò)容節(jié)點(diǎn)都遇到過該類問題，問題的解決方法比較簡(jiǎn)單，寫這篇文章主要是想為以后規(guī)避此類問題提供一個(gè)參考。

3     解決方案

3.1  問題解決步驟

根據(jù)YARN的異常日志，可以看到提示的信息為“IO error:/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission denied”。需要登錄NodeManager啟動(dòng)異常的節(jié)點(diǎn)排查問題。

1、登錄bigdata29節(jié)點(diǎn)，查看/var/lib/hadoop-yarn/yarn-nm-recovery/目錄，發(fā)現(xiàn)該目錄為空

2、查看相關(guān)目錄權(quán)限，發(fā)現(xiàn)hadoop-yarn目錄權(quán)限為000，定位到問題

root@bigdata29:/var/lib/hadoop-yarn>ls  -lrt /var/lib/ | grep hadoop-ya

d---------. 3 root          root         4096 Jul 16 22:39  hadoop-yarn

如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題

3、更改hadoop-yarn目錄權(quán)限為755

如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題

4、重啟bigdata29的NodeManager角色實(shí)例，能夠正常啟動(dòng)

如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題

3.2  相關(guān)建議

在添加NodeManager之前，在相關(guān)節(jié)點(diǎn)上手動(dòng)創(chuàng)建/var/lib/hadoop-yarn目錄，可以避免出現(xiàn)該問題。如果節(jié)點(diǎn)數(shù)量太多，可通過批量執(zhí)行命令腳本創(chuàng)建目錄。

4     總結(jié)

在使用CDH5.11.2版本時(shí)，新增YARN的NodeManager角色，可能會(huì)出現(xiàn)/var/lib/hadoop-yarn/目錄權(quán)限為000的問題，出現(xiàn)該問題時(shí)，需要將目錄權(quán)限改為755，然后重啟NodeManager。要避免該問題可以提前創(chuàng)建/var/lib/hadoop-yarn/

“如何解決CDH集群安裝YARN無法正常啟動(dòng)的問題”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手