hadoop集群部署注意問題有哪些

發(fā)布時(shí)間：2021-12-08 10:53:22 來源：億速云閱讀：174 作者：小新欄目：云計(jì)算

這篇文章將為大家詳細(xì)講解有關(guān)hadoop集群部署注意問題有哪些，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

1、namenode 或datanode 被迫升級(jí)。

1）降級(jí)namenode，缺點(diǎn)：需要停止服務(wù)，不確定性因素太多（降級(jí)可能會(huì)導(dǎo)致所有數(shù)據(jù)丟失），測(cè)試周期長且復(fù)雜；優(yōu)點(diǎn)：只要操作一個(gè)節(jié)點(diǎn)

2）升級(jí)所有的datanode，缺點(diǎn)：需要操作集群所有機(jī)器（也可以只升級(jí)單臺(tái)機(jī)器）；優(yōu)點(diǎn)：測(cè)試簡單，風(fēng)險(xiǎn)小

很明顯，第二種方案是優(yōu)選方案，測(cè)試過程如下：

1）找一臺(tái)采集服務(wù)器，上面已經(jīng)部署了hadoop客戶端，啟動(dòng)datanode，成功，日志信息顯示版本為：203.1

2）刪除build目錄，再次啟動(dòng)datanode，失敗

3）恢復(fù)build目錄，再次啟動(dòng)datanode，成功

4）將build目錄拷貝到出錯(cuò)的datanode上，修改hdfs-site.xml配置，將data目錄修改為新建目錄，啟動(dòng)datanode，成功

5）將data目錄修改為最原始的配置，啟動(dòng)datanode，成功

第二種方案測(cè)試成功，在namenode上運(yùn)行fsck命令，正常輸出。

關(guān)于“hadoop集群部署注意問題有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

猜你喜歡