0007-如何遷移Cloudera Manager節(jié)點(diǎn)

溫馨提示：要看高清無(wú)碼套圖，請(qǐng)使用手機(jī)打開并單擊圖片放大查看。

1.概述

本文檔講述如何將Cloudera Manager在Kerberos環(huán)境下遷移至新的CM節(jié)點(diǎn)。通過(guò)本文檔，您將學(xué)習(xí)到以下知識(shí)：

1.如何遷移Cloudera Manager節(jié)點(diǎn)

2.如何遷移MySQL元數(shù)據(jù)庫(kù)

3.如何遷移Kerberos MIT KDC

文檔主要分為以下幾步：

1.準(zhǔn)備Cloudera Manager新節(jié)點(diǎn)

2.MariaDB數(shù)據(jù)庫(kù)遷移（可選）

3.遷移Kerberos MIT KDC（可選）

4.將原CM節(jié)點(diǎn)數(shù)據(jù)遷移至新節(jié)點(diǎn)

5.遷移后集群服務(wù)驗(yàn)證

這篇文檔將著重介紹Cloudera Manager節(jié)點(diǎn)遷移，并基于以下假設(shè)：

1.CDH環(huán)境已搭建并正常運(yùn)行

2.舊Cloudera Manager節(jié)點(diǎn)包含Cloudera Manager Server(即cloudera-scm-server)服務(wù)和Cloudera Management Service服務(wù)（Alert Publisher/Event Server/Host Monitor/Reports Manager/Service Monitor）

3.集群已完成MIT Kerberos的配置，并正常使用

4.集群Hadoop服務(wù)HBase/Hive/HDFS/Hue/Kafka/Oozie/Spark/Spark2/Yarn/Zookeeper正常運(yùn)行

以下是本次測(cè)試環(huán)境，但不是本操作手冊(cè)的硬限制：

1.操作系統(tǒng)：Redhat7.2

2.CM版本：CM5.11.1

3.CDH版本：CDH5.11.1

4.采用ec2-user對(duì)集群進(jìn)行部署

2.準(zhǔn)備Cloudera Manager新節(jié)點(diǎn)

2.1新CM主機(jī)前置條件

1. 操作系統(tǒng)版本與集群操作系統(tǒng)版本一致(Redhat7.2)
2. 關(guān)閉防火墻
3. 配置時(shí)鐘同步，根據(jù)當(dāng)前集群時(shí)鐘同步服務(wù)進(jìn)行配置
4. swap已設(shè)置為10
5. 關(guān)閉透明大頁(yè)面
6. 關(guān)閉SElinux
7. 配置/etc/hosts文件或者使用DNS服務(wù)
8. 配置cm和os的yum源
9. 創(chuàng)建mysql驅(qū)動(dòng)的軟鏈接

2.2新主機(jī)信息

新主機(jī)IP地址：172.31.18.97

新Hostname：ip-172-31-18-97.ap-southeast-1.compute.internal

1.主機(jī)操作系統(tǒng)版本

2.防火墻

3.時(shí)鐘同步

4.swap信息

5.透明大頁(yè)面

6.SElinux信息

7.host信息

8.Cloudera Manager和OS的yum 源

9.在/usr/share/java目錄下創(chuàng)建mysql驅(qū)動(dòng)包軟鏈

2.3安裝Cloudera Manager服務(wù)

ec2-user@ip-172-31-18-97 log$ sudo yum  -y install cloudera-manager-server cloudera-manager-agent

安裝完成Cloudera Manager后暫時(shí)不要啟動(dòng)服務(wù)。

注意：新節(jié)點(diǎn)的Cloudera Manager版本必須與原Cloudera Manager版本一致;節(jié)點(diǎn)上不要安裝CDH的其它組件;

2.4安裝MariaDB數(shù)據(jù)庫(kù)

由于原CM節(jié)點(diǎn)安裝有MariaDB數(shù)據(jù)庫(kù)，所以在新的CM節(jié)點(diǎn)也安裝MariaDB數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)遷移（如果不考慮數(shù)據(jù)庫(kù)遷移則可以不用安裝）

ec2-user@ip-172-31-18-97  log$ sudo yum -y install mariadb-server mariadb-devel 

初始化MariaDB數(shù)據(jù)庫(kù)

 ec2-user @  ip-172-31-18-97 log# sudo systemctl enable mariadb
 ec2-user@ip-172-31-18-97  log$ sudo systemctl start mariadb
 ec2-user@ip-172-31-18-97  log$ sudo /usr/bin/mysql\_secure\_installation 

3.MariaDB數(shù)據(jù)庫(kù)遷移

如果不做數(shù)據(jù)庫(kù)遷移可不跳過(guò)該章節(jié)

3.1備份原MariaDB數(shù)據(jù)

將需要遷移的mysql整庫(kù)導(dǎo)出（可根據(jù)需要導(dǎo)出需要的庫(kù)信息）

root@ip-172-31-25-3  ec2-user# mysqldump -u root -p -A >oldmysql.dump 

3.2導(dǎo)入備份數(shù)據(jù)至新庫(kù)

1.將備份文件拷貝至新mysql服務(wù)上，進(jìn)行數(shù)據(jù)導(dǎo)入

root@ip-172-31-18-97  ec2-user# mysql -u root -p < oldmysql.dump 

注意：數(shù)據(jù)導(dǎo)入成功后，需要在mysql client執(zhí)行命令：FLUSH PRIVILEGES;

4.遷移Kerberos MIT KDC

4.1備份原Kerberos數(shù)據(jù)庫(kù)

登錄到主KDC服務(wù)器上，使用kdb5_util命令備份Kerberos數(shù)據(jù)庫(kù)及配置文件

[ec2-user@ip-172-31-25-3 ~]$ sudo kdb5_util dump -verbose kerberosdb.dumpfile

HTTP/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COM

HTTP/ip-172-31-19-209.ap-southeast-1.compute.internal@CLOUDERA.COM

….

zookeeper/ip-172-31-28-67.ap-southeast-1.compute.internal@CLOUDERA.COM

[ec2-user@ip-172-31-25-3 ~]$

/etc/krb5.conf

/var/kerberos/krb5kdc/kdc.conf

/var/kerberos/krb5kdc/kadm5.acl

4.2恢復(fù)備份數(shù)據(jù)至新庫(kù)

1.在新節(jié)點(diǎn)安裝Kerberos服務(wù)：

yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

將4.1備份的數(shù)據(jù)拷貝到新節(jié)點(diǎn)上，通過(guò)如下操作將數(shù)據(jù)還原到Kerberos數(shù)據(jù)庫(kù)

2.修改krb5.conf文件，將該文件覆蓋/etc目錄下的krb5.conf

將上述標(biāo)紅部分修改為當(dāng)前主機(jī)ip或者h(yuǎn)ostname

3.將kdc.conf和kadm5.acl文件拷貝至/var/kerberos/krb5kdc目錄下進(jìn)行覆蓋

yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

4.恢復(fù)kerberos數(shù)據(jù)庫(kù)，在krb5kdc和kadmin服務(wù)停止的情況下進(jìn)行如下操作

注意：此處需要?jiǎng)?chuàng)建kerberos數(shù)據(jù)庫(kù)，然后在做數(shù)據(jù)導(dǎo)入否則krb5kdc和kadmin服務(wù)不能正常啟動(dòng)；

啟動(dòng)krb5kdc和kadmin服務(wù)

ec2-user@ip-172-31-18-97 kerberos\_bak$ sudo  systemctl restart krb5kdc

ec2-user@ip-172-31-18-97 kerberos\_bak$ sudo  systemctl stop krb5kdc

驗(yàn)證Kerberos是否正常，使用導(dǎo)入的user_r進(jìn)行測(cè)試

4.3更新集群的krb5.conf配置

將KDC主服務(wù)器上的/etc/krb5.conf文件拷貝至集群中所有的節(jié)點(diǎn)，并驗(yàn)證Kerberos是否正常。

5.將原CM節(jié)點(diǎn)數(shù)據(jù)遷移至新節(jié)點(diǎn)

5.1備份原CM節(jié)點(diǎn)數(shù)據(jù)

主要備份CM的監(jiān)控?cái)?shù)據(jù)和管理信息，數(shù)據(jù)目錄包括:

/var/lib/cloudera-host-monitor

/var/lib/cloudera-service-monitor

/var/lib/cloudera-scm-server

/var/lib/cloudera-scm-eventserver

/var/lib/cloudera-scm-headlamp

注意：將備份命令壓縮傳輸，防止目錄的屬主和權(quán)限變化

5.2修改CM的數(shù)據(jù)庫(kù)配置信息

修改新CM的數(shù)據(jù)庫(kù)配置文件/etc/cloudera-scm-server/db.properties，配置文件內(nèi)容

根據(jù)自己的配置信息對(duì)標(biāo)紅部分進(jìn)行修改

5.3CM備份數(shù)據(jù)導(dǎo)入新節(jié)點(diǎn)

將原CM上備份的數(shù)據(jù)拷貝到新CM節(jié)點(diǎn)上

通過(guò)如下命令將備份數(shù)據(jù)還原至對(duì)應(yīng)目錄

5.4更新集群所有節(jié)點(diǎn)的CM Server指向

修改集群所有節(jié)點(diǎn)上/etc/cloudera-scm-agent/config.ini文件中server_host值為新CM節(jié)點(diǎn)的hostname

5.5將原CM節(jié)點(diǎn)的Cloudera Management Service角色遷移至新節(jié)點(diǎn)

啟動(dòng)新CM節(jié)點(diǎn)的cloudera-scm-server和cloudera-scm-agent服務(wù)

ec2-user@ip-172-31-18-97 253back# sudo systemctl  start cloudera-scm-serve

ec2-user@ip-172-31-18-97 253back# sudo systemctl  start cloudera-scm-agent

注意：在新CM節(jié)點(diǎn)上啟動(dòng)cloudera-scm-agent服務(wù)后，會(huì)將CM節(jié)點(diǎn)的信息添加到cm庫(kù)的HOSTS表中，查看新CM節(jié)點(diǎn)對(duì)應(yīng)的HOSTS_ID

登錄mysql數(shù)據(jù)庫(kù)將，查看cm.HOSTS表中的Cloudera Manager的host信息

未遷移前可以通過(guò)CM管理界面看到新CM節(jié)點(diǎn)是沒有任何角色

通過(guò)如下命令，將舊CM的角色遷移至新CM節(jié)點(diǎn)上

update ROLES set HOST_ID=11 where NAME like 'mgmt%';

執(zhí)行操作后，原CM節(jié)點(diǎn)的角色被遷移至新CM節(jié)點(diǎn)

通過(guò)CM管理界面將原CM節(jié)點(diǎn)從集群刪除

將原CM節(jié)點(diǎn)刪除

由于集群配置了Kerberos，則需要更新Kerberos的server，如果Kerberos未遷移則不需要考慮此步

如果集群?jiǎn)⒂肒erberos，則需要為新CM節(jié)點(diǎn)生成keytab（如果未啟用集群則跳過(guò)此步）

通過(guò)CM管理界面啟動(dòng)Cloudera Management Service

由于做了數(shù)據(jù)庫(kù)遷移，所以需要修改hive/hue/oozie對(duì)應(yīng)的數(shù)據(jù)庫(kù)配置（未做數(shù)據(jù)庫(kù)遷移可跳過(guò)此步）

進(jìn)行以上修改后重啟集群

6.遷移后集群服務(wù)驗(yàn)證

原CM的運(yùn)行界面，歷史監(jiān)控?cái)?shù)據(jù)

登錄CM管理平臺(tái)，查看集群狀態(tài)正常

遷移后可以查看正常查看集群的歷史監(jiān)控?cái)?shù)據(jù)

Hue訪問(wèn)及操作正常

HDFS訪問(wèn)及操作正常

HBase通過(guò)hue和shell正常操作

7.常見問(wèn)題分析

1.問(wèn)題一

問(wèn)題現(xiàn)象：

問(wèn)題原因：

由于cloudera-scm-agent服務(wù)于supervisord之間通信異常導(dǎo)致。

解決方法：

將告警節(jié)點(diǎn)上的supervisord進(jìn)程殺死，然后重啟agent服務(wù)

2.問(wèn)題二

問(wèn)題現(xiàn)象：

問(wèn)題原因：

由于在CM遷移時(shí)，未遷移/opt/cloudera/csd目錄導(dǎo)致。

解決方法：

將原CM節(jié)點(diǎn)上/opt/cloudera/csd目錄拷貝至新CM節(jié)點(diǎn)對(duì)應(yīng)的目錄

重啟cloudera-scm-server服務(wù)

[ec2-user@ip-172-31-18-97 253back]# sudo systemctl start cloudera-scm-server

3.問(wèn)題三

問(wèn)題現(xiàn)象：

Service Monitor啟動(dòng)失敗，異常信息如下

問(wèn)題原因：

由于CM遷移時(shí)，/var/lib/cloudera-service-monitor目錄的文件缺失導(dǎo)致

解決方法：

將/var/lib/cloudera-service-monitor目錄的數(shù)據(jù)重新覆蓋

4.問(wèn)題四

現(xiàn)象描述：

在集群遷移完成后，集群?jiǎn)?dòng)后做了高可用服務(wù)的NameNode和ResourceManager服務(wù)均不能正常顯示主備節(jié)點(diǎn)，HDFS的匯總信息無(wú)法正常顯示

問(wèn)題原因：

由于集群配置了kerberos，新CM節(jié)點(diǎn)未生成keytab導(dǎo)致

解決方法：

將CM節(jié)點(diǎn)的所有服務(wù)停掉，然后生成該主機(jī)的keytab

8.擴(kuò)展

如何在不停止集群服務(wù)的情況下進(jìn)行Cloudera Manager遷移，需要滿足如下條件：

1. 新CM節(jié)點(diǎn)的hostname與IP地址與舊CM節(jié)點(diǎn)一致；
2. 如果需要遷移數(shù)據(jù)庫(kù)，則新數(shù)據(jù)庫(kù)的hostname與IP地址與原數(shù)據(jù)庫(kù)一致，且需要將原數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到新庫(kù)中；
3. 如果需要遷移Kerberos MIT KDC，則新MIT KDC所在節(jié)點(diǎn)與舊MIT KDC節(jié)點(diǎn)的hostname與IP地址一致，且需要將舊MIT KDC數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入新MIT KDC數(shù)據(jù)庫(kù)中；

注意：如果只做第1步操作，則不需要重啟hadoop集群相關(guān)服務(wù)，并且不會(huì)影響hadoop集群現(xiàn)有作業(yè)；如果進(jìn)行2、3步操作會(huì)對(duì)集群作業(yè)造成短暫影響，但不需要重啟hadoop集群相關(guān)服務(wù)；

醉酒鞭名馬，少年多浮夸！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數(shù)據(jù)玩的花！
溫馨提示：要看高清無(wú)碼套圖，請(qǐng)使用手機(jī)打開并單擊圖片放大查看。