0008-如何卸載CDH（附一鍵卸載github源碼）

溫馨提示：要看高清無碼套圖，請(qǐng)使用手機(jī)打開并單擊圖片放大查看。

1.前置條件

本文檔將介紹Cloudera Manager與CDH的卸載，并基于CDH使用parcels安裝且未配置安全（AD/LDAP, Kerberos, Data Encryption）的集群，以下是本次測(cè)試環(huán)境，但不是本操作手冊(cè)的硬限制：

1.操作系統(tǒng)版本：CENTOS6.5

2.MySQL數(shù)據(jù)庫版本為5.1.73

3.CM版本：CM 5.11

4.CDH版本：CDH 5.11

5.采用root或有sudo權(quán)限用戶對(duì)集群進(jìn)行卸載

2.用戶數(shù)據(jù)備份

2.1備份HDFS數(shù)據(jù)

• hdfs數(shù)據(jù)備份

使用distcp進(jìn)行集群之間數(shù)據(jù)復(fù)制進(jìn)行hdfs數(shù)據(jù)備份，備份操作如下：

hadoop distcp hftp://namenodeA:port/xxx/ hdfs://namenodeB/xxx

注：此命令需運(yùn)行在目標(biāo)集群中執(zhí)行，確保目標(biāo)集群空間足夠，以上數(shù)據(jù)目錄根據(jù)自己集群的真實(shí)環(huán)境做相應(yīng)的修改；

namenodeA：源集群namenode節(jié)點(diǎn)ip地址

port：源集群端口，默認(rèn)50070

namenodeB：目標(biāo)集群namenode節(jié)點(diǎn)ip地址

xxx：對(duì)應(yīng)hdfs的數(shù)據(jù)目錄

• namenode節(jié)點(diǎn)元數(shù)據(jù)備份

登錄namenode服務(wù)器上，進(jìn)行如下操作：

#進(jìn)入safemode模式

[root@ip-172-31-3-217 ~]# sudo -u hdfs hadoop dfsadmin  -safemode ente

DEPRECATED: Use of this script to execute hdfs command is  deprecated.

Instead use the hdfs command for it.

Safe mode is ON

#將所有edits修改flush到fsimage

[root@ip-172-31-3-217 ~]# sudo -u hdfs hadoop dfsadmin –saveNamespace

DEPRECATED: Use of this script to execute hdfs command is  deprecated.

Instead use the hdfs command for it.

Save namespace successful

將namenode元數(shù)據(jù)備份，根據(jù)自己集群namenode目錄進(jìn)行如下操作：

[root@ip-172-31-3-217 ~]# mkdir namenode_back
[root@ip-172-31-3-217 ~]# cd namenode_back/
[root@ip-172-31-3-217 ~]# cd /dfs/nn/
#將nn目錄下所有文件壓縮至/root/namenode_back/nn_back.tar.gz目錄下
[root@ip-172-31-3-217 nn]# tar -czvf  /root/namenode_back/nn_back.tar.gz .
./
./current/
./current/fsimage
./current/fstime
./current/VERSION
./current/edits
./image/
./image/fsimage

2.2備份MySQL元數(shù)據(jù)

• 在Mysql安裝的服務(wù)器上，執(zhí)行如下操作，備份hive元數(shù)據(jù)信息

注：如果有hue，sentry，Navigator數(shù)據(jù)庫可以同樣備份

2.3備份CDH集群配置數(shù)據(jù)

通過Cloudera Manager提供的API接口，導(dǎo)出一份JSON文檔，該文檔包含Cloudera 管理器實(shí)例的配置數(shù)據(jù)，可以通過這份JSON文檔備份或恢復(fù)Cloudera管理器的部署。

• 備份集群配置數(shù)據(jù)
• 登錄到Cloudera Manager所在服務(wù)器
• 運(yùn)行如下命令：

[root@ip-172-31-3-217 ~]# curl -u admin_username:admin_pass "http://cm_server_host:7180/api/v16/cm/deployment" > path_to_file/cm-deployment.json

admin_username: 登錄到ClouderaManager的用戶名

admin_pass: 對(duì)應(yīng)admin_username用戶的密碼

cm_server_host: 是ClouderaManager服務(wù)器的主機(jī)名

path_to_file: 保存配置文件的路徑

將上述提到的四個(gè)參數(shù)修改當(dāng)前集群對(duì)應(yīng)的信息即可

導(dǎo)出截圖：

• 恢復(fù)集群配置數(shù)據(jù)

注意：此功能只有Cloudera許可證才可以使用

1.首先進(jìn)入Cloudera Manager管理平臺(tái)，進(jìn)入如下操作

注意：如果在進(jìn)行API調(diào)用操作之前未停止集群，那么API調(diào)用將在運(yùn)行作業(yè)之前停止所有集群服務(wù)，任何運(yùn)行的作業(yè)和數(shù)據(jù)都會(huì)丟失。

2.登錄到Cloudera Manager所在的服務(wù)器

3.執(zhí)行如下命令

curl --upload-file path_to_file/cm-deployment.json -u admin_uname:admin_pass http://cm_server_host:7180/api/v16/cm/deployment?deleteCurrentDeployment=true

admin_uname: 登錄到ClouderaManager的用戶名

admin_pass: 對(duì)應(yīng)admin_uname用戶的密碼

cm_server_host: 是ClouderaManager服務(wù)器的主機(jī)名

path_to_file：JSON配置文件的路徑

2.4Zookeeper數(shù)據(jù)目錄備份

• 備份所有Zookeeper服務(wù)器的數(shù)據(jù)目錄，以172.31.3.217為例操作如下：

[root@ip-172-31-3-217 ~]# mkdir zookeeper_back

[root@ip-172-31-3-217 ~]# scp -r /var/lib/zookeeper/ /root/zookeeper_back/zookeeper_1

2.5備份用戶數(shù)據(jù)目錄

以下路徑為Cloudera默認(rèn)安裝目錄下個(gè)組件用戶數(shù)據(jù)：

/var/lib/flume-ng

/var/lib/hadoop*

/var/lib/hue

/var/lib/navigator

/var/lib/oozie

/var/lib/solr

/var/lib/sqoop*

/var/lib/zookeeper #同步數(shù)據(jù)

#data_driver_path為集群環(huán)境部署時(shí)設(shè)置的目錄，根據(jù)自己環(huán)境進(jìn)行調(diào)整

data_drive_path/dfs

data_drive_path/mapred

data_drive_path/yarn

如需備份相關(guān)組件數(shù)據(jù)，可參考2.4進(jìn)行數(shù)據(jù)備份。

3.停止所有服務(wù)

3.1打開Cloudera Manager控制臺(tái)

3.2關(guān)閉集群

停止CDH集群，如下圖所示操作

點(diǎn)擊確認(rèn)操作，如下圖所示

等待所有服務(wù)器停止操作成功，如下圖所示

3.3關(guān)閉Cloudera Management Service

停止Cloudera Manager Service，如下圖所示

點(diǎn)擊確認(rèn)對(duì)話框，如下圖所示

等待服務(wù)停止成功，如下圖所示

4.解除并移除Parcels

在Cloudera Manager管理界面，進(jìn)行如下操作

點(diǎn)擊上圖標(biāo)識(shí)功能，進(jìn)入如下界面

點(diǎn)擊上圖標(biāo)識(shí)，選擇【僅限停用狀態(tài)】，點(diǎn)擊【確定】

停用后，狀態(tài)變?yōu)椤凹せ睢保缦聢D所示

點(diǎn)擊“激活”旁菜單，選擇“從主機(jī)刪除”，如下圖所示

點(diǎn)擊確認(rèn)，如下圖所示

刪除成功后顯示如下

5.刪除集群

點(diǎn)擊Clouder Manager進(jìn)入主頁，如下圖所示

刪除集群，如下操作

點(diǎn)擊“刪除”操作，如下圖所示

刪除成功后顯示如下

6.卸載Cloudera Manager Server

6.1停止Cloudera Manager Server和數(shù)據(jù)庫

在集群master服務(wù)器上執(zhí)行如下命令

[root@ip-172-31-3-217 ~]# service cloudera-scm-server stop

#如果使用內(nèi)置db postgresql需要停止該服務(wù)，沒有則忽略

[root@ip-172-31-3-217 ~]# service cloudera-scm-server-db stop

6.2卸載Cloudera Manager Server和數(shù)據(jù)庫

使用yum卸載cloudera-scm-server和cloudera-scm-server-db-2，命令如下

[root@ip-172-31-3-217 ~]# yum remove cloudera-manager-server

#如果使用內(nèi)置db postgresql需要移除該服務(wù)，沒有則忽略

[root@ip-172-31-3-217 ~]# yum remove cloudera-manager-server-db-2

7.卸載Cloudera Manager Agent和Managed Software

在集群所有的機(jī)器上進(jìn)行如下操作，卸載Cloudera Manager Agent 和Managed Software。

7.1停止Cloudera Manager Agent

在所有服務(wù)器上使用如下命令停止Cloudera Manager Agent 服務(wù)

[root@ip-172-31-3-217 ~]# sudo service cloudera-scm-agent hard_stop

7.2卸載軟件

在集群所有節(jié)點(diǎn)執(zhí)行如下操作：

[root@ip-172-31-3-217 ~]# yum remove 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-core spark-master spark-worker spark-history-server spark-python sqoop sqoop2 whirr hue-common oozie-client solr solr-doc sqoop2-client zookeeper

7.3運(yùn)行清除命令

在集群所有節(jié)點(diǎn)執(zhí)行如下操作：

[root@ip-172-31-3-217 ~]# yum clean all

8.移除Cloudera Manager和用戶數(shù)據(jù)

8.1殺死 Cloudera Manager和Managed進(jìn)程

在集群所有節(jié)點(diǎn)執(zhí)行如下操作，將所有服務(wù)器的Cloudera Manager和Managed進(jìn)程殺死，命令如下：

8.2移除Cloudera Manager數(shù)據(jù)

在集群所有節(jié)點(diǎn)執(zhí)行如下命令，刪除所有Cloudera Manager數(shù)據(jù)

umount cm_processes

rm –rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera* /usr/lib64/cmf

8.3移除Cloudera Manager Lock File

在集群中所有節(jié)點(diǎn)執(zhí)行如下命令，刪除Cloudera Manager Lock File

rm –rf /tmp/.scm_prepare_node.lock

8.4移除用戶數(shù)據(jù)

此步驟將永久刪除所有用戶數(shù)據(jù)。為了備份數(shù)據(jù)，在啟動(dòng)卸載過程之前，使用distcp命令將其復(fù)制到另一個(gè)集群中。在集群中所有節(jié)點(diǎn)執(zhí)行如下命令，刪除用戶所有數(shù)據(jù)：

8.5停止并移除外部數(shù)據(jù)庫

在安裝mysql的服務(wù)器上進(jìn)行操作。

• 停止mysql數(shù)據(jù)庫，操作如下：

service mysqld stop

• 卸載mysql數(shù)據(jù)庫，操作如下

yum remove mysql*

• 刪除mysql數(shù)據(jù)目錄，操作如下

rm –rf /var/lib/mysql

9.一鍵卸載腳本說明(GitHub地址)

• 卸載腳本說明：

autouninstall.sh：自動(dòng)卸載腳本

components.list：集群所有安裝的組件列表

delete.list：需要?jiǎng)h除的目錄列表，列表中已配置大部分CDH安裝默認(rèn)目錄，用戶需要對(duì)列表末尾的hdfs目錄根據(jù)自己集群環(huán)境進(jìn)行目錄進(jìn)行相應(yīng)調(diào)整，如下圖所示：

node.list：集群所有節(jié)點(diǎn)，根據(jù)集群環(huán)境進(jìn)行節(jié)點(diǎn)配置

user.list：集群所有組件安裝時(shí)所使用的用戶名

• 腳本使用

注：腳本是在第五步操作完成后，在namenode節(jié)點(diǎn)進(jìn)行一鍵卸載

運(yùn)行截圖

源碼地址：

https://github.com/javaxsky/cdh-shell

醉酒鞭名馬，少年多浮夸！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數(shù)據(jù)玩的花！
溫馨提示：要看高清無碼套圖，請(qǐng)使用手機(jī)打開并單擊圖片放大查看。