Cloudera Manager和CDH升級(jí)流程

1.Cloudera升級(jí)概述

升級(jí)包括兩個(gè)主要的步驟，升級(jí)Cloudera Manager和升級(jí)CDH群集

升級(jí)CM：

*升級(jí)CM時(shí) 可以使用rpm命令； Cloudera Manager升級(jí)時(shí)，Cloudera Navigator也會(huì)升級(jí)。

升級(jí)CDH：

*CM和CDH不需要同時(shí)升級(jí)，但CM和CDH的版本必須兼容。Cloudera Manager 6.0可以管理運(yùn)行CDH 5.7到CDH 5.14的集群，只要Cloudera Manager的主+次版本 等于或高于 CDH的主+次版本。

例如：

支持:

· Cloudera Manager 6.0.0 and CDH 5.14.0

· Cloudera Manager 5.14.0 and CDH 5.13.0

· Cloudera Manager 5.13.1 and CDH 5.13.3

不支持:

· Cloudera Manager 5.14.0 and CDH 6.0.0

· Cloudera Manager 5.12 and CDH 5.13

· Cloudera Manager 6.0.0 and CDH 5.6

2.評(píng)估升級(jí)的影響

計(jì)劃一個(gè)足夠長(zhǎng)的維護(hù)窗口(停機(jī)時(shí)間)來(lái)執(zhí)行升級(jí)。根據(jù)需要升級(jí)的組件， 集群中的主機(jī)數(shù)量和硬件類型情況，你可能需要一整天的時(shí)間。

在開始升級(jí)之前，你需要收集一些信息 并做好提前準(zhǔn)備

請(qǐng)參考Cloudera Manager的：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html

了解API的更改 過(guò)時(shí)的功能 新功能以及不兼容性的變更。

而且要檢查

https://www.cloudera.com/documentation/enterprise/upgrade/topics/rg_requirements_supported_versions.html#c6_requirements

以確保使用的是受支持的操作系統(tǒng) JDK 數(shù)據(jù)庫(kù)和其他組件

有三種類型的升級(jí)：major, minor, and maintenance

Major升級(jí)

升級(jí)通常具有以下特征：

Hadoop的功能性發(fā)生了很大變化，有很多的更新內(nèi)容

不兼容的數(shù)據(jù)格式

Cloudera Manager 界面發(fā)生重大改變

Cloudera Manager 數(shù)據(jù)庫(kù)中Schema變更
需要大量的停機(jī)時(shí)間來(lái)升級(jí)集群

重新部署客戶端配置

Minor 升級(jí)

Minor升級(jí)是指基于同樣的major將minor版本進(jìn)行升級(jí)，比如從5.7.x升級(jí)到5.8.x，通常包括以下內(nèi)容：

  新功能   

  Bug 修復(fù)

 Cloudera Manager自動(dòng)處理的潛在數(shù)據(jù)庫(kù)Schema更改

在minor 升級(jí)中通常不會(huì)導(dǎo)致 不兼容的變更和數(shù)據(jù)格式的更改

Maintenance 升級(jí)

Maintenance升級(jí) 可以修復(fù)嚴(yán)重的bug或 解決安全問(wèn)題 不會(huì)有兼容性修改和新功能

3.Cloudera Manager升級(jí)概述

升級(jí)CM 有以下步驟：

1. 備份Cloudera Manager服務(wù)器數(shù)據(jù)庫(kù)、工作目錄和其他幾個(gè)實(shí)體。如果升級(jí)過(guò)程中出現(xiàn)問(wèn)題，可以使用這些備份來(lái)恢復(fù)Cloudera Manager部署

2. CM主機(jī)上 在命令行中使用package命令 升級(jí)Cloudera Manager Server ，例如Redhat的yum命令 cm會(huì)自動(dòng)化完成這個(gè)過(guò)程的大部分流程

3. 在所有集群主機(jī)上升級(jí)Cloudera Manager agent，Cloudera Manager升級(jí)向?qū)Э梢詭椭闵?jí)agent(并且，可選JDK) 也可以手動(dòng)安裝agent 和JDK軟件。CDH在此過(guò)程中沒(méi)有升級(jí)。

有關(guān)Cloudera Manager升級(jí)的步驟，請(qǐng)參靠官網(wǎng)文檔：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_upgrade.html#concept_q1q_mbs_wx

如果你正要從5.x 升級(jí)到5.x 的更高版本 還可以使用tarballs升級(jí)Cloudera Manager 相關(guān)的過(guò)程 請(qǐng)參閱使用Tarball升級(jí)Cloudera Manager 5

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ag_ug_cm5_tarballs.html

4.CDH升級(jí)概述

CDH升級(jí)包含Hadoop軟件以及相關(guān)組件的更新 你可以使用Cloudera Manager來(lái)升級(jí)CDH 根據(jù)您使用的Cloudera Manager版本和要升級(jí)到的CDH版本的不同，這些過(guò)程也會(huì)有所不同 您可以使用Cloudera Manager使用parcels或軟件包升級(jí)CDH。

完成準(zhǔn)備步驟后，可以使用Cloudera Manager升級(jí)向?qū)瓿缮?jí) 如果您使用parcels（推薦）啟用了HDFS高可用性，并且擁有Cloudera Enterprise許可證 您可以執(zhí)行滾動(dòng)升級(jí)，且無(wú)需在升級(jí)期間使群集脫機(jī)。

有關(guān)CDH升級(jí)步驟，請(qǐng)參見升級(jí)CDH集群

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cdh_upgrade.html#cdh_upgrade5

推薦使用 Parcels升級(jí) CDH
使用parcels升級(jí)CDH是首選方法 因?yàn)镻arcels是由Cloudera Manager管理 ，且會(huì)自動(dòng)下載、分發(fā)和激活正確版本的軟件 為了更容易的升級(jí)過(guò)程 可以考慮從package切換到parcels，以便Cloudera Manager可以自動(dòng)執(zhí)行更多的過(guò)程。還可以在升級(jí)CDH時(shí)從package切換到parcels。

使用Packages升級(jí) CDH

這個(gè)選項(xiàng)是最耗時(shí)的，需要您使用ssh登錄并在集群中的所有主機(jī)上執(zhí)行一系列package命令 建議您改用Parcels來(lái)升級(jí)群集，這樣Cloudera Manager就可以將升級(jí)后的軟件分發(fā)給集群中的所有主機(jī)，而無(wú)需登錄到每個(gè)主機(jī) 如果使用 packages安裝群集，則可以使用parcels進(jìn)行升級(jí)，并且群集將使用parcels進(jìn)行后續(xù)升級(jí)

5.Cloudera Navigator升級(jí)概述

升級(jí)Cloudera Manager時(shí) Cloudera Navigator Metadata和Audit servers會(huì)自動(dòng)升級(jí) 你還可以選擇升級(jí)其他Cloudera Navigator組件 例如Cloudera Navigator Key Trustee Server, Cloudera Navigator Key HSM和Cloudera Navigator Encrypt 您無(wú)需隨Cloudera Manager或CDH升級(jí)一起升級(jí)這些組件 有關(guān)兼容性信息，請(qǐng)參閱：Cloudera Navigator加密產(chǎn)品兼容性矩陣（Cloudera Manager 5.x）和

升級(jí)Cloudera Navigator數(shù)據(jù)加密。

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_navigator_encryption

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cn_upgrade.html#cn_upgrade

6.Cloudera Manager升級(jí)

rpm包下載地址

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.4/RPMS/x86_64/

本地yum源設(shè)置
把下載的包放到某一個(gè)目錄 建立yum索引

cd /etc/yum.repos.d/ #cd到此目錄下

vi cloudera.repo 建立一個(gè)yum源配置文件配置如下

檢查yum源可用性

yum list

關(guān)閉Cloudera Management Service服務(wù)：

備份數(shù)據(jù)庫(kù)

關(guān)閉所有服務(wù)器上的Cloudera Manager Server和agent 并停止服務(wù)


停止所有服務(wù)器上的 server 和 agent 服務(wù)

升級(jí)cloudera相關(guān)組件

yum upgrade 'cloudera-*'

檢查安裝是否成功：

啟動(dòng)Cloudera Manager Server服務(wù)

service cloudera-scm-server start

準(zhǔn)備升級(jí)其他服務(wù)器的agent

點(diǎn)擊繼續(xù)

選擇自定義存儲(chǔ)庫(kù)

注：這里也可以選擇私鑰
升級(jí)成功點(diǎn)擊繼續(xù)
等待檢查之后 點(diǎn)擊繼續(xù)
OK