Cloudera CDH 離線安裝與使用

CDH 在線安裝方法如下，方便，但是由于在國內(nèi)，訪問這個(gè)網(wǎng)站的速度很慢，并不快捷。

在線安裝Cloudera Manager服務(wù)器

# 配置cloudera-cdh源和cloudera-manager源

# cloudera-manager

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

# cloudera-cdh

wget https://archive.cloudera.com/cdh6/redhat/6/x86_64/cdh/cloudera-cdh6.repo

# 安裝jdk和cloudera-manager

sudo yum install cloudera-manager-daemons cloudera-manager-server -y

然后就可以訪問IP:7180通過網(wǎng)頁進(jìn)行操作了。然而實(shí)際情況是，在線安裝，很慢很慢……

我們使用離線安裝的方式進(jìn)行：

一、基礎(chǔ)環(huán)境準(zhǔn)備

1. 相關(guān)包的下載地址： 

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/ 

下載對(duì)應(yīng)的文件，我下載的是：cloudera-manager-el6-cm5.13.3_x86_64.tar.gz

2. CDH安裝包地址：http://archive.cloudera.com/cdh6/parcels

由于我們的操作系統(tǒng)為CentOS6.5，需要下載以下文件,找到對(duì)應(yīng)的版本： 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1

manifest.json 

3. 準(zhǔn)備JDBC，等下連接mysql會(huì)用到：

http://download.softagency.net/MySQL/Downloads/Connector-J/

 Updated on 20180727

Mysql jar連接已經(jīng)失效,可以在下面網(wǎng)站下載最新的jar包

https://dev.mysql.com/downloads/file/?id=477054

4. 全部需要的軟件下載完，算上mysql jar一共是5個(gè)文件

cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 
CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1 
manifest.jso
mysql-connector-java-5.1.35-bin.jar

5. 準(zhǔn)備JDK

tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm
cat /etc/profile
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6. 安裝設(shè)置NTP

6.1 yum install ntp

cat /etc/ntp.conf
driftfile /var/lib/ntp/drift   
restrict default kod nomodify notrap nopeer noquery 
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1  
restrict 192.168.206.0 mask 255.255.255.0 nomodify notrap 
 server 0.centos.pool.ntp.org iburst 
 server 1.centos.pool.ntp.org iburst 
 server 2.centos.pool.ntp.org iburst 
 server 3.centos.pool.ntp.org iburst

6.2啟動(dòng) ntp：

$ service ntpd start

6.3 設(shè)置開機(jī)啟動(dòng):

$ chkconfig ntpd on

6.4 檢查是否設(shè)置成功：chkconfig --list ntpd其中2-5為on狀態(tài)就代表成功。

6.5可以通過以下命令先進(jìn)行時(shí)間同步：

ntpdate us.pool.ntp.org

6.6在兩個(gè)slave節(jié)點(diǎn)上執(zhí)行即可

ntpdate -u bigdata1

7. 關(guān)閉防火墻，selinux等。

二、環(huán)境準(zhǔn)備完成，開始安裝CDH

CDH的安裝，建議用root完成，后面有很多需要CDH創(chuàng)建目錄。用戶等操作。

1. 解壓CM到每個(gè)節(jié)點(diǎn)/opt的路徑下

tar -zxvf cloudera-manager-el6-cm5.13.3_x86_64.tar.gz -C /opt

下載的mysql-connector-java.jar拷貝到每個(gè)節(jié)點(diǎn)

cp  mysql-connector-java-5.1.35-bin.jar /opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata2:/opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata3:/opt/cm-5.13.3/share/cmf/lib/

2. 安裝mysql，并準(zhǔn)備相關(guān)用戶，注意用戶創(chuàng)建過程中，要給予with grant option權(quán)限，不然后面會(huì)報(bào)錯(cuò)

2.1安裝MySQL的yum源，下面是RHEL6系列mysql5.6的下載地址：

 rpm -ivh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm

2.2 yum安裝

yum install mysql-community-server -y

2.3 創(chuàng)建用戶和賦權(quán)

grant all privileges on *.* to root@'localhost' identified by 'root' with grant option;
grant all privileges on *.* to root@'%' identified by 'root' with grant option;
grant all privileges on *.* to scm@'localhost' identified by 'scm'  with grant option;
grant all privileges on *.* to scm@'%' identified by 'scm'  with grant option;

3. 在主節(jié)點(diǎn)初始化CM5的數(shù)據(jù)庫：

/opt/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hbigdata1 -uroot -proot --scm-host bigdata1 scm scm scm

  參數(shù)解釋：數(shù)據(jù)庫類型 數(shù)據(jù)庫名稱 數(shù)據(jù)庫主機(jī)名 數(shù)據(jù)庫用戶名 密碼 --scm-host cmserver主機(jī)名 scm scm scm

4. Agent配置 

修改/opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini中的server_host為主節(jié)點(diǎn)的主機(jī)名。 不然agent無法找到server端。

4.1同步軟件到全部的Agent節(jié)點(diǎn)：

scp -r /opt/cm-5.13.3 root@node2:/opt/

5. 在所有節(jié)點(diǎn)創(chuàng)建cloudera-scm用戶

useradd --system --home=/opt/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false  --comment "Cloudera SCM User" cloudera-scm

6. 準(zhǔn)備Parcels，用以安裝CDH5 

將CHD5相關(guān)的Parcel包放到主節(jié)點(diǎn)的/opt/cloudera/parcel-repo/目錄中（parcel-repo需要手動(dòng)創(chuàng)建）。 

相關(guān)的文件如下：

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1 

manifest.jso

最后將CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1，重命名為CDH-5.7.1- CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha，這點(diǎn)必須注意，否則，系統(tǒng)會(huì)重新下載CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1文件。 

Updated 20180727

原本這個(gè)地方好不容易發(fā)現(xiàn),去掉"1"的方法安裝.現(xiàn)在安裝,發(fā)現(xiàn)"1"要保留的.CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1名字保持不變,才可以.

7. 相關(guān)啟動(dòng)腳本 

通過/opt/cm-5.13.3/etc/init.d/cloudera-scm-server start啟動(dòng)服務(wù)端。 

通過/opt/cm-5.13.3/etc/init.d/cloudera-scm-agent start啟動(dòng)Agent服務(wù)。

(所有節(jié)點(diǎn)都要啟動(dòng)Agent服務(wù)，包括服務(wù)端)

我們啟動(dòng)的其實(shí)是個(gè)service腳本，需要停止服務(wù)將以上的start參數(shù)改為stop就可以了，重啟是restart。

安裝到此處，可以考慮備份vmware虛擬機(jī)，后面CM的部署過程中，遇到錯(cuò)誤，可以會(huì)滾到當(dāng)前狀態(tài)調(diào)整。

三、CDH5的安裝配和集群配置

1. Cloudera Manager Server和Agent都啟動(dòng)以后，就可以進(jìn)行CDH5的安裝配置了。 

2. 這時(shí)可以通過瀏覽器訪問主節(jié)點(diǎn)的7180端口測試一下了（由于CM Server的啟動(dòng)需要花點(diǎn)時(shí)間，這里可能要等待一會(huì)才能訪問頁面，可能需要3-5分鐘），默認(rèn)的用戶名和密碼均為admin

3. 登陸后，會(huì)進(jìn)入到歡迎/授權(quán)頁面

4. 選擇授權(quán)版本，這里選擇“免費(fèi)版本”

5. 如果前面的的配置都是正確的，并且agent都啟動(dòng)成功，這里“當(dāng)前管理的主機(jī)”中，是可以看到全部節(jié)點(diǎn)的。注意：防火墻一定要關(guān)閉，不然會(huì)出現(xiàn)，agent節(jié)點(diǎn)，不能被發(fā)現(xiàn)的情況。

6. 前面已經(jīng)將軟件包放到目錄/opt/cloudera/parcel-repo，這里就可以直接看到本地的包。

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha 

manifest.json

7. 點(diǎn)擊“繼續(xù)”，到集群安裝，這個(gè)會(huì)比較快，大概10分鐘完成。如果是在線安裝，這個(gè)要幾個(gè)小時(shí)，甚至下載失敗。

8. 根據(jù)提示，修復(fù)一些前面沒有配置好的項(xiàng)目，然后重新檢查。建議解決全部報(bào)錯(cuò)，防止后續(xù)使用有詭異的問題發(fā)生。

9. 這里，我遇到的兩個(gè)問題：

9.1.JDK無法被識(shí)別，運(yùn)行之前保證JDK路徑能被識(shí)別。

9.2.需要已經(jīng)安裝perl軟件包

yum install -y perl

10. 選擇需要安裝的組合，也可以選擇自定義，后續(xù)單獨(dú)安裝每個(gè)組件

11. 選擇每個(gè)角色，需要部署在哪一個(gè)機(jī)器上

12. 選擇需要使用到mysql的組件，在mysql中創(chuàng)建的db、用戶名、密碼等

13. 安裝完成之后。

14. 安裝完成后，就可以進(jìn)入集群界面看一下集群的當(dāng)前狀況了。 

這里可能會(huì)出現(xiàn)無法發(fā)出查詢：對(duì) Service Monitor 的請(qǐng)求超時(shí)的錯(cuò)誤提示，如果各個(gè)組件安裝沒有問題，一般是因?yàn)榉?wù)器比較卡導(dǎo)致的，過一會(huì)刷新一下頁面就好了,根據(jù)實(shí)際情況調(diào)整配置即可：

15. 另外如果想添加新的主機(jī)，必須要先啟動(dòng)新主機(jī)上的agent服務(wù)，否則新主機(jī)不能被發(fā)現(xiàn)，要重新下載cm-agent，很麻煩。安裝新的節(jié)點(diǎn)以后，記得運(yùn)行"部署客戶端"命令。

四、問題匯總

問題1

CDH環(huán)境搭建好之后，訪問Oozie管理頁面時(shí)，出現(xiàn)如下問題：

解決方法：

根據(jù)提示，我們可以發(fā)現(xiàn)缺少Ext JS library，我們可以點(diǎn)擊給出的網(wǎng)址鏈接：

Oozie Quick Start

找到如下內(nèi)容：

然后找到ExtJS2.2下載，下載完成后上傳到CDH的服務(wù)器的目錄/opt/cloudera/parcels/CDH/lib/oozie/libext/下面。

具體操作如下：

cd /opt/cloudera/parcels/CDH/lib/oozie/libext

unzip ext-2.2.zip

chown oozie:oozie -R ext-2.2

現(xiàn)在這個(gè)官網(wǎng)，已經(jīng)不提供下載ext-2.2.zip，如果下載，請(qǐng)點(diǎn)擊鏈接：

然后我們再次訪問頁面就可以了。