CDH5離線安裝（最新版5.3.3內(nèi)置hadoop2.5.0）

    首先給出官方的離線安裝http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_installation.html#../topics/cm_ig_install_path_c.html

    由于是最新版網(wǎng)上上資料比較少，很多問(wèn)題只能×××去找答案。大家只要嚴(yán)格按照我的步驟一步一步來(lái)就一定能安裝成功，所有步驟都在公司集群上親自實(shí)驗(yàn)過(guò)，其中也參考了大量網(wǎng)上資料，在此對(duì)那些無(wú)私奉獻(xiàn)者表示感謝！

    在線安裝的兩種方式就不介紹了，大家可以自己去官網(wǎng)看文檔，不推薦大家在線安裝，要是安裝過(guò)程碰到問(wèn)題會(huì)很麻煩。

下面直接進(jìn)入正題，下載所需離線安裝包

Cloudrea Manager5.3.3下載地址

http://archive.cloudera.com/cm5/

下載cloudera-manager-el6-cm5.3.3_x86_64.tar.gz文件

CDH5.3.3下載地址

http://archive.cloudera.com/cdh6/

下載CDH-5.3.3-1.cdh6.3.3.p0.5-el6.parcel，CDH-5.3.3-1.cdh6.3.3.p0.5-el6.parcel.sha1，manifest.json

這三個(gè)文件，其中CDH-5.3.3-1.cdh6.3.3.p0.5-el6.parcel.sha1的文件名需要修改為

CDH-5.3.3-1.cdh6.3.3.p0.5-el6.parcel.sha

CDH5.3.3每個(gè)組件tar包及源碼的單獨(dú)下載地址

http://archive.cloudera.com/cdh6/cdh/5/

環(huán)境準(zhǔn)備

      1.CentOS release 6.5 (Final)-----cat  /etc/issue

      2.3臺(tái)主機(jī)：cdh2.hadoop.com

                       cdh3.hadoop.com

                       cdh4.hadoop.com

      3.每臺(tái)機(jī)器內(nèi)存16G （建議32G），硬盤(pán)1T

      4.每臺(tái)機(jī)器確保能連外網(wǎng)

所有節(jié)點(diǎn)關(guān)閉防火墻

在防火墻開(kāi)啟的情況下，執(zhí)行如下兩條命令：

臨時(shí)關(guān)閉：  service iptables stop

永久關(guān)閉防火墻：chkconfig iptables off

兩個(gè)命令同時(shí)運(yùn)行，運(yùn)行完成后查看防火墻關(guān)閉狀態(tài):

service iptables status

所有節(jié)點(diǎn)關(guān)閉SELINUX

修改/etc/selinux/config 下的將SELINUX=enforcing改為SELINUX=disabled（重啟后生效）

setenforce 0  臨時(shí)生效

查看SELinux狀態(tài)：

1、/usr/sbin/sestatus -v  ##如果SELinux status參數(shù)為enabled即為開(kāi)啟狀態(tài)

SELinux status: enabled

2、getenforce   ##也可以用這個(gè)命令檢查

配置主機(jī)名和IP地址

修改/etc/hosts文件，添加：

192.168.1.105  cdh2.hadoop.com

192.168.1.106  cdh3.hadoop.com

192.168.1.107  cdh4.hadoop.com

修改主機(jī)名

修改/etc/sysconfig/network文件：

HOSTNAME=cdh2.hadoop.com

執(zhí)行hostname cdh2.hadoop.com命令讓主機(jī)名立即生效

執(zhí)行命令：servicenetwork restart

打通SSH，設(shè)置ssh無(wú)密碼登陸（所有節(jié)點(diǎn)）

（1）所有節(jié)點(diǎn)（cdh2.hadoop.com、cdh3.hadoop.com、cdh4.hadoop.com）：

生成無(wú)密碼的密鑰對(duì)：ssh-keygen -t rsa一路回車，生成無(wú)密碼的密鑰對(duì)。

（2）主節(jié)點(diǎn)（cdh2.hadoop.com）：將公鑰添加到認(rèn)證文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

（3）scp文件到datenode節(jié)點(diǎn)（cdh3.hadoop.com）：

    scp ~/.ssh/authorized_keys root@cdh3.hadoop.com:~/.ssh/

（4）將cdh3.hadoop.com的公鑰添加到認(rèn)證文件中：

    cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

（5）復(fù)制cdh3.hadoop.com的認(rèn)證文件到cdh4.hadoop.com：

       scp ~/.ssh/authorized_keys root@cdh4.hadoop.com:~/.ssh/

（6）將cdh4.hadoop.com的公鑰添加到認(rèn)證文件中：

    cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

（7）設(shè)置authorized_keys的訪問(wèn)權(quán)限：

chmod 600 ~/.ssh/authorized_keys。

       （8）將最終生成的認(rèn)證文件復(fù)制到所有節(jié)點(diǎn)：

              scp ~/.ssh/authorized_keys root@cdh2.hadoop.com:~/.ssh/

              scp~/.ssh/authorized_keys root@cdh3.hadoop.com:~/.ssh/

       （9）測(cè)試（不需要密碼能夠直接登陸）：

              sshcdh2.hadoop.com

              sshcdh3.hadoop.com

              sshcdh4.hadoop.com

安裝NTP服務(wù),同步時(shí)間

所有節(jié)點(diǎn)安裝相關(guān)組件：yum installntp。

完成后，配置開(kāi)機(jī)啟動(dòng): chkconfig ntpd on ,

檢查是否設(shè)置成功：chkconfig--list ntpd其中2-5為on狀態(tài)就代表成功。

主節(jié)點(diǎn)配置（cdh2.hadoop.com）

    在配置之前，先使用ntpdate手動(dòng)同步一下時(shí)間，免得本機(jī)與對(duì)時(shí)中心時(shí)間差距太大，使得ntpd不能正常同步。這里選用202.120.2.101(上海交通大學(xué)網(wǎng)絡(luò)中心NTP服務(wù)器地址）作為對(duì)時(shí)中心,輸入命令：

ntpdate -u 202.120.2.101

修改配置文件 /etc/ntp.conf，沒(méi)用的注釋掉：

driftfile /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict default nomodify notrap

server 202.120.2.101 prefer  #遠(yuǎn)程服務(wù)器地址

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

配置文件修改后，執(zhí)行如下命令：

1 service ntpd start 

2 chkconfig ntpd on (設(shè)置開(kāi)機(jī)啟動(dòng))

ntpstat命令查看同步狀態(tài)

配置ntp客戶端（cdh3.hadoop.com,cdh4.hadoop.com)

修改配置文件 /etc/ntp.conf：

driftfile /var/lib/ntp/drift

restrict127.0.0.1

restrict -6 ::1

restrict default kod nomodify notrap nopeernoquery

restrict -6 default kod nomodify notrapnopeer noquery

server cdh2.hadoop.com #這里是主節(jié)點(diǎn)的主機(jī)名或者ip

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

手動(dòng)同步時(shí)間ntpdate -u cdh2.hadoop.com

啟動(dòng)服務(wù)service ntpdstart

設(shè)置開(kāi)機(jī)啟動(dòng)chkconfig ntpd on

安裝Oracle的Java（所有節(jié)點(diǎn)）

CDH5.3.3需要Java7的支持，使用 rpm -qa | grep java 查詢java相關(guān)的包，個(gè)人根據(jù)系統(tǒng)不同可能有所不同，下面是我機(jī)器上需要卸載的openJDk

rpm -e --nodeps  java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

rpm -e --nodeps  java-1.7.0-openjdk-devel-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e --nodeps  java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e --nodeps  java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e --nodeps  java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

去Oracle的官網(wǎng)下載jdk的rpm安裝包，并使用 rpm -ivh包名安裝

rpm-ivh  jdk-7u79-linux-x64.rpm

修改文件/etc/profile改變環(huán)境變量

export JAVA_HOME=/usr/java/jdk1.7.0_79

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

為使生效：source /etc/profile

安裝配置Mysql（主節(jié)點(diǎn)）

執(zhí)行命令：yum installmysql-server

設(shè)置開(kāi)機(jī)啟動(dòng)：chkconfig mysqld on

啟動(dòng)mysql：service mysqld start

設(shè)置root的初始密碼：mysqladmin -u root password 'root'

mysql -uroot -proot 進(jìn)入mysql命令行，創(chuàng)建以下數(shù)據(jù)庫(kù)（根據(jù)安裝的服務(wù)有所區(qū)別，我裝的是核心組件）：

#hive

create database hive DEFAULT CHARSET utf8 COLLATE  utf8_general_ci;

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#hue

create database hue DEFAULT CHARSET utf8 COLLATE  utf8_general_ci;

#授權(quán)root用戶在主節(jié)點(diǎn)擁有所有數(shù)據(jù)庫(kù)的訪問(wèn)權(quán)限

grant all privileges on *.* to 'root'@'cdh2.hadoop.com'identified by 'root' with grant option;

flush privileges;

安裝ClouderaManager Server 和Agent

主節(jié)點(diǎn)(cdh2.hadoop.com)解壓安裝包

將ClouderaManager的壓縮包cloudera-manager-el6-cm5.3.3_x86_64.tar.gz復(fù)制到/opt目錄下，并解壓：

sudo tar -zxvf  cloudera-manager*.tar.gz

然后復(fù)制mysql的jar包mysqldemysql-connector-java-5.1.33-bin.jar到

/opt/cm-5.3.3/share/cmf/lib/目錄下。

主節(jié)點(diǎn)初始化Cloudera Manager5的數(shù)據(jù)庫(kù)，執(zhí)行以下命令：

/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm-h localhost -uroot -proot --scm-host localhost scm scm scm

Agent配置文件修改

修改/opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini

server_host=cdh2.hadoop.com

復(fù)制文件到Agent節(jié)點(diǎn)

scp -r /opt/cm-5.3.3 root@cdh3.hadoop.com:/opt/

scp -r /opt/cm-5.3.3 root@cdh4.hadoop.com:/opt/

在所有節(jié)點(diǎn)(包括服務(wù)器）創(chuàng)建cloudera-scm用戶

sudo useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment"Cloudera SCM User" cloudera-scm

安裝CDH5.3.3

將前面下載CHD5.3.3 三個(gè)安裝文件復(fù)制到到主節(jié)點(diǎn)的/opt/cloudera/parcel-repo/目錄下

執(zhí)行下面的命令，修改parcel-repo文件夾權(quán)限，給用戶cloudera-scm權(quán)限：

sudo chown  -R  cloudera-scm:cloudera-scm /opt/cloudera-manager/cloudera/parcel-repo

創(chuàng)建parcels文件夾并修改權(quán)限：
sudo mkdir -p   /opt/cloudera-manager/cloudera/parcels

sudo chown  -R  cloudera-scm:cloudera-scm /opt/cloudera-manager/cloudera/parcels

啟動(dòng)Server和Agent

主節(jié)點(diǎn)   /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start     啟動(dòng)服務(wù)端。

所有節(jié)點(diǎn) /opt/cm-5.3.3/etc/init.d/cloudera-scm-agentstart       啟動(dòng)Agent服務(wù)。

啟動(dòng)后可通過(guò)瀏覽器訪問(wèn) http://cdh2;hadoop.com:7180，用戶名和密碼默認(rèn)為均為admin

CDH5.3.3的安裝過(guò)程的問(wèn)題

1.yarn報(bào)錯(cuò)：nodemanager無(wú)法啟動(dòng)，Error found before invokingsupervisord: dictionary update sequence element #78 has length2; 2

這個(gè)錯(cuò)誤是CM的一個(gè)bug，解決方法為修改

/opt/cm-5.3.3/lib64/cmf/agent/src/cmf/util.py文件。將其中的代碼：

pipe= subprocess.Popen(['/bin/bash', '-c', ". %s; %s; env" % (path,command)],stdout=subprocess.PIPE, env=caller_env)

修改為：

pipe = subprocess.Popen(['/bin/bash', '-c', ". %s; %s; env |grep -v { | grep -v }" % (path, command)],stdout=subprocess.PIPE,env=caller_env)

2.hive報(bào)錯(cuò)：unable to load driver

所有節(jié)點(diǎn)復(fù)制mysql的jar包復(fù)制到

/opt/cloudera/parcels/CDH-5.3.3-1.cdh6.3.3.p0.5/lib/hive/lib目錄下

3.sqoop2報(bào)錯(cuò)：大概意思是無(wú)法創(chuàng)建數(shù)據(jù)庫(kù)，原因是自帶derby驅(qū)動(dòng)好像不行，到官網(wǎng)下載最新derby.jar,這兒我下載的是db-derby-10.11.1.1-lib.tar.gz，解壓包里面包含了derby.jar，按以下步驟即可解決：

（1）刪除 /opt/cloudera/parcels/CDH-5.3.3-1.cdh6.3.3.p0.5/lib/sqoop2/webapps/sqoop/WEB-INF/lib/derby-{version}.jar 軟連接

（2）復(fù)制 derby.jar 到/opt/cloudera/parcels/CDH-5.3.3-1.cdh6.3.3.p0.5/jars目錄

（3）新建連接ln  -s  /opt/cloudera/parcels/CDH-5.3.3-1.cdh6.3.3.p0.5/jars/derby.jar/opt/cloudera/parcels/CDH-5.3.3-1.cdh6.3.3.p0.5/lib/sqoop2/webapps/sqoop/WEB-INF/lib/derby.jar

4.修改swappiness

在etc/sysctl.conf最后加上這樣一行:vm.swappiness=0

echo 0 > /proc/sys/vm/swappiness臨時(shí)修改

5.Oozie 第二次啟動(dòng)失?。?/span>DB scheme exist

rm -rf /var/lib/oozie/*

6. HDFS無(wú)法重新格式化

刪除所有節(jié)點(diǎn)上的/dfs 文件夾即可。rm -rf /dfs

CDH5.3.3的基本使用

1. 啟動(dòng)

   安裝完成后，所有服務(wù)是已啟動(dòng)的。這里，主要考慮到，平時(shí)使用虛擬環(huán)境，開(kāi)機(jī)后：

   服務(wù)節(jié)點(diǎn)（CDH1）：

   /opt/cm-5.3.0/etc/init.d/cloudera-scm-server start

   Agent節(jié)點(diǎn)（CDH2、CDH3）：

   /opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start

   在系統(tǒng)上啟動(dòng)服務(wù)后，在頁(yè)面啟動(dòng)Custer1所有服務(wù)，再啟動(dòng)Cloudera Management Service服務(wù)。

2. 關(guān)閉

   和啟動(dòng)順序相反。