CDH5離線安裝手冊

Cloudera manage（離線）安裝手冊

（按步驟操作）

1.       準(zhǔn)備工作

1.1.    系統(tǒng)環(huán)境

硬件設(shè)備：vm虛擬機(jī)

網(wǎng)絡(luò)組成：

                   192.168.210.131master

                   192.168.210.132slave1

                   192.168.210.134slave2

                   192.168.210.133slave3

操作系統(tǒng)：Linux version 2.6.32-220.el6.x86_64

1.2.    安裝JDK

從官方網(wǎng)站上下載rpm包，本次使用版本1.7.0_79（CDH5可能支持1.7之前的版本，具體情況未經(jīng)測試），執(zhí)行命令：

rpm -ivh jdk-7u79-linux-x64.rpm

由于是rpm包并不需要我們來配置環(huán)境變量，我們只需要配置一個(gè)全局的JAVA_HOME變量即可，執(zhí)行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile.d/java.sh

執(zhí)行命令，查看Jdk是否安裝正確

java -version

javac -version

1.3.    修改主機(jī)名

修改/etc/sysconfig/network文件：

NETWORKING=yes

HOSTNAME=master

NETWORKING_IPV6=no

其中HOSTNAME與主機(jī)名一致。

主機(jī)名如果跟系統(tǒng)安裝時(shí)不一致請(qǐng)執(zhí)行hostname命令讓其立即生效，否則會(huì)影響各節(jié)點(diǎn)互相訪問，命令如下：

hostnamemaster

修改/etc/hosts文件，添加：

192.168.1.101master

192.168.1.102slave1

192.168.1.103slave2

192.168.1.104slave3

重新啟動(dòng)網(wǎng)絡(luò)服務(wù)，執(zhí)行命令：

servicenetwork restart

1.4.    關(guān)閉防火墻

防火墻會(huì)引起hadoop相關(guān)組件通訊的各種異常。防火墻：

serviceiptables stop (臨時(shí)關(guān)閉)

chkconfigiptables off (重啟后生效)

設(shè)置SELINUX：

setenforce0 (臨時(shí)生效)

修改/etc/selinux/config 下的 SELINUX=disabled （重啟后生效）

查看防火墻狀態(tài)：service iptables status

1.5.    修改wap交換空間

臨時(shí)生效：

sudo sysctl vm.swappiness=0

修改配置文件/etc/sysctl.conf重啟后仍然生效：

echo"vm.swappiness=0">>/etc/sysctl.conf

1.6.    SSH無密鑰驗(yàn)證

所有節(jié)點(diǎn)均執(zhí)行如下命令，遇到提示一路回車即可：

ssh-keygen-t rsa

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys_$hostname

scp各數(shù)據(jù)節(jié)點(diǎn)文件authorized_keys到主節(jié)點(diǎn)：

scp ~/.ssh/authorized_keyshadoop@master:~/.ssh/

合并各節(jié)點(diǎn)文件authorized_keys_$hostname到文件authorized_keys：

cat~/.ssh/authorized_keys_$hostname >>authorized_keys

master主機(jī)分發(fā)合并后的authorized_keys所有節(jié)點(diǎn)主機(jī)：

scp ~/.ssh/authorized_keyshadoop@slave1:~/.ssh/

然后輸入密碼即可，以后再到其他機(jī)器就不需要密碼額。

如果ssh登陸時(shí)，等待輸入密碼時(shí)間較長，可以通過修改以下配置文件：

修改 /etc/ssh/sshd_config配置項(xiàng)UseDNS，設(shè)置為no，重啟sshd服務(wù)：servicesshd restart

修改 /etc/ssh/ssh_conf配置項(xiàng)GSSAPIAuthentication ，設(shè)置為no；

在多臺(tái)主機(jī)做ssh互信時(shí)，可以使用sshpass工具提高效率，具體操作如下：

1、  安裝sshpass工具

2、  在所有主機(jī)執(zhí)行命令：sshpass-p 123456 ssh root@bigdata-2 "ssh-keygen -t rsa"

3、  合并所有主機(jī)的公鑰:

sshpass -p 123456 ssh root@bigdata-2 "cat/root/.ssh/id_rsa.pub"

>>/root/.ssh/authorized_keys

4、分發(fā)公鑰文件至各個(gè)主機(jī)；

1.7.    檢查時(shí)區(qū)

查看當(dāng)前時(shí)區(qū)：date -R

修改時(shí)區(qū)為上海：ln -sf /usr/share/zoneinfo/posix/Asia/Shanghai /etc/localtime

1.8.    關(guān)閉大頁面配置項(xiàng)：

執(zhí)行命令：echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此設(shè)置，然后將同一命令添加到 /etc/rc.local 等初始腳本中，以便在系統(tǒng)重啟時(shí)予以設(shè)置，

vi /etc/rc.local 增加配置

echo never > /sys/kernel/mm/transparent_hugepage/defrag

1.9.    修改允許打開文件數(shù)

修改文件：/etc/rc.local ，新增如下配置內(nèi)容：

ulimit -SHn 65535

1.10.       安裝NTP服務(wù)

客戶端修改ntp配置文件：/etc/ntp.conf，新增ntp服務(wù)器配置:

server 192.168.10.188

啟動(dòng)本機(jī)ntp服務(wù)：service ntpd start

手工同步ntp：ntpdate -u 192.168.10.188

查看ntp同步狀態(tài)：watch ntpq -p

1.11.       安裝Mysql數(shù)據(jù)庫

檢查安裝環(huán)境

查找以前是否裝有mysql，命令：

rpm -qa|grep -i mysql

可以看到mysql的兩個(gè)包：

mysql-4.1.12-3.RHEL4.1

mysqlclient10-3.23.58-4.RHEL4.1

刪除mysql

刪除命令：rpm -e --nodeps 包名

( rpm -ev mysql-4.1.12-3.RHEL4.1 )

刪除老版本mysql的開發(fā)頭文件和庫

rm -fr /usr/lib/mysql

rm -fr /usr/include/mysql

注意：卸載后/var/lib/mysql中的數(shù)據(jù)及/etc/my.cnf不會(huì)刪除，如果確定沒用后就手工刪除

rm -f /etc/my.cnf

rm -fr /var/lib/mysql

安裝server端

下載mysql安裝包，并執(zhí)行安裝命令：

rpm-ivh MySQL-server-5.6.24-1.el6.x86_64.rpm（安裝包名稱）

root用戶初始密碼存儲(chǔ)位置為：

ARANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER !

Youwill find that password in '/root/.mysql_secret'.

可以使用以上密碼登陸，然后修改為所需要的密碼。

安裝客戶端

下載mysql客戶端，執(zhí)行命令安裝：

rpm-ivh  MySQL-client-5.6.24-1.el6.x86_64.rpm

1.12.       配置mysql數(shù)據(jù)庫

啟動(dòng)mysql數(shù)據(jù)庫

servicemysql start

修改初始密碼：

修改MySQL數(shù)據(jù)庫root用戶的初始密碼，先查下初始密碼

cat/root/.mysql_secret

使用初始密碼登陸mysql數(shù)據(jù)庫，登陸命令為：

mysql -uroot –p

執(zhí)行如下命令修改數(shù)據(jù)庫root用戶密碼：

setpassword=password('123456');

刷新權(quán)限表：

flushprivileges;

測試使用新密碼進(jìn)行登陸。。。。。。。。。。。。。

2.       安裝CM

1. 1.    

2. 2.    

3. 2.1.    下載安裝包

下載地址http://archive-primary.cloudera.com/cm5/cm/5/，根據(jù)自己的系統(tǒng)選擇相應(yīng)的版本，本次安裝選用的是cloudera-manager-el6-cm5.7.1_x86_64.tar.gz。下載完成后只上傳到master節(jié)點(diǎn)即可。然后解壓到/opt目錄下，不能解壓到其他地方，因?yàn)閏dh6的源會(huì)默認(rèn)在/opt/cloudera/parcel-repo尋找，怎么制作cdh6的本地源文件會(huì)在之后介紹。

2.2.    安裝CM

給所有節(jié)點(diǎn)添加cloudera-scm用戶：

useradd--system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no-create-home--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini下面的server_host

#Hostname of the CM server.

server_host=master

上傳mysql驅(qū)動(dòng)包mysql-connector-java-5.1.26-bin.jar到/opt/cm-5.7.1/share/cmf/lib/目錄：

cp/root/data/mysql-connector-java-5.1.26-bin.jar /opt/cm-5.7.1/share/cmf/lib/

為Cloudera Manager 5建立數(shù)據(jù)庫：

/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh數(shù)據(jù)庫類型  數(shù)據(jù)庫服務(wù)器用戶名密碼 –scm-host  Cloudera_Manager_Server所在的機(jī)器，后面那三個(gè)不知道代表什么，直接照抄官網(wǎng)的了。

開啟ClouderaManager 5 Server端：

/opt/cm-5.7.1/etc/init.d/cloudera-scm-serverrestart

注意server首次啟動(dòng)不要立即關(guān)閉或重啟，因?yàn)槭状螁?dòng)會(huì)自動(dòng)創(chuàng)建相關(guān)表以及數(shù)據(jù)，如果因?yàn)樘厥庠蛑型就顺?，?qǐng)先刪除所有表以及數(shù)據(jù)之后再次啟動(dòng)，否則將會(huì)出現(xiàn)啟動(dòng)不成功的情況。 

開啟ClouderaManager 5 Agents端：

先scp/opt/cm-5.7.1到所有datanode節(jié)點(diǎn)上，然后在每臺(tái)機(jī)器上開啟Agents端：

scp-r  /opt/cm-5.7.1 root@slave1:/opt/cm-5.7.1

等待拷貝成功，在所有datanode節(jié)點(diǎn)上啟動(dòng)：（注意必須以管理員權(quán)限啟動(dòng)）

/opt/cm-5.7.1/etc/init.d/cloudera-scm-agentrestart

瀏覽器啟動(dòng)ClouderaManager 5 控制臺(tái)（默認(rèn)端口號(hào)是7180），啟動(dòng)成功就會(huì)看到登陸頁面。

2.3.    添加Service Monitor服務(wù)

直接在cm管理頁面添加service組件即可；

3.       安裝CDH

1. 3.    

2. 3.1.    下載CDH版本

下載CDH版本到本地http://archive-primary.cloudera.com/cdh6/parcels/5.0.0/，需要下載兩樣?xùn)|西：

1、與操作系統(tǒng)版本相對(duì)應(yīng)的parcel包

2、  manifest.json文件。

3.2.    安裝CDH

本地源制作

下載完成后將這兩個(gè)文件放到master節(jié)點(diǎn)的/opt/cloudera/parcel-repo下（目錄在安裝Cloudera Manager 5時(shí)已經(jīng)生成）；打開manifest.json文件，里面是json格式的配置，找到與我們系統(tǒng)版本相對(duì)應(yīng)的hash碼，因?yàn)槲覀冇玫氖?/span>redhat6.4，所以找到如下位置：
                           

在這個(gè)大括號(hào)的最下面找到“hash”所對(duì)應(yīng)的值。

將“hash”的值復(fù)制下來，然后創(chuàng)建一個(gè)文件，文件名與你的parel包名一致，并加上.sha后綴：

此時(shí)安裝目錄下有3個(gè)文件，將“hash”的值復(fù)制到新建的sha文件中，并保存，然后重啟cm server；

CDH安裝

打開http://192.168.1.101:7180，登陸控制臺(tái)，默認(rèn)賬戶和密碼都是admin，安裝時(shí)選擇免費(fèi)版，之后由于cm5對(duì)中文的支持很強(qiáng)大，按照提示安裝即可，如果系統(tǒng)配置有什么問題在安裝過程中會(huì)有提示，根據(jù)提示給系統(tǒng)安裝組件就可以了。

如果在安裝時(shí)選擇了安裝Hive，可能會(huì)遇到安裝失敗的問題，查看一下日志發(fā)現(xiàn)時(shí)安裝Hive時(shí)需要安裝JDBC驅(qū)動(dòng)，所以同樣我們將Mysql的驅(qū)動(dòng)包拷貝到/opt/cloudera/parcels/CDH-5.7.1-1.cdh6.7.1.p0.6/lib/hive/lib目錄下，之后再繼續(xù)安裝就不會(huì)遇到問題了。

3.3.    配置HA

配置HDFS及YARN 高可用

分別進(jìn)入HDFS、YARN服務(wù)管理頁面，選擇ACTION（操作），點(diǎn)擊啟用HA，按照步驟操作即可；

4.       常見問題處理

1、  安裝hive、Impala等組件時(shí)，需要mysql源數(shù)據(jù)支持，需要新建數(shù)據(jù)庫并進(jìn)行賦權(quán)操作，詳細(xì)操作如下：

--創(chuàng)建數(shù)據(jù)庫

createdatabase cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase hive   DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;    

createdatabase smon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;   

createdatabase hmon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase hiverep DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--數(shù)據(jù)庫授權(quán)

grantall on *.* to root@"%" Identified by "123456";

2、  Hive或者impala表注釋中文亂碼解決方法：

alter table COLUMNS_V2 modify column COMMENT varchar(256) characterset utf8; 

alter table TABLE_PARAMSmodify column PARAM_VALUE varchar(4000) character set utf8;

5.       CDH服務(wù)端口列表

6.       CDH開啟防火墻配置

整體方案：

集群內(nèi)部安全采用白名單方式，集群內(nèi)機(jī)器可以自由訪問彼此；針對(duì)接入外網(wǎng)的機(jī)器，使用端口過濾，主機(jī)默認(rèn)拒絕所有外面的訪問，針對(duì)特點(diǎn)端口進(jìn)行開放。具體操作如下：

修改防火墻配置文件：/etc/sysconfig/iptables

添加防火墻策略如下：