CDH5.10.0 離線安裝(共3節(jié)點(diǎn))

1.安裝方式

CDH的離線部署安裝，即Parcel包（推薦）

2.角色規(guī)劃

三個(gè)節(jié)點(diǎn)對(duì)應(yīng)的角色：

3.基本環(huán)境配置（在每個(gè)節(jié)點(diǎn)上都要配置）

(1)關(guān)閉防火墻

#/etc/init.d/iptables stop

# chkconfig --level 345 iptables off

(2)關(guān)閉seliux

# vim /etc/sysconfig/selinux

SELINUX=disabled

(3)ip和主機(jī)名對(duì)應(yīng)

#vim /etc/hosts

172.16.101.54    sht-sgmhadoopcm-01

172.16.101.55    sht-sgmhadoopnn-01

172.16.101.56    sht-sgmhadoopnn-02

(4)安裝JDK 

# tar xf /usr/java/jdk-8u111-linux-x64.tar.gz

# chown -R root:root jdk1.8.0_111

# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_111/

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export CLASSPATH

export PATH

#source /etc/profile

(5)檢查python版本

# python -V

Python 2.7.5

(6)NTP同步

如果你的環(huán)境是自己的虛擬機(jī),則需要配置ntp服務(wù)，保證每個(gè)節(jié)點(diǎn)時(shí)鐘同步；

如果是云環(huán)境,則不需要配置。

(7)關(guān)閉大頁面

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

# cat /etc/rc.local

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

(8)設(shè)置swap

# vim /etc/sysctl.conf

vm.swappiness = 0

# sysctl -p

4.CM安裝配置(只在cm管理節(jié)點(diǎn)上配置)

(1)配置http服務(wù)

yum install -y httpd

/etc/init.d/httpd start

瀏覽器訪問：http://172.16.101.54

(2)下載并上傳CDH5.10.0的parcel文件：http://archive.cloudera.com/cdh6/parcels/5.10.0/

#注意：需要把CDH-5.10.0-1.cdh6.10.0.p0.41-el6.parcel.sha1 改名為 CDH-5.10.0-1.cdh6.10.0.p0.41-el6.parcel.sha

# ll /var/www/html/cdh_parcel

-rwxr-xr-x 1 root root 1501694035 Feb 20 15:17 CDH-5.10.0-1.cdh6.10.0.p0.41-el6.parcel

-rwxr-xr-x 1 root root         41 Feb 20 15:06 CDH-5.10.0-1.cdh6.10.0.p0.41-el6.parcel.sha

-rwxr-xr-x 1 root root      64807 Jan 26  2017 manifest.json

(3)下載并上傳CDH5.10.0的RPM壓縮包：cm5.10.0-centos6.tar.gz

http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/

# mkdir -p /var/www/html/cm5/redhat/6/x86_64/

# tar -zxvf cm5.10.0-centos6.tar.gz -C /var/www/html/cm5/redhat/6/x86_64/

# chmod -R 755 /var/www/html/*

瀏覽器訪問：http://172.16.101.54/cdh_parcel/

瀏覽器訪問：http://172.16.101.54/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/

5.配置yum源（在每個(gè)節(jié)點(diǎn)上都要配置）

# vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]

name = Cloudera Manager, Version 5.10.0

baseurl = http://172.16.101.54/cm5/redhat/6/x86_64/cm/5/

gpgcheck = 0

6.安裝rpm包和安裝配置mysql數(shù)據(jù)庫(只在cm節(jié)點(diǎn)上操作)

(1)安裝CM

#yum clean all

# cd /var/www/html/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/

#yum install -y cloudera-manager-daemons-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm

#yum install -y cloudera-manager-server-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm

(2)配置數(shù)據(jù)庫

# vim /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=172.16.101.54:3306

com.cloudera.cmf.db.name=cmf

com.cloudera.cmf.db.user=cmf

com.cloudera.cmf.db.password=cmf_password

com.cloudera.cmf.db.setupType=EXTERNAL

(3)下載mysql jdbc驅(qū)動(dòng)包

#cd /usr/share/java

#wget http://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.37.zip

#unzip mysql-connector-java-5.1.37.zip

#cd mysql-connector-java-5.1.37

#cp mysql-connector-java-5.1.37-bin.jar ../mysql-connector-java.jar

(4)安裝mysql過程省略

#創(chuàng)建庫和用戶

create database cmf DEFAULT CHARACTER SET utf8;

grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'cmf_password';

create database amon DEFAULT CHARACTER SET utf8;

grant all on  amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

flush privileges;

(5)啟動(dòng)cm服務(wù)，這個(gè)過程會(huì)耗費(fèi)一些時(shí)間，大約3minutes,在mysql中創(chuàng)建一系列的表，

如果啟動(dòng)失敗可以查看/var/log/cloudera-scm-server/的日志

# /etc/init.d/cloudera-scm-server start

7.圖形向?qū)О惭b

瀏覽器訪問：http://172.16.101.54:7180/

用戶名和密碼都是admin

(1)選擇安裝的版本： Cloudera Express

(2)數(shù)據(jù)IP地址搜索：172.16.101.[54-56]

(3)選擇安裝方式：

a.使用parcel包，更多：

     Parcel 目錄：/opt/cloudera/parcels

     (即CDH的軟件的安裝目錄，每個(gè)節(jié)點(diǎn)都會(huì)自動(dòng)創(chuàng)建，安裝完成后，大約3.5G)

     本地parcel倉(cāng)庫目錄：/opt/cloudera/parcel-repo     

     遠(yuǎn)程 Parcel 存儲(chǔ)庫 URL：http://172.16.101.54/cdh_parcel/

     (即parcel包存放的http目錄)

b.選擇您要安裝在主機(jī)上的 Cloudera Manager Agent 特定發(fā)行版：（注意這里的http不要寫成https,否則后面會(huì)報(bào)錯(cuò)）

    自定義存儲(chǔ)庫: http://172.16.101.54/cm5/redhat/6/x86_64/cm/5/

(4)JDK安裝選項(xiàng)--不勾

(5)啟用當(dāng)用戶模式--不勾

(6)使用root用戶或者不用密碼就能sudo到root的用戶

這里使用LDAP用戶需要提前在每個(gè)節(jié)點(diǎn)上配置一下：

# visudo

xxxuser ALL=(ALL)      NOPASSWD:ALL

(7)集群安裝

大概需要20minutes

這一步主要是在各個(gè)節(jié)點(diǎn)上安裝cloudera-scm-agent,cloudera-manager-daemons,并啟動(dòng)agent.

(8)集群設(shè)置

選擇安裝的服務(wù)組合：自定義服務(wù)HDFS,YARN,Zookeeper

(9)自定義角色分配，和“2.角色規(guī)劃”相同

(10)數(shù)據(jù)庫設(shè)置

數(shù)據(jù)庫主機(jī)名稱：172.16.101.54:3306

數(shù)據(jù)庫類型：MySQL   

庫：amon

用戶：amon

密碼：amon_password

測(cè)試連接成功，next

(11)審核更改：(無需修改,全部默認(rèn)即可)

HDFS 塊大小 128

接受的 DataNode 失敗的卷:0

DataNode 數(shù)據(jù)目錄 /dfs/dn

NameNode 數(shù)據(jù)目錄 /dfs/nn

HDFS 檢查點(diǎn)目錄 /dfs/snn

Host Monitor 存儲(chǔ)目錄 /var/lib/cloudera-host-monitor

Service Monitor 存儲(chǔ)目錄 /var/lib/cloudera-service-monitor

NodeManager 本地目錄 /yarn/nm

數(shù)據(jù)目錄 /var/lib/zookeeper

事務(wù)日志目錄 /var/lib/zookeeper

(12)安裝完成