怎么在Redhat7.4安裝CDH5.16.1

這篇文章主要為大家展示了“怎么在Redhat7.4安裝CDH5.16.1”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“怎么在Redhat7.4安裝CDH5.16.1”這篇文章吧。

前置準(zhǔn)備

2.1.hostname及hosts配置

集群中各個(gè)節(jié)點(diǎn)之間能互相通信使用靜態(tài)IP地址。IP地址和主機(jī)名通過(guò)/etc/hosts配置，主機(jī)名通過(guò)/etc/hostname進(jìn)行配置。

以cm節(jié)點(diǎn)（172.31.13.38）為例：

• hostname配置

/etc/hostname文件如下：

ip-172-31-13-38.ap-southeast-1.compute.internal

或者你可以通過(guò)命令修改立即生效

[root@ip-172-31-13-38 ~]$ hostnamectl set-hostname ip-172-31-13-38.ap-southeast-1.compute.internal

<font face="微軟雅黑" size=4 color=red >注意：這里修改hostname跟REDHAT6的區(qū)別

• hosts配置

/etc/hosts文件如下:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.31.13.38 ip-172-31-13-38.ap-southeast-1.compute.internal
172.31.11.232 ip-172-31-11-232.ap-southeast-1.compute.internal
172.31.11.9 ip-172-31-11-9.ap-southeast-1.compute.internal
172.31.13.166 ip-172-31-13-166.ap-southeast-1.compute.internal

以上兩步操作，在集群中其它節(jié)點(diǎn)做相應(yīng)配置。確認(rèn)需要安裝的4臺(tái)主機(jī)的hosts文件：

2.2.禁用SELinux

在所有節(jié)點(diǎn)執(zhí)行setenforce 0 命令，此處使用批處理shell執(zhí)行：

[root@ip-172-31-13-38 ~]$ sh ssh_do_all.sh node.list "setenforce 0"

集群所有節(jié)點(diǎn)修改/etc/selinux/config文件如下：

SELINUX=disabled
SELINUXTYPE=targeted

檢查所有機(jī)器是否已修改成功：

sh ssh_do_all.sh node.list "cat /etc/selinux/config | grep SELINUX"

2.3.關(guān)閉防火墻

集群所有節(jié)點(diǎn)執(zhí)行systemctl stop firewalld命令，此處通過(guò)shell批量執(zhí)行命令如下：

[root@ip-172-31-13-38 ~]$ sh ssh_do_all.sh node.list "systemctl stop firewalld"
[root@ip-172-31-13-38 ~]$ sh ssh_do_all.sh node.list "systemctl disable firewalld"
[root@ip-172-31-13-38 ~]$ sh ssh_do_all.sh node.list "systemctl status firewalld"

2.4.集群時(shí)鐘同步

在Redhat7.x的操作系統(tǒng)上，已經(jīng)默認(rèn)的安裝了chrony，我們這里先卸載chrony，然后安裝ntp。使用ntp來(lái)配置各臺(tái)機(jī)器的時(shí)鐘同步，將cm（172.31.13.38）服務(wù)作為本地ntp服務(wù)器，其它3臺(tái)服務(wù)器與其保持同步。

1.所有機(jī)器卸載chrony

[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "yum -y remove chrony"

2.所有機(jī)器安裝ntp

[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "yum -y install ntp"

3.cm機(jī)器配置時(shí)鐘與自己同步

[root@ip-172-31-16-68 shell]# vim /etc/ntp.conf
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

4.集群其它節(jié)點(diǎn)，配置找cm機(jī)器去同步

#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 172.31.13.38

5.重啟所有機(jī)器的ntp服務(wù)

[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "systemctl restart ntpd"
[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "systemctl status ntpd"
[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "systemctl enable ntpd"

6.驗(yàn)證始終同步，在所有節(jié)點(diǎn)執(zhí)行ntpq -p命令，如下使用腳本批量執(zhí)行

[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "ntpq -p"

左邊出現(xiàn)*號(hào)表示同步成功。

2.5.設(shè)置swap

所有節(jié)點(diǎn)執(zhí)行

[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "echo vm.swappiness = 10 >> /etc/sysctl.conf"
[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "sysctl vm.swappiness=10"

2.6.設(shè)置透明大頁(yè)面

所有節(jié)點(diǎn)執(zhí)行：

[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list "echo never > /sys/kernel/mm/transparent_hugepage/defrag "
[root@ip-172-31-13-38 shell]# sh ssh_do_all.sh node.list  "echo never > /sys/kernel/mm/transparent_hugepage/enabled"

設(shè)置開(kāi)機(jī)自關(guān)閉

將如下腳本添加到/etc/rc.d/rc.local文件中

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then 
 echo never > /sys/kernel/mm/transparent_hugepage/enabled 
fi 
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then 
 echo never > /sys/kernel/mm/transparent_hugepage/defrag 
fi

同步到所有節(jié)點(diǎn)

2.7.配置操作系統(tǒng)repo

<font face="微軟雅黑" size=4 color=red >Fayson用的是AWS的環(huán)境，這步是可以省略的，放在這里供物理機(jī)部署的兄弟們參考。

• 掛載操作系統(tǒng)iso文件

[root@ip-172-31-2-159 ~]$ sudo mkdir /media/DVD1
[root@ip-172-31-2-159 ~]$ sudo mount -o loop 
CentOS-7-x86_64-DVD-1611.iso /media/DVD1/

• 配置操作系統(tǒng)repo

[root@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo
[local_iso]    
name=CentOS-$releasever - Media
baseurl=file:///media/DVD1
gpgcheck=0
enabled=1
[root@ip-172-31-2-159 ~]$ sudo yum repolist

2.8.安裝http服務(wù)

• 安裝httpd服務(wù)

[root@ip-172-31-2-159 ~]$ yum -y install httpd

• 啟動(dòng)或停止httpd服務(wù)

[root@ip-172-31-2-159 ~]$ systemctl start httpd
[root@ip-172-31-2-159 ~]$ systemctl stop httpd

• 安裝完httpd后，重新制作操作系統(tǒng)repo，換成http的方式方便其它服務(wù)器也可以訪問(wèn)

[root@ip-172-31-2-159 ~]$ sudo mkdir /var/www/html/iso
[root@ip-172-31-2-159 ~]$ sudo scp -r /media/DVD1/* /var/www/html/iso/
[root@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/os.repo 
[osrepo]
name=os_repo
baseurl=http://172.31.2.159/iso/
enabled=true
gpgcheck=false
[root@ip-172-31-2-159 ~]$ sudo yum repolist

2.9.安裝MariaDB

1.安裝MariaDB

[root@ip-172-31-13-38 ~]# yum -y install mariadb
[root@ip-172-31-13-38 ~]# yum -y install mariadb-server

2.啟動(dòng)并配置MariaDB

[root@ip-172-31-13-38 ~]# systemctl start mariadb
[root@ip-172-31-13-38 ~]# systemctl enable mariadb
[root@ip-172-31-13-38 ~]# /usr/bin/mysql_secure_installation

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB
      SERVERS IN PRODUCTION USE!  PLEASE READ EACH STEP CAREFULLY!

In order to log into MariaDB to secure it, we'll need the current
password for the root user.  If you've just installed MariaDB, and
you haven't set the root password yet, the password will be blank,
so you should just press enter here.

Enter current password for root (enter for none): 
OK, successfully used password, moving on...

Setting the root password ensures that nobody can log into the MariaDB
root user without the proper authorisation.

Set root password? [Y/n] Y
New password: 
Re-enter new password: 
Password updated successfully!
Reloading privilege tables..
 ... Success!

By default, a MariaDB installation has an anonymous user, allowing anyone
to log into MariaDB without having to have a user account created for
them.  This is intended only for testing, and to make the installation
go a bit smoother.  You should remove them before moving into a
production environment.

Remove anonymous users? [Y/n] Y
 ... Success!

Normally, root should only be allowed to connect from 'localhost'.  This
ensures that someone cannot guess at the root password from the network.

Disallow root login remotely? [Y/n] n
 ... skipping.

By default, MariaDB comes with a database named 'test' that anyone can
access.  This is also intended only for testing, and should be removed
before moving into a production environment.

Remove test database and access to it? [Y/n] Y
 - Dropping test database...
 ... Success!
 - Removing privileges on test database...
 ... Success!

Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.

Reload privilege tables now? [Y/n] Y
 ... Success!

Cleaning up...

All done!  If you've completed all of the above steps, your MariaDB
installation should now be secure.

Thanks for using MariaDB!

3.建立CM，Hive等需要的表

[root@ip-172-31-13-38 ~]# mysql -u root -p
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 9
Server version: 5.5.56-MariaDB MariaDB Server

Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> 

create database metastore default character set utf8;  CREATE USER 'hive'@'%' IDENTIFIED BY 'password';   GRANT ALL PRIVILEGES ON metastore. * TO 'hive'@'%';   FLUSH PRIVILEGES;  create database cm default character set utf8;  CREATE USER 'cm'@'%' IDENTIFIED BY 'password';   GRANT ALL PRIVILEGES ON cm. * TO 'cm'@'%';   FLUSH PRIVILEGES;  create database am default character set utf8;   CREATE USER 'am'@'%' IDENTIFIED BY 'password';    GRANT ALL PRIVILEGES ON am. * TO 'am'@'%';    FLUSH PRIVILEGES;      create database rm default character set utf8;   CREATE USER 'rm'@'%' IDENTIFIED BY 'password';    GRANT ALL PRIVILEGES ON rm. * TO 'rm'@'%';    FLUSH PRIVILEGES;

create database hue default character set utf8;   CREATE USER 'hue'@'%' IDENTIFIED BY 'password';    GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%';    FLUSH PRIVILEGES;

create database oozie default character set utf8;   CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';    GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%';    FLUSH PRIVILEGES;

create database sentry default character set utf8;   CREATE USER 'sentry'@'%' IDENTIFIED BY 'password';    GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%';    FLUSH PRIVILEGES;

create database nav_ms default character set utf8;   CREATE USER 'nav_ms'@'%' IDENTIFIED BY 'password';    GRANT ALL PRIVILEGES ON nav_ms. * TO 'nav_ms'@'%';    FLUSH PRIVILEGES;
create database nav_as default character set utf8;  
CREATE USER 'nav_as'@'%' IDENTIFIED BY 'password';   
GRANT ALL PRIVILEGES ON nav_as. * TO 'nav_as'@'%';   
FLUSH PRIVILEGES;

• 安裝jdbc驅(qū)動(dòng)

[root@ip-172-31-13-38 ~]# mkdir -p /usr/share/java/
[root@ip-172-31-13-38 ~]# mv mysql-connector-java-5.1.34.jar /usr/share/java/
[root@ip-172-31-13-38 ~]# cd /usr/share/java
[root@ip-172-31-13-38 java]# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar
[root@ip-172-31-13-38 java]# ll
total 940
-rwxrwxr-x. 1 root root 960372 Feb  1 08:31 mysql-connector-java-5.1.34.jar
lrwxrwxrwx  1 root     root         31 Feb  2 00:52 mysql-connector-java.jar -> mysql-connector-java-5.1.34.jar

3.Cloudera Manager安裝

3.1.配置本地repo源

1.下載CM5.16.1的安裝包，地址為：

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/cloudera-manager-agent-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/cloudera-manager-daemons-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/cloudera-manager-server-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/cloudera-manager-server-db-2-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/enterprise-debuginfo-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

2.下載CDH5.16.1的安裝包，地址為：

http://archive.cloudera.com/cdh6/parcels/5.16.1/CDH-5.16.1-1.cdh6.16.1.p0.3-el7.parcel
http://archive.cloudera.com/cdh6/parcels/5.16.1/CDH-5.16.1-1.cdh6.16.1.p0.3-el7.parcel.sha1
http://archive.cloudera.com/cdh6/parcels/5.16.1/manifest.json

3.將Cloudera Manager安裝需要的7個(gè)rpm包下載到本地，放在同一目錄，執(zhí)行createrepo命令生成rpm元數(shù)據(jù)。

[root@ip-172-31-13-38 cm5.16.1]# ll
total 1019160
-rw-r--r-- 1 root root   9864584 Nov 27 14:40 cloudera-manager-agent-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
-rw-r--r-- 1 root root 789872988 Nov 27 14:40 cloudera-manager-daemons-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
-rw-r--r-- 1 root root      8704 Nov 27 14:40 cloudera-manager-server-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
-rw-r--r-- 1 root root     10612 Nov 27 14:40 cloudera-manager-server-db-2-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
-rw-r--r-- 1 root root  30604172 Nov 27 14:40 enterprise-debuginfo-5.16.1-1.cm5161.p0.1.el7.x86_64.rpm
-rw-r--r-- 1 root root  71204325 Nov 27 14:40 jdk-6u31-linux-amd64.rpm
-rw-r--r-- 1 root root 142039186 Nov 27 14:40 oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
[root@ip-172-31-13-38 cm5.16.1]# createrepo .
Spawning worker 0 with 2 pkgs
Spawning worker 1 with 2 pkgs
Spawning worker 2 with 2 pkgs
Spawning worker 3 with 1 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

4.配置Web服務(wù)器

將上述cdh6.16.1/cm5.16.1目錄移動(dòng)到/var/www/html目錄下, 使得用戶可以通過(guò)HTTP訪問(wèn)這些rpm包。

[root@ip-172-31-13-38 ~]# mv cm5.16.1/ cdh6.16.1/ /var/www/html/

驗(yàn)證瀏覽器能否正常訪問(wèn)

5.制作Cloudera Manager的repo源

[root@ip-172-31-13-38 ~]# vim /etc/yum.repos.d/cm.repo
[cmrepo]
name = cm_repo
baseurl = http://172.31.13.38/cm5.16.1
enable = true
gpgcheck = false
[root@ip-172-31-13-38 yum.repos.d]# yum repolist
Loaded plugins: amazon-id, rhui-lb, search-disabled-repos
repo id                                          repo name                                  status
cmrepo                                           cm_repo                                         7
rhui-REGION-client-config-server-7/x86_64        Red Hat Update Infrastructure 2.0 Client C      1
rhui-REGION-rhel-server-releases/7Server/x86_64  Red Hat Enterprise Linux Server 7 (RPMs)   20,668
rhui-REGION-rhel-server-rh-common/7Server/x86_64 Red Hat Enterprise Linux Server 7 RH Commo    233
repolist: 20,909

6.驗(yàn)證安裝JDK

yum -y install oracle-j2sdk1.7-1.7.0+update67-1

3.2.安裝Cloudera Manager Server

1.通過(guò)yum安裝Cloudera Manager Server

yum -y install cloudera-manager-server

2.初始化數(shù)據(jù)庫(kù)

[root@ip-172-31-13-38 yum.repos.d]# /usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm password
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing:  /usr/java/jdk1.7.0_67-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

3.啟動(dòng)Cloudera Manager Server

[root@ip-172-31-13-38 ~]# systemctl start cloudera-scm-server

4.檢查端口是否監(jiān)聽(tīng)

[root@ip-172-31-13-38 ~]# netstat -lnpt | grep 7180
tcp        0      0 0.0.0.0:7180            0.0.0.0:*               LISTEN      3331/java

5.通過(guò)http://13.250.14.115:7180/cmf/login訪問(wèn)CM

4.CDH安裝

4.1.CDH集群安裝向?qū)?/h4>

1.admin/admin登錄到CM

2.同意license協(xié)議，點(diǎn)擊繼續(xù)

3.選擇60試用，點(diǎn)擊繼續(xù)

4.點(diǎn)擊“繼續(xù)”

5.輸入主機(jī)ip或者名稱(chēng)，點(diǎn)擊搜索找到主機(jī)后點(diǎn)擊繼續(xù)

6.點(diǎn)擊“繼續(xù)”

注意這里列出來(lái)的CDH版本都是系統(tǒng)最開(kāi)始默認(rèn)的，來(lái)自于Cloudera公網(wǎng)的下載源倉(cāng)庫(kù)，這里我們需要先將CDH的安裝源修改一下。

7.使用parcel選擇，點(diǎn)擊“更多選項(xiàng)”,點(diǎn)擊“-”刪除其它所有地址，輸入

http://172.31.13.38/cdh6.16.1，點(diǎn)擊“保存更改”

保存更改后，這時(shí)回到上個(gè)頁(yè)面會(huì)看到我們之前準(zhǔn)備好的http的CDH5.16.1的源，如果顯示不出來(lái)，可能http源配置有問(wèn)題，請(qǐng)參考前面步驟仔細(xì)進(jìn)行檢查。

8.選擇自定義存儲(chǔ)庫(kù)，輸入cm的http地址

9.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步安裝jdk

10.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步，默認(rèn)多用戶模式，不需要進(jìn)行任何勾選

11.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步配置ssh賬號(hào)密碼

12.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步，安裝Cloudera Manager相關(guān)到各個(gè)節(jié)點(diǎn)

13.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步安裝cdh到各個(gè)節(jié)點(diǎn)

14.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步主機(jī)檢查，確保所有檢查項(xiàng)均通過(guò)

點(diǎn)擊完成進(jìn)入服務(wù)安裝向?qū)А?/p>

4.2.集群設(shè)置安裝向?qū)?/h4>

1.選擇需要安裝的服務(wù)

2.點(diǎn)擊“繼續(xù)”，進(jìn)入集群角色分配

3.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步，測(cè)試數(shù)據(jù)庫(kù)連接

4.測(cè)試成功，點(diǎn)擊“繼續(xù)”，進(jìn)入目錄設(shè)置，此處使用默認(rèn)默認(rèn)目錄，根據(jù)實(shí)際情況進(jìn)行目錄修改

5.點(diǎn)擊“繼續(xù)”，進(jìn)入各個(gè)服務(wù)啟動(dòng)

6.安裝成功

7.安裝成功后進(jìn)入CM管理界面主頁(yè)

5.Kudu安裝

CDH從5.13開(kāi)始，直接打包Kudu，不再需要下載額外的Parcel和csd文件。CDH5.13集成的是Kudu1.5，CDH5.16.1集成的是Kudu1.7。

1.通過(guò)CM安裝Kudu1.7

添加Kudu服務(wù)

2.選擇Master和Tablet Server

3.配置相應(yīng)的目錄，注：無(wú)論是Master還是Tablet根據(jù)實(shí)際情況數(shù)據(jù)目錄(fs_data_dir)應(yīng)該都可能有多個(gè)，以提高并發(fā)讀寫(xiě)，從而提高Kudu性能。

4.啟動(dòng)Kudu服務(wù)

5.安裝完畢

6.配置Impala

回到主頁(yè)重啟Impala和Hue

至此，CDH5.16.1+Kudu1.7安裝完畢。

以上是“怎么在Redhat7.4安裝CDH5.16.1”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！