大數(shù)據(jù)之搭建HDP環(huán)境，以三個(gè)節(jié)點(diǎn)為例（上——部署主節(jié)點(diǎn)以及服務(wù)）

（一）實(shí)驗(yàn)環(huán)境
l 實(shí)驗(yàn)介質(zhì)
?CentOS-7-x86_64-Everything-1708.iso
?jdk-8u144-linux-x64.tar.gz
?ambari-2.6.0.0-centos7.tar.gz
?HDP-2.6.3.0-centos7-rpm.tar.gz
?HDP-UTILS-1.1.0.21-centos7.tar.gz

這里我們以Vmware為例安裝虛擬機(jī)
l 準(zhǔn)備三臺(tái)CentOS虛擬機(jī)，三個(gè)節(jié)點(diǎn)：一個(gè)Cloudera Manager節(jié)點(diǎn)、兩個(gè)Agent節(jié)點(diǎn)
安裝如下：
n HDP21：Server GUI、Development Tools、MariaDB
n HDP22、HDP23：Server GUI、Development Tools

二）安裝配置CentOS（每臺(tái)機(jī)器）
注意把下面的兩個(gè)選項(xiàng)選上
l Server With GUI
l Development Tools
l MariaDB Server（就是MySQL數(shù)據(jù)庫）：注意只在hdp21上安裝

l 關(guān)閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service

l 配置主機(jī)名：編輯/etc/hosts文件
l 配置免密碼登錄
l 配置ntp服務(wù)
? 創(chuàng)建目錄：mkdir /root/cdroom/
? 掛載光盤：mount /dev/cdrom /root/cdroom/
? 刪除原來的所有repo文件
? 創(chuàng)建yum的源文件： vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
? 開啟NTP服務(wù)
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd

?安裝Apache Http服務(wù)（只需要在hdp21上安裝）
yum install httpd

?啟動(dòng)Apache Http服務(wù)
systemctl start httpd.service
systemctl enable httpd.service

?驗(yàn)證Http服務(wù)，使用瀏覽器訪問如下網(wǎng)頁：
192.168.164.21

（三）安裝JDK（每臺(tái)機(jī)器）
一定注意，這一步跟之前不一樣！?。?br/>l 卸載系統(tǒng)原有的Java環(huán)境
第一步：使用下面的命令查看當(dāng)前所有的Java環(huán)境的安裝包
rpm -qa | grep java
第二步：使用下面的命令刪除所有的Java安裝包
rpm -e --nodeps 包名

l 安裝新的JDK環(huán)境
? 將jdk-8u161-linux-x64.rpm上傳到/root/toolsm目錄
? 安裝JDK：rpm -ivh jdk-8u161-linux-x64.rpm
? 執(zhí)行下面的命令，設(shè)置環(huán)境變量：
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

l 驗(yàn)證JDK環(huán)境
!
（四）配置MariaDB（在HDP21上）
l 啟動(dòng)MariaDB
systemctl start mariadb
systemctl enable mariadb （開機(jī)自啟動(dòng)）

l 配置MariaDB
mysql_secure_installation
#首先是設(shè)置密碼，會(huì)提示先輸入密碼
Enter current password for root (enter for none):<–初次運(yùn)行直接回車
#設(shè)置密碼
Set root password? [Y/n] <–是否設(shè)置root用戶密碼，輸入y并回車或直接回車
New password: <– 設(shè)置root用戶的密碼
Re-enter new password: <– 再輸入一次你設(shè)置的密碼
#其他配置
Remove anonymous users? [Y/n] <– 是否刪除匿名用戶，回車
Disallow root login remotely? [Y/n] <–是否禁止root遠(yuǎn)程登錄,回車,
Remove test database and access to it? [Y/n] <– 是否刪除test數(shù)據(jù)庫，回車
Reload privilege tables now? [Y/n] <– 是否重新加載權(quán)限表，回車

l 初始化MariaDB
登錄數(shù)據(jù)庫：mysql -uroot -pWelcome_1
(1)安裝完成后創(chuàng)建ambari數(shù)據(jù)庫及用戶：
create database ambari;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Welcome_1';
GRANT ALL PRIVILEGES ON . TO 'ambari'@'%'；
FLUSH PRIVILEGES;

(2)如果要安裝Hive，再創(chuàng)建Hive數(shù)據(jù)庫和用戶 再執(zhí)行下面的語句：
create database hive;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Welcome_1';
GRANT ALL PRIVILEGES ON . TO 'hive'@'%';
FLUSH PRIVILEGES;

(3)如果要安裝Oozie，再創(chuàng)建Oozie數(shù)據(jù)庫和用戶 再執(zhí)行下面的語句：
create database oozie;
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Welcome_1';
GRANT ALL PRIVILEGES ON . TO 'oozie'@'%';
FLUSH PRIVILEGES;

l 安裝數(shù)據(jù)庫驅(qū)動(dòng)
yum install mysql-connector-java
安裝路徑：/usr/share/java/mysql-connector-java.jar
（五）安裝配置Clouder Manager（在cdh71上）
五）配置Ambari本地源（在hdp21上）
?一定注意：解壓后，需要?jiǎng)h除目錄下所有的html文件。
?在httpd網(wǎng)站根目錄,默認(rèn)是即/var/www/html/，創(chuàng)建目錄ambari
mkdir /var/www/html/ambari

?將ambari-2.6.0.0-centos7.tar.gz和HDP-2.6.3.0-centos7-rpm.tar.gz解壓到該目錄
tar -zxvf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari

?將HDP-UTILS-1.1.0.21-centos7.tar.gz解壓到/var/www/html/ambari/HDP-UTILS/
mkdir /var/www/html/ambari/HDP-UTILS/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/

?配置ambari、HDP、HDP-UTILS的本地源
?修改ambari.repo文件
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.164.21/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

?修改hdp.repo文件
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.164.21/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

?將ambari.repo和hdp.repo拷貝到/etc/yum.repos.d/目錄下

（六）安裝Ambari
?安裝Ambari Server：yum install ambari-server
?配置Ambari Server：ambari-server setup

?將Ambari數(shù)據(jù)庫腳本導(dǎo)入到數(shù)據(jù)庫
mysql -uambari -pWelcome_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

?啟動(dòng)Ambari Server
ambari-server start
訪問Ambari Server的Web Console:http://192.168.164.21:8080/#/login

                            用戶名密碼：admin/admin

七）安裝配置HDP 2.6.3集群
(1)點(diǎn)擊上面登錄成功頁面的Launch Install Wizard 按鈕進(jìn)行集群配置
(2)設(shè)置集群名稱?比如mycluster

(3)設(shè)置HDP安裝源

(4)主機(jī)信息確認(rèn) 這里主機(jī)名應(yīng)與虛擬機(jī)一致，比如mydemo71應(yīng)該為hdp21


!
(5)選擇要安裝部署的服務(wù)

這里為了更快完成部署，只部署了HDFS和YARN，如有需要可以添加其他組件，也可以后再添加
(6)各個(gè)服務(wù)Master節(jié)點(diǎn)配置?

(7)從節(jié)點(diǎn)的配置?

這里只選擇DataNode,NodeManager和client
(8)服務(wù)的定制化配置
namenode /root/training/bigdata/namenode
datanode /root/training/bigdata/datanode
yarn.nodemanager.local-dirs /root/training/bigdata/nodemanager/local
yarn.nodemanager.log-dirs /root/training/bigdata/nodemanager/log
所有密碼 password
(9)顯示配置信息

(10)開始部署集群

(11)全部安裝成功界面如下

(12)執(zhí)行jps命令查看后臺(tái)進(jìn)程

(13)安裝完成

(14)集群管理首頁,IP地址應(yīng)與之前的192.168.164.21保持一致

(15)執(zhí)行WordCount程序
在linux服務(wù)器中輸入以下命令
?切換到hdfs用戶
?創(chuàng)建目錄：hdfs dfs -mkdir /input
?上傳數(shù)據(jù)文件：hdfs dfs -put data.txt /input
?Example jar的位置：
?/usr/hdp/2.6.3.0-235/hadoop-mapreduce/hadoop-mapreduce-examples.jar
?執(zhí)行WordCount
?hadoop jar hadoop-mapreduce-examples.jar wordcount /input /output/wc

到目前為止，HDP2.6.3的主節(jié)點(diǎn)就已經(jīng)配好了，接下來就是從節(jié)點(diǎn)HDP22和HDP23的配置了。
如果你有任何的意見或者建議，歡迎在下方留言。
如果這篇博客有幫到你，歡迎你點(diǎn)個(gè)贊哦！