大數(shù)據(jù)之搭建HDP環(huán)境，以三個(gè)節(jié)點(diǎn)為例（下——擴(kuò)展節(jié)點(diǎn)，刪除節(jié)點(diǎn)，以及部署其他服務(wù)）

部署主節(jié)點(diǎn)以及安裝服務(wù)請(qǐng)看上
https://blog.51cto.com/6989066/2173573

（八）節(jié)點(diǎn)的擴(kuò)展（以HDFS為例）
①　從節(jié)點(diǎn)的準(zhǔn)備工作
?安裝一臺(tái)新的Linux
從節(jié)點(diǎn)只需要安裝l Server With GUI
l Development Tools，不需要安裝MariaDB Server

?關(guān)閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service
?配置主機(jī)名：編輯/etc/hosts文件（主節(jié)點(diǎn)也需要加入從節(jié)點(diǎn)的信息）
?配置免密碼登錄（各個(gè)節(jié)點(diǎn)之間，都需要配置）
?安裝JDK
?掛載光盤：mount /dev/cdrom /mnt
?刪除原來的所有repo文件
?創(chuàng)建yum的源文件： vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///mnt
enabled=1
gpgcheck=0
?開啟NTP服務(wù)
所有節(jié)點(diǎn)都需要操作
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
?在新節(jié)點(diǎn)上創(chuàng)建目錄：mkdir -p /var/lib/ambari-agent/data
②　添加一個(gè)新的節(jié)點(diǎn)，如下圖所示：

PS：截圖的時(shí)候所有Ambari服務(wù)已經(jīng)停了，所以有很多alerts
③　配置新節(jié)點(diǎn)的主機(jī)信息和私鑰文件

主機(jī)名與linux虛擬機(jī)host保持一致
私鑰在.ssh/id_rsa目錄，可用cat .ssh/id_rsa.pub查看
④　確認(rèn)主機(jī)信息
![]


⑤　部署一個(gè)新的DataNode到新的節(jié)點(diǎn)


⑥　確認(rèn)部署信息，并部署

⑦　部署成功，并在從節(jié)點(diǎn)上執(zhí)行jps命令檢查新的DataNode

九）啟用HA（以NameNode為例）

①　按照上一節(jié)的步驟，在集群中再添加一個(gè)新的節(jié)點(diǎn)，并部署DataNode。
②　將ZooKeeper服務(wù)部署到三個(gè)節(jié)點(diǎn)上，并啟動(dòng)。
選擇：“Service Actions” ---> “Add ZooKeeper Server”

③　重啟所有的ZooKeeper服務(wù)

注意：如果遇到有的節(jié)點(diǎn)無法啟動(dòng)，在Console上重啟所有的服務(wù)。正常情況下，應(yīng)該是所有服務(wù)都能正常啟動(dòng)。
④　為HDFS NameNode添加HA的服務(wù)

⑤　輸入一個(gè)NameService

⑥　配置NameNode HA

⑦　檢查配置信息

⑧　需要手動(dòng)配置的內(nèi)容，執(zhí)行下面的命令：

1.Login to the NameNode host mydemo71.
2.Put the NameNode in Safe Mode (read-only mode):
a)sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

3.Once in Safe Mode, create a Checkpoint:
a)sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

4.You will be able to proceed once Ambari detects that the NameNode is in Safe Mode and the Checkpoint has been created successfully.

⑨　開始進(jìn)行HA的配置：

⑩　需要手動(dòng)配置的內(nèi)容，執(zhí)行下面的命令：

sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
?　啟動(dòng)HA

?　需要手動(dòng)配置的內(nèi)容，執(zhí)行下面的命令：

?　進(jìn)行最后的安裝配置

?　驗(yàn)證HA：（非必需步驟）如果一個(gè)NameNode宕機(jī)，驗(yàn)證是否會(huì)進(jìn)行自動(dòng)的切換。

（十）刪除節(jié)點(diǎn)和服務(wù)（非必要步驟，有實(shí)際需求時(shí)再刪除）

（1）停止要?jiǎng)h除節(jié)點(diǎn)（hdp23）上的所有服務(wù)

（3）刪除HDFS、Yarn、MapReduce2服務(wù)
（4）刪除節(jié)點(diǎn)hdp22，只保留hdp21
![]

（5）停止所有服務(wù)，并將hdp21的內(nèi)存改為8g（可選步驟）
注意：由于需要重啟虛擬機(jī)，一定要重新掛載光盤

6）重新部署HDFS、Yarn、MapReduce2服務(wù)。注意清空下面的目錄：
namenode /root/training/bigdata/namenode
datanode /root/training/bigdata/datanode
yarn.nodemanager.local-dirs /root/training/bigdata/nodemanager/local
yarn.nodemanager.log-dirs /root/training/bigdata/nodemanager/log
所有密碼 password

十一）安裝部署其他服務(wù)（內(nèi)存8g）
注意：一定保證httpd service和yum的源可用。
（1）部署Hive和Pig
注意：
?Hive的執(zhí)行引擎需要選擇：MapReduce，如下圖

（2）部署Flume和Sqoop：很簡單。
（3）部署Spark：很簡單。
（4）部署Kafka：很簡單。
（5）部署Storm：很簡單。
（6）部署Mahout：很簡單。

到這里HDP的部署工作就完成了，如果你有任何意見或者建議，歡迎你在下方留言。
如果這篇博客有幫到你，歡迎你點(diǎn)個(gè)贊哦！