Ambari HDP集群搭建的示例分析

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Ambari HDP集群搭建的示例分析，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

最近因?yàn)楣ぷ魃闲枰匦掠肁mbari搭了一套Hadoop集群，就把搭建的過程記錄了下來(lái)。

Ambari Ubuntu14.04 最新版本 2.2.1

HDP Ubuntu14.04 最新版本 2.4.3.0

Ambari是什么

Apache Ambari是一種基于Web的工具，支持Apache Hadoop集群的供應(yīng)、管理和監(jiān)控。

Ambari已支持大多數(shù)Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5個(gè)頂級(jí)hadoop管理工具之一。（就是一個(gè)開源的hadoop一鍵式安裝服務(wù)）

我們能用他干什么？我們?yōu)槭裁匆盟兀?/strong>

我們可以使用ambari快速的搭建和管理hadoop和經(jīng)常使用的服務(wù)組件。

比如hdfs、yarn、hive、hbase、oozie、sqoop、flume、zookeeper、kafka等等。（說白了就是可以偷好多懶）

再說說我們?yōu)槭裁匆盟?/p>

• 第一是ambari還算是一個(gè)早期的Hadoop管理集群工具

• 第二主要是現(xiàn)在Hadoop官網(wǎng)也在推薦使用Ambari。

• 通過一步一步的安裝向?qū)Ш?jiǎn)化了集群供應(yīng)。

• 預(yù)先配置好關(guān)鍵的運(yùn)維指標(biāo)（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相關(guān)項(xiàng)目（如HBase、Hive和HCatalog）是否健康。

• 支持作業(yè)與任務(wù)執(zhí)行的可視化與分析，能夠更好地查看依賴和性能。

• 通過一個(gè)完整的RESTful API把監(jiān)控信息暴露出來(lái)，集成了現(xiàn)有的運(yùn)維工具。

• 用戶界面非常直觀，用戶可以輕松有效地查看信息并控制集群。

Ambari使用Ganglia收集度量指標(biāo)，用Nagios支持系統(tǒng)報(bào)警，當(dāng)需要引起管理員的關(guān)注時(shí)（比如，節(jié)點(diǎn)停機(jī)或磁盤剩余空間不足等問題），系統(tǒng)將向其發(fā)送郵件。

此外，Ambari能夠安裝安全的（基于Kerberos）Hadoop集群，以此實(shí)現(xiàn)了對(duì)Hadoop 安全的支持，提供了基于角色的用戶認(rèn)證、授權(quán)和審計(jì)功能，并為用戶管理集成了LDAP和Active Directory。

集群搭建

1、讓我們先做一些安裝前的準(zhǔn)備工作

## 先告訴服務(wù)器們他們都是誰(shuí)，小名都叫啥（修改配置hosts文件）
vim /etc/hosts
10.1.10.1 master
10.1.10.2 slave1
10.1.10.3 slave2

## 然后讓我們拿著門禁卡自由的出入他們家 嗶咔進(jìn)站（配置免密登錄）
ssh-keygen -t rsa ##在所有的機(jī)器上執(zhí)行
cat ~/.ssh/id_rsa.pub ## 查看公鑰
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ## 將公鑰寫入authorized_keys文件中
### 首先把所有的公鑰都寫入master服務(wù)器
### 其次把master的公鑰別寫入slave1,slave2
### 最后使用scp命令把口令告訴別人 （我不會(huì)告訴你我的口令是“老狼老狼幾點(diǎn)了”）
scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys slave2:~/.ssh/authorized_keys

##更新時(shí)區(qū)和系統(tǒng)本地化的配置
apt-get install localepurge ## 一頓enter不要管 （卸載那些不被使用的local翻譯文檔）
dpkg-reconfigure localepurge && locale-gen zh_CN.UTF-8 en_US.UTF-8 ## 一頓enter不要管
apt-get update && apt-get install -y tzdata 
echo "Asia/Shanghai" > /etc/timezone  ## 修改時(shí)區(qū)為上海
rm /etc/localtime
dpkg-reconfigure -f noninteractive tzdata
vi  /etc/ntp.conf
server 10.1.10.1

2、然后在做一些Ubuntu系統(tǒng)的優(yōu)化

###1.1 關(guān)閉交換分區(qū)
swapoff -a
vim /etc/fstab ## 刪除注釋swap那一行 類似下面
# swap was on /dev/sda2 during installation
#UUID=8aba5009-d557-4a4a-8fd6-8e6e8c687714 none swap  sw   0   0

### 1.2 修改文件描述符打開數(shù) 在最后添加 ulimit
vi /etc/profile
ulimit -SHn 512000
vim /etc/security/limits.conf ## 調(diào)整大小都增大10倍
* soft nofile 600000
* hard nofile 655350
* soft nproc 600000
* hard nproc 655350
### 1.2 使用命令是修改生效
source /etc/profile

###1.3 修改內(nèi)核配置
vi /etc/sysctl.conf
### 貼上去就行
fs.file-max = 65535000
net.core.somaxconn = 30000
vm.swappiness = 0
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 1024 65000
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1
### 執(zhí)行命令讓配置生效
sysctl -p

###1.4 配置內(nèi)核關(guān)閉THP功能
echo never > /sys/kernel/mm/transparent_hugepage/enabled
##永久關(guān)閉。
vi /etc/rc.local   
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then  
   echo never > /sys/kernel/mm/transparent_hugepage/enabled  
fi  
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then  
   echo never > /sys/kernel/mm/transparent_hugepage/defrag  
fi

3、安裝部署ambari-server (環(huán)境：Ubuntu 14.04 + Ambari 2.2.1)

## 更新下載源
wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update
## 在master節(jié)點(diǎn)安裝ambari-server 
apt-get install ambari-server -y
## 在所有節(jié)點(diǎn)安裝 ambari-agent 
apt-get install ambari-agent -y

4、修改ambari-agent配置指向ambari-server

vi /etc/ambari-agent/conf/ambari-agent.ini
## 修改hostname
[server] 
hostname=master
url_port=8440
secured_url_port=8441

## 初始化ambari-server配置ambari 服務(wù) Database, JDK(默認(rèn)1.7), LDAP 一般選默認(rèn)  
ambari-server setup  ## 狂點(diǎn)enter

## 啟動(dòng)ambari
ambari-server start
ambari-agent start

5、經(jīng)過頭痛的Shell命令，開始連點(diǎn)人間的東西了。

使用你的瀏覽器訪問 http://10.1.10.1:8080/ 賬號(hào)密碼默認(rèn)為amdin/admin 點(diǎn)擊LAUNCH INSTALL WIZARD讓我們愉快的開始吧

6、給集群起一個(gè)名字

7、這個(gè)里要注意一點(diǎn)確定你的hdp版本不然后面會(huì)有麻煩

**8、我在這里面配置的是HDP2.4.3 **

例子： http://public-repo-1.hortonworks.com/HDP/debian7/2.x/updates/2.4.3.0

點(diǎn)擊next 會(huì)檢查數(shù)據(jù)源是否正常，如果這里報(bào)錯(cuò)可以點(diǎn)擊 "Skip Repository Base URL validation (Advanced) " 進(jìn)行跳過檢查

9、填入hostname master slave1 slave2 因?yàn)樵趕lave安裝ambari-agent 所以直接選擇不使用ssh

10、檢查服務(wù)器狀態(tài)--這里需要等待一下 如果等待時(shí)間過長(zhǎng)可以重啟ambari-server

11、選擇我們需要的服務(wù) HDFS YARN ZK

12、直接使用Ambari默認(rèn)分配方式 點(diǎn)擊下一步開始安裝

13、下面就是考慮網(wǎng)速的時(shí)候了

14、安裝完成之后一路Next刷新主頁(yè)面就看到了我們的Hadoop集群這里默認(rèn)都是啟動(dòng)的

15、進(jìn)入HDFS下 點(diǎn)擊restart ALL 可以重啟所有組件

16、驗(yàn)證一下是否安裝成功 點(diǎn)擊NameNodeUI

17、基礎(chǔ)信息頁(yè)

18、Hadoop已經(jīng)搭建完成完成了不想跑一個(gè)任務(wù)試試嗎？

## 進(jìn)入服務(wù)器執(zhí)行
### 創(chuàng)建hdfs目錄 可以再http://master:50070/explorer.html#/界面
hdfs dfs -mkdir -p /data/input 
### 從服務(wù)器上傳文件到hdfs上
hdfs dfs -put 文件  /data/input/
### 使用官網(wǎng)提供的例子進(jìn)行測(cè)試
hadoop jar hdfs://tesla-cluster/data/hadoop-mapreduce-examples-2.7.1.2.4.0.0-169.jar wordcount /data/input /data/output1

19、結(jié)果如下 生成_SUCCESS 和文件

上述就是小編為大家分享的Ambari HDP集群搭建的示例分析了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。