溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

centOS6.5如何安裝hadoop2.7后再安裝hbase1.1.0.1實(shí)現(xiàn)完全分布式部署

發(fā)布時(shí)間:2021-11-15 16:26:36 來(lái)源:億速云 閱讀:153 作者:小新 欄目:云計(jì)算

這篇文章給大家分享的是有關(guān)centOS6.5如何安裝hadoop2.7后再安裝hbase1.1.0.1實(shí)現(xiàn)完全分布式部署的內(nèi)容。小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考,一起跟隨小編過(guò)來(lái)看看吧。

hbase的分布式環(huán)境需要運(yùn)行在hadoop環(huán)境上,所在在部署hbase之前,需要先安裝hadoop環(huán)境。

(一)下載hbase

http://www.apache.org/dyn/closer.cgi/hbase/

下載1.1.0.1版本。(注意:以下步驟在hbase集群的每個(gè)服務(wù)器上都要執(zhí)行一次)

下載完成后,上傳hbase-1.1.0.1-bin.tar.gz到你的集群的每個(gè)服務(wù)器中,并執(zhí)行#tar -zxvf hbase-1.1.0.1-bin.tar.gz進(jìn)行解壓,并執(zhí)行#mv hbase-1.1.0.1 hbase修改其目錄名稱。

(二)配置hbase的環(huán)境變量

#vi ~/.bash_profile

增加(hadoop的是之前配置的)

export HBASE_HOME=/data/hbase
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:

(三)修改conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_45
export HBASE_MANAGES_ZK=true        #此配置信息,設(shè)置由hbase自己管理zookeeper,不需要單獨(dú)的zookeeper。
export HBASE_HOME=/data/hbase
export HADOOP_HOME=/data/hadoop 
export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop
export HBASE_LOG_DIR=$HBASE_HOME/logs    #Hbase日志目錄

(四)修改conf/hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://db2:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>db2:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>pic1,pic2</value>
</property>

hbase.rootdir:指定本機(jī)的hbase的存儲(chǔ)目錄;

hbase.cluster.distributed:指定hbase的運(yùn)行模式,true代表全分布模式;

hbase.master:指定hbase的master及其端口

hbase.zookeeper.quorum:指定zookeeper的集群,多臺(tái)以主機(jī)名逗號(hào)隔開(kāi)。一般為奇數(shù),因?yàn)閦ookeeper有這樣一個(gè)特性:集群中只要有過(guò)半的機(jī)器是正常工作的,那么整個(gè)集群對(duì)外就是可用的。也就是說(shuō)如果有2個(gè)zookeeper,那么只要有1個(gè)死了zookeeper就不能用了,因?yàn)?沒(méi)有過(guò)半,所以2個(gè)zookeeper的死亡容忍度為0;同理,要是有3個(gè)zookeeper,一個(gè)死了,還剩下2個(gè)正常的,過(guò)半了,所以3個(gè)zookeeper的容忍度為1;同理你多列舉幾個(gè):2->0;3->1;4->1;5->2;6->2會(huì)發(fā)現(xiàn)一個(gè)規(guī)律。

(五)修改conf/regionservers文件,添加datanode節(jié)點(diǎn)hostname到slaves文件中

pic1
pic2

(六)可選,網(wǎng)上有說(shuō)為避免hadoop和hbase之間版本沖突,可以替換hbase安裝目錄下的lib中使用的hadoop2.5的jar包替換成2.7.0的。當(dāng)前沒(méi)有替換,還沒(méi)實(shí)際使用hbase。

(七)確保所有服務(wù)器都已配置了hbase的一到六步驟,hbase配置完成,可以啟動(dòng)了。

(八)執(zhí)行#start-hbase.sh(確保hadoop已經(jīng)運(yùn)行了),我這里的jdk是1.8,所以啟動(dòng)時(shí)提示以下信息,不知道有沒(méi)有影響啊。不過(guò)官方說(shuō)法是可以運(yùn)行,但是沒(méi)有well tested。

[hadoop@zhebuduan-db-2 hbase]$ start-hbase.sh 
pic2: starting zookeeper, logging to /data/hbase/logs/hbase-hadoop-zookeeper-zhebuduan-pic-2.out
pic1: starting zookeeper, logging to /data/hbase/logs/hbase-hadoop-zookeeper-zhebuduan-pic-1.out
starting master, logging to /data/hbase/logs/hbase-hadoop-master-zhebuduan-db-2.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
pic1: starting regionserver, logging to /data/hbase/logs/hbase-hadoop-regionserver-zhebuduan-pic-1.out
pic2: starting regionserver, logging to /data/hbase/logs/hbase-hadoop-regionserver-zhebuduan-pic-2.out
pic1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
pic1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
pic2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
pic2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

(九)驗(yàn)證。在各個(gè)服務(wù)器上執(zhí)行jps,查看hbase的進(jìn)程是否存在。

master主機(jī):

63385 NameNode

2363 Jps

63645 ResourceManager

1919 HMaster

其他子節(jié)點(diǎn)主機(jī):

43872 Jps

43700 HRegionServer

57766 NodeManager

43577 HQuorumPeer

57643 DataNode

感謝各位的閱讀!關(guān)于“centOS6.5如何安裝hadoop2.7后再安裝hbase1.1.0.1實(shí)現(xiàn)完全分布式部署”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí),如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI