hadoop如何搭建hbase集群

這篇文章主要為大家展示了“hadoop如何搭建hbase集群”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop如何搭建hbase集群”這篇文章吧。

一：卸載redhat操作系統(tǒng)默認(rèn)jdk
1：查找安裝默認(rèn)安裝jdk
   rpm -qa | grep java
2：刪除jdk
   rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64

二：安裝jdk
1：使用root賬號安裝
2：創(chuàng)建目錄：/usr/java
3：下載jdk存放到/usr/java目錄：jdk-6u33-linux-x64.bin
4：給安裝文件添加執(zhí)行權(quán)限：
   chmod +x jdk-6u43-linux-x64.bin
5：執(zhí)行jdk安裝包
   ./jdk-6u43-linux-x64.bin
6：在/etc/profile文件中添加環(huán)境變量
export JAVA_HOME=/usr/java/jdk1.6.0_43
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin
7：配置生效，執(zhí)行下面命令
source /etc/profile

8：配置內(nèi)很參數(shù)
設(shè)置每個進(jìn)程可以打開文件數(shù)目，以及同時啟動的最大進(jìn)程數(shù)量。
vi /etc/security/limits.conf
hadoop soft nofile 65535
hadoop hard nofile 65535
hadoop soft nproc 32000
hadoop hard nproc  32000

echo "session required pam_limits.so" >> /etc/pam.d/common-session
9：vm.swappiness參數(shù)設(shè)置，調(diào)低內(nèi)存頁交換到磁盤中的主動程度。
echo "vm.swappiness = 0" >> /etc/sysctl.conf

三：主機(jī)分配，在每一個機(jī)器的的/etc/hosts文件中添加下面四行內(nèi)容
192.168.205.23 inm1
192.168.205.24 inm2
192.168.205.25 inm3
192.168.205.26 inm4

四：關(guān)閉所有機(jī)器防火墻
chkconfig iptables off
service iptables stop

五：在每臺機(jī)器上創(chuàng)建hadoop用戶組合hadoop用戶
1：創(chuàng)建用戶組：groupadd hadoop
2：創(chuàng)建用戶：useradd -g hadoop hadoop
3：修改密碼：passwd hadoop

六：在master.hadoop機(jī)器上配置SSH
[hadoop@master  ~]$ ssh-keygen -t rsa -P ""
   Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): /home/hadoop/.ssh/id_rsa
[hadoop@master  ~]cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
[hadoop@master  ~]chmod 700 ~/.ssh/
[hadoop@master  ~]chmod 600 ~/.ssh/authorized_key
驗(yàn)證
[hadoop@master  ~]ssh localhost
[hadoop@master  ~]ssh inm1
復(fù)制ssh配置到其它機(jī)器
[hadoop@master  ~]ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@inm2
[hadoop@master  ~]ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@inm3

七：zookeeper三節(jié)點(diǎn)集群安裝
1：使用三臺服務(wù)器安裝zookeeper，安裝在hadoop用戶上
   192.168.205.24、192.168.205.25、192.168.205.26
2：使用cloudera版本zookeeper：zookeeper-3.4.5-cdh5.4.0.tar.gz
3：解壓并修改目錄名稱
   tar -zxf zookeeper-3.4.5-cdh5.4.0.tar.gz
4：配置zookeeper，在conf目錄下創(chuàng)建zoo.cfg文件，添加文件內(nèi)容
   tickTime=2000 
   initLimit=5  
   syncLimit=2  
   dataDir=/homt/hadoop/storage/zookeeper/data
   dataLogDir=/homt/hadoop/storage/zookeeper/logs  
   clientPort=2181
   server.1=inm2:2888:3888  
   server.2=inm3:2888:3888  
   server.3=inm4:2888:3888
   maxClientCnxns=60
5：設(shè)置JVM參數(shù)，在conf/java.env文件添加如下內(nèi)容
   export JVMFLAGS="-Xms1g -Xmx1g $JVMFLAGS"
6：創(chuàng)建zookeeper的數(shù)據(jù)文件和日志存放目錄
   /home/hadoop/storage/zookeeper/data
   /home/hadoop/storage/zookeeper/logs
   在/home/hadoop/storage/zookeeper/data目錄中創(chuàng)建文件myid，添加內(nèi)容為：1
7：復(fù)制安裝的zookeeper和storage目錄到inm3和inm4機(jī)器上。
   scp -r zookeeper inm4:/home/hadoop
   scp -r storage inm4:/home/hadoop
   修改inm3機(jī)器上myid文件中值為2
   修改inm3機(jī)器上myid文件中值為3
8：啟動服務(wù)器
   ./bin/zkServer.sh start
9：驗(yàn)證安裝
   ./bin/zkCli.sh -server inm3:2181 

八：安裝HDFS，hadoop-2.0.0-cdh5.2.0
用戶hadoop賬號進(jìn)入系統(tǒng)
1：解壓tar -xvzf hadoop-2.0.0-cdh5.4.0.tar.gz
2：配置Hadoop環(huán)境變量：修改vi ~/.bashrc，在文件最后面加上如下配置：
export HADOOP_HOME="/home/hadoop/hadoop-2.0.0-cdh5.4.0"
export HADOOP_MAPRED_HOME="/home/hadoop/hadoop-2.0.0-mr1-cdh5.4.0"
export HBASE_HOME="/home/hadoop/hbase-0.94.6-cdh5.4.0"

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
#防止啟動hdfs時，出現(xiàn)找不到native lib錯誤。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/
4：進(jìn)入hadoop-2.0.0-cdh5.4.0/src目錄，構(gòu)建hadoop native lib：libhadoop.so
   mvn package -Pnative -DskipTests -Dbundle.snappy=true -Dsnappy.prefix=/usr/local/lib
   再參照《hadoop2.0 lzo安裝》構(gòu)建lzo native lib，把相關(guān)的native lib放入到：$HADOOP_HOME/lib/native/目錄
5：使配置生效
   source .bashrc
6：修改HADOOP_HOME/etc/hadoop目錄下mastes和slaves文件
   masters文件內(nèi)容：
   inm1
   slaves文件內(nèi)容：
   inm2
   inm3
   inm4
7：修改HADOOP_HOME/etc/hadoop/core-site.xml文件配置
8：修改HADOOP_HOME/etc/hadoop/hdfs-site.xml文件配置
9：同步hadoop工程到inm2,inm3,inm4機(jī)器上面
scp -r hadoop-2.0.0-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-cdh5.4.0 inm2:/home/hadoop
10：格式文件系統(tǒng)
hadoop namenode -format
11：啟動hdfs和yarn，啟動腳本在HADOOP_HOME/sbin目錄中
./start-dfs.sh

八：安裝mapreduce v1，hadoop-2.0.0-mr1-cdh5.4.0
1：解壓tar -xvzf ，hadoop-2.0.0-mr1-cdh5.4.0.tar.gz
2：復(fù)制$HADOOP_HOME/lib/native/ 下的文件到 HADOOP_MAPRED_HOME/lib/native/Linux-amd64-64
3：修改 HADOOP_MAPRED_HOME/conf 目錄下mastes和slaves文件
   masters文件內(nèi)容：
   inm1
   slaves文件內(nèi)容：
   inm2
   inm3
   inm4
4：修改 HADOOP_MAPRED_HOME/etc/hadoop/core-site.xml文件配置
5：同步hadoop-mr1工程到inm2,inm3,inm4機(jī)器上面
scp -r hadoop-2.0.0-mr1-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-mr1-cdh5.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-mr1-cdh5.4.0 inm2:/home/hadoop
6：啟動mapreduce，啟動腳本在HADOOP_HOME/bin目錄中
./start-mapred.sh

九：安裝hbase-0.94.6-cdh5.4.0
1：解壓tar -xvzf hbase-0.94.6-cdh5.4.0.tar.gz
2：復(fù)制$HADOOP_HOME/lib/native/ 下的文件到 HBASE_HOME/lib/native/Linux-amd64-64
3：修改HBASE_HOME/conf/regionservers文件，添加運(yùn)行HRegionServer進(jìn)程的機(jī)器名稱。
   inm2
   inm3
   inm4
4：修改HBASE_HOME/conf/hbase-site.xml文件
5：同步hbase工程到inm2,inm3,inm4機(jī)器上面
scp -r hbase-0.94.6-cdh5.4.0 inm2:/home/hadoop
scp -r hbase-0.94.6-cdh5.4.0 inm2:/home/hadoop
scp -r hbase-0.94.6-cdh5.4.0 inm2:/home/hadoop
6：在inm1上啟動hbase集群
HBASE_HOME/bin/start-hbase.sh
7：執(zhí)行hbase shell進(jìn)入hbase console。執(zhí)行l(wèi)ist命令驗(yàn)證安裝。

以上是“hadoop如何搭建hbase集群”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！