Hadoop+Hbase+Zookeeper集群配置

發(fā)布時(shí)間：2020-07-10 07:31:05 來源：網(wǎng)絡(luò) 閱讀：4998 作者：月夜星魂欄目：大數(shù)據(jù)

系統(tǒng)版本： CentOS 7.3 最小化安裝

軟件版本： Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9

集群規(guī)劃：

主機(jī)名	IP
hadoop01	192.168.1.61
hadoop02	192.168.1.62
hadoop03	192.168.1.63

一、服務(wù)器初始配置 (所有服務(wù)器執(zhí)行)

1、按集群規(guī)劃修改主機(jī)名及IP地址。

2、關(guān)閉防火墻

systemctl stop firewalld.service
systemctl disable firewalld.service

3、關(guān)閉Selinux

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
sed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config

4、安裝yum源及軟件

yum install epel-release -y

yum install yum-axelget -y

yum install expect wget unzip bash-completion vim* -y

echo "alias vi='vim'">>/etc/bashrc

5、添加host

echo "
192.168.1.61	hadoop01
192.168.1.62	hadoop02
192.168.1.63	hadoop03
">>/etc/hosts

6、配置免密碼登錄

#在所有服務(wù)器執(zhí)行以下操作

ssh-keygen

#一路回車

#在hadoop01執(zhí)行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop02:/root/.ssh

#在hadoop02執(zhí)行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop03:/root/.ssh

#在hadoop03執(zhí)行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop01:/root/.ssh

scp authorized_keys hadoop02:/root/.ssh

#驗(yàn)證配置

#在任意服務(wù)器ssh其他服務(wù)器，是否可直接登錄

7、安裝JDK

cd /tmp

#去官網(wǎng)下載jdk-8u131-linux-x64.rpm

yum install jdk-8u131-linux-x64.rpm -y

8、添加系統(tǒng)變量

echo "
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=\$PATH:\$JAVA_HOME/bin
export HADOOP_HOME=/data/hadoop
export PATH=\$PATH:\$HADOOP_HOME/bin
export ZK_HOME=/data/zk
export PATH=\$PATH:\$ZK_HOME/bin
export HBASE_HOME=/data/hbase
export PATH=\$PATH:\$HBASE_HOME/bin
">>/etc/profile

9、系統(tǒng)升級(jí)并重啟

yum update -y

reboot

二、Zookeeper集群部署

1、下載安裝

#在所有服務(wù)器執(zhí)行

mkdir /data
cd /tmp
wget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gz
tar zxvf zookeeper-3.4.9.tar.gz
mv zookeeper-3.4.9 /data/zk
mkdir /data/zk/logs
mkdir /data/zk/data
chown -R root:root /data/zk

2、添加配置文件

#在所有服務(wù)器執(zhí)行

cat >>/data/zk/conf/zoo.cfg<<EOF
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/data
deployLogDir=/data/zk/logs
clientPort=2181
maxClientCnxns=65535
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=192.168.1.61:2888:3888
server.2=192.168.1.62:2888:3888
server.3=192.168.1.63:2888:3888
EOF

3、設(shè)置myid

#在hadoop01執(zhí)行

echo "1" > /data/zk/data/myid

#在hadoop02執(zhí)行

echo "2" > /data/zk/data/myid

#在hadoop03執(zhí)行

echo "3" > /data/zk/data/myid

4、添加開機(jī)啟動(dòng)腳本并配置系統(tǒng)服務(wù)

echo "[Unit]
Description=Zookeeper
After=syslog.target network.target remote-fs.target nss-lookup.target
 
[Service]
Type=forking
PIDFile=/data/zk/data/zookeeper_server.pid
ExecStart=/data/zk/bin/zkServer.sh start
ExecStop=/data/zk/bin/zkServer.sh stop
[Install]
WantedBy=multi-user.target
">>/usr/lib/systemd/system/zookeeper.service

systemctl enable zookeeper.service
systemctl start zookeeper.service
systemctl status -l zookeeper.service

5、驗(yàn)證配置

#在任意服務(wù)器上執(zhí)行

zkServer.sh status

Hadoop+Hbase+Zookeeper集群配置

三、Hadoop集群部署

1、下載安裝

cd /tmp

wget
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
 
tar zxvf hadoop-2.8.0.tar.gz

mv hadoop-2.8.0 /data/hadoop

cd /data/hadoop/

mkdir tmp hdfs

mkdir hdfs/name hdfs/tmp hdfs/data

chown -R root:root /data/hadoop/

2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh

#修改第25行jdk環(huán)境變量

export JAVA_HOME=/usr/java/jdk1.8.0_131

#修改第33行，配置文件目錄位置

export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop

3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>   
		<name>hadoop.tmp.dir</name>   
		<value>/data/hadoop/tmp</value>   
		<final>true</final>
		<description>A base for other temporary directories.</description>   
	</property>
	 
	<property>   
		<name>fs.default.name</name>   
		<value>hdfs://192.168.1.61:9000</value>  
		<final>true</final>   
	</property>
	
	<property>    
		 <name>io.file.buffer.size</name>    
		 <value>131072</value>    
	</property>  

	<property>    
		<name>ha.zookeeper.quorum</name>    
		<value>192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181</value>  
	</property>
			
</configuration>

4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    
    <property>
        <name>dfs.name.dir</name>
        <value>/data/hadoop/hdfs/name</value>
    </property>
    
    <property>
        <name>dfs.data.dir</name>
        <value>/data/hadoop/hdfs/data</value>
    </property>
    
    <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>192.168.1.61:9001</value>
    </property>
    
    <property>
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
    </property>
    
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property> 

</configuration>

5、復(fù)制并修改/usr/hadoop/etc/hadoop/mapred-site.xml

cd /data/hadoop/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>    
          <name>mapreduce.framework.name</name>    
          <value>yarn</value>    
    </property> 

</configuration>

6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：

<?xml version="1.0"?>

<configuration>

	<property>
	  <name>yarn.resourcemanager.address</name>
	  <value>192.168.1.61:18040</value>
	</property>
	
	<property>
	  <name>yarn.resourcemanager.scheduler.address</name>
	  <value>192.168.1.61:18030</value>
	</property>
	
	<property>
	  <name>yarn.resourcemanager.webapp.address</name>
	  <value>192.168.1.61:18088</value>
	</property>
	
	<property>
	  <name>yarn.resourcemanager.resource-tracker.address</name>
	  <value>192.168.1.61:18025</value>
	</property>
    
	<property>
	  <name>yarn.resourcemanager.admin.address</name>
	  <value>192.168.1.61:18141</value>
	</property>
	
	<property>
	  <name>yarn.nodemanager.aux-services</name>
	  <value>mapreduce_shuffle</value>
	</property>
    
	<property>
	  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>

</configuration>

7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：

192.168.1.61
192.168.1.62
192.168.1.63

8、將Hadoop安裝文件夾復(fù)制到其他服務(wù)器

scp -r /data/hadoop hadoop02:/data

scp -r /data/hadoop hadoop03:/data

9、格式化HDFS文件系統(tǒng)

hadoop namenode -format

Hadoop+Hbase+Zookeeper集群配置

10、啟動(dòng)hadoop集群

cd /data/hadoop/sbin/

./start-all.sh

#此命令會(huì)直接啟動(dòng)所有節(jié)點(diǎn)，只在hadoop01服務(wù)器上執(zhí)行即可

11、驗(yàn)證配置

#查看集群狀態(tài)

hadoop dfsadmin -report

Hadoop+Hbase+Zookeeper集群配置

通過頁面 http://192.168.1.61:50070/dfshealth.html 查看

Hadoop+Hbase+Zookeeper集群配置

四、Hbase集群部署

1、下載安裝

cd /tmp

wget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gz

tar zxvf hbase-1.3.1-bin.tar.gz

mv hbase-1.3.1 /data/hbase

chown -R root:root /data/hbase/

2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：

#修改第27行jdk環(huán)境變量

export JAVA_HOME=/usr/java/jdk1.8.0_131

#修改第128行禁用自有Zookeeper

export HBASE_MANAGES_ZK=false

3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.1.61:9000/hbase</value>
    </property>
     
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
     
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181</value>
    </property>
      
    <property>
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>
     
    <property>
        <name>hbase.master.info.port</name>
        <value>16010</value>
    </property>

</configuration>

4、修改/data/hbase/conf/regionservers,修改后文件如下：

192.168.1.61
192.168.1.62
192.168.1.63

5、復(fù)制Hadoop配置文件到hbase配置文件目錄下

cd /data/hbase/conf/

cp /data/hadoop/etc/hadoop/core-site.xml .

cp /data/hadoop/etc/hadoop/hdfs-site.xml .

6、將Hbase安裝文件夾復(fù)制到其他服務(wù)器

scp -r /data/hbase hadoop02:/data

scp -r /data/hbase hadoop03:/data

7、啟動(dòng)Hbase集群

cd /data/hbase/bin/

./start-hbase.sh

#此命令會(huì)直接啟動(dòng)所有節(jié)點(diǎn)，只在hadoop01服務(wù)器上執(zhí)行即可

8、驗(yàn)證安裝

#進(jìn)入shell

hbase shell

Hadoop+Hbase+Zookeeper集群配置

通過頁面 http://192.168.1.61:16010 查看

Hadoop+Hbase+Zookeeper集群配置

集群配置全部完成！

向AI問一下細(xì)節(jié)

Hadoop+Hbase+Zookeeper集群配置

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽