大數(shù)據(jù)環(huán)境搭建-之-hadoop 2.x分布式部署-集群配置

發(fā)布時間：2020-05-31 00:00:13 來源：網(wǎng)絡(luò) 閱讀：788 作者：1121827 欄目：大數(shù)據(jù)

1、下載hadoop 并解壓

2、為 hadoop 文件分配角色

chown -R hadoop:hadoop hadoop

組名：角色名文件名

3、ls -l 查看詳細(xì)信息角色分配是否成功

4、創(chuàng)建hadoop 需要的文件目錄

mkdir -p /data/dfs/name

mkdir -p /data/dfs/data

mkdir -p /data/tmp

5、分配角色權(quán)限給自己的用戶目錄，如hadoop用戶

chown -R hadoop:hadoop hadoop/data

6、 ls -l 查看是否分配成功

7、修改hadoop 配置文件

a、 core-site.xml

b、hdfs-site.xml

c、mapred-site.xml

d、slave

8、配置hadoop 環(huán)境變量

HADOOP_HOME=/usr/java/hadoop

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME PATH

9、格式化hadoop bin/hadoop namenode -format

10 、啟動hadoop sbin/start-all.sh

11、jps 查看進(jìn)程是否啟動

NodeManager

ResourceManager

Jps

DataNode

NameNode

SecondaryNameNode

12、hdfs 創(chuàng)建目錄

bin/hadoop fs -mkdir /dajiangtai

13、hdfs 的dajiangtai目錄添加文件

hadoop fs -put /usr/java/hadoop/djt.txt /dajiangtai

14、驗證地址

http://cjqlinux:8088/cluster/apps

http://cjqlinux:50070

向AI問一下細(xì)節(jié)

猜你喜歡