hadoop install

1.Hadoop安裝步驟
將Hadoop文件拷貝到/usr/local目錄下并解壓Tar -zxvf hadoop-3.0.0.tar.gz
將解壓后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射關(guān)系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相關(guān),在/usr/local/hadoop/etc/hadoop目錄下配置
vim hadoop-env.sh 運(yùn)行環(huán)境依賴(lài)Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode節(jié)點(diǎn)（Hadoop可以啟動(dòng)啦）
2.1、vim core-site.xml 每個(gè)節(jié)點(diǎn)都需要配置才可
------配置通信節(jié)點(diǎn)url，所有節(jié)點(diǎn)都需要該配置
hadoop.tmp.dir 配置Hadoop文件存儲(chǔ)默認(rèn)目錄（若未配置，默認(rèn)保存臨時(shí)目錄/tmp下的）
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
</configuration>

3.Hadoop默認(rèn)4個(gè)基本配置文件
hadoop默認(rèn)配置
Core-default.xml ------對(duì)應(yīng) core-site.xml
Hdfs-default.xml-------對(duì)應(yīng) hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆蓋默認(rèn)配置（Hdfs-site.xml僅在Namenode配置即可）
----配置hadoop復(fù)制的保存份數(shù)（只在namenode節(jié)點(diǎn)配置即可）
dfs.replication HDFS保存文件保存的份數(shù)（默認(rèn)是3份）
dfs.namenode.heartbeat.recheck-interval DataNode健康檢查的間隔時(shí)間（毫秒）
dfs.permissions.enabled 測(cè)試時(shí)，可以關(guān)閉權(quán)限檢查(否則沒(méi)有權(quán)限訪問(wèn)）
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>20000</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3.2、mapred-site.xml僅在Namenode配置即可），
mapreduce.framework.name 將mapreduce與yarn資源調(diào)度平臺(tái)關(guān)聯(lián)（即mapreduce計(jì)算引擎使用yarn作為調(diào)度引擎）
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.3yarn-site.xml僅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主機(jī)名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置計(jì)算MapReduce計(jì)算服務(wù)
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hmaster</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

4、基本配置完畢，先格式化namenode節(jié)點(diǎn)
Hdfs namenode -format
start-dfs.sh 啟動(dòng)Hadoop集群所有節(jié)點(diǎn)
stop-dfs.sh 停止Hadoop集群所有節(jié)點(diǎn)
啟動(dòng)namenode節(jié)點(diǎn)（master）
hdfs --daemon start namenode （3.0寫(xiě)法）
hdfs --daemon stop namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
jps查看相關(guān)進(jìn)程是否起來(lái)
hdfs dfsadmin -report | more 查看Hadoop集群的狀態(tài)
http://172.26.19.40:50070/ Hadoop集群UI管理界面
http://172.26.19.40:9000/ 集群內(nèi)部通信接口服務(wù)
5、僅在namenode節(jié)點(diǎn)/usr/local/hadoop/etc/hadoop下
在slaves文件里添加所有DataNode節(jié)點(diǎn)hostname（方便以后腳本批量配置所有slaves節(jié)點(diǎn)）
vim slaves
hslave1
hslave2
hslave3
6、免密設(shè)置
cd ~ 來(lái)到根目錄 ll -a 找到.ssh 文件
在.ssh目錄執(zhí)行 ssh-keygen -t rsa 生成root用戶私鑰與公鑰如下圖
然后將公鑰id_rsa.pub 拷貝到所有slave節(jié)點(diǎn).ssh目錄
（在master 上用root登錄slave時(shí)，用master的私鑰加密后傳輸?shù)絪lave節(jié)點(diǎn)，在所有slave節(jié)點(diǎn)拷貝的公鑰能解密，證明是root用戶登錄上來(lái)了）
執(zhí)行命令 Ssh-copy-id slave2 拷貝公鑰id_rsa.pub 到slave2的.ssh目錄（生成文件authorized_keys）
這時(shí)在master上可以免密登錄slave1了