Hadoop分布式集群最快部署配置攻略

本文只是介紹apache hadoop完全分布式的最簡(jiǎn)化部署配置 沒(méi)有對(duì)性能進(jìn)行優(yōu)化
實(shí)際生產(chǎn)環(huán)境hadoop的調(diào)優(yōu)參數(shù)有幾十個(gè)

Hadoop簡(jiǎn)介

Hadoop的框架最核心組成結(jié)構(gòu)就是：HDFS和MapReduce。
HDFS是海量數(shù)據(jù)的分布式存儲(chǔ)方案
MapReduce為海量的數(shù)據(jù)提供了計(jì)算

部署環(huán)境

1. centos 7 3臺(tái)或者4臺(tái) 如果需要secondarynamenode的情況
   分別是namenode datanode0 datanode1 secondarynamenode暫時(shí)不配置

2. hadoop 2.7.5

部署步驟

1. 去官網(wǎng)下載apache hadoop2.7.5的binaray包，是tar.gz格式。直接使用wget或者curl下載到namenode即可。
2. 解壓tar.gz包 使用命令tar xf xxxxxxx-hadoop-xxxx.tar.gz 解壓之后會(huì)看到當(dāng)前目錄下有一個(gè)hadoop的目錄
3. 將解壓后的目錄復(fù)制到相應(yīng)的文件 如：有人習(xí)慣放在/opt下，有人習(xí)慣在/usr/local下，這個(gè)因人而異吧，目前我的做法是創(chuàng)建一個(gè)如/app的目錄，然后將hadoop的目錄復(fù)制到這個(gè)目錄下，操作如下：mkdir /app 創(chuàng)建一個(gè)app目錄 然后使用cp -r hadoop-xxxx /app/ 將hadoop-xxxx的目錄復(fù)制到/app/下，這里注意 -r參數(shù)
4. 配置ssh免密登錄權(quán)限，也就是要讓namenode可以無(wú)密碼登錄其他的節(jié)點(diǎn)
5. 配置etc/hadoop/core-site.xml
   指定namenode
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://namenode/</value>
   </property>
6. 配置etc/hadoop/hdfs-site.xml
   指定副本數(shù)量
   <property>
   <name>dfs.replication</name>
   <value>1</value>
   </property>
7. 配置etc/hadoop/yarn.xml
   指定資源管理器的主機(jī)
   <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>localhost</value>
   </property>
   指定節(jié)點(diǎn)管理器的主機(jī)
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>

8. 配置etc/hadoop/mapred-site.xml
   指定mapreduce框架
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>

9. 配置etc/hadoop/slave文件，將datanode添加進(jìn)去，本文環(huán)境就是datanode0和datanode1

10. 從namenode將hadoop的目錄復(fù)制到其他節(jié)點(diǎn)，包括所有的binary，腳本，配置文件，默認(rèn)其他節(jié)點(diǎn)的目錄位置和結(jié)構(gòu)與namenode一致

11. 格式化hdfs
    hdfs namenode -format

12. 使用sbin/start-all.sh啟動(dòng)集群即可