Hadoop的三種模式的安裝

Hadoop的三種模式的安裝

一．Hadoop的三種模式

1.單節(jié)點(diǎn)模式

2.偽分布模式，一般用于測(cè)試

3.完全分布模式，集群環(huán)境，常用

Hadoop 主從節(jié)點(diǎn)分解:

二．安裝環(huán)境

1.單機(jī)模式，一臺(tái)主機(jī)，172.25.22.10

2.偽分布模式，一臺(tái)主機(jī)，172.25.22.11

3.完全分布模式，三臺(tái)主機(jī)，172.25.22.10 11 12

軟件包：

hadoop-1.2.1.tar.gz

jdk-7u79-linux-x64.tar.gz

三．配置步驟之單機(jī)模式

注意：在配置環(huán)境時(shí)，最好以一個(gè)普通用戶的身份去配置，三種模式都是以普通用戶hadoop身份運(yùn)行的

1.

單機(jī)模式只有一個(gè)節(jié)點(diǎn)，只需將hadoop包解壓到相應(yīng)的位置下即可，本次解壓的目錄是在/home/hadoop下,然后做一個(gè)軟鏈接，方便之后切換目錄。和修改配配置文件中文件目錄的位置

ln -s hadoop-1.2.1/ hadoop

ln -s jdk1.7.0_79/ java

2.修改一下配置文件

將java的目錄寫(xiě)進(jìn)去

3.下一步配置ssh 無(wú)密碼登陸到本機(jī)

ssh-keygen

ssh-copy-id 172.25.22.10

配置完成，可以直接ssh localhost到本機(jī)

4.配置完成后，測(cè)試

首先建立一個(gè)input 目錄

mkdir input

Cp conf/*.xml input/

拿一個(gè)例子測(cè)試一下，

bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'

Output輸出的目錄可自動(dòng)生成

看到hadoop里邊有這個(gè)目錄，而且可以查看

如果拿網(wǎng)頁(yè)看的話

http://172.25.22.10:50070/dfshealth.jsp 可以看到hdfs中保存的文件

http://172.25.22.10:50030/jobtracker.jsp 可以看到正在處理的過(guò)程

四．偽分布模式的配置

由于偽分布模式也是在一個(gè)節(jié)點(diǎn)上，在單節(jié)點(diǎn)的模式下，配置其幾個(gè)配置文件

1.編輯其conf下的配置文件

#####vim core-site.xml 添加內(nèi)容

<property>

    <name>fs.default.name</name>

    <value>hdfs://172.25.22.10:9000</value>

    </property>

#####vim mapred-site.xml

<property>

    <name>mapred.job.tracker</name>

    <value>172.25.22.10:9001</value>

    </property>

######vim hdfs-site.xml

<property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

配置文件修改完成

2.對(duì)hadoop進(jìn)行格式化

bin/hadoop namenode -format

3.開(kāi)啟所有進(jìn)程

bin/start-all.sh

4.查看進(jìn)程

/home/hadoop/java/bin/jps

所有的進(jìn)程都在這一個(gè)節(jié)點(diǎn)上，

JobTracker  #####負(fù)責(zé)任務(wù)調(diào)度

TaskTracker #####負(fù)責(zé)數(shù)據(jù)處理

SecondaryNameNode

NameNode  #####包含元數(shù)據(jù)信息

DataNode   #####數(shù)據(jù)節(jié)點(diǎn)，存儲(chǔ)數(shù)據(jù)

5.測(cè)試

bin/hadoop -put conf/ input

bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'

這里的input 和之前那個(gè)input是完全不一樣的，這個(gè)是存儲(chǔ)在分布式文件系統(tǒng)中的

用網(wǎng)頁(yè)查看可以看到

三臺(tái)主機(jī)

五．完全分布式的配置

三臺(tái)主機(jī)：

172.25.22.10  master

172.25.22.11  slave

172.25.22.12  slave

三臺(tái)主機(jī)的配置是一樣的，所以怎么使slave主機(jī)和master主機(jī)配置文件都相同呢？Scp的方式可以，但是會(huì)比較麻煩，所以考慮到nfs共享

1.在偽分布模式三個(gè)配置文件已經(jīng)配置完成的基礎(chǔ)下，配置master slave文件

2.配置nfs文件共享

在三臺(tái)主機(jī)上，首先需要安裝的服務(wù)

yum install -y rpcbind

yum install -y nfs-utils

開(kāi)啟rpcbind服務(wù)

3.配置exports文件

/home/hadoop   172.25.22.0/255.255.255.0(rw,anonuid=900,anongid=900)

exports -v

exportfs -rv

4.由于slave節(jié)點(diǎn)要和master節(jié)點(diǎn)的文件同步

所以在slave節(jié)點(diǎn)上

showmount -e 172.25.22.10

mount 172.25.22.10:/home/hadoop/ /home/hadoop/

可以看到文件都同步過(guò)去

5.在master節(jié)點(diǎn)上要給普通用戶hadoop設(shè)置密碼

然后

ssh-keygen

ssh-copy-id 172.25.22.10

這樣就可以實(shí)現(xiàn)三臺(tái)主機(jī)以普通用戶登陸的無(wú)密碼的交互

配置完成，需要測(cè)試：

注意：如果在剛開(kāi)始的時(shí)候，是在root用戶下安裝的hadoop，那么想在普通用戶下搭建的話，首先三臺(tái)主機(jī)創(chuàng)建一個(gè)相同名字的用戶，并且uid gid 都要保持一致，然后把在root下做的目錄遷移過(guò)去

mv hadoop-1.2.1/ /home/hadoop/

并且要修改這個(gè)目錄的歸屬組和歸屬用戶

chown  hadoop.hadoop /home/hadoop/* -R

軟鏈接和java環(huán)境的修改

6.用分布式環(huán)境測(cè)試一下

首先格式化，然后打開(kāi)所有的進(jìn)程

bin/hadoop namenode -format

bin/start-all.sh

看各個(gè)節(jié)點(diǎn)的進(jìn)程

測(cè)試程序，執(zhí)行一個(gè)wordcount例子

bin/hadoop fs -put conf/ input

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output