hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法

本篇內(nèi)容主要講解“hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法”吧!

配前準(zhǔn)備

一.   安裝環(huán)境：Ubuntu 14.04 ---------一共三臺(tái)機(jī)器

其中一臺(tái)namenode＋jobtracker (master) , 兩臺(tái) datanode + tasktracker(hadoop, salve1)

下表為各個(gè)機(jī)器的具體內(nèi)容

ip                     username/password  hostname

10.60.38.165    hadoop/123456          hadoop

10.60.38.166     hadoop/123456         master

10.60.38.155     hadoop/123456         salve1  (......居然拼錯(cuò)了，我靠）

在每臺(tái)機(jī)器的/etc/hosts 下面 添加

10.60.38.165     hadoop

10.60.38.166     master

10.60.38.155     salve1

使得各臺(tái)機(jī)器相互之間可以ping通(通過hostname可以ping）

（ps: /etc/hosts 里面的數(shù)據(jù)全部清空，只留上面的三個(gè) 以及第一項(xiàng): 127.0.0.1   localhost )

二.    SSH 無密碼驗(yàn)證配置

1.因?yàn)榇蟛糠諰inux里面默認(rèn)已經(jīng)安裝好了ssh，我在安裝時(shí)已經(jīng)默認(rèn)安裝好，但是ssh service 沒有安裝，使用 sudo apt-get install openssh-server 來安裝 ssh service。（確保 22端口號(hào)處于監(jiān)聽狀態(tài)：netstat -nat 查看）

2.在每臺(tái)機(jī)器上都執(zhí)行 下面命令： ssh-kengen -t rsa -P ""

一路enter (將密鑰的位置保存在默認(rèn)的路徑下）

在user的當(dāng)前目錄下出現(xiàn)目錄/.ssh(默認(rèn)的權(quán)限為700）

里面生成兩個(gè)文件 id_rsa 和 id_rsa.pub

3.接著在 Master 節(jié)點(diǎn)上做如下配置把id_rsa.pub 追加到授權(quán)的key 里面

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

4.下面在其他兩臺(tái)機(jī)器上依次執(zhí)行命令將各自生成的id_rsa.pub 添加到Master 下的authorized_keys 里面

cat id_rsa.pub | ssh hadoop@master  "cat >> ~/.ssh/authorized_keys  ( 此時(shí) ssh 到 另外一臺(tái)機(jī)器上 需要另外一臺(tái)機(jī)器的密碼）

5.最后將Master 機(jī)器上得到的 authorized_keys 依次添加到 各臺(tái)機(jī)器的 /home/hadoop/.ssh 目錄下

scp authorized_keys hadoop@hadoop :~/.ssh

scp authorized_keys hadoop@salve1:~/.ssh

6.配置完成后在每一臺(tái)機(jī)器上都可以無密碼驗(yàn)證登錄另外一臺(tái)機(jī)器了。于是這一步搞定。

在每臺(tái)機(jī)器上安裝jdk 和 Hadoop 

配置Hadoop (此處我的版本為hadoop0.20.2，jdk1.7）

----在配置文件中設(shè)值時(shí)，兩邊千萬不能有空格，不然無效。

接下來配置配置文件：hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml

PS:

對(duì)于hadoop-env.sh 各個(gè)節(jié)點(diǎn)的配置都是相同的。

對(duì)于master節(jié)點(diǎn)，需要額外配置slaves 文件，在里面添加各個(gè)datanode  的ip 地址

下面附上master節(jié)點(diǎn)與Hadoop節(jié)點(diǎn)的配置（salve1與Hadoop類似，只需修改對(duì)于的ip,這里我已經(jīng)大部分采用系統(tǒng)默認(rèn)配置，所以無需更改）

hadoop-env.sh:

export JAVA_HOME=/opt/jdk1.7

(就在最后面加上即可）

core-site.xml:

<configuration>

        <property>

                    <name>fs.default.name</name>

                    <value>hdfs://master:9000</value>

        </property>

</configuration>

ps: 這里當(dāng)我添加屬性 hadoop.tmp.dir 改變其默認(rèn)路徑時(shí)，集群在啟動(dòng)時(shí)報(bào)錯(cuò)。。。。未解，先暫時(shí)啟用默認(rèn)路徑。還望大神指教。

hdfs-site.xml:

<configuration>

        <property>

                    <name>dfs.webhdfs.enabled</name>

                    <value>true</value>

        </property>

</configuration>

<configuration>

        <property>

                    <name>dfs.replication</name>

                    <value>2</value>

        </property>

</configuration>

mapred-site.xml:

<configuration>

        <property>

                    <name>mapred.job.tracker</name>

                    <value>10.60.38.166:9001</value>

        </property>

</configuration>

slaves:

10.60.38.165      hadoop

10.60.38.155      salve1

masters:

master

在master節(jié)點(diǎn)配置好了然后復(fù)制到各個(gè)Datanode 節(jié)點(diǎn)。

注意：這里的master, slaves 文件在復(fù)制的時(shí)候可以不用變動(dòng)，系統(tǒng)會(huì)自動(dòng)忽略。而且配置都不需要改變，因?yàn)橐呀?jīng)盡量采用了默認(rèn)配置

---------------------------------------------------------------------------------------------------------------------

測(cè)試運(yùn)行

經(jīng)過以下幾步：

1.create some files（file01.txt, file02.txt) 

2.hadoop fs -mkdir input

3.hadoop fs -put file*.txt input

4.hadoop jar /opt/hadoop/hadoop-0.20.2-examples.jar wordcount input output

5.hadoop fs -ls output

6.hadoop fs -cat output/part-r-00000

最得到結(jié)果:

;slkdfj 1

aer 1

apple 1

are 1

asfjjjf 1

c++ 1

fj 1

hello 2

java 3

tantairs 1

world 4

到此，相信大家對(duì)“hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！