hadoop偽分布式如何搭建

這篇文章將為大家詳細(xì)講解有關(guān)hadoop偽分布式如何搭建，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

首先需要配置JDK，大家可以從網(wǎng)上找到許多教程。

個(gè)人感覺(jué)是，在Linux下配置環(huán)境，最重要的是掌握shell的一些命令及其格式，不然可能遇到各種命令格式上的錯(cuò)誤，耽誤大量的時(shí)間。

1 下載的 jdk 1.7 ,存放到 “ /home/sr/setup/java-jdk-1.8/”目錄。下載的文件是 ” jdk-8u65-linux-x64.tar.gz”,java jdk 的版本常常有更新,次版本號(hào)有可能 更高一點(diǎn)。

2 "sudo su -"       ps：這里我用的是“sudo -i”
切換到 root 用戶,參考 ” man sudo”。這個(gè)命令會(huì)切換到 root 用戶,也就是最高權(quán)限的用戶。因?yàn)楹竺嬉獔?zhí)行的
jdk 安裝操作是在/usr/local 目錄下進(jìn)行的,用 root 用戶更方便。

3 "cd /usr/local/lib"

4 "tar -zxvf /home/sr/setup/java-jdk-1.8/jdk-8u65-linux-x64.tar.gz"  ps: sr是作者的用戶名，請(qǐng)改成自己的！
tar 是 linux 下的打包和解壓命令行工具,具體細(xì)節(jié)可以參考 ” man tar” 。這個(gè)命令將 jdk-8u65-linux-x64.tar.gz 壓縮包解壓到當(dāng)前目錄下。解壓縮完畢之后,執(zhí)行"ls",能看到當(dāng)前目錄下有一個(gè)新目錄叫"jdk 1.8.0_65"

5 配置環(huán)境變量:4.5.1 “gedit /etc/profile”
gedit 是 linux 下類(lèi)似 Windoes 的記事本的編輯器,文件/etc/profile 是 linux 下的配置文件。本命令會(huì)打開(kāi)這個(gè)
配置文件,以備編輯。

6 添加配置
在/etc/profile 文件末尾加上如下的三行代碼:  ps：注意更改自己的JDK版本
export JAVA_HOME=/usr/local/lib/jdk1.8.0_65  
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

7  "source /etc/profile"使配置立即生效

8 "java -version"
這條命令檢查 jdk 安裝是否成功。

其次，下載hadoop2.7.1放到” /home/sr/setup/hadoop”目錄

hadoop stable版下載鏈接：

http://mirror.esocc.com/apache/hadoop/common/stable/

1 "su sr"
su 命令,切換用戶。安裝 jdk 用的是 root 用戶。現(xiàn)在切回 sr 用戶。

2 "mkdir -p ~/usr/hadoop"創(chuàng)建 Hadoop 的安裝目錄

3 "cd ~/usr/hadoop"

4 "tar -xvzf ~/setup/hadoop/hadoop-2.7.1.tar.gz"解壓縮完畢后,就有目錄~/usr/hadoop/hadoop-2.7.1,這是 hadoop 的主目錄

5 配置偽分布式 hadoop：

配置文件在~/usr/hadoop/hadoop-2.7.1/etc/hadoop目錄下
 將 core-site.xml 文件內(nèi)容修改成如下:  ps：注意是在<configuration>  </configuration>中間添加
<configuration>
<property><name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
將 mapred-site.xml 文件內(nèi)容修改如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
 將 hdfs-site.xml 文件內(nèi)容修改如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

在 hadoop-env.sh 文件里添加如下一條語(yǔ)句:
export JAVA_HOME=/usr/local/lib/jdk 1.8.0_65

6 "sudo apt-get install ssh rsync"這條命令安裝 ssh 和 rsync。 ssh 是一個(gè)很著名的安全外殼協(xié)議 Secure Shell Protocol。 rsync 是文件同步命令行工具。

7 "ssh-keygen -t dsa -f ~/.ssh/id_dsa"執(zhí)行這條命令生成 ssh 的公鑰/私鑰,執(zhí)行過(guò)程中,會(huì)一些提示讓輸入字符,直接一路回車(chē)就可以。

8 "cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys"ssh 進(jìn)行遠(yuǎn)程登錄的時(shí)候需要輸入密碼,如果用公鑰/私鑰方式,就不需要輸入密碼了。上述方式就是設(shè)置公鑰/私鑰登錄。

9 “ssh localhost”第一次執(zhí)行本命令,會(huì)出現(xiàn)一個(gè)提示,輸入 ” yes”然后回車(chē)即可。

10 "cd ~/usr/hadoop/hadoop-2.7.1"

11 "./bin/hadoop namenode -format"格式化 NameNode。

12 "./sbin/start-all.sh"啟動(dòng)所有節(jié)點(diǎn),包括 NameNode, SecondaryNameNode, JobTracker, TaskTracker, DataNode。

13 “jps”檢查各進(jìn)程是否運(yùn)行,這時(shí),應(yīng)該看到有 6 個(gè) java 虛擬機(jī)的進(jìn)程,分別是 Jps, NameNode, SecondaryNameNode,DataNode, JobTracker, TaskTracker,看到 6 個(gè)是對(duì)的,表明啟動(dòng)成功。如果提示 ” jps”沒(méi)安裝或者找不到,執(zhí)行一次 ” source /etc/profile”即可。

最后，一起來(lái)運(yùn)行wordcount：

1  "cd ~/usr/hadoop/hadoop-2.7.1"

2 “bin/hadoop fs -mkdir /input”HDFS下創(chuàng)建input文件夾

3 “bin/hadoop fs -put LICENSE.txt  /input”將LICENSE.txt放入文件夾

4“bin/hadoop fs -ls /input”顯示input中內(nèi)容

5“bin/hadoop fs -cat /input/LICENSE.txt”查看文件內(nèi)容

6“bin/hadoop jar /home/sr/usr/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output”運(yùn)行并輸出 PS：請(qǐng)注意絕對(duì)路徑！

關(guān)于“hadoop偽分布式如何搭建”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。