Hadoop偽分布式集群搭建總結(jié)

                                           Hadoop偽分布式集群搭建總結(jié)

一、所需軟件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安裝
注意：
對(duì)文件進(jìn)行編輯：輸入a，表示對(duì)該文件進(jìn)行編輯，最后保存該文件，操作為：點(diǎn)擊鍵盤上的Esc按鈕，然后輸入英文的:字符，再輸入wq，點(diǎn)擊回車，完成文件的保存。
1、關(guān)閉防火墻和禁用SELINUX
（1）、永久關(guān)閉防火墻，重啟Linux系統(tǒng)

（2) 、禁用SELINUX：修改文件參數(shù) 重啟Linux使其生效

（3）、檢查防火墻是否運(yùn)行，顯示下圖即為關(guān)閉

2、配置hostname與IP地址之間的對(duì)應(yīng)關(guān)系
（1）、查看自己的IP

（2）、查看自己的hostname

（3）、配置對(duì)應(yīng)關(guān)系

注意：IP與hostname之間有空格
3、創(chuàng)建用戶
（1），創(chuàng)建hadoop用戶

（2）、為hadoop用戶設(shè)置密碼

4、配置 SSH免密登錄
（1）、檢查自己系統(tǒng)是否安裝SSH

注意：若沒安裝SSH則在有網(wǎng)的情況下可輸入：yum install openssh-server 進(jìn)行安裝。
（2）、為hadoop用戶配置SSH免密登錄

注意：一定要切換到hadoop用戶下并進(jìn)入“~”目錄！

注意：輸入ssh-keygen -t rsa后一直回車即可！
然后進(jìn)入.ssh目錄進(jìn)行以下操作

注意：“authorized_keys”一定要準(zhǔn)確！**``**
進(jìn)入“~”目錄為.ssh目錄及其文件賦予相應(yīng)權(quán)限

5、JDK安裝
（1）、創(chuàng)建存放軟件目錄

（2）、上傳解壓jdk

注意：確保紅框內(nèi)權(quán)限為hadoop的！如果為root，可進(jìn)入root用戶修改為hadoop， 命令為:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新進(jìn)入hadoop用戶進(jìn)行解壓
（3）、為jdk1.8.0_211創(chuàng)建軟連接

（4）、配置bashrc文件

使配置文件生效

（5）、驗(yàn)證JDK是否安裝成功，顯示下圖即為成功

6、hadoop安裝及配置
（1）、上傳解壓hadoop

注意：確保紅框內(nèi)權(quán)限為hadoop的！如果為root，可進(jìn)入root用戶修改為hadoop 命令為：chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新進(jìn)入hadoop用戶進(jìn)行解壓

（2）、進(jìn)入hadoop配置文件目錄進(jìn)行相應(yīng)文件配置

配置core-site.xml vi core-site.xml

注意：箭頭所指應(yīng)為自己的hostname
配置hdfs-site.xml vi hdfs-site.xml

配置hadoop-env.sh vi hadoop-env.sh

注意：此路徑為JDK的安裝目錄
配置mapred-site.xml vi mapred-site.xml

配置yarn-site.xml vi yarn-site.xml

配置slaves vi slaves

注意：此為自己的hostname
（3）、為hadoop-2.7.3創(chuàng)建軟連接

（4）、配置bashrc文件

使配置文件生效

（5）、創(chuàng)建hadoop相關(guān)數(shù)據(jù)目錄

（6）、格式化Namenode hadoop namenode -format

注意：出現(xiàn)以上2個(gè)信息即為成功！如果出現(xiàn)要輸入密碼等情況，檢查自己的SSH免密登錄是否配置正確?。。?
（7）、啟動(dòng)hadoop偽分布式集群

注意：出現(xiàn)以上信息輸入yes即可?。。?/strong>
（8）、通過jps命令查看hadoop的啟動(dòng)進(jìn)程

注意：出現(xiàn)以上5個(gè)進(jìn)程即為hadoop偽分布式集群?jiǎn)?dòng)成功