安裝hadoop和配置hadoop，啟動(dòng)namenode和設(shè)置免密登錄的詳細(xì)解析！

首先安裝hadoop要安裝好java的開發(fā)環(huán)境，配置好jdk

其實(shí)創(chuàng)建一個(gè)hadoop的用戶

cd到這個(gè)用戶的目錄下

創(chuàng)建一個(gè)apps的目錄。以后所有的東西都解壓進(jìn)入apps

解壓后的目錄中的文件如下

這里lib是本地的庫(kù)！

bin是自己的操作命令，

sbin是啟動(dòng)命令！

etc是配置文件

include是本地庫(kù)的頭文件！

我們的jar包在share文件中！

下圖是share包中的目錄

剩下就在前面的etc/hadoop/目錄下的配置文件進(jìn)行配置對(duì)紅線標(biāo)注的配置文件進(jìn)行修改

這里我們先配置hadoop-env.sh

我們將JAVA_HOME的值設(shè)置在此處如下圖，因?yàn)槟阋褂胹sh遠(yuǎn)程連接，所以使用原有的${JAVA_HOME}行不通

第二部在core-site.xml文件中進(jìn)行配置

上圖中的配置第一個(gè)指定hadoop的文件系統(tǒng)，第二個(gè)指定集群每個(gè)主機(jī)的進(jìn)程工作在哪個(gè)數(shù)據(jù)目錄

第三修改hdfs.site.xml

把數(shù)據(jù)保存兩份，做個(gè)備份！

然后修改mapred-site.xml.template

這里指定mapreduce運(yùn)行的平臺(tái)為yarn,否則他默認(rèn)是local.

別忘了執(zhí)行這個(gè)命令

第四接下來(lái)配置yarn-site.xml

裝好之后，設(shè)置hadoop的環(huán)境變量！

主要就是這兩個(gè)！

然后使用scp命令將apps目錄整個(gè)復(fù)制到其他主機(jī)上

也將/etc/profile傳過(guò)去

然后使用

這兩個(gè)命令，一個(gè)是啟動(dòng)namenode節(jié)點(diǎn)，另一個(gè)是查看java的進(jìn)程，這里用了看看namenode進(jìn)行是否啟動(dòng)！

這里就表示已經(jīng)啟動(dòng)了。

然后我們可以在使用ip地址進(jìn)行可視化查看這個(gè)文件系統(tǒng)的各種情況！

http://192.168.150.129:50070/dfshealth.html#tab-overview

這里192.168.150.129是我mini1這個(gè)臺(tái)虛擬機(jī)的ip。又來(lái)做namenode節(jié)點(diǎn)的主機(jī)！

然后我們可能看到使用的空間為0

這是因?yàn)槲覀儧]有啟動(dòng)datanode .所以這里我們隨便啟動(dòng)一個(gè)主機(jī)的datanode

注意一定su hadoop這個(gè)用戶下運(yùn)行

使用命令 hadoop-daemon.sh start datanode

然后使用jps命令查看是否啟動(dòng)datanode的進(jìn)程

如果在jps命令中沒有DataNode那么你就查看，上述的/home/..../hadoop-hadoop-datanode-mini2.log

注意這里唯一與上圖中的不同，在于它是log，而上圖是out

如果想要關(guān)閉這個(gè)datanode,可以使用

這個(gè)命令。

講用腳本啟動(dòng)所有的datanode,和namenode

這里需要修改slaves的配置文件，

將其修改

可以將腳本話啟動(dòng)mini2和mini3作為datanode,mini1啟動(dòng)為namenode,(這里腳本就在mini1中運(yùn)行)

但是要不斷的輸入密碼。所以可以使用免密登錄！?。?！

情形是：我想在mini1中登錄mini2，mini3然后可以免密碼登錄！

我們可以在mini1中使用命令ssh-keygen產(chǎn)生秘鑰

然后依次拷貝到其他主機(jī)上

然后就可以正常使用了

這里我們看出來(lái)完全不用輸入密碼就可以直接啟動(dòng)?。?！

配置完全后我們可以直接啟動(dòng)腳本！將slaves里面配置的全部啟動(dòng)??！

我們可以看出來(lái)，并沒有輸入任何密碼

當(dāng)然我們也可以使用命令直接將全部的都停止掉stop-dfs.sh