hadoop 搭建過程中的一些坑

俺是按照下面這篇文章進(jìn)行搭建的：

http://cio.51cto.com/art/201705/539356.htm

說實(shí)話，上面這篇文章很好。幾乎不用改。一步一步按照搭建，沒有問題。

俺遇到的坑是：

1. master連接不上slave.這可咋辦。配置文件都沒問題啊。

   

   解決方法： namenode經(jīng)過多次格式化，產(chǎn)生了多個(gè)clusterID導(dǎo)致。（往后不敢隨便格式化玩了）

   只要確保master的clusterID和slaveID一致，就能連上了。

   俺的路徑是：master: hadoop273/hdfs/name/current/VERSION

         slave : hadoop273/hdfs/data/data/VERSION

   就是把VERSION里面的clusterID一樣。其他都不用改。（layoutVersion也不用改。

   這篇文章末尾也有用：http://blog.csdn.net/zzu09huixu/article/details/24725769

   還有這篇：http://blog.csdn.net/longzilong216/article/details/20648387

2. ===============================

   主機(jī)名的問題：/etc/hosts  和  /etc/sysconfig/network  里面，主機(jī)名要一致。

   俺這2個(gè)文件都改了，還是不認(rèn)主機(jī)名。ping主機(jī)名都ping不通。俺不敢重啟。于是

   hostname “主機(jī)名”，用一個(gè)命令臨時(shí)生效。就通了。

3. ==================================

   java，俺是自己安裝的。從網(wǎng)上找的文章：

   http://www.cnblogs.com/shihaiming/p/5809553.html

   安裝完之后，就OK了。

    切記，java版本，和裝hadoop那篇文章中的版本，要相應(yīng)的對(duì)起來。我的意思是，名字要改，   比如我裝的是jdk1.8.0_131.hadoop那篇文章裝的是jdk1.8.0_101. 改一下文件夾名字，就行了。

4.===========================

文中的配置，別隨便亂改。

hadoop 剛開始，我用root安裝的。后來，為了讓hadoop這個(gè)用戶用。我就改了屬組和屬主。并hadoop273(文件夾)和java（文件夾）權(quán)限，全都777.

    chown -R hadoop:hadoop  hadoop273

    chmod -R 777 hadoop273

這下，hadoop可以用了。

后來，為了其他用戶的權(quán)限分配問題。我又改了文件夾權(quán)限(改之前，先備份)：

chmod -R 755 hadoop273

chmod -R 755 java

5.測(cè)試命令：

俺用的是（從別人那里抄來的）：

運(yùn)行示例程序：

先在hdfs上創(chuàng)建一個(gè)文件夾

./bin/hdfs dfs –mkdir /input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter input

就是上面這2條命令，就ok拉。randomwriter 這是個(gè)文件呢還是文件夾，我也不知道。我的系統(tǒng)上反正沒有，但是敲這2條命令，就能測(cè)試出來，是真的。

6.ssh免密登錄：

在啟動(dòng)的時(shí)候：

sbin/start-dfs.sh

sbin/start-yarn.sh

或者:sbin/start-all.sh

就這幾條命令，每次都得輸入密碼。還輸入4次?？蔁┤肆恕＞退銖?fù)制粘貼也還是煩人。

用下面這個(gè)連接，解決了我的問題：

http://blog.csdn.net/firehadoop/article/details/68953541

把master的公鑰拷貝到slave即可。master到slave上面，不用輸密碼。

反過來。slave到master上面，還得輸入密碼。

剛開始，我還以為，master上啟動(dòng)一遍集群，slave上面還得啟動(dòng)一遍。原來，只要在master上面啟動(dòng)了，slave上就自動(dòng)啟動(dòng)了呀。哎哎，才明白。