您好,登錄后才能下訂單哦!
這篇文章給大家分享的是有關(guān)樹莓派如何搭建hadoop集群的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考,一起跟隨小編過來看看吧。
Hadoop是由Java實(shí)現(xiàn)的, 所以在樹莓派上運(yùn)行就和在其他x86平臺(tái)上運(yùn)行一樣簡(jiǎn)單. 首先, 我們需要安裝支持樹莓派的JVM. 可以選用OpenJDK或者Oracle的JDK 8. 我個(gè)人推薦JDK8, 其速度稍微快些, 但是OpenJDK安裝更容易些.
1. 安裝Java
安裝OpenJDK十分簡(jiǎn)單, 只要執(zhí)行以下命令
pi@raspberrypi ~ $ sudo apt-get install openjdk-7-jdk pi@raspberrypi ~ $ java -version java version "1.7.0_07" OpenJDK Runtime Environment (IcedTea7 2.3.2) (7u7-2.3.2a-1+rpi1) OpenJDK Zero VM (build 22.0-b10, mixed mode)
另外, 我們可以選擇安裝Oracle的JDK 8.
可以從這獲得: https://jdk8.java.net/fxarmpreview/index.html
pi@raspberrypi ~ $sudo tar zxvf jdk-8-ea-b36e-linux-arm-hflt-*.tar.gz -C /opt pi@raspberrypi ~ $sudo update-alternatives --install "/usr/bin/java" "java" "/opt/jdk1.8.0/bin/java" 1 pi@raspberrypi ~ $ java -version java version "1.8.0-ea" Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e) Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)
如果你兩個(gè)都裝了, 用以下命令來切換即可:
sudo update-alternatives --config java
2. 新增一個(gè)hadoop系統(tǒng)用戶
pi@raspberrypi ~ $ sudo addgroup hadoop pi@raspberrypi ~ $ sudo adduser --ingroup hadoop hduser pi@raspberrypi ~ $ sudo adduser hduser sudo
3. 設(shè)置SSH
pi@raspberrypi ~ $ su - hduserhduser@raspberrypi ~ $ ssh-keygen -t rsa -P ""
這會(huì)生成一個(gè)匹配空密碼的RSA密鑰. 在與其他節(jié)點(diǎn)通訊時(shí)Hadoop將不再提示輸入密碼
hduser@raspberrypi ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
現(xiàn)在設(shè)置SSH允許用剛生成的密鑰訪問
hduser@raspberrypi ~$ ssh localhost
現(xiàn)在我們就應(yīng)該可以不使用密碼也可以登錄了
4. 安裝Hadoop
我們可以從http://www.apache.org/dyn/closer.cgi/hadoop/core下載hadoop
hduser@raspberrypi ~$ wget http://mirror.catn.com/pub/apache/hadoop/core/hadoop-1.1.2/hadoop-1.1.2.tar.gz hduser@raspberrypi ~$sudo tar vxzf hadoop-1.1.2.tar.gz -C /usr/local hduser@raspberrypi ~$cd /usr/local hduser@raspberrypi /usr/local$ sudo mv hadoop-1.1.2 hadoop hduser@raspberrypi /usr/local$ sudo chown -R hduser:hadoop hadoop
現(xiàn)在hadoop就安裝好了. 編譯home目錄下的.bashrc文件, 將以下內(nèi)容添加到其中
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-armhf export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin
如果你用的是oracle的JDK, 相應(yīng)的修改JAVA_HOME.
重啟一下樹莓派來驗(yàn)證安裝是否成功:
hduser@raspberrypi ~$ hadoop version Hadoop 1.1.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/ branch-1.1 -r 1440782 Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013 From source with checksum c720ddcf4b926991de7467d253a79b8b
5. 配置Hadoop
注意: 這里的配置是hadoop單節(jié)點(diǎn)模式的最低配.
配置文件位于"/usr/local/hadoop/conf/", 我們需要修改core-site.xml, hdfs-site.xml, mapred-site.xml三個(gè)文件
core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/fs/hadoop/tmp</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:54310</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:54311</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
哦了, 即將完工, 還剩最后一步.
hduser@raspberrypi ~$ sudo mkdir -p /fs/hadoop/tmp hduser@raspberrypi ~$ sudo chown hduser:hadoop /fs/hadoop/tmp hduser@raspberrypi ~$ sudo chmod 750 /fs/hadoop/tmp hduser@raspberrypi ~$hadoop namenode -format
注意:
如果選用的是JDK 8, 我們需要強(qiáng)制在JVM client模式下運(yùn)行DataNode, 因?yàn)镴DK 8還不支持server模式. 進(jìn)入/usr/local/hadoop/bin目錄中來編輯hadoop文件(請(qǐng)先備份). 使用nano進(jìn)行修改的步驟如下:nano hadoop, ctrl-w輸入“-server”進(jìn)行查找. 我們需要?jiǎng)h除“-server”這個(gè)參數(shù), 然后保存退出就行了.
hadoop單節(jié)點(diǎn)系統(tǒng)就算是搭建完成了. 下面給一些有用的命令.
1. jps // 輸出本地VM標(biāo)識(shí)符 2. start-all.sh // 啟動(dòng)所有hadoop進(jìn)程 3. stop-all.sh // 停止所有hadoop進(jìn)程
感謝各位的閱讀!關(guān)于“樹莓派如何搭建hadoop集群”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí),如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。