linux中如何搭建hadoop單機(jī)模式

這篇文章將為大家詳細(xì)講解有關(guān)linux中如何搭建hadoop單機(jī)模式，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

運(yùn)行環(huán)境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虛擬機(jī)版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安裝步驟

1．安裝ubuntu

虛擬機(jī)安裝ubuntu時安裝完一個虛擬機(jī)后可選擇clone直接復(fù)制出來相同的克隆版本省去安裝時間

安裝ubuntu并建立hadoop用戶，為后續(xù)集群ssh通道做預(yù)備，不建議使用root用戶進(jìn)行一系列操作，具體原因百度，root遠(yuǎn)程可對系統(tǒng)資源進(jìn)行任意修改，切記，具體shell腳本如下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目錄下新建一個與用戶名相同的文件夾
#-g指的是添加用戶組
passwd hadoop
#回車后將密碼設(shè)置成123456 ps:密碼限于開發(fā)調(diào)試，生產(chǎn)環(huán)境切勿大意，設(shè)立復(fù)雜度高密碼保障安全

1．安裝jvm

下載Java對應(yīng)版本的tar.gz包如下圖所示

Ps：centos下 下載rpm包可直接使用RPM命令進(jìn)行安裝，ubuntu下建議使用gz包進(jìn)行安裝，筆者嘗試安裝rpm插件進(jìn)行rpm安裝，把系統(tǒng)搞殘了 有經(jīng)驗(yàn)的大神歡迎留言指導(dǎo)，謝過了

在/usr/lib目錄下新建jvm目錄，將gz包解壓到/usr/lib/jvm目錄下，并將java-***包重命名為java 重命名命令

Mv java-***** java

打開環(huán)境變量預(yù)執(zhí)行文件 gedit /etc/profile

添加這幾行環(huán)境變量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

輸入命令后重啟系統(tǒng)或者直接執(zhí)行source /etc/profile 執(zhí)行預(yù)加載腳本變量

輸入命令java -version 打印出現(xiàn)如上圖所示版本信息，代表jdk安裝成功

2．調(diào)試hadoop單機(jī)運(yùn)行

進(jìn)入hadoop腳本環(huán)境配置文件

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

將JAVA_HOME修改為絕對路徑.

Ps:至于為什么默認(rèn)配置的${JAVA_HOME}不起作用，筆者暫時未找到原因歡迎大神們進(jìn)行補(bǔ)充

#配置hadoop ssh 無密碼登錄 --需求背景，由于hadoop集群動轍幾十上百臺機(jī)器進(jìn)行集群計算

假如進(jìn)行密鑰輸入認(rèn)證會增加許多運(yùn)維的工作量，所以社區(qū)內(nèi)普遍進(jìn)行公有密鑰進(jìn)行交換比對登錄

進(jìn)入hadoop用戶home目錄 /home/hadoop/ 找到 .ssh 目錄沒有則新建，注意將文件夾所有權(quán)修改為hadoop用戶所有

安裝ssh服務(wù)

sudo apt-get install openssh-server
sudo apt-get install openssh-client

嘗試輸入命令ssh localhost 出現(xiàn)輸入密碼界面則代表ssh服務(wù)端與客戶端安裝成功

l 配置免密碼登錄

進(jìn)入hadoop用戶home目錄下

cd /home/hadoop

能看見.sshwe文件夾，進(jìn)入.ssh文件夾

執(zhí)行一下命令生成ssh免登錄的公鑰和私鑰

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

這個命令會在.ssh文件夾下創(chuàng)建id_dsa和id_dsa.pub兩個文件，這是SSH的一對私鑰和公鑰

現(xiàn)在把id_dsa.pub追加到公鑰中去，執(zhí)行以下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

現(xiàn)在切換到hadoop用戶登錄，在嘗試用ssh進(jìn)行遠(yuǎn)程連接

ssh localhost是不是得到以下畫面

代表免登錄配置成功

進(jìn)入hadoop目錄/opt/hadoop/hadoop/

執(zhí)行./sbin/start-all.sh 腳本啟動hadoop

由于是單機(jī)運(yùn)行hadoop，nameNode 和 Jobtracker都沒有啟動如何查看hadoop是否啟動呢？

查看HDFS文件系統(tǒng)

./bin/hadoop fs -ls /

出現(xiàn)以上信息，恭喜，代表你單機(jī)安裝hadoop成功。Hdfs文件結(jié)構(gòu)就是如linux一樣

關(guān)于“l(fā)inux中如何搭建hadoop單機(jī)模式”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。