Hadoop0.20.0部署與測(cè)試中的單機(jī)和偽分布模式操作方法是什么

這篇文章將為大家詳細(xì)講解有關(guān)Hadoop0.20.0部署與測(cè)試中的單機(jī)和偽分布模式操作方法是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

1.單機(jī)模式Local(Standalone)Mode

默認(rèn)情況下，Hadoop被配置成以非分Java布式模式運(yùn)行的一個(gè)獨(dú)立進(jìn)程。這對(duì)調(diào)試非常有幫助。
經(jīng)過上述配置，就可以運(yùn)行單機(jī)模式了。具體操作請(qǐng)查看手冊(cè)

2.偽分布式模式的操作方法

Hadoop0.20.0部署中Hadoop可以在單節(jié)點(diǎn)上以所謂的偽分布式模式運(yùn)行，此時(shí)每一個(gè)Hadoop守護(hù)進(jìn)程都作為一個(gè)獨(dú)立的Java進(jìn)程運(yùn)行。
0.20版本較之前版本比配置文件有較大改動(dòng)，由原來全部配置在hadoop-site.xml改為分別配置在以下三個(gè)文件中：
conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml

具體配置查看手冊(cè)
以conf/core-site.xml為例:

<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

如果出現(xiàn)連接錯(cuò)誤，可以嘗試將了localhost替換為本機(jī)IP或127.0.0.1

Hadoop0.20.0部署中免密碼ssh設(shè)置
現(xiàn)在確認(rèn)能否不輸入口令就用ssh登錄localhost:
$sshlocalhost
如果不輸入口令就無法用ssh登陸localhost，執(zhí)行下面的命令：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

執(zhí)行
格式化一個(gè)新的分布式文件系統(tǒng)：
$bin/hadoopnamenode-format

啟動(dòng)Hadoop守護(hù)進(jìn)程：
$bin/start-all.sh

Hadoop守護(hù)進(jìn)程的日志寫入到${HADOOP_LOG_DIR}目錄(默認(rèn)是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：
*NameNode-http://localhost:50070/
*JobTracker-http://localhost:50030/
到這步為止，必須要先訪問上面的NameNode網(wǎng)絡(luò)接口,當(dāng)頁面能正常顯示HDFS的狀態(tài)時(shí)，才能正常進(jìn)行下面的步驟。

1.點(diǎn)擊Browsethefilesystem,***次進(jìn)入可能會(huì)返回一個(gè)404錯(cuò)誤頁面。
2.返回上一頁，刷新頁面，這時(shí)候應(yīng)該會(huì)出現(xiàn)下圖所示畫面，這就表明DFS已經(jīng)正常工作(即DFSUsed等數(shù)值不再顯示為0)。
3.如果不行就反復(fù)操作1，2步驟，直至成功。

將輸入文件拷貝到分布式文件系統(tǒng)：$bin/hadoopfs-putconfinput
運(yùn)行發(fā)行版提供的示例程序：$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'

查看輸出文件：
將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看：
$bin/hadoopfs-getoutputoutput
$catoutput/*
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統(tǒng)上查看輸出文件：

$bin/hadoopfs-catoutput/*  $bin/hadoopfs-catoutput/*  3dfs.class  2dfs.period  1dfs.file  1dfs.replication  1dfs.servers  1dfsadmin  1dfsmetrics.log  3 dfs.class  2 dfs.period  1 dfs.file  1 dfs.replication  1 dfs.servers  1 dfsadmin  1 dfsmetrics.log

完成全部操作后，停止守護(hù)進(jìn)程：$bin/stop-all.sh

Hadoop0.20.0部署與測(cè)試中的命令（Command）總結(jié)

這部分內(nèi)容其實(shí)可以通過命令的Help以及介紹了解，我主要側(cè)重于介紹一下我用的比較多的幾個(gè)命令。Hadoopdfs這個(gè)命令后面加參數(shù)就是對(duì)于HDFS的操作，和Linux操作系統(tǒng)的命令很類似，例如：
Hadoopdfs–ls就是查看/usr/root目錄下的內(nèi)容，默認(rèn)如果不填路徑這就是當(dāng)前用戶路徑；
Hadoopdfs–rmrxxx就是刪除目錄，如果多次執(zhí)行，則每次執(zhí)行前可以用此命令刪除已存在的文件夾內(nèi)容；
Hadoopdfsadmin–report這個(gè)命令可以全局的查看DataNode的情況；
Hadoopjob后面增加參數(shù)是對(duì)于當(dāng)前運(yùn)行的Job的操作，例如list,kill等；
Hadoopbalancer就是前面提到的均衡磁盤負(fù)載的命令。

關(guān)于Hadoop0.20.0部署與測(cè)試中的單機(jī)和偽分布模式操作方法是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。