Hadoop命令的使用分析

這篇文章給大家介紹Hadoop命令的使用分析，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

Hadoop命令

所有的hadoop命令均由bin/hadoop腳本引發(fā)。不指定參數(shù)運(yùn)行hadoop腳本會打印所有命令的描述。
用法：hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一個選項(xiàng)解析框架用于解析一般的選項(xiàng)和運(yùn)行類。

命令選項(xiàng)描述
--configconfdir覆蓋缺省配置目錄。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS多個命令都支持的通用選項(xiàng)。
COMMAND
命令選項(xiàng)S各種各樣的命令和它們的選項(xiàng)會在下面提到。這些命令被分為用戶命令管理命令兩組。

Hadoop命令常規(guī)選項(xiàng)

下面的選項(xiàng)被dfsadmin,fs,fsck和job支持。應(yīng)用程序要實(shí)現(xiàn)Tool來支持常規(guī)選項(xiàng)。
GENERIC_OPTION描述
-conf<configurationfile>指定應(yīng)用程序的配置文件。
-D<property=value>為指定property指定值value。
-fs<local|namenode:port>指定namenode。
-jt<local|jobtracker:port>指定jobtracker。只適用于job。
-files<逗號分隔的文件列表>指定要拷貝到mapreduce集群的文件的逗號分隔的列表。只適用于job。
-libjars<逗號分隔的jar列表>指定要包含到classpath中的jar文件的逗號分隔的列表。只適用于job。
-archives<逗號分隔的archive列表>指定要被解壓到計算節(jié)點(diǎn)上的檔案文件的逗號分割的列表。只適用于job。

用戶命令

hadoop集群用戶的常用命令。
archive
創(chuàng)建一個hadoop檔案文件。參考HadoopArchives.
用法：hadooparchive-archiveNameNAME<src>*<dest>

命令選項(xiàng)描述
-archiveNameNAME要創(chuàng)建的檔案的名字。
src文件系統(tǒng)的路徑名，和通常含正則表達(dá)的一樣。
dest保存檔案文件的目標(biāo)目錄。

distcp
Hadoop命令distcp用于遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。
用法：hadoopdistcp<srcurl><desturl>

命令選項(xiàng)描述
srcurl源Url
desturl目標(biāo)Url

fs

用法：hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
運(yùn)行一個常規(guī)的文件系統(tǒng)客戶端。
各種命令選項(xiàng)可以參考HDFSShell指南。

fsck
Hadoop命令主要用來運(yùn)行HDFS文件系統(tǒng)檢查工具。參考Fsck了解更多。
用法：hadoopfsck[GENERIC_OPTIONS]<path>[-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

命令選項(xiàng)描述
<path>檢查的起始目錄。
-move移動受損文件到/lost+found
-delete刪除受損文件。
-openforwrite打印出寫打開的文件。
-files打印出正被檢查的文件。
-blocks打印出塊信息報告。
-locations打印出每個塊的位置信息。
-racks打印出data-node的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

jar

Hadoop命令主要用來運(yùn)行jar文件。用戶可以把他們的MapReduce代碼捆綁到j(luò)ar文件中，使用這個命令執(zhí)行。
用法：hadoopjar<jar>[mainClass]args...
streaming作業(yè)是通過這個命令執(zhí)行的。參考Streamingexamples中的例子。
Wordcount例子也是通過jar命令運(yùn)行的。參考Wordcountexample。

job

用于和MapReduce作業(yè)交互和命令。
用法：hadoopjob[GENERIC_OPTIONS][-submit<job-file>]|[-status<job-id>]|[-counter<job-id><group-name><counter-name>]|[-kill<job-id>]|[-events<job-id><from-event-#><#-of-events>]|[-history[all]<jobOutputDir>]|[-list[all]]|[-kill-task<task-id>]|[-fail-task<task-id>]

命令選項(xiàng)描述
-submit<job-file>提交作業(yè)
-status<job-id>打印map和reduce完成百分比和所有計數(shù)器。
-counter<job-id><group-name><counter-name>打印計數(shù)器的值。
-kill<job-id>殺死指定作業(yè)。
-events<job-id><from-event-#><#-of-events>打印給定范圍內(nèi)jobtracker接收到的事件細(xì)節(jié)。
-history[all]<jobOutputDir>-history<jobOutputDir>打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。更多的關(guān)于一個作業(yè)的細(xì)節(jié)比如成功的任務(wù)，做過的任務(wù)嘗試等信息可以通過指定[all]選項(xiàng)查看。
-list[all]-listall顯示所有作業(yè)。-list只顯示將要完成的作業(yè)。
-kill-task<task-id>殺死任務(wù)。被殺死的任務(wù)不會不利于失敗嘗試。
-fail-task<task-id>使任務(wù)失敗。被失敗的任務(wù)會對失敗嘗試不利。

關(guān)于Hadoop命令的使用分析就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。