HDFS用法

HDFS體系結(jié)構(gòu)：

實戰(zhàn)：
HDFS是文件系統(tǒng)，那么它就支持對文件系統(tǒng)的基本操作，比如文件的增刪改查、權(quán)限的修改，文件夾的創(chuàng)建，刪除，重命名等操作；對HDFS的操作命令類似與linux的shell對文件的操作 如：ls、mkdir、rm、chown等
當(dāng)你遇到問題時執(zhí)行bin/hadoop dfs –help?commandName會顯示這個命令的用法, 在介紹之前先定義一下參數(shù)的意義：

1. 斜體：表示用戶輸入的變量
2. path：表示文件名或目錄名
3. path…：表示一個或多個文件名或目錄名
4. ?file：表示任意文件名
5. rc和dest：表示HDFS的源路徑和目標(biāo)路徑
6. localSrc和localDest：表示本地文件系統(tǒng)的源路徑和目標(biāo)路徑
   7.在[]中的參數(shù)是可選的
   ?執(zhí)行hadoop fs 命令，如圖所示：

?hadoop fs –ls path
列出path目錄下的內(nèi)容，包括文件名，權(quán)限，所有者，大小和修改時間

?hadoop fs -lsr?path
與ls相似，但遞歸地顯示子目錄下的內(nèi)容

?hadoop fs –du path
顯示path下所有文件磁盤使用情況下，用字節(jié)大小表示，文件名用完整的HDFS協(xié)議前綴表示
?hadoop fs –dus path 2.0 ：hadoop fs –du -s path
與-du相似，但它還顯示全部文件或目錄磁盤使用情況

?hadoop fs -mkdir?path
在HDFS中創(chuàng)建一個名為path的目錄，如果它的上級目錄不存在，也會被創(chuàng)建，如同linux中的mkidr –p
?hadoop fs –rm?path
刪除一個文件或空目錄
?hadoop fs –rmr?path 2.x: hadoop fs –rm -r?path
刪除一個文件或遞歸刪除目錄

?hadoop fs –put?localSrc dest
將本地文件或目錄localSrc上傳到HDFS中的dest路徑
?hadoop fs –copyFromLocal?localSrc dest
與-put命令相同
?hadoop fs –moveFromLocal?localSrc dest
將文件或目錄從localSrc上傳到HDFS中的dest目錄，再刪除本地文件或目錄localSrc
?hadoop fs –get [-crc]?src localDest
將文件或目錄從HDFS中的src拷貝到本地文件系統(tǒng)localDest
?hadoop fs –getmerge?src localDest?[addnl]
將在HDFS中滿足路徑src的文件合并到本地文件系統(tǒng)的一個文件localDest中
?hadoop fs –cat?filename
顯示文件內(nèi)容到標(biāo)準(zhǔn)輸出上
?hadoop fs -copyToLocal [-crc]?src localDest
與-get命令相同
?hadoop fs -moveToLocal [-crc]?src localDest
與-get命令相似，但拷貝結(jié)束后，刪除HDFS上原文件
?hadoop fs -cp?src dest
在HDFS中，將src文件或目錄復(fù)制到dest
?hadoop fs -setrep [-R] [-w]?rep path
設(shè)置目標(biāo)文件的復(fù)制數(shù)
?hadoop fs -touchz?path
創(chuàng)建一個文件。時間戳為當(dāng)前時間，如果文件本就存在就失敗，除非原文件長充為0
?hadoop fs -test –[ezd]?path
如果路徑(path)存在，返回1，長度為0(zero)，或是一個目錄(directory)
?hadoop fs –stat [format]?path
顯示文件所占塊數(shù)(%b)，文件名(%n)，塊大小(%n)，復(fù)制數(shù)(%r)，修改時間(%y%Y)
?hadoop fs –tail [-f]?file
顯示文件最后的1KB內(nèi)容到標(biāo)準(zhǔn)輸出
?hadoop fs –chmod [-R] [owner][:[group]]?path…
遞歸修改時帶上-R參數(shù)，mode是一個3位的8進(jìn)制數(shù)，或是[augo]+/-{rwxX}
?hadoop fs –chgrp [-R]?group
設(shè)置文件或目錄的所有組，遞歸修改目錄時用-R參數(shù)

想了解更多信息，可到http://hadoop.apache.org/官網(wǎng)了解。