四、hdfs命令行操作

一、hdfs啟動(dòng)流程

1、加載fsimage，即加載元數(shù)據(jù)
2、加載edits文件，因?yàn)樯厦娴膄simage并不一定包含最新的元數(shù)據(jù)
3、保存檢查點(diǎn)（checkpoint），主要為了snn后面合并edits到fsimage時(shí)使用
4、進(jìn)入安全模式，檢查副本率是否滿(mǎn)足冗余度的要求，或者是否完整，如果不滿(mǎn)足就處于安全模式，無(wú)法寫(xiě)入。如果滿(mǎn)足就退出安全模式。

二、基本操作命令

我們可以使用 hdfs dfs xxx 或者 hadoop fs xxx 都可以，兩者是一樣的。

完整的全部命令如下：

Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...]
        [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] [-x] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]

1、獲取命令幫助

hdfs dfs -help command
如：
hdfs dfs -help ls

2、創(chuàng)建目錄

hdfs dfs -mkdir HDFS路徑
選項(xiàng)：-p  遞歸創(chuàng)建目錄

3、列出目錄信息

hdfs dfs -ls HDFS路徑
選項(xiàng)：-R 遞歸顯示所有目錄以及目錄下的所有子目錄和文件

4、上傳文件或者目錄

hdfs dfs -put 本地路徑  HDFS路徑
hdfs dfs -copyFromLocal 本地路徑 hdfs路徑
hdfs dfs -moveFromLocal 本地路徑 hdfs路徑  這個(gè)會(huì)刪除本地文件

5、下載文件或者目錄

hdfs dfs -get HDFS路徑 本地路徑 
hdfs dfs -copyToLocal HDFS路徑 本地路徑

6、查看文件內(nèi)容

hdfs dfs -cat HDFS路徑

7、將本地文件內(nèi)容追加到HDFS文件中

hdfs dfs -appendToFile 本地路徑 HDFS路徑

8、監(jiān)控文件內(nèi)容

hdfs dfs -tail -f HDFS路徑

9、刪除文件或目錄

hdfs dfs -rm HDFS路徑
選項(xiàng)：-r 遞歸刪除子目錄

注意：默認(rèn)回收站關(guān)閉，所以刪除的文件立馬就沒(méi)了

10、合并數(shù)據(jù)并下載到本地

hdfs dfs -getmerge HDFS路徑1 HDFS路徑2 ....  本地路徑

11、統(tǒng)計(jì)類(lèi)

hdfs dfs -count HDFS路徑     統(tǒng)計(jì) 目錄個(gè)數(shù)  文件個(gè)數(shù)  總的文件數(shù)
hdfs dfs -du HDFS路徑        顯示目錄或者文件的大小
hdfs dfs -df HDFS路徑        顯示空間使用情況

12、復(fù)制和剪切

hdfs dfs -cp HDF***c HDFSdest   HDFS內(nèi)部復(fù)制
hdfs dfs -mv HDF***c HDFSdest   HDFS內(nèi)部剪切

13、文件權(quán)限

hdfs dfs -chown user:group HDFS路徑   修改屬主屬組
hdfs dfs -chmod 權(quán)限 HDFS路徑         修改權(quán)限

14、設(shè)置副本數(shù)

hdfs dfs -setrep n HDFS路徑

三、管理命令

1、均衡datanode

hdfs balancer  將多個(gè)datanode節(jié)點(diǎn)進(jìn)行數(shù)據(jù)均衡處理，避免有些節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)過(guò)多

2、打印運(yùn)行報(bào)告

hdfs dfsadmin -report

3、安全模式

hdfs dfsadmin -safemode  enter|leave|get  進(jìn)入安全模式|離開(kāi)安全模式|獲取安全模式狀態(tài)

4、快照

hdfs dfsadmin -allowSnapshot HDFS目錄   給某個(gè)目錄做快照
hdfs dfsadmin -disableSnapshot HDFS目錄   給某個(gè)目錄取消快照

5、配額

//名稱(chēng)配額，簡(jiǎn)單說(shuō)就是該目錄下文件和目錄的總個(gè)數(shù)的限制
hdfs dfsadmin -setQuota N HDFS目錄1 HDFS目錄2.....  設(shè)置名稱(chēng)配額
hdfs dfsadmin -clrQuota HDFS目錄1 HDFS目錄2.....    取消名稱(chēng)配額

//空間配額，簡(jiǎn)單說(shuō)就是該目錄的存儲(chǔ)空間限制
hdfs dfsadmin -setSpaceQuota N單位(如:1GB) [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 設(shè)置空間配額
hdfs dfsadmin -clrSpaceQuota [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 取消空間配額

其中 storageType 有以下類(lèi)型：
RAW-DISK：原始物理磁盤(pán)
DISK：    分區(qū)空間
SSD：     固態(tài)硬盤(pán)
ARCHIVE：   

四、hadoop啟動(dòng)相關(guān)命令