九、HDFS安全模式，快照，回收站，配額管理的用法

一、安全模式

hdfs最開(kāi)始開(kāi)始開(kāi)啟集群的時(shí)候，會(huì)處于安全模式下，此時(shí)內(nèi)部正檢查集群中的副本率是否滿足配置文件中所配置的副本率
1、如果不滿足就需通過(guò)節(jié)點(diǎn)間的復(fù)制滿足副本率后才會(huì)退出安全模式。
2、如果大于所配置的副本率，就會(huì)通過(guò)刪除多于副本來(lái)降低副本率

檢查安全模式的情況：

hdfs dfsadmin -safemode get|enter|leave|wait

注意：
處于安全模式下時(shí)，無(wú)法對(duì)hdfs中的文件進(jìn)行寫，修改操作，只能進(jìn)行讀操作。

1、最小副本條件的設(shè)置

dfs.replication.min,   默認(rèn)是1

二、快照

這是對(duì)hdfs中某個(gè)目錄做的一個(gè)備份。默認(rèn)情況下，每個(gè)目錄的快照功能是關(guān)閉的，所以如果要給該目錄創(chuàng)建快照，就得給該目錄開(kāi)啟快照功能。
開(kāi)啟快照：

hdfs dfsadmin -allowSnapshot <snapshotDir>

關(guān)閉快照：

hdfs dfsadmin -disallowSnapshot <snapshotDir>

顯示所有能創(chuàng)建快照的目錄：

hdfs lsSnapshottableDir

比較兩個(gè)快照不同的地方：

//比較一個(gè)目錄的兩個(gè)快照的不同
hdfs snapshotDiff 快照目錄 快照1 快照2

//比較目錄和快照的不同,中間那個(gè)“.”表示當(dāng)前目錄，不可省略
hdfs snapshotDiff 快照目錄  .  快照1

創(chuàng)建快照：

//快照的目錄   快照的名稱（可選）
hdfs dfs -createSnapshot <snapshotDir> [<snapshotName>]

創(chuàng)建的快照狀態(tài)會(huì)存儲(chǔ)在所創(chuàng)建快照的目錄下的 .snapshot/<snapshotName>/ 這個(gè)目錄下

刪除快照：

//快照的目錄   快照的名稱(必須要有，因?yàn)橐粋€(gè)目錄可能有多個(gè)快照)
hdfs dfs -deleteSnapshot <snapshotDir> <snapshotName>

重命名快照：

//快照的目錄   快照的名稱(必須要有，因?yàn)橐粋€(gè)目錄可能有多個(gè)快照)
hdfs dfs -renameSnapshot <snapshotDir> <oldsnapshotName> <newsnapshotName>

從快照中恢復(fù)內(nèi)容：

可以直接從 <snapshotDir>/.snapshot/<snapshotName>/ 中查看到所有的文件以及目錄，需要哪個(gè)文件就拷貝哪個(gè)文件。

snapshotDir為創(chuàng)建了快照的目錄

三、hdfs回收站

回收站默認(rèn)是關(guān)閉的，需要在配置文件中設(shè)置開(kāi)啟

1、開(kāi)啟回收站

修改core-site.xml，然后重啟hdfs

<!--設(shè)置被刪除文件在回收站的存活時(shí)間，單位為分鐘，如果為0，表示關(guān)閉回收站 -->
<property>
    <name>fs.trash.interval</name>
    <value>2</value>
</property>

<!--設(shè)置回收站檢查時(shí)間間隔，如果回收站中文件存活時(shí)間到期就從回收站刪除,單位是分鐘 -->
<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>1</value>
</property>

2、查看回收站

開(kāi)啟回收站之后，當(dāng)我們刪除hdfs的文件時(shí)，刪除的文件會(huì)移動(dòng)到 hdfs的/user/USERNAME/.trash/Current/ 下，其中USERNAME是當(dāng)前操作hdfs 的有用戶名。所以實(shí)際上就是剪切操作。
注意：
通過(guò)程序刪除的文件不會(huì)移動(dòng)到回收站中，需要顯式將文件移動(dòng)到回收站。如果是通過(guò)命令行的是會(huì)移動(dòng)到回收站的。

3、通過(guò)程序?qū)⑽募苿?dòng)到回收站

//創(chuàng)建回收站對(duì)象
Trash tsh = new Trash(conf);
Path path = new Path(pathString);
//將指定文件移動(dòng)到回收站
tsh.moveToTrash(path);

4、清空回收站

hdfs dfs -expunge

5、從回收站恢復(fù)文件

直接從回收站的路徑剪切到指定路徑下即可

四、配額

//名稱配額，簡(jiǎn)單說(shuō)就是該目錄下文件和目錄的總個(gè)數(shù)的限制
hdfs dfsadmin -setQuota N HDFS目錄1 HDFS目錄2.....  設(shè)置名稱配額
hdfs dfsadmin -clrQuota HDFS目錄1 HDFS目錄2.....    取消名稱配額

//空間配額，簡(jiǎn)單說(shuō)就是該目錄的存儲(chǔ)空間限制
hdfs dfsadmin -setSpaceQuota N單位(如:1GB) [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 設(shè)置空間配額
hdfs dfsadmin -clrSpaceQuota [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 取消空間配額

其中 storageType 有以下類型：
RAW-DISK：原始物理磁盤
DISK：    分區(qū)空間
SSD：     固態(tài)硬盤
ARCHIVE：