CM上HDFS容量顯示與實(shí)際命令不一致的問題分析

CM上HDFS容量顯示與實(shí)際命令不一致的問題分析，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

溫馨提示：如果使用電腦查看圖片不清晰，可以使用手機(jī)打開文章單擊文中的圖片放大查看高清原圖。

1.問題描述

通過Cloudera Manager看到HDFS的容量使用顯示為103.9GB

通過HDFS的50070界面查看到HDFS的容量使用情況為41.63GB

使用hadoop fs -du –h /命令查看HDFS的使用情況，HDFS的使用為41.63GB

疑問：為什么Cloudera Manager上顯示HDFS空間的使用量會(huì)比HDFS真實(shí)使用量大很多？

2.問題分析

在Cloudera Manager上鼠標(biāo)停留在HDFS容量配置上會(huì)顯示容量使用說明，如下圖所示：

CM上顯示HDFS配置容量由兩部分組成DFS使用的空間和非DFS使用的空間兩部分組成。

接下來我們?cè)倏纯碒DFS的50070界面的統(tǒng)計(jì)信息可以看到有DFS Used和Non DFS Used兩個(gè)信息。

將DFS Used和Non DFS Used兩個(gè)數(shù)據(jù)相加剛好與Cloudera Manager上顯示的配置容量103.9GB一致。

問題又來了“Non DFS Used”這一部分空間是什么？“Non DFS Used”是如何計(jì)算的？

3.Non DFS Used說明

這里Fayson拿集群的一個(gè)節(jié)點(diǎn)cdh03來說明，如下是cdh03節(jié)點(diǎn)磁盤掛載信息，/data/disk1盤是HDFS配置的數(shù)據(jù)目錄。

1.在HDFS的DataNode配置中“dfs.datanode.du.reserved”用來為HDFS的數(shù)據(jù)盤預(yù)留一定的空間，默認(rèn)為10GB

那這樣HDFS對(duì)該盤的使用空間為100GB - 9.99GB=90GB

2.使用hadoop dfsadmin -report命令查看HDFS空間各個(gè)節(jié)點(diǎn)的使用情況

如上截圖為cdh03.fayson.com節(jié)點(diǎn)DFS使用報(bào)告，包含了DFS的總?cè)萘?，已使用容量，可用容量以及“Non DFS Used”。

3.Non DFS Used的計(jì)算方式大概為

磁盤總?cè)萘?- 節(jié)點(diǎn)預(yù)留容量（dfs.datanode.du.reserved）- DFS Used – DFS Remaining即為“Non DFS Used”

100GB - 10GB - 13.88GB - 57.55GB ≈ 18.03GB

所以根據(jù)以上得出結(jié)論，當(dāng)我們?yōu)閿?shù)據(jù)盤預(yù)留了10GB給系統(tǒng)或其他非HDFS文件的存儲(chǔ)空間，那么DFS的使用空間就為90GB，但是非HDFS文件占用空間超過10GB則會(huì)占用DFS配置的90GB空間，所以“Non DFS Used”就是占用DFS容量的那部分空間。

4.總結(jié)

在Cloudera Manager中顯示的HDFS容量配置分為了兩個(gè)部分DFS使用的空間和非DFS使用的空間。

其中的“Non DFS Used”空間即為DN節(jié)點(diǎn)每塊盤中在排除預(yù)留空間后非HDFS文件占用DFS容量的那部分空間（如kudu數(shù)據(jù)、Kafka數(shù)據(jù)、用戶自己的數(shù)據(jù)等）。

看完上述內(nèi)容，你們掌握CM上HDFS容量顯示與實(shí)際命令不一致的問題分析的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！