HDFS oiv如何解析Fsimage OOM異常處理

發(fā)布時間：2021-12-09 09:45:17 來源：億速云閱讀：334 作者：小新欄目：大數(shù)據(jù)

這篇文章將為大家詳細(xì)講解有關(guān)HDFS oiv如何解析Fsimage OOM異常處理，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

HDFS的Fsimage文件記錄了集群的元數(shù)據(jù)信息，是進(jìn)行集群健康度分析的基礎(chǔ)。利用HDFS oiv命令可以解析fsimage文件，解析后的文件放入Hive中即可進(jìn)行集群元數(shù)據(jù)的詳細(xì)分析。

問題描述

運(yùn)行以下命令，獲取hdfs集群的fsimage文件，并使用oiv命令進(jìn)行解析

#獲取fsimage文件
hdfs dfsadmin -fetchImage /hdfs_meta

#使用oiv命令將fsimage文件解析為csv文件
hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

異常信息

HDFS oiv如何解析Fsimage OOM異常處理

喜聞樂見的OOM

解決思路

解析fsimage文件出現(xiàn)OOM，初步考慮是HDFS Client的java heap設(shè)置小了，于是嘗試在hdfs oiv命令前指定HADOOP_CLIENT_OPTS

HADOOP_CLIENT_OPTS='-Xmx5000m' hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

發(fā)現(xiàn)依舊OOM，隨后將該參數(shù)從5G調(diào)整到20G，并未解決該問題（嘗試過去CM上修改HDFSClient的 Java Heap）

查看hdfs oiv命令的help發(fā)現(xiàn)了一個-t參數(shù)，使用臨時目錄緩存中間結(jié)果來生成oiv命令的解析結(jié)果，可以緩解內(nèi)存的壓力。

HDFS oiv如何解析Fsimage OOM異常處理

最終在oiv命令中帶上-t參數(shù)，問題解決

hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -t /temp/dir -o /hdfs_meta/fsimage.csv -p Delimited

問題參考：

https://issues.apache.org/jira/browse/HDFS-6293

https://community.cloudera.com/t5/Community-Articles/How-to-read-fsimage/ta-p/248832

Fsimage文件字段注釋

字段	注釋
Path	HDFS路徑
Replication	副本數(shù)
ModificationTime	最近修改時間
AccessTime	最近訪問時間
PerferredBlockSize	block size
BlocksCount	塊總數(shù)
FileSize	文件大小
NSQUOTA	名稱配額
DSQUOTA	監(jiān)控配額
Permission	文件權(quán)限
UserName	所屬用戶
GroupName	所屬用戶組

順利解析出Fsimage文件后，下一步就是建個Hive表，然后上Spark愉快的進(jìn)行集群元數(shù)據(jù)分析了?。?！

關(guān)于“HDFS oiv如何解析Fsimage OOM異常處理”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

HDFS oiv如何解析Fsimage OOM異常處理

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽