hdfs數(shù)據(jù)誤刪分析與恢復(fù)

一、相關(guān)參數(shù)：

1、core-site.xml  文件修改以下配置項(xiàng)：

<property>
     <name>fs.trash.interval</name>
     <value>2880</value>
     <description>HDFS垃圾箱設(shè)置，可以恢復(fù)誤刪除，配置的值為分鐘數(shù)，0為禁用</description>
</property>

2、hdfs-default.xml 文件注意以下配置項(xiàng)：

<property>          
      <name>dfs.ha.log-roll.period</name>
      <value>120</value>
      <description>EditLog 日志滾動(dòng)頻率，單位為秒，默認(rèn)是兩分鐘</description>
</property>

二、分析過程

1、找到editlog日志所在目錄

查看hdfs-site.xml文件，找到fs.namenode.name.dir配置項(xiàng)的值，如：file:/home/hadoop-2.6.0-cdh6.5.0/dfs/name

在/home/hadoop-2.6.0-cdh6.5.0/dfs/name目錄下的current文件里，就是editlog文件，如下圖

2、使用命令查看edits_inprogress文件

 #hdfs oev -i edits_inprogress_0000000000000000023 -o edits_inprogress_0000000000000000023.xml

其中 -i 是輸入文件名，-o是需要把解析的文件輸出到該文件中

解析完成后，查看edits_inprogress_0000000000000000023.xml文件即可

3、打開文件分析

找到被刪除的文件或文件夾，在edits_inprogress_0000000000000000023.xml文件中搜索相關(guān)項(xiàng)，如下所示：

<RECORD>
    <OPCODE>OP_RENAME_OLD</OPCODE>
    <DATA>
      <TXID>15</TXID>
      <LENGTH>0</LENGTH>
      <SRC>/dat</SRC>
      <DST>/user/root/.Trash/Current/dat</DST>
      <TIMESTAMP>1454315297010</TIMESTAMP>
      <RPC_CLIENTID>6832d4f9-4fa6-4dbb-89aa-ffaa26109078</RPC_CLIENTID>
      <RPC_CALLID>6</RPC_CALLID>
    </DATA>
  </RECORD>

可以看出，HDFS中 /dat 文件是在  1454315297  時(shí)間點(diǎn)被移入回收站的

4、恢復(fù)文件

執(zhí)行以下命令：

 
#fs -mv   /user/root/.Trash/Current/dat    /dat

進(jìn)行恢復(fù)