hdfs web_ui深入講解、服務(wù)啟動日志分析、NN SNN關(guān)系

hdfs啟動順序：

     1、namenode

      2、datenode

     3、secondnamenode        

     4、yarn

webui: 

          默認(rèn)為50070端口，dfsheath

    ui內(nèi)容講解：

          ClusterID: namenode格式化時(shí)生成的（hdfs namenode -format）

          BlockpoolID：數(shù)據(jù)塊池

           （為了federation 和內(nèi)存管理使用。）

     namenode Journal status:

         就是edit日志

     namenode storage：     

          鏡像文件存儲信息

啟動日志文件目錄 $HADOOP_HOME/logs：

      x.log: 通過log4j記錄，記錄大部分應(yīng)用程序的日志信息

      x.out  記錄標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤日志，少量記錄

日志文件的命名規(guī)則：

     [  框架名稱- 用戶名- 進(jìn)程名- 主機(jī)名--日志格式后綴 ]

Secondary namenode:

        1、客戶端對hdfs的操作會記錄到edits文件中， 即journal 。

        2、namenode 內(nèi)存中的內(nèi)容為 fsp_w_picpath+edits

        3、 namenode 的fsp_w_picpath和edite文件定時(shí)合并后，同步到secondary namenode上。