溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

HADOOP監(jiān)控

發(fā)布時間:2020-07-27 16:14:10 來源:網(wǎng)絡(luò) 閱讀:325 作者:誰伴我闖蕩 欄目:大數(shù)據(jù)
  1. Hadoop負載均衡

    均衡器(balancer)是一個Hadoop守護進程,它將塊從忙碌的datanode移到相對空閑的datanode,從而重新分配塊。同時堅持塊副本放置策略,將副本分散到不同機架,以降低數(shù)據(jù)損壞率。它不斷移動塊,直到集群達到均衡,即每個datanode的使用率(該節(jié)點上已使用的空間與空間容量之間的比率)和集群的使用率(集群中已使用的空間與集群的空間容量之間的比率)非常接近,差距不超過給定的閾值。

    為降低集群負荷,避免干擾其他用戶,均衡器被設(shè)計為后臺運行。在不同節(jié)點之間復(fù)制數(shù)據(jù)的帶寬也是受限的。默認值是很小的1MB/s,可以通過hdfs-site.xml文件中的dfs.balance.bandwidthPersec屬性重新設(shè)定(單位是字節(jié))

  2. Hadoop日志設(shè)置

    可通過http://192.168.9.110:50070/logLevel查看和設(shè)置日志級別,截圖如下:

    HADOOP監(jiān)控


3.Hadoop堆棧跟蹤

  可通過http://192.168.9.110:50070/stacks查看堆棧信息,截圖如下:

  

HADOOP監(jiān)控

向AI問一下細節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI