您好,登錄后才能下訂單哦!
Hadoop負載均衡
均衡器(balancer)是一個Hadoop守護進程,它將塊從忙碌的datanode移到相對空閑的datanode,從而重新分配塊。同時堅持塊副本放置策略,將副本分散到不同機架,以降低數(shù)據(jù)損壞率。它不斷移動塊,直到集群達到均衡,即每個datanode的使用率(該節(jié)點上已使用的空間與空間容量之間的比率)和集群的使用率(集群中已使用的空間與集群的空間容量之間的比率)非常接近,差距不超過給定的閾值。
為降低集群負荷,避免干擾其他用戶,均衡器被設(shè)計為后臺運行。在不同節(jié)點之間復(fù)制數(shù)據(jù)的帶寬也是受限的。默認值是很小的1MB/s,可以通過hdfs-site.xml文件中的dfs.balance.bandwidthPersec屬性重新設(shè)定(單位是字節(jié))
Hadoop日志設(shè)置
可通過http://192.168.9.110:50070/logLevel查看和設(shè)置日志級別,截圖如下:
3.Hadoop堆棧跟蹤
可通過http://192.168.9.110:50070/stacks查看堆棧信息,截圖如下:
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。