如何處理Hdfs的DN節(jié)點數(shù)據(jù)磁盤大小不均衡的問題

本篇內(nèi)容介紹了“如何處理Hdfs的DN節(jié)點數(shù)據(jù)磁盤大小不均衡的問題”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

現(xiàn)象描述

建集群的時候，datanode的節(jié)點數(shù)據(jù)磁盤總共是四塊磁盤做矩陣成了一個7.2TB的sdb1(data1)，兩塊通過矩陣做了一個3.6TB的sdc1(data2)磁盤，運維做的，歷史原因。剛開始沒有發(fā)現(xiàn)，然后集群過了一段時間，隨著數(shù)據(jù)量的增加，發(fā)現(xiàn)集群有很多磁盤超過使用率90%告警，浪尖設置磁盤告警閾值是90%，超過閾值就會發(fā)短信或者微信告警，提醒我們磁盤將要滿了進行預處理，但是通過hadoop的監(jiān)控指標獲取的磁盤利用率維持在55%+，這種情況下不應該發(fā)生告警的。磁盤的使用率在hadoop的hdfs的namnode的web ui也可以看到，如下：

這個時候，大家的懷疑會集中于hdfs的某些datanode節(jié)點數(shù)據(jù)存儲過于集中，導致某些節(jié)點磁盤告警。但是大家都知道，hdfs允許datanode節(jié)點接入時datanode之間磁盤異構(gòu)，數(shù)據(jù)存儲hadoop會自動在datanode之間進行均衡。所以這個懷疑可以排除。

登錄告警節(jié)點，發(fā)現(xiàn)確實data2磁盤使用率超過了90%，但是data1使用率維持在不足50%。

這時候問題就顯而易見了，hadoop3.0之前hdfs數(shù)據(jù)存儲只支持在datanode節(jié)點之間均衡，而不支持datanode內(nèi)部磁盤間的數(shù)據(jù)存儲均衡。

那么這個時候怎么辦呢？

浪尖想的是將data1那個矩陣，拆分成兩塊由兩塊磁盤組成的矩陣，然后重新滾動上下線Datanode（數(shù)據(jù)遷移或者通過副本變動讓其進行均衡）。但是，后來很快否定了這種方法，原因是很簡單。幾百TB的數(shù)據(jù)，在集群中均衡，即使是滾動重啟，那么多機器也要持續(xù)好久，然后在數(shù)據(jù)遷移或者均衡的時候，整個幾群的帶寬和磁盤都是會增加很大負擔，導致集群的可用性降低。

通過hadoop官網(wǎng)發(fā)現(xiàn)hadoop 3.0不僅支持datanode之間的數(shù)據(jù)均衡，也支持datanode內(nèi)部管理的多磁盤的之間的數(shù)據(jù)均衡。

這個時候，可以考慮升級hadoop集群到hadoop3.0，但是思考再三浪尖覺得浪費時間，不劃算，最終放棄這種方案。

幾經(jīng)思考，終于想出了一個原本就很簡單的方案，只需要重啟datanode，就可以實現(xiàn)提高大磁盤利用率的方法。首先，要知道的是datanode管理磁盤，是根據(jù)我們dfs.data.dir參數(shù)指定的目錄。那么，我們的思路就很簡單了，給data1多個目錄，不就可以增加其寫入的概率，進而提升磁盤的使用率了么。配置方式如下：

 <property>        <name>dfs.data.dir</name>        <value>/data1/dfs/dn,/data1/dfs/dn1,/data2/dfs/dn</value></property>

配置結(jié)束之后，重啟datanode集群，過一定時間查看該目錄的大小，然后發(fā)現(xiàn)有數(shù)據(jù)寫入。

由此證明，想法是可行的。

此方法的缺點是，原有的數(shù)據(jù)不會進行均衡，增加目錄的方式只是增加了新數(shù)據(jù)寫入大磁盤的概率，但是這樣就可以了，等著原有數(shù)據(jù)自動刪除即可。

“如何處理Hdfs的DN節(jié)點數(shù)據(jù)磁盤大小不均衡的問題”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！