溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

HDFS?Balancer工具主要調(diào)優(yōu)參數(shù)怎么使用

發(fā)布時(shí)間：2023-03-31 14:20:18 來源：億速云 閱讀：232 作者：iii 欄目：開發(fā)技術(shù)

這篇“HDFS Balancer工具主要調(diào)優(yōu)參數(shù)怎么使用”文章的知識(shí)點(diǎn)大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細(xì)，步驟清晰，具有一定的借鑒價(jià)值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“HDFS Balancer工具主要調(diào)優(yōu)參數(shù)怎么使用”文章吧。

    引言

    HDFS Balancer工具可以用來分析塊的分布情況，并且可以重新分配DataNode中的數(shù)據(jù)。

    使用HDFS Balancer

    方式一：使用HDFS Balancer命令

    HDFS Balancer命令語(yǔ)句如下。

    hdfs balancer
[-threshold <threshold>]
[-policy <policy>]
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
[-include [-f <hosts-file> | <comma-separated list of hosts>]]
[-source [-f <hosts-file> | <comma-separated list of hosts>]]
[-blockpools <comma-separated list of blockpool ids>]
[-idleiterations <idleiterations>]

    Balancer主要參數(shù)如下表。

    參數(shù)描述
    threshold磁盤容量的百分?jǐn)?shù)。

    默認(rèn)值為10%，表示上下浮動(dòng)10%。

    當(dāng)集群總使用率較高時(shí)，需要調(diào)小Threshold，避免閾值過高。

    當(dāng)集群新增節(jié)點(diǎn)較多時(shí)，您可以適當(dāng)增加Threshold，使數(shù)據(jù)從高使用率節(jié)點(diǎn)移向低使用率節(jié)點(diǎn)。

    policy平衡策略。支持以下策略：

    • datanode（默認(rèn)）：當(dāng)每一個(gè)DataNode是平衡的時(shí)候，集群就是平衡的。

    • blockpool：當(dāng)每一個(gè)DataNode中的blockpool是平衡的，集群就是平衡的。

    excludeBalancer排除特定的DataNode。
    includeBalancer僅對(duì)特定的DataNode進(jìn)行平衡操作。
    source僅選擇特定的DataNode作為源節(jié)點(diǎn)。
    blockpoolsBalancer僅在指定的blockpools中運(yùn)行。
    idleiterations最多允許的空閑循環(huán)次數(shù)。覆蓋默認(rèn)的5次。

    方式二：使用start-balancer.sh工具

    start-balancer.sh實(shí)際上是調(diào)用hdfs daemon start balancer命令。使用方式如下：

    • 登錄待配置集群的任意節(jié)點(diǎn)，詳情請(qǐng)參見登錄集群。

    可選：執(zhí)行以下命令，修改Balancer的最大帶寬。

    hdfs dfsadmin -setBalancerBandwidth &lt;bandwidth in bytes per second&gt;

    說明 <bandwidth in bytes per second>為設(shè)置的最大帶寬。例如，如果需要設(shè)置最大帶寬為20 MB/s，對(duì)應(yīng)值為20971520，則完整代碼示例為hdfs dfsadmin -setBalancerBandwidth 20971520。如果集群負(fù)載較高，建議設(shè)置為209715200（200 MB/s）；如果集群空閑，建議設(shè)置為1073741824（1 GB/s）。

    • 執(zhí)行以下命令，切換到hdfs用戶并執(zhí)行Balancer參數(shù)。

    DataLake集群

    su hdfs
/opt/apps/HDFS/hdfs-current/sbin/start-balancer.sh -threshold 5

    Hadoop集群

    su hdfs
/usr/lib/hadoop-current/sbin/start-balancer.sh -threshold 5

    • 執(zhí)行以下命令，進(jìn)入HDFS安裝目錄。

    DataLake集群

    cd /var/log/emr/hadoop/

    Hadoop集群

    cd /var/log/hadoop-hdfs

    執(zhí)行以下命令，查看Balancer運(yùn)行情況。

    當(dāng)提示信息包含Successfully字樣時(shí)，表示執(zhí)行成功。

    DataLake集群

    tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log

    Hadoop集群

    tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log

    說明 命令中的hadoop-hdfs-balancer-master-1-1.c-xxx.log和hadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log為上一步驟中獲取到的日志名稱。

    Balancer調(diào)優(yōu)參數(shù)

    執(zhí)行Balancer會(huì)占用一定的系統(tǒng)資源，建議在業(yè)務(wù)空閑期執(zhí)行。默認(rèn)情況下，不需要對(duì)HDFS Balancer參數(shù)進(jìn)行額外調(diào)整。當(dāng)需要對(duì)Balancer參數(shù)進(jìn)行額外調(diào)整時(shí)，您可以在E-MapReduce控制臺(tái)的HDFS服務(wù)頁(yè)面，選擇配置 > hdfs-site.xml，調(diào)整以下兩類配置。

    客戶端配置

    參數(shù)描述
    dfs.balancer.dispatcherThreadsBalancer在移動(dòng)Block之前，每次迭代時(shí)查詢出一個(gè)Block列表，分發(fā)給Mover線程使用。

    說明 dispatcherThreads是該分發(fā)線程的個(gè)數(shù)，默認(rèn)為200。

    dfs.balancer.rpc.per.sec默認(rèn)值為20，即每秒發(fā)送的RPC數(shù)量為20。

    因?yàn)榉职l(fā)線程調(diào)用大量getBlocks的RPC查詢，所以為了避免NameNode由于分發(fā)線程壓力過大，需要控制分發(fā)線程RPC的發(fā)送速度。

    例如，您可以在負(fù)載高的集群調(diào)整參數(shù)值，減小10或者5，對(duì)整體移動(dòng)進(jìn)度不會(huì)產(chǎn)生特別大的影響。

    dfs.balancer.getBlocks.sizeBalancer會(huì)在移動(dòng)Block前，每次迭代時(shí)查詢出一個(gè)Block列表，給Mover線程使用，默認(rèn)Block列表中Block的大小為2 GB。因?yàn)間etBlocks過程會(huì)對(duì)RPC進(jìn)行加鎖，所以您可以根據(jù)NameNode壓力進(jìn)行調(diào)整。
    dfs.balancer.moverThreads默認(rèn)值為1000。

    Balancer處理移動(dòng)Block的線程數(shù)，每個(gè)Block移動(dòng)時(shí)會(huì)使用一個(gè)線程。

    DataNode配置

    參數(shù)描述
    dfs.datanode.balance.bandwidthPerSec

    指定DataNode用于Balancer的帶寬，通常推薦設(shè)置為100 MB/s，您也可以通過dfsadmin -setBalancerBandwidth 參數(shù)進(jìn)行適當(dāng)調(diào)整，無需重啟DataNode。

    例如，在負(fù)載低時(shí)，增加Balancer的帶寬。在負(fù)載高時(shí)，減少Balancer的帶寬。

    dfs.datanode.balance.max.concurrent.moves

    默認(rèn)值為5。

    指定DataNode節(jié)點(diǎn)并發(fā)移動(dòng)的最大個(gè)數(shù)。通?？紤]和磁盤數(shù)匹配，推薦在DataNode端設(shè)置為4 * 磁盤數(shù)作為上限，可以使用Balancer的值進(jìn)行調(diào)節(jié)。

    例如：一個(gè)DataNode有28塊盤，在Balancer端設(shè)置為28，DataNode端設(shè)置為28 * 4。具體使用時(shí)根據(jù)集群負(fù)載適當(dāng)調(diào)整。在負(fù)載較低時(shí)，增加concurrent數(shù)；在負(fù)載較高時(shí)，減少concurrent數(shù)。

    常見問題

    Q：為什么Balancer的threshold設(shè)置為10（%），但是平衡以后看到差值為20%左右？

    A：threshold的含義是控制每個(gè)DataNode的使用率不高于或者不低于集群平均的使用率，所以使用率最多和最少的DataNode在平衡后可能差值為20%。要減少這種差距，可以嘗試把差值調(diào)節(jié)到5（%）。

    以上就是關(guān)于“HDFS Balancer工具主要調(diào)優(yōu)參數(shù)怎么使用”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對(duì)大家有幫助，若想了解更多相關(guān)的知識(shí)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。

    向AI問一下細(xì)節(jié)

    免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

    AI
    助
    手