Hadoop Balancer平衡速度怎么實(shí)現(xiàn)

本篇內(nèi)容介紹了“Hadoop Balancer平衡速度怎么實(shí)現(xiàn)”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1. dfs.datanode.max.transfer.threads

修改dfs.datanode.max.transfer.threads=4096 (如果運(yùn)行HBase的話建議為16384)，
指定用于在DataNode間傳輸block數(shù)據(jù)的最大線程數(shù)，老版本的對(duì)應(yīng)參數(shù)為dfs.datanode.max.xcievers。

2. dfs.datanode.balance.bandwidthPerSec

修改dfs.datanode.balance.bandwidthPerSec=52428800，指定DataNode用于balancer的帶寬為50MB，
這個(gè)根據(jù)情況而定，如果交換機(jī)性能好點(diǎn)的，完全可以設(shè)定100MB，單位是Byte，
如果機(jī)器的網(wǎng)卡和交換機(jī)的帶寬有限，可以適當(dāng)降低該速度，比如10MB，默認(rèn)是1048576(1MB)。
hdfs dfsadmin-setBalancerBandwidth 52428800

3. dfs.balancer.block-move.timeout

以毫秒為單位移動(dòng)的最大時(shí)間。如果這個(gè)設(shè)置大于0，平衡器將停止等待一個(gè)塊移動(dòng)完成。在典型的集群中，3到5分鐘的超時(shí)是合理的。
如果超時(shí)發(fā)生在很大比例的塊移動(dòng)中，則需要增加。它也可能是太多的工作被分派，并且許多節(jié)點(diǎn)的帶寬總是超過帶寬限制。
在這種情況下，可能需要調(diào)整其他平衡器參數(shù)。默認(rèn)情況下，它是禁用的。

4. dfs.balancer.max-no-move-interval

如果這個(gè)指定的時(shí)間量已經(jīng)過去，并且沒有一個(gè)塊被移出源DataNode，那么將會(huì)有更多的努力在當(dāng)前的平衡迭代中移出這個(gè)DataNode的塊。

“Hadoop Balancer平衡速度怎么實(shí)現(xiàn)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！