hadoop中exceeds the limit of concurrent xcievers錯(cuò)誤怎么處理

本篇內(nèi)容介紹了“hadoop中exceeds the limit of concurrent xcievers錯(cuò)誤怎么處理”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

dfs.datanode.max.transfer.threads： 默認(rèn) 4096 < 2.0之前該參數(shù)為dfs.datanode.max.xcievers >
解釋：Specifies the maximum number of threads to use for transferring data in and out of the DN.

表示datanode上負(fù)責(zé)進(jìn)行文件操作的線程數(shù)。如果需要處理的文件過多，而這個(gè)參數(shù)設(shè)置得過低就會有一部分文件處理不過來，就會報(bào)異常。
linux系統(tǒng)中所有的文件操作都被綁定到一個(gè)socket上，進(jìn)一步具體可以把他看做是一個(gè)線程。而這個(gè)參數(shù)就是指定這種線程的個(gè)數(shù)。
在datanode里面有一個(gè)專門的線程組來維護(hù)這些線程，同時(shí)有一個(gè)守護(hù)線程來監(jiān)視這個(gè)線程組的體量，它負(fù)責(zé)監(jiān)測線程數(shù)量是否到達(dá)上線，
超過就拋出異常，則需調(diào)大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。

dfs.datanode.max.transfer.threads 參數(shù)設(shè)置過小，datanode 異常：
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256

注意：dfs.datanode.max.transfer.threads 數(shù)目不能大于系統(tǒng)打開文件數(shù)的設(shè)置，即/etc/security/limits.conf中nofile的數(shù)值。

“hadoop中exceeds the limit of concurrent xcievers錯(cuò)誤怎么處理”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！