溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“hdfs中site.xml的示例分析”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“hdfs中site.xml的示例分析”這篇文章吧。
| name | value | Description |
| dfs.default.chunk.view.size | 32768 | namenode的http訪問頁面中針對每個文件的內(nèi)容顯示大小，通常無需設置。 |
| dfs.datanode.du.reserved | 1073741824 | 每塊磁盤所保留的空間大小，需要設置一些，主要是給非hdfs文件使用，默認是不保留，0字節(jié) |
| dfs.name.dir | /opt/data1/hdfs/name, /opt/data2/hdfs/name, /nfs/data/hdfs/name | NN所使用的元數(shù)據(jù)保存，一般建議在nfs上保留一份，作為1.0的HA方案使用，也可以在一臺服務器的多塊硬盤上使用 |
| dfs.web.ugi | nobody,nobody | NN,JT等所使用的web tracker頁面服務器所使用的用戶和組 |
| dfs.permissions | true | false | dfs權限是否打開，我一般設置false，通過開發(fā)工具培訓別人界面操作避免誤操作，設置為true有時候會遇到數(shù)據(jù)因為權限訪問不了。 |
| dfs.permissions.supergroup | supergroup | 設置hdfs超級權限的組，默認是supergroup，啟動hadoop所使用的用戶通常是superuser。 |
| dfs.data.dir | /opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ... | 真正的datanode數(shù)據(jù)保存路徑，可以寫多塊硬盤，逗號分隔 |
| dfs.datanode.data.dir.perm | 755 | datanode所使用的本地文件夾的路徑權限，默認755 |
| dfs.replication | 3 | hdfs數(shù)據(jù)塊的復制份數(shù)，默認3，理論上份數(shù)越多跑數(shù)速度越快，但是需要的存儲空間也更多。有錢人可以調(diào)5或者6 |
| dfs.replication.max | 512 | 有時dn臨時故障恢復后會導致數(shù)據(jù)超過默認備份數(shù)。復制份數(shù)的最多數(shù)，通常沒什么用，不用寫配置文件里。 |
| dfs.replication.min | 1 | 最小份數(shù)，作用同上。 |
| dfs.block.size | 134217728 | 每個文件塊的大小，我們用128M，默認是64M。這個計算需要128*1024^2，我碰上過有人直接寫128000000，十分浪漫。 |
| dfs.df.interval | 60000 | 磁盤用量統(tǒng)計自動刷新時間，單位是毫秒。 |
| dfs.client.block.write.retries | 3 | 數(shù)據(jù)塊寫入的最多重試次數(shù)，在此次數(shù)之前不會捕獲失敗。 |
| dfs.heartbeat.interval | 3 | DN的心跳檢測時間間隔。秒 |
| dfs.namenode.handler.count | 10 | NN啟動后展開的線程數(shù)。 |
| dfs.balance.bandwidthPerSec | 1048576 | 做balance時所使用的每秒最大帶寬，使用字節(jié)作為單位，而不是bit |
| dfs.hosts | /opt/hadoop/conf/hosts.allow | 一個主機名列表文件，這里的主機是允許連接NN的，必須寫絕對路徑，文件內(nèi)容為空則認為全都可以。 |
| dfs.hosts.exclude | /opt/hadoop/conf/hosts.deny | 基本原理同上，只不過這里放的是禁止訪問NN的主機名稱列表。這在從集群中摘除DN會比較有用。 |
| dfs.max.objects | 0 | dfs最大并發(fā)對象數(shù)，HDFS中的文件，目錄塊都會被認為是一個對象。0表示不限制 |
| dfs.replication.interval | 3 | NN計算復制塊的內(nèi)部間隔時間，通常不需寫入配置文件。默認就好 |
| dfs.support.append | true | false | 新的hadoop支持了文件的APPEND操作，這個就是控制是否允許文件APPEND的，但是默認是false，理由是追加還有bug。 |
| dfs.datanode.failed.volumes.tolerated | 0 | 能夠?qū)е翫N掛掉的壞硬盤最大數(shù)，默認0就是只要有1個硬盤壞了，DN就會shutdown。 |
| dfs.secondary.http.address | 0.0.0.0:50090 | SNN的tracker頁面監(jiān)聽地址和端口 |
| dfs.datanode.address | 0.0.0.0:50010 | DN的服務監(jiān)聽端口，端口為0的話會隨機監(jiān)聽端口，通過心跳通知NN |
| dfs.datanode.http.address | 0.0.0.0:50075 | DN的tracker頁面監(jiān)聽地址和端口 |
| dfs.datanode.ipc.address | 0.0.0.0:50020 | DN的IPC監(jiān)聽端口，寫0的話監(jiān)聽在隨機端口通過心跳傳輸給NN |
| dfs.datanode.handler.count | 3 | DN啟動的服務線程數(shù) |
| dfs.http.address | 0.0.0.0:50070 | NN的tracker頁面監(jiān)聽地址和端口 |
| dfs.https.enable | true | false | NN的tracker是否監(jiān)聽在HTTPS協(xié)議，默認false |
| dfs.datanode.https.address | 0.0.0.0:50475 | DN的HTTPS的tracker頁面監(jiān)聽地址和端口 |
| dfs.https.address | 0.0.0.0:50470 | NN的HTTPS的tracker頁面監(jiān)聽地址和端口 |
| dfs.datanode.max.xcievers | 2048 | 相當于linux下的打開文件最大數(shù)量，文檔中無此參數(shù)，當出現(xiàn)DataXceiver報錯的時候，需要調(diào)大。默認256 |
以上是“hdfs中site.xml的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
