溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

Hadoop的配置文件

發(fā)布時(shí)間：2020-07-17 05:20:47 來(lái)源：網(wǎng)絡(luò) 閱讀：699 作者：593653868 欄目：大數(shù)據(jù)

core-site.xml是全局配置；

hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置；

HDFS端口

參數(shù)描述默認(rèn)配置文件例子值
fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/
dfs.http.address NameNode web管理端口50070 hdfs-site.xml 0.0.0.0:50070
dfs.datanode.addressdatanode　控制端口50010 hdfs-site.xml 0.0.0.0:50010
dfs.datanode.ipc.addressdatanode的RPC服務(wù)器地址和端口 50020hdfs-site.xml0.0.0.0:50020
dfs.datanode.http.addressdatanode的HTTP服務(wù)器和端口 50075hdfs-site.xml 0.0.0.0:50075


 　
 　　　    　  　　



MR端口

參數(shù)描述默認(rèn) 配置文件例子值
mapred.job.trackerjob tracker交互端口 8021mapred-site.xmlhdfs://master:8021/
mapred.job.tracker.http.addressjob tracker的web管理端口50030mapred-site.xml 0.0.0.0:50030
mapred.task.tracker.http.addresstask tracker的HTTP端口50060mapred-site.xml0.0.0.0:50060


 
 　　 　  　　


其他端口

參數(shù)描述 默認(rèn) 配置文件例子值
dfs.secondary.http.address secondary NameNode web管理端口 50090hdfs-site.xml0.0.0.0:28680


 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　

集群目錄配置

參數(shù)描述 默認(rèn) 配置文件例子值
dfs.name.dirname node的元數(shù)據(jù),以,號(hào)隔開,hdfs會(huì)把元數(shù)據(jù)冗余復(fù)制到這些目錄，一般這些目錄是不同的塊設(shè)備，不存在的目錄會(huì)被忽略掉

{hadoop.tmp.dir}

/dfs/name

hdfs-site.xm/hadoop/hdfs/name
dfs.name.edits.dir node node的事務(wù)文件存儲(chǔ)的目錄,以,號(hào)隔開,hdfs會(huì)把事務(wù)文件冗余復(fù)制到這些目錄，一般這些目錄是不同的塊設(shè)備，不存在的目錄會(huì)被忽略掉 ${dfs.name.dir}hdfs-site.xm${dfs.name.dir}
 fs.checkpoint.dirsecondary NameNode的元數(shù)據(jù)以,號(hào)隔開,hdfs會(huì)把元數(shù)據(jù)冗余復(fù)制到這些目錄，一般這些目錄是不同的塊設(shè)備，不存在的目錄會(huì)被忽略掉

${hadoop.tmp.dir}

/dfs/namesecondary

core-site.xml/hadoop/hdfs/namesecondary
 fs.checkpoint.edits.dirsecondary NameNode的事務(wù)文件存儲(chǔ)的目錄,以,號(hào)隔開,hdfs會(huì)把事務(wù)文件冗余復(fù)制到這些目錄${fs.checkpoint.dir}core-site.xml${fs.checkpoint.dir}
hadoop.tmp.dir臨時(shí)目錄,其他臨時(shí)目錄的父目錄/tmp/hadoop-${user.name}core-site.xml/hadoop/tmp/hadoop-${user.name}
dfs.data.dirdata node的數(shù)據(jù)目錄,以,號(hào)隔開,hdfs會(huì)把數(shù)據(jù)存在這些目錄下，一般這些目錄是不同的塊設(shè)備，不存在的目錄會(huì)被忽略掉

${hadoop.tmp.dir}

/dfs/data

hdfs-site.xm

/hadoop/hdfs/data1/data,

/hadoop/hdfs/data2/data

mapred.local.dirMapReduce產(chǎn)生的中間數(shù)據(jù)存放目錄,以,號(hào)隔開,hdfs會(huì)把數(shù)據(jù)存在這些目錄下，一般這些目錄是不同的塊設(shè)備，不存在的目錄會(huì)被忽略掉

${hadoop.tmp.dir}

/mapred/local

mapred-site.xml

/hadoop/hdfs/data1/mapred/local,

/hadoop/hdfs/data2/mapred/local

mapred.system.dirMapReduce的控制文件

${hadoop.tmp.dir}

/mapred/system

mapred-site.xml/hadoop/hdfs/data1/system

 

其他配置

參數(shù)描述 默認(rèn) 配置文件例子值
dfs.support.append 支持文件append，主要是支持hbase falsehdfs-site.xmltrue
dfs.replication 文件復(fù)制的副本數(shù)，如果創(chuàng)建時(shí)不指定這個(gè)參數(shù)，就使用這個(gè)默認(rèn)值作為復(fù)制的副本數(shù) 3hdfs-site.xml2

分類: hadoop



向AI問(wèn)一下細(xì)節(jié)
推薦閱讀：
  1. hadoop的HA
  2. Hadoop的RPC

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手