溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

【總結(jié)】Hadoop配置文件core-site.xml

發(fā)布時間:2020-09-13 14:12:42 來源:網(wǎng)絡(luò) 閱讀:2129 作者:巧克力黒 欄目:大數(shù)據(jù)
<property>
<name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  <description>缺省文件服務(wù)的協(xié)議和NS邏輯名稱,和hdfs-site里的對應(yīng)此配置替代了1.0里的
fs.default.name,ns1 與 
hdfs-site.xml中的dfs.nameservices配置項對應(yīng)</description>
</property>

<property>
<name>hadoop.tmp.dir</name>
    <value>/hadoop/1/tmp/hadoop-${user.name}${hue.suffix}</value>
  <description>A base for other temporary 
directories.存放一些解壓jar包后的class文件,類似 
hadoop-unjar3569575687995621667,hdfs-site.xml配置文件中
dfs.namenode.name.dir;dfs.datanode.data.dir;dfs.namenode.checkpoint.dir等
配置項會用到該配置項內(nèi)容</description>
</property>

<property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.GzipCodec,
            com.hadoop.compression.lzo.LzopCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            org.apache.hadoop.io.compress.Lz4Codec
        </value>
        <description>提供壓縮/解壓的java工具</description>
</property>

<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>  128M
        <description>SequenceFiles在讀寫中可以使用的緩存大小,在x86系統(tǒng)上一般配置4096倍數(shù);決定了在讀寫過程當(dāng)中,有多大的緩存</description>
</property>

<property>
        <name>ha.zookeeper.quorum</name>
        <value>nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181</value>
  
      <description>A list of ZooKeeper server addresses, separated
 by commas, that are to be used by the ZKFailoverController in automatic
 failover</description>
</property>

<property>
        <name>ipc.client.connection.maxidletime</name>
        <value>60000</value>
        <description>超出客戶端與服務(wù)器連接的最大空閑期maxidletime,斷開服務(wù)器與客戶端的連接</description>
</property>

<property>
        <name>io.seqfile.compression.type</name>
        <value>BLOCK</value>
  
      <description>Hadoop SequenceFile 
是一個由二進制形式key/value的字節(jié)流組成的存儲文件,SequenceFile可壓縮可切分,非常適合hadoop文件存儲特 
性,SequenceFile的寫入由SequenceFile.Writer來實現(xiàn), 
根據(jù)壓縮類型SequenceFile.Writer又派生出兩個子類SequenceFile.BlockCompressWriter和 
SequenceFile.RecordCompressWriter, 
壓縮方式由SequenceFile類的內(nèi)部枚舉類CompressionType來表示,定義了三種方式[NONE|RECORD|BLOCK],
CompressionType.NONE 時 記錄信息不壓縮
CompressionType.RECORD 時 記錄信息壓縮(單條記錄壓縮)
CompressionType.BLOCK  一個block內(nèi)會有多條記錄組成,壓縮是作用在block之上的,比RECODE方式能獲得更好的壓縮比
</description>
</property>

<property>
    <name>topology.script.file.name</name>
    <value>/usr/local/hadoop/etc/hadoop/topology.sh</value>
    <description>機架識別腳本</description>
</property>




向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI