hadoop怎么向HDFS文件追加新內(nèi)容

這篇文章主要介紹“hadoop怎么向HDFS文件追加新內(nèi)容 ”，在日常操作中，相信很多人在hadoop怎么向HDFS文件追加新內(nèi)容 問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”hadoop怎么向HDFS文件追加新內(nèi)容 ”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

在hadoop1.2.1中，網(wǎng)上有很多文章說這個(gè)版本不支持文件追加模式，設(shè)置了

<property>
         <name>dfs.support.append</name>
         <value>true</value>
 </property>

無效

由于我現(xiàn)在做的項(xiàng)目需要這個(gè)功能，而升級(jí)hadoop似乎不太可能，然后查看源碼發(fā)現(xiàn)，其中allowBrokenAppend是用于判斷是否支持追加的標(biāo)識(shí)符

this.allowBrokenAppend = conf.getBoolean("dfs.support.broken.append", false);
    if (conf.getBoolean("dfs.support.append", false)) {
      LOG.warn("The dfs.support.append option is in your configuration, " +
               "however append is not supported. This configuration option " +
               "is no longer required to enable sync");
    }

<pre name="code" class="java"> LocatedBlock appendFile(String src, String holder, String clientMachine
      ) throws IOException {
    if (!allowBrokenAppend) {
      throw new IOException("Append is not supported. " +
          "Please see the dfs.support.append configuration parameter");
    }
    startFileInternal(src, null, holder, clientMachine, false, true, 
                      false, (short)maxReplication, (long)0);
    getEditLog().logSync();

看到這里就很明白了吧，dfs.support.append屬性已經(jīng)作廢不起作用了，如果想支持追加模式需要以下設(shè)置

<property>
         <name>dfs.support.broken.append</name>
         <value>true</value>
 </property>

到此，關(guān)于“hadoop怎么向HDFS文件追加新內(nèi)容 ”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！