Hadoop SequnceFile.Writer壓縮模式及壓縮庫舉例分析

這篇文章主要講解了“Hadoop SequnceFile.Writer壓縮模式及壓縮庫舉例分析”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Hadoop SequnceFile.Writer壓縮模式及壓縮庫舉例分析”吧！

先說明SequnceFile的壓縮類型（Compression Type）分為三種NONE，RECORD，BLOCK，通過配置項(xiàng)io.seqfile.compression.type指定：

            NONE, Do not compress records  即不壓縮

            RECORD, Compress values only, each separately.   每條記錄都對value進(jìn)行一次壓縮

            BLOCK, Compress sequences of records together in blocks.   塊壓縮，當(dāng)緩存的key和value字節(jié)大小達(dá)到指定的閾值，則進(jìn)行壓縮，閾值由配置項(xiàng)io.seqfile.compress.blocksize指定，默認(rèn)值為1000000字節(jié)

    RECORD，BLOCK使用的壓縮算法是由創(chuàng)建SequnceFile.Writer 時(shí)指定的CompressionOption決定的, CompressionOption中CompressionCodec codec屬性即為壓縮編碼器,  不指定時(shí)默認(rèn)為org.apache.hadoop.io.compress.DefaultCodec 對應(yīng)的底層壓縮庫為zlib， 除了DefaultCodec還有幾個(gè)其他的CompressionCodec：GzipCodec  Lz4Codec  SnappyCodec   BZip2Codec 這里不做比較

    DefaultCodec在實(shí)現(xiàn)zlib壓縮的時(shí)候，可以指定使用libhadoop.so（hadoop 框架提供的native庫）或java.util.zip庫。下面了解下如何開啟hadoop native庫或java zip庫：

    SequnceFile 默認(rèn)使用的是org.apache.hadoop.io.compress.DefaultCodec 壓縮方式，使用的是Deflate的壓縮算法

    DefaultCodec在創(chuàng)建壓縮器時(shí)會(huì)執(zhí)行類ZlibFactory.getZlibCompressor(conf)方法，實(shí)現(xiàn)代碼片段：

    return (isNativeZlibLoaded(conf)) ?
      new ZlibCompressor(conf) :
      new BuiltInZlibDeflater(ZlibFactory.getCompressionLevel(conf).compressionLevel());

    當(dāng)加載本地Zlib庫時(shí)，使用的是ZlibCompressor壓縮器類，否則使用BuiltInZlibDeflater類，BuiltInZlibDeflater類是調(diào)用java的java.util.zip.Inflater類實(shí)現(xiàn)；

    其中isNativeZlibLoaded是根據(jù)NativeCodeLoader類是否已經(jīng)加載hadoop native庫來判斷的，代碼如下：

// Try to load native hadoop library and set fallback flag appropriately
    if(LOG.isDebugEnabled()) {
      LOG.debug("Trying to load the custom-built native-hadoop library...");
    }
    try {
      System.loadLibrary("hadoop");
      LOG.debug("Loaded the native-hadoop library");
      nativeCodeLoaded = true;
    } catch (Throwable t) {
      // Ignore failure to load
      if(LOG.isDebugEnabled()) {
        LOG.debug("Failed to load native-hadoop with error: " + t);
        LOG.debug("java.library.path=" +
            System.getProperty("java.library.path"));
      }
    }
    if (!nativeCodeLoaded) {
      LOG.warn("Unable to load native-hadoop library for your platform... " +
               "using builtin-java classes where applicable");
    }

    其中System.loadLibrary("hadoop"); 在linux上查找的就是libhadoop.so。

    總結(jié)：當(dāng)無法加載本地的hadoop庫，hadoop會(huì)使用java.util.zip.Inflater類來對SequnceFile進(jìn)行壓縮；當(dāng)可以加載到本地hadoop庫，則使用本地的庫。

下面來比較實(shí)用native hadoop庫和不使用native hadoop的性能區(qū)別。

不使用native hadoop即在jvm運(yùn)行參數(shù)java.library.path中不包含native庫的路徑：

java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib

使用則在后面加上hadoop的native庫路徑:

java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib:$HADOOP_HOME/lib/native

虛擬機(jī)集群:

50w 數(shù)據(jù)，sequnceFile壓縮模式為RECORD, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié)：

    native lib disabled:    32689ms         after compression 114.07 MB 

    native lib enabled：   30625ms        after compression 114.07 MB

50w 數(shù)據(jù)，sequnceFile壓縮模式為BLOCK, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié)：

    native lib disabled：   11354ms       after compression 101.17 MB

    native lib enabled:    10699ms       after compression 101.17 MB

物理機(jī)集群:

50w 數(shù)據(jù)，sequnceFile壓縮模式為RECORD, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié)：

    native lib disabled:    21953ms         after compression 114.07 MB 

    native lib enabled：   24742ms        after compression 114.07 MB

100w 數(shù)據(jù)，sequnceFile壓縮模式為RECORD, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié)：

    native lib disabled:    48555ms         after compression 228.14 MB

    native lib enabled：   45770ms        after compression 228.14 MB

100w 數(shù)據(jù)，sequnceFile壓縮模式為RECORD, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié), 設(shè)置zlib壓縮級別為BEST_SPEED：

    native lib disabled:    44872ms         after compression 228.14 MB

    native lib enabled：  51582ms        after compression 228.14 MB

100w 數(shù)據(jù)，sequnceFile壓縮模式為BLOCK, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié), 設(shè)置zlib壓縮級別為BEST_SPEED：

    native lib disabled:    14374ms         after compression  203.54 MB

    native lib enabled：  14639ms        after compression   203.54 MB

100w 數(shù)據(jù)，sequnceFile壓縮模式為BLOCK, key為隨機(jī)的10字節(jié)，value為隨機(jī)200字節(jié), 設(shè)置zlib壓縮級別為DEFAULT_COMPRESSION：

    native lib disabled:    15397ms         after compression  203.54 MB

    native lib enabled：  13669ms        after compression   203.54 MB

分析測試結(jié)果，總結(jié)如下：

當(dāng)在不同的壓縮模式，或不同的數(shù)據(jù)量，以及不同的zlib壓縮級別時(shí)，使用hadoop native庫壓縮和使用java zip庫之間沒有太大差別

后續(xù)再嘗試其他的native壓縮編碼方式： GzipCodec  Lz4Codec  SnappyCodec   BZip2Codec 

感謝各位的閱讀，以上就是“Hadoop SequnceFile.Writer壓縮模式及壓縮庫舉例分析”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Hadoop SequnceFile.Writer壓縮模式及壓縮庫舉例分析這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！