Hive中如何實(shí)現(xiàn)對(duì)中間數(shù)據(jù)啟用壓縮

這篇文章主要介紹了Hive中如何實(shí)現(xiàn)對(duì)中間數(shù)據(jù)啟用壓縮，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

對(duì)中間數(shù)據(jù)啟用壓縮

復(fù)雜的Hive查詢通常會(huì)轉(zhuǎn)換為一系列多階段的MapReduce作業(yè)，并且這些作業(yè)將由Hive引擎鏈接起來(lái)以完成整個(gè)查詢。因此，此處的“中間輸出”是指上一個(gè)MapReduce作業(yè)的輸出，它將用作下一個(gè)MapReduce作業(yè)的輸入數(shù)據(jù)。

壓縮可以顯著減少中間數(shù)據(jù)量，從而在內(nèi)部減少了Map和Reduce之間的數(shù)據(jù)傳輸量。

我們可以使用以下屬性在中間輸出上啟用壓縮。

set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;

為了將最終輸出到HDFS的數(shù)據(jù)進(jìn)行壓縮，可以使用以下屬性：

set hive.exec.compress.output=true;

下面是一些可以使用的壓縮編解碼器

org.apache.hadoop.io.compress.DefaultCodec
org.apache.hadoop.io.compress.GzipCodec
org.apache.hadoop.io.compress.BZip2Codec
com.hadoop.compression.lzo.LzopCodec
org.apache.hadoop.io.compress.Lz4Codec
org.apache.hadoop.io.compress.SnappyCodec

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Hive中如何實(shí)現(xiàn)對(duì)中間數(shù)據(jù)啟用壓縮”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!