Hive中靜態(tài)分區(qū)與動(dòng)態(tài)分區(qū)的示例分析

這篇文章給大家分享的是有關(guān)Hive中靜態(tài)分區(qū)與動(dòng)態(tài)分區(qū)的示例分析的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

　　分區(qū)是hive存放數(shù)據(jù)的一種方式。將列值作為目錄來(lái)存放數(shù)據(jù)，就是一個(gè)分區(qū)。這樣查詢時(shí)使用分區(qū)列進(jìn)行過(guò)濾，只需根據(jù)列值直接掃描對(duì)應(yīng)目錄下的數(shù)據(jù)，不掃描其他不關(guān)心的分區(qū)，快速定位，提高查詢效率。分動(dòng)態(tài)和靜態(tài)分區(qū)兩種：

　　1.靜態(tài)分區(qū)：若分區(qū)的值是確定的，那么稱為靜態(tài)分區(qū)。新增分區(qū)或者是加載分區(qū)數(shù)據(jù)時(shí)，已經(jīng)指定分區(qū)名。

　　createtableifnotexistsday_part1(

　　uidint,

　　unamestring

　　)

　　partitionedby(yearint,monthint)

　　rowformatdelimitedfieldsterminatedby''

　　;

　　##加載數(shù)據(jù)指定分區(qū)

　　loaddatalocalinpath'/root/Desktop/student.txt'intotableday_part1partition(year=2017,month=04);

　　##新增分區(qū)指定分區(qū)名

　　altertableday_part1addpartition(year=2017,month=1)partition(year=2016,month=12);

　　2.動(dòng)態(tài)分區(qū)：分區(qū)的值是非確定的，由輸入數(shù)據(jù)來(lái)確定

　　2.1動(dòng)態(tài)分區(qū)的相關(guān)屬性：

　　hive.exec.dynamic.partition=true:是否允許動(dòng)態(tài)分區(qū)

　　hive.exec.dynamic.partition.mode=strict：分區(qū)模式設(shè)置

　　strict：最少需要有一個(gè)是靜態(tài)分區(qū)

　　nostrict：可以全部是動(dòng)態(tài)分區(qū)

　　hive.exec.max.dynamic.partitions=1000：允許動(dòng)態(tài)分區(qū)的最大數(shù)量

　　hive.exec.max.dynamic.partitions.pernode=100：?jiǎn)蝹€(gè)節(jié)點(diǎn)上的mapper/reducer允許創(chuàng)建的最大分區(qū)

　　2.2動(dòng)態(tài)分區(qū)的操作

　　##創(chuàng)建臨時(shí)表

　　createtableifnotexiststmp(

　　uidint,

　　commentidbigint,

　　recommentidbigint,

　　yearint,

　　monthint,

　　dayint

　　)

　　rowformatdelimitedfieldsterminatedby'';

　　##加載數(shù)據(jù)

　　loaddatalocalinpath'/root/Desktop/comm'intotabletmp;

　　##創(chuàng)建動(dòng)態(tài)分區(qū)表

　　createtableifnotexistsdyp1(

　　uidint,

　　commentidbigint,

　　recommentidbigint

　　)

　　partitionedby(yearint,monthint,dayint)

　　rowformatdelimitedfieldsterminatedby''

　　;

　　##嚴(yán)格模式

　　insertintotabledyp1partition(year=2016,month,day)

　　selectuid,commentid,recommentid,month,dayfromtmp;

　　##非嚴(yán)格模式

　　##設(shè)置非嚴(yán)格模式動(dòng)態(tài)分區(qū)

　　sethive.exec.dynamic.partition.mode=nostrict;

　　##創(chuàng)建動(dòng)態(tài)分區(qū)表

　　createtableifnotexistsdyp2(

　　uidint,

　　commentidbigint,

　　recommentidbigint

　　)

　　partitionedby(yearint,monthint,dayint)

　　rowformatdelimitedfieldsterminatedby'';

　　##為非嚴(yán)格模式動(dòng)態(tài)分區(qū)加載數(shù)據(jù)

　　insertintotabledyp2partition(year,month,day)

　　selectuid,commentid,recommentid,year,month,dayfromtmp;

　　3.分區(qū)注意細(xì)節(jié)

　　(1)、盡量不要是用動(dòng)態(tài)分區(qū)，因?yàn)閯?dòng)態(tài)分區(qū)的時(shí)候，將會(huì)為每一個(gè)分區(qū)分配reducer數(shù)量，當(dāng)分區(qū)數(shù)量多的時(shí)候，reducer數(shù)量將會(huì)增加，對(duì)服務(wù)器是一種災(zāi)難。

　　(2)、動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)的區(qū)別，靜態(tài)分區(qū)不管有沒(méi)有數(shù)據(jù)都將會(huì)創(chuàng)建該分區(qū)，動(dòng)態(tài)分區(qū)是有結(jié)果集將創(chuàng)建，否則不創(chuàng)建。

　　(3)、hive動(dòng)態(tài)分區(qū)的嚴(yán)格模式和hive提供的hive.mapred.mode的嚴(yán)格模式。

　　hive提供我們一個(gè)嚴(yán)格模式：為了阻止用戶不小心提交惡意hql

　　hive.mapred.mode=nostrict:strict

　　如果該模式值為strict，將會(huì)阻止以下三種查詢：

　　(1)、對(duì)分區(qū)表查詢，where中過(guò)濾字段不是分區(qū)字段。

　　(2)、笛卡爾積join查詢，join查詢語(yǔ)句，不帶on條件或者where條件。

　　(3)、對(duì)orderby查詢，有orderby的查詢不帶limit語(yǔ)句。

感謝各位的閱讀！關(guān)于“Hive中靜態(tài)分區(qū)與動(dòng)態(tài)分區(qū)的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！