hive 分區(qū)時(shí) 分別使用 年,月,日 來(lái)進(jìn)行分區(qū)

創(chuàng)建表

create [external<外聯(lián)>] table log_app_web (log map<string,string>) partitioned by (year int,month int,day int) 

ROW FORMAT DELIMITED COLLECTION ITEMS TERMINATED BY '\t' 

MAP KEYS TERMINATED BY '=' STORED AS ORC;

表名：log_app_web

字段：Map類型字段 log

分區(qū)：根據(jù)年，月，日 進(jìn)行分區(qū) year ,month ,day

分割使用 '\t'

MAP中的KV使用 '=’

數(shù)據(jù)文件存儲(chǔ)為ORCFILE格式

根據(jù)日期范圍查詢時(shí)使用將分期時(shí)間轉(zhuǎn)換成日期的string進(jìn)行范圍查詢

 concat_ws('-',cast(year as string),lpad(cast(month as string),2,'0'), lpad(cast(day as string),2,'0')) >= '"+format.format(StartDay)+"' 

類似于 yyyy-MM-dd >= '2016-04-28'

以上是個(gè)比較另類的方式 

下面來(lái)說(shuō)下 分區(qū) 轉(zhuǎn)載他人的

一、背景

1、在Hive Select查詢中一般會(huì)掃描整個(gè)表內(nèi)容，會(huì)消耗很多時(shí)間做沒(méi)必要的工作。有時(shí)候只需要掃描表中關(guān)心的一部分?jǐn)?shù)據(jù)，因此建表時(shí)引入了partition概念。

2、分區(qū)表指的是在創(chuàng)建表時(shí)指定的partition的分區(qū)空間。

3、如果需要?jiǎng)?chuàng)建有分區(qū)的表，需要在create表的時(shí)候調(diào)用可選參數(shù)partitioned by，詳見(jiàn)表創(chuàng)建的語(yǔ)法結(jié)構(gòu)。

二、技術(shù)細(xì)節(jié)

1、一個(gè)表可以擁有一個(gè)或者多個(gè)分區(qū)，每個(gè)分區(qū)以文件夾的形式單獨(dú)存在表文件夾的目錄下。

2、表和列名不區(qū)分大小寫。

3、分區(qū)是以字段的形式在表結(jié)構(gòu)中存在，通過(guò)describe table命令可以查看到字段存在，但是該字段不存放實(shí)際的數(shù)據(jù)內(nèi)容，僅僅是分區(qū)的表示。

4、建表的語(yǔ)法（建分區(qū)可參見(jiàn)PARTITIONED BY參數(shù)）：

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]

5、分區(qū)建表分為2種，一種是單分區(qū)，也就是說(shuō)在表文件夾目錄下只有一級(jí)文件夾目錄。另外一種是多分區(qū)，表文件夾下出現(xiàn)多文件夾嵌套模式。

a、單分區(qū)建表語(yǔ)句：create table day_table (id int, content string) partitioned by (dt string);單分區(qū)表，按天分區(qū)，在表結(jié)構(gòu)中存在id，content，dt三列。

b、雙分區(qū)建表語(yǔ)句：create table day_hour_table (id int, content string) partitioned by (dt string, hour string);雙分區(qū)表，按天和小時(shí)分區(qū)，在表結(jié)構(gòu)中新增加了dt和hour兩列。

表文件夾目錄示意圖（多分區(qū)表）：

6、添加分區(qū)表語(yǔ)法（表已創(chuàng)建，在此基礎(chǔ)上添加分區(qū)）：

ALTER TABLE table_name ADD partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ... partition_spec: : PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

用戶可以用 ALTER TABLE ADD PARTITION 來(lái)向一個(gè)表中增加分區(qū)。當(dāng)分區(qū)名是字符串時(shí)加引號(hào)。例：

ALTER TABLE day_table ADD PARTITION (dt='2008-08-08', hour='08') location '/path/pv1.txt' PARTITION (dt='2008-08-08', hour='09') location '/path/pv2.txt';

7、刪除分區(qū)語(yǔ)法：

ALTER TABLE table_name DROP partition_spec, partition_spec,...

用戶可以用 ALTER TABLE DROP PARTITION 來(lái)刪除分區(qū)。分區(qū)的元數(shù)據(jù)和數(shù)據(jù)將被一并刪除。例：

ALTER TABLE day_hour_table DROP PARTITION (dt='2008-08-08', hour='09');

8、數(shù)據(jù)加載進(jìn)分區(qū)表中語(yǔ)法：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

例：

LOAD DATA INPATH '/user/pv.txt' INTO TABLE day_hour_table PARTITION(dt='2008-08- 08', hour='08'); LOAD DATA local INPATH '/user/hua/*' INTO TABLE day_hour partition(dt='2010-07- 07');

當(dāng)數(shù)據(jù)被加載至表中時(shí)，不會(huì)對(duì)數(shù)據(jù)進(jìn)行任何轉(zhuǎn)換。Load操作只是將數(shù)據(jù)復(fù)制至Hive表對(duì)應(yīng)的位置。數(shù)據(jù)加載時(shí)在表下自動(dòng)創(chuàng)建一個(gè)目錄，文件存放在該分區(qū)下。

9、基于分區(qū)的查詢的語(yǔ)句：

SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08';

10、查看分區(qū)語(yǔ)句：

hive> show partitions day_hour_table; OK dt=2008-08-08/hour=08 dt=2008-08-08/hour=09 dt=2008-08-09/hour=09

三、總結(jié)

1、在 Hive 中，表中的一個(gè) Partition 對(duì)應(yīng)于表下的一個(gè)目錄，所有的 Partition 的數(shù)據(jù)都存儲(chǔ)在最字集的目錄中。

2、總的說(shuō)來(lái)partition就是輔助查詢，縮小查詢范圍，加快數(shù)據(jù)的檢索速度和對(duì)數(shù)據(jù)按照一定的規(guī)格和條件進(jìn)行管理。

這種比較常見(jiàn)