Hive行轉(zhuǎn)列的實(shí)現(xiàn)方式

本篇內(nèi)容主要講解“Hive行轉(zhuǎn)列的實(shí)現(xiàn)方式”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Hive行轉(zhuǎn)列的實(shí)現(xiàn)方式”吧!

前言

傳統(tǒng)關(guān)系型數(shù)據(jù)庫中，無論是Oracle（11g之后）還是SQLserver（2005之后），都自帶了Pivot函數(shù)實(shí)現(xiàn)行轉(zhuǎn)列功能，本文主要講述在Hive中實(shí)現(xiàn)行轉(zhuǎn)列的兩種方式。

傳統(tǒng)數(shù)據(jù)庫方式

這種方式是借鑒在Oracle或者SQLserver在支持Pivot函數(shù)之前實(shí)現(xiàn)行轉(zhuǎn)列的方式，實(shí)際上語法沒有什么變化，只是換成了Hive。

with testtable(
select 1 id,'k1' key,123 value
  union all
select 1,'k2' key,124 value
  union all
select 2,'k1',234 value
  )
select id,
       max(case when key='k1' then value else null end) k1,
       max(case when key='k2' then value else null end) k2
  from testtable
 group by id

Map方式

這種方式的思路是把需要轉(zhuǎn)列的字段及其值字段拼接成一個(gè)Hive上的key-value的map數(shù)據(jù)，具體Sql如下：

with testtable(
select 1 id,'k1' key,123 value
  union all
select 1,'k2' key,124 value
  union all
select 2,'k1',234 value
  )
select id,kv['k1'],kv['k2']
  from (
select id,str_to_map(concat_ws(',', collect_set(concat(key, '-', value))),',','-') kv
  from testtable
 group by id)t

總結(jié)

兩種方式都可以實(shí)現(xiàn)行轉(zhuǎn)列的功能，傳統(tǒng)的方式易于理解，但在key的取值比較多的時(shí)候，寫起來會(huì)相當(dāng)繁瑣，map的方式相對(duì)要簡便一些。但map的方式所有的數(shù)據(jù)都collect到一起了，對(duì)內(nèi)存的要求會(huì)高一些，而傳統(tǒng)的方式通過聚合函數(shù)直接reduce，可以邊運(yùn)行邊求值。

到此，相信大家對(duì)“Hive行轉(zhuǎn)列的實(shí)現(xiàn)方式”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！