您好,登錄后才能下訂單哦!
這篇文章主要講解了“用Partition函數(shù)怎么實(shí)現(xiàn)Hive動(dòng)態(tài)分區(qū)”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“用Partition函數(shù)怎么實(shí)現(xiàn)Hive動(dòng)態(tài)分區(qū)”吧!
一、前段時(shí)間因?yàn)閷?dǎo)表需求(從一張表中查找出數(shù)據(jù),按日期分區(qū)overwrite 到指定分區(qū)表中),在Hive里面研究了一下自動(dòng)分區(qū)。
步驟:
1、建好所需分區(qū)表
2、設(shè)置分區(qū)參數(shù)
set hive.exec.dynamic.partition=true;(可通過這個(gè)語句查看:set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000;(如果自動(dòng)分區(qū)數(shù)大于這個(gè)參數(shù),將會(huì)報(bào)錯(cuò)) SET hive.exec.max.dynamic.partitions.pernode=100000;
3、書寫代碼(特別注意:日期字段一定要放在末尾),例如:
INSERT OVERWRITE TABLE dw_stage.ds_info_msg partition(cal_dt) select id ,... ,pv ,0 uv ,cal_dt from dw_stage.tiny_info_msg
二、如果要在partition字段用函數(shù)處理也可通過通過這種方式實(shí)現(xiàn);例如:
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nostrick; INSERT OVERWRITE TABLE dw_stage.ds_info_msg partition(cal_dt) SELECT id ,... ,pv ,date_sub('2014-03-23',7) cal_dt FROM dw_stage.tiny_info_msg07;
感謝各位的閱讀,以上就是“用Partition函數(shù)怎么實(shí)現(xiàn)Hive動(dòng)態(tài)分區(qū)”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對(duì)用Partition函數(shù)怎么實(shí)現(xiàn)Hive動(dòng)態(tài)分區(qū)這一問題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云,小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。