hive內(nèi)置函數(shù)有什么用

小編給大家分享一下hive內(nèi)置函數(shù)有什么用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

hive內(nèi)置函數(shù)：1、用戶自定義函數(shù)對(duì)數(shù)據(jù)進(jìn)行處理；2、用來解決輸入一行輸出多行【(On-to-many maping)】的需求；3、用戶自定義聚合函數(shù)，操作多個(gè)數(shù)據(jù)行，產(chǎn)生一個(gè)數(shù)據(jù)行。

hive內(nèi)置函數(shù)：

定義：

UDF(User-Defined-Function)，用戶自定義函數(shù)對(duì)數(shù)據(jù)進(jìn)行處理。

UDTF(User-Defined Table-Generating Functions) 用來解決 輸入一行輸出多行(On-to-many maping) 的需求。

UDAF(User Defined Aggregation Function)用戶自定義聚合函數(shù)，操作多個(gè)數(shù)據(jù)行，產(chǎn)生一個(gè)數(shù)據(jù)行。

用法：

　　1、UDF函數(shù)可以直接應(yīng)用于select語(yǔ)句，對(duì)查詢結(jié)構(gòu)做格式化處理后，再輸出內(nèi)容。

　　2、編寫UDF函數(shù)的時(shí)候需要注意一下幾點(diǎn)：

a）自定義UDF需要繼承org.apache.hadoop.hive.ql.UDF。

b）需要實(shí)現(xiàn)evaluate函。

c）evaluate函數(shù)支持重載。

hive的本地模式：

　　大多數(shù)的Hadoop job是需要hadoop提供的完整的可擴(kuò)展性來處理大數(shù)據(jù)的。不過，有時(shí)hive的輸入數(shù)據(jù)量是非常小的。在這種情況下，為查詢出發(fā)執(zhí)行任務(wù)的時(shí)間消耗可能會(huì)比實(shí)際job的執(zhí)行時(shí)間要多的多。對(duì)于大多數(shù)這種情況，hive可以通過本地模式在單臺(tái)機(jī)器上處理所有的任務(wù)。對(duì)于小數(shù)據(jù)集，執(zhí)行時(shí)間會(huì)明顯被縮短。

　　如此一來，對(duì)數(shù)據(jù)量比較小的操作，就可以在本地執(zhí)行，這樣要比提交任務(wù)到集群執(zhí)行效率要快很多。

　　配置如下參數(shù)，可以開啟Hive的本地模式：

hive> set hive.exec.mode.local.auto=true;(默認(rèn)為false)

當(dāng)一個(gè)job滿足如下條件才能真正使用本地模式：

　　　　1.job的輸入數(shù)據(jù)大小必須小于參數(shù)：hive.exec.mode.local.auto.inputbytes.max(默認(rèn)128MB)

　　　　2.job的map數(shù)必須小于參數(shù)：hive.exec.mode.local.auto.tasks.max(默認(rèn)4)

　　　　3.job的reduce數(shù)必須為0或者1

以上是“hive內(nèi)置函數(shù)有什么用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！