如何自定義hive永久函數(shù)

這篇文章給大家分享的是有關(guān)如何自定義hive永久函數(shù)的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

需求原因：

hive本身提供一個nvl的函數(shù)，但是該函數(shù)只對null值起作用，現(xiàn)在的需求是不只是對null起作用，對“”這樣的空值也要起作用，所以需要自定義一個名叫nvls的函數(shù)，并集成到hive當(dāng)中去。

具體步驟：

1：先寫好java文件內(nèi)容如下：

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

public class MyNvl extends UDF {

public Text evaluate(final Text t,final Text x) {

if(t!=null){

if(t.toString().equals("")){

return x;

}

}else{

return x;

}

return t;

}

}

2：測試：

2.1：先打成jar包名叫l(wèi)ixiyuan.jar，然后上傳到服務(wù)器上。本人賬戶是zb_test。

Jar包放到/data/zb_test目錄下。

然后進入hive

選測試的數(shù)據(jù)庫：

Use test

然后添加jar包

Add jar /data/zb_test/lixiyuan.jar

然后創(chuàng)建函數(shù)

Create temporary function nvls as ‘org.apahce.hadoop.hive.ql.udf.MyNvl’;

然后就可以測試了

測試成功以后我們就要把集成到hive中去。

3：把函數(shù)集成到hive中去

先說一下添加永久函數(shù)的思路：首先hive里的函數(shù)是跟hive-exec-0.12.0-cdh6.0.0.jar個jar包有關(guān)的

具體的說就是我們要做兩件事：

1：先修改環(huán)境變量vi ./.bashrc。內(nèi)容修改為為如下：

把CLASSPATH改成如下：

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

（為一行）

把剛剛寫的java文件編譯成class文件，然后添加到hive-exec-0.12.0-cdh6.0.0.jar解壓后的udf目錄下

2：修改hive-exec-0.12.0-cdh6.0.0.jar里的exec目錄下的FunctionRegistry文件，但是我們解壓出來的是都人家編譯好的，所以得需要我們找到源碼，找到FunctionRegistry.java文件后，往里面添加：

import org.apache.hadoop.hive.ql.udf.MyNvl;

registerUDF(“nvls”, MyNvl.class,false);

完成這兩個步驟就可以了。

但是問題來了：

完成第一個步驟是簡單的，完成第二個步驟就復(fù)雜一點了，因為咱們修改了FunctionRegistry.java文件后得編譯成class文件以后才能用來替換原來的FunctionRegistry.class文件。所以現(xiàn)在解決的是怎么編譯FunctionRegistry.java文件。

3：如何編譯FunctionRegistry.java文件：

因為FunctionRegistry.java里面有：import org.apache.hadoop.hive.ql.udf.MyNvl;

registerUDF(“nvls”, MyNvl.class,false);這樣的信息。

所以我們先把剛剛先新建這樣的一個目錄：

Org/apache/hadoop/hive/ql/udf然后往里面放MyNvl.class文件。

然后把這個org的目錄打成jar包。名叫hello.jar

Jar -cvf /data/zb_test/hello.jar /data/zb_test/org/

接著，修改環(huán)境變量：

把CLASSPATH改成如下：

export CLASSPATH=/data/zb_test/hello.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

然后這樣就可以編譯FunctionRegistry.java文件了

Javac ./FunctionRegistry.java

然后用生成的FunctionRegistry.class文件替換原來的文件。然后重新把解壓的東西打包成：

hive-exec-0.12.0-cdh6.0.0.jar替換hive里原來的就ok了。

感謝各位的閱讀！關(guān)于“如何自定義hive永久函數(shù)”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！