hive创建自定义函数

hive默认的函数并不是太完整，以后我们使用的使用肯定需要自己补充一些。

下面这个例子是个简单的测试，关于自定义函数的。

函数代码

package com.example.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

public final class Lower extends UDF {

public Text evaluate(final Text s) {

if (s == null) { return null; }

return new Text(s.toString().toLowerCase());

}

}

打包

javac -d Lower Lower.java

jar -cvf Lower.jar -C Lower/ .

在hive中添加包

hive> add jar /home/hjl/sunwg/Lower.jar;

Added /home/hjl/sunwg/Lower.jar to class path

在hive中创建函数

hive> create temporary function my_lower as …com.example.hive.udf.Lower‟;

OK

Time taken: 0.407 seconds

使用函数

hive> select my_lower(name) from test10;

上面介绍了HIVE中的自定义函数，有一些函数是比较基础的，公用的，每次都要create temporary function不免太麻烦了。

这样的基础函数需要直接集成到hive中去，避免每次都要创建。

1,添加函数文件

$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSunwg.java

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

public final class UDFSunwg extends UDF {

public Text evaluate(final Text s) {

if (s == null) { return null; }

return new Text(s.toString().concat(“sunwg”).toLowerCase());

}

}

2,将函数sunwg注册到hive的函数列表中

修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java 文件

import org.apache.hadoop.hive.ql.udf.UDFSunwg;

registerUDF(“sunwg”, UDFSunwg.class,false);

3,测试函数sunwg

hive> select sunwg(“abc”) from sunwg00 limit 1;

Total MapReduce jobs = 1

Launching Job 1 out of 1

Number of reduce tasks is set to 0 since there‟s no reduce operator

Starting Job = job_201104091858_381437, Tracking URL =

http://hdpjt:50030/jobdetails.jsp?jobid=job_201104091858_381437

Kill Command = /home/dwapp/hadoop/bin/../bin/hadoop

job -Dmapred.job.tracker=hdpjt:9001 -kill job_201104091858_381437

2011-04-21 16:01:28,733 Stage-1 map = 0%, reduce = 0%

2011-04-21 16:01:34,123 Stage-1 map = 50%, reduce = 0%

2011-04-21 16:01:35,543 Stage-1 map = 100%, reduce = 0%

Ended Job = job_201104091858_381437

OK

abcsunwg

Time taken: 48.53 seconds

总结：在hive中添加函数是如此的简单，建议将公共的基础函数添加到hive中，而一些个性化的函数还是创建临时函数

create temporary function IS_DATE as 'com.ruyicai.hive.udf.IsDate';

create temporary function nvl as 'com.ruyicai.hive.udf.Nvl';

add jar /root/isdate-0.0.1-SNAPSHOT.jar;

add jar /root/nvl-0.0.1-SNAPSHOT.jar;