自定義表生成函數(shù) 精品獲獎

自定義表生成函數(shù)表生成函數(shù)概述自定義表生成函數(shù)使用自定義表生成函數(shù)01

表生成函數(shù)概述表生成函數(shù)概述UDTF，是UserDefinedTable-GeneratingFunctions，一眼看上去，貌似是用戶自定義生成表函數(shù)，這個生成表不應(yīng)該理解為生成了一個HQLTable，貌似更應(yīng)該理解為生成了類似關(guān)系表的二維行數(shù)據(jù)集。

什么是UDTF表生成函數(shù)概述繼承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。實現(xiàn)initialize,process,close三個方法如何實現(xiàn)UDTFUDTF首先會調(diào)用initialize方法，此方法返回UDTF的返回行的信息（返回個數(shù)，類型）。初始化完成后，會調(diào)用process方法，對傳入的參數(shù)進行處理，可以通過forword()方法把結(jié)果返回。最后close()方法調(diào)用，對需要清理的方法進行清理。02

自定義表生成函數(shù)自定義表生成函數(shù)實現(xiàn)代碼：public

class

ExplodeMap

extends

GenericUDTF

{//進行清理

@Override

public

void

close()

throws

HiveException

{

//

TODO

Auto-generated

method

stub

}

//initialize,process方法｝

自定義表生成函數(shù)

@Override

public

StructObjectInspector

initialize(ObjectInspector[]

args)

throws

UDFArgumentException

{

if

(args.length

!=

1)

{

throw

new

UDFArgumentLengthException("ExplodeMap

takes

only

one

argument");

}

if

(args[0].getCategory()

!=

ObjectInspector.Category.PRIMITIVE)

{

throw

new

UDFArgumentException("ExplodeMap

takes

string

as

a

parameter");

}

自定義表生成函數(shù)

ArrayList<String>

fieldNames

=

new

ArrayList<String>();

ArrayList<ObjectInspector>

fieldOIs

=

new

ArrayList<ObjectInspector>();

fieldNames.add("col1");

fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

fieldNames.add("col2");

fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

return

ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,

fieldOIs);

}

自定義表生成函數(shù)

public

void

process(Object[]

args)

throws

HiveException

{

String

input

=

args[0].toString();

String[]

test

=

input.split(";");

for

(int

i

=

0;

i

<

test.length;

i++)

{

try

{

String[]

result

=

test[i].split(":");

forward(result);

}

catch

(Exception

e)

{

continue;

}

}

}

03

使用自定義表生成函數(shù)使用UDTF函數(shù)1、在select中使用UDTF：select

explode_map(properties)

as

(col1,col2)

from

my_table

不可以添加其他字段使用：selecta,explode_map(properties)as(col1,col2)frommy_table不可以嵌套調(diào)用：selectexplode_map(explode_map(properties))frommy_table不可以和groupby/clusterby/distributeby/sortby一起使用：selectexplode_map(properties)as(col1,col2)fromsrcgroupbycol1,col2使用UDTF函數(shù)2、結(jié)合lateralview使用select

src.id,

mytable.col1,

mytable.col2

from

src

lateral

view

e