thrift在hive中的應用 ? ORATEA

thrift在hive中的應用

hadoop
添加評論

六 27 2011

thrift是一種可伸縮的跨語言服務的發展軟件框架。

它結合了功能強大的軟件堆棧的代碼生成引擎，以建設服務，工作效率和無縫地與C + +，C#，Java，Python和PHP和Ruby結合。

thrift是facebook開發的，我們現在把它作為開源軟件使用。thrift允許你定義一個簡單的定義文件中的數據類型和服務接口。

以作為輸入文件，編譯器生成代碼用來方便地生成RPC客戶端和服務器通信的無縫跨編程語言。

對于thrift的詳細介紹見： http://thrift.apache.org/

thrift在hive中有好幾處應用，目的都是為了實現跨語言的服務。

最近詳細的看了在metadata模塊中的thrift應用。

metadata中thrift定義文件為\hive-0.6.0\src\metastore\if\hive_metastore.thrift，

該文件詳細定義了hive元數據的各個結構，以及相應的方法。

還是拿database來舉例，對于database的結構定義如：

struct Database {

? 1: string name,

? 2: string description,

? 3: string locationUri,

}

對database的方法定義在service ThriftHiveMetastore extends fb303.FacebookService中，主要有以下幾個：

? void create_database(1:Database database) throws(1:AlreadyExistsException o1, 2:InvalidObjectException o2, 3:MetaException o3)

? Database get_database(1:string name) throws(1:NoSuchObjectException o1, 2:MetaException o2)

? void drop_database(1:string name, 2:bool deleteData) throws(1:NoSuchObjectException o1, 2:InvalidOperationException o2, 3:MetaException o3)

? list<string> get_databases(1:string pattern) throws(1:MetaException o1)

? list<string> get_all_databases() throws(1:MetaException o1)

?

定義好了metadata的thrift文件后，就可以通過thrift產生相應的腳本文件，

在build.xml中對于該編譯命令為：

? <target name=”thriftif”>

??? <echo>Executing thrift (which needs to be in your path) to build java metastore APIs…. </echo>

??? <exec executable=”thrift”? failonerror=”true” dir=”.”>

????? <arg line=”–gen java:beans –gen cpp –gen php –gen py -I ${basedir}/../service/include/ -o ${src.dir} if/hive_metastore.thrift ” />

??? </exec>

? </target>

?

當然我們也可以手工進行：

thrift –gen java:beans –gen cpp –gen php –gen py -I ${basedir}/../service/include/ -o ${src.dir} if/hive_metastore.thrift

執行后就會產生

drwxr-xr-x 2 hjl hjl?? 4096 May 27 08:25 gen-cpp

drwxrwxr-x 3 hjl hjl?? 4096 May 27 08:27 gen-javabean

drwxr-xr-x 3 hjl hjl?? 4096 May 27 08:25 gen-php

drwxr-xr-x 3 hjl hjl?? 4096 May 27 08:25 gen-py

下面幾個腳本，對應著c++,java,php和python。

hive-0.6.0中使用的thrift版本為r790732，如果使用相同的thrift版本會產生和官方hive版本相同的文件，

而采用不同版本的thrfit的話，那么產生的各種文件會有些差距。

thrift在hive中的應用