sqoop從oracle定時(shí)增量導(dǎo)入數(shù)據(jù)到hive
感謝：
http://blog.sina.com.cn/s/blog_3fe961ae01019a4l.html
http://f.dataguru.cn/thread-94073-1-1.html
sqoop.metastore.client.record.password
http://blog.csdn.net/ryantotti/article/details/14226635
開啟sqoop metastore
step 1 創(chuàng)建sqoop job
a.配置sqoop metastore服務(wù)
修改sqoop/conf/sqoop-site.xml文件
相關(guān)屬性：
sqoop.metastore.server.location
sqoop.metastore.server.port
sqoop.metastore.client.autoconnect.url
上面三個(gè)參數(shù)是為了實(shí)現(xiàn)共享（shared)metastore，"By default, job descriptions are saved to a private repository stored in?
$HOME/.sqoop/
. You can configure Sqoop to instead use a shared?
metastore
, which makes saved jobs available to multiple users across a shared cluster. Starting the metastore is covered by the section on the?
sqoop-metastore
tool."這樣在其他的cluster上就可以共享job并執(zhí)行。
如果不需要共享job，只需要把上面三個(gè)屬性在配置文件中用<!-- -->注釋掉即可。
sqoop.metastore.client.enable.autoconnect
sqoop.metastore.client.record.password
這個(gè)屬性是為了保存數(shù)據(jù)庫密碼的，默認(rèn)情況下處于安全需要，不會(huì)將密碼保存到metastore中，這樣每次執(zhí)行job時(shí)就需要重新輸入數(shù)據(jù)庫的密碼。為了定時(shí)執(zhí)行，我們修改這個(gè)屬性，是他可以保存密碼。
修改如下：
<
property
>
<
name
>
sqoop.metastore.server.location
</
name
>
<
value
>
/tmp/sqoop-metastore/shared.db
</
value
>
</
property
>
<
property
>
<
name
>
sqoop.metastore.server.port
</
name
>
<
value
>
16000
</
value
>
</
property
>
<
property
>
<
name
>
sqoop.metastore.client.autoconnect.url
</
name
>
<
value
>
jdbc:hsqldb:hsql://118.228.197.115:16000/sqoop
</
value
>
</
property
>
<
property
>
<
name
>
sqoop.metastore.client.record.password
</
name
>
<
value
>
true
</
value
>
</
property
>
<!--
注釋掉這個(gè)屬性
<property>
<name>sqoop.metastore.client.enable.autoconnect</name>
<value>false</value>
</property>
-->
b.啟動(dòng)metasotre,控制臺(tái)執(zhí)行sqoop metastore命令
(如果沒有配置前三個(gè)屬性，請?zhí)^此步驟
)
c.創(chuàng)建sqoop job
(為了方便執(zhí)行，將下面的腳本寫入到文件保存，然后用chmod u+x FILENAME修改權(quán)限后，通過 ./FILENAME執(zhí)行文件，創(chuàng)建job)
sqoop job --meta-connect jdbc:hsqldb:hsql:
//
hostIP:16000/sqoop --create JOBNAME -- import --hive-import --incremental append --connect jdbc:oracle:thin:@DatabaseIP:1521/INSTANCENAME --username USERNAME --password PASSWD --verbose -m 1 --bindir /opt/sqoop/lib --table TABLENAME --check-column COLUMNNAME --last-value VALUE
注意：
1) 如果前面沒有配置共享metastore（即”sqoop.metastore.server.location" 、”sqoop.metastore.server.port“、”sqoop.metastore.client.autoconnect.url“三個(gè)屬性在配置文件中已經(jīng)注釋了），那就需要將上面的腳本中 ”--meta-connect jdbc:hsqldb:hsql://hostIP:16000/sqoop“ 去掉。
2) "--create JOBNAME -- import"中”--“后面加一個(gè)空格再寫import命令，否則執(zhí)行出錯(cuò)
3) --check-column列不能是char varchar等，可以是date，int，
參考官網(wǎng)：
http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.html
?在官網(wǎng)頁面查找 check-column字段，快速定位到相關(guān)解釋
?
step 2 執(zhí)行sqoop job看是否可以順利進(jìn)行
<!--查看job列表，看是否成功創(chuàng)建-->
sqoop job
--
list
<!--執(zhí)行job,測試能否正常執(zhí)行,此處如果導(dǎo)入的數(shù)據(jù)量大，會(huì)很耗費(fèi)時(shí)間-->
sqoop job
--
exec JOBNAME
step 3
確定sqoop job可以正常執(zhí)行后，編寫腳本定時(shí)執(zhí)行
將下面的腳本寫入一個(gè)文本文件，如 execJob,然后執(zhí)行 chmod u+x execJob 命令添加可執(zhí)行權(quán)限
source /etc/
profile
rm
TABLENAME.java -
f
sqoop job
-exec JOBNAME
?
step 4 用crontab工具實(shí)現(xiàn)定時(shí)執(zhí)行
?
執(zhí)行crontab -e 命令，添加如下一行腳本,保存退出即可
# 每天1點(diǎn)鐘執(zhí)行數(shù)據(jù)導(dǎo)入job
0
1
* * * execJob 1>/root/execlogs 2>&1
注意：execJob就是step3創(chuàng)建的腳本文件，需要用具體的路徑，如/root/execJob。“1>/root/execlogs 2>&1”這句是重定向stdout和stderr輸出對象到指定文件，可以在文件中查看執(zhí)行輸出的信息。
crontab命令工具用法參考：
http://www.cnblogs.com/jiafan/articles/1153066.html
http://baike.baidu.com/view/1229061.htm
?
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
