代码语言
.
CSharp
.
JS
Java
Asp.Net
C
MSSQL
PHP
Css
PLSQL
Python
Shell
EBS
ASP
Perl
ObjC
VB.Net
VBS
MYSQL
GO
Delphi
AS
DB2
Domino
Rails
ActionScript
Scala
代码分类
文件
系统
字符串
数据库
网络相关
图形/GUI
多媒体
算法
游戏
Jquery
Extjs
Android
HTML5
菜单
网页交互
WinForm
控件
企业应用
安全与加密
脚本/批处理
开放平台
其它
【
Sqoop
】
通过sqoop增量传送oracle数据到hive
作者:
泓锦
/ 发布于
2017/6/6
/
567
从网上看到的一个Oracle数据通过sqoop每日增量同步到Hive的shell脚本,感觉以后会有用,作为参考,备查。
[Spark@store ~]$ cat oracle2hive_imcrement.sh #!/bin/bash #Please set the synchronize interval,unit is hour. update_interval=24 #Please set the RDBMS connection params rdbms_connstr="jdbc:oracle:thin:@WIN-A1UAC36B1UC:1521:orcl" rdbms_username="cfa" rdbms_pwd="cfa" rdbms_table="AIX_REPORT_DATA" rdbms_columns="reportno,rowno,rowname,col2value,create_time" #Please set the hive params hive_increment_table="aix_report_data_increment" hive_full_table="aix_report_data" #--------------------------------------------------------- #Import icrement data in RDBMS into Hive enddate=$(date '+%Y/%m/%d %H:%M:%S') startdate=$(date '+%Y/%m/%d %H:%M:%S' -d '-'+${update_interval}+' hours') $SQOOP_HOME/bin/sqoop import --connect ${rdbms_connstr} --username ${rdbms_username} --password ${rdbms_pwd} --table ${rdbms_table} --columns "${rdbms_columns}" --where "CREATE_TIME > to_date('${startdate}','yyyy-mm-dd hh24:mi:ss') and CREATE_TIME < to_date('${enddate}','yyyy-mm-dd hh24:mi:ss')" --hive-import --hive-overwrite --hive-table ${hive_increment_table} #--------------------------------------------------------- #Update the old full data table to latest status $HIVE_HOME/bin/hive -e "insert overwrite table ${hive_full_table} select * from ${hive_increment_table} union all select a.* from ${hive_full_table} a left outer join ${hive_increment_table} b on a.reportno = b.reportno and a.rowno = b.rowno where b.reportno is null;"
试试其它关键字
同语言下
.
通过sqoop增量传送oracle数据到hive
.
列表oracle下的所有表
.
rdbms data to hdfs
.
sqoop command –help
.
sqoop help
.
重写已经存在hive表的数据
.
自动建立hive表,并且导入数据到相应目录
.
删除已存在表
.
测试连接
.
用SQOOP从SQLSERVER导入数据到(HDFS,HIVE,HBASE)
可能有用的
.
通过sqoop增量传送oracle数据到hive
.
列表oracle下的所有表
.
rdbms data to hdfs
.
sqoop command –help
.
sqoop help
.
重写已经存在hive表的数据
.
自动建立hive表,并且导入数据到相应目录
.
删除已存在表
.
测试连接
.
用SQOOP从SQLSERVER导入数据到(HDFS,HIVE,HBASE)
泓锦
贡献的其它代码
(
11
)
.
从 FTP 服务器下载文件
.
将系统进程按内存占用大小排列显示出来
.
加固系统的一些配置
.
函数将人民币数字转换成大写形式
.
通过sqoop增量传送oracle数据到hive
.
多边形范围点判定算法
.
jquery异步请求返回json数据类型
.
兼容FF,IE,Chrome的js离开或刷新页面检测
.
jQuery小技巧-获得鼠标指针XY值
.
显示百分比进度条
Copyright © 2004 - 2024 dezai.cn. All Rights Reserved
站长博客
粤ICP备13059550号-3