sqoop怎么连接sqoop oracle hbase

经检测你所在的网络可能存在爬虫,因资源限制,我们只能拒绝你的请求。
如果你是推酷的用户,可以以继续访问使用。
如有疑问,可将IP信息发送到
请求解封。后使用快捷导航没有帐号?
查看: 4450|回复: 5
Sqoop之Oracle2HBase
论坛徽章:4
本帖最后由 c_x_h 于
09:48 编辑
1.启动HBase
图片22.jpg (69.12 KB)
09:44 上传
2.目前HBase库中的表
图片23.jpg (26.68 KB)
09:44 上传
3.几处异常,首先依旧的是Oracle 的用户的名和表名一定要大些,其实如果Oracle表没有主键的话,需要制定并行度为1,-m 1
图片24.jpg (169.56 KB)
09:44 上传
4.异常2得出一个结论HBase也是需要先建表的,当然也可以不建表,使用--hbase-create-table参数即可
图片25.jpg (78.97 KB)
09:44 上传
5.HBase中先创建表,想创建表得先删除表
图片26.jpg (29.16 KB)
09:44 上传
6.创建hsort_c
图片27.jpg (10.53 KB)
09:44 上传
7.绝对不能少了--columns选项,最关键的一点,居然会根据id剔除重复。sqoop import --connect jdbcracle:thin:@192.168.1.100:1521:nano --username SQOOP -P --table SORT_C --hbase-create-table --hbase-table hsort --column-family cf_s --hbase-row-key ip -m 1 --columns ip,c& & 8.至此,oracle导入hbase完毕,下面再来一次把sqoop的tb1表导入到hbase中先给tb1增加个主键。
图片28.jpg (19.36 KB)
09:44 上传
9.利用并行,--direct来导入试试,出了点故障,经过查证--direct是mysql的一个调优的参数sqoop import --connect jdbcracle:thin:@192.168.1.100:1521:nano --username SQOOP -P --table TB1 --hbase-create-table --hbase-table tb1 --column-family tb_cf --hbase-row-key object_id -m 2 --columns object_id,object_name,owner,object_type,created,last_ddl_time,timestamp,status,namespace
总结一下:1.列是可以选择的,根据需要来,但一定要用--columns参数。2.oracle的用户名和表名必须大写,其他小写。3.表可以预先创建也可以不建,使用--hbase-create-table来控制。4.oracle表如果没主键,就不能使用并行的,必须显式-m 1 指定1个进程处理。
中级会员, 积分 255, 距离下一级还需 245 积分
论坛徽章:1
学习了。。。
高级会员, 积分 767, 距离下一级还需 233 积分
论坛徽章:2
高级会员, 积分 720, 距离下一级还需 280 积分
论坛徽章:2
牛,都到oracle2hbase了。。
新手上路, 积分 3, 距离下一级还需 47 积分
论坛徽章:0
大神我现在安装好了,hbase,现在要怎么安装sqoop,,求指导
扫一扫加入本版微信群

我要回帖

更多关于 sqoop oracle导入hdfs 的文章

 

随机推荐