首页 实战正文

0792-5.16.2-如何通过Hive跨集群迁移Kudu表

访客 实战 2020-07-26 11:50:54 20 0 集群KuduHive
文档编写目的

在日常使用中你的Kudu 集群版本非常低或者部署在其他非CDH集群中,迁移起来非常麻烦。本文主要介绍如何通过Hive 进行跨集群迁移Kudu 表


  • 测试环境:

1.原集群版本CDH 5.16.2、Kudu 1.7


2.目标集群版本CDP 7.1.1 、Kudu 1.12




操作步骤

1、首先查看原表结构如下:


show create table default.test_tbl;




查询表数据


select * from default.test limit 10;




然后导出表数据为csv文件并查看,注:impala 25003 端口由于启用了负载均衡的


impala-shell -i xxxcli1:25003 -q "select * from default.test_tbl" -B -output_delimiter="," -o test_tbl_kudu.csv 




将导出的数据文件拷贝到其他集群的节点,通过HDFS distcp或者直接本地拷贝都可以,这里测试使用的本地拷贝


scp -rp test_tbl_kudu.csv root@xxx01kf:/tmp/cat test_tbl_kudu.csv




在CDP7.1.1 的新集群中创建Hive表


CREATE TABLE default.test_tbl (id INT,name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;




load csv 文件数据导入到刚刚新建的Hive表中,这里使用本地load 的方式


load data local inpath  '/tmp/test_tbl_kudu.csv' into table default.test_tbl;




在CDP7.1.1 的新集群中创建kudu 表,注:新集群这里没有启用负载均衡故端口为21000


#在新集群的节点执行命令进入impala-shell 命令行impala-shell -i xxxx05kf:21000#创建kudu 表CREATE TABLE default.test_tbl2 (   id INT NOT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   name STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   PRIMARY KEY (id) ) PARTITION BY HASH (id) PARTITIONS 16 STORED AS KUDU;






从Hive 表中查询并导入数据到新建的Kudu 表中,记得先在Impala 中进行refresh 操作,否则会没有数据,然后进行查询,验证并成功完成迁移


refresh default.test_tbl;insert into default.test_tbl2 select * from default.test_tbl;select * from default.test_tbl2;



总结

本文讲述通过Hive 进行跨集群迁移Kudu 表是一种效率较低但是非常通用的方式,在后面的文章中Fayson 将讲述如何通过Kudu 自带的Kudu Command Line Tools 进行Kudu 表迁移。


版权声明

旭日软件园-提供免费小软件下载,电脑教程和QQ表情包下载为主要宗旨.同时有网站运营,
编程教程,网页特效,手机教程,游戏攻略和IT资讯等内容,打造常用软件下载、内容丰富的站长学习!

本文链接:http://www.webmaster5u.com/sz/404.html

评论