Sqoop批量把MySQL数据导入到HBase

导读:本篇文章讲解 Sqoop批量把MySQL数据导入到HBase,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com

一、简介

只是为了方便

二、Sqoop安装

https://blog.csdn.net/u011374856/article/details/

三、MySQL单表导入HBase

1、新建脚本

vi mysql_hbase.sh

2、编辑脚本,两个参数,第一个HBase表名称前缀(方便批量删除),第二个MySQL表名称

$SQOOP_HOME/bin/sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 123456 \
--table $2 \
--hbase-table $1_$2 \
--column-family info \
--hbase-create-table \
--hbase-row-key id \
--hbase-bulkload

3、修改权限

chmod 777 mysql_hbase.sh

4、执行脚本验证

例如:把MySQL中 test 表导入到 HBase,HBase表名称为woniu_test

./mysql_hbase.sh woniu test

5、自己去HBase中验证结果

四、HBase批量删除表

1、新建脚本

vi hbase_drop_table.sh

2、编辑脚本,一个参数,批量删除HBase表名称前缀

#删除表临时文件目录
FILE_NAME="/woniu/shell/drop_table_tmp.txt"

#删除临时文件
rm -rf $FILE_NAME

echo $1

#写数据
#禁用表
echo disable_all  "'"$1".*'" >> $FILE_NAME
#删除表
echo drop_all "'"$1".*'" >> $FILE_NAME
#退出
echo exit >> $FILE_NAME

#进入HBase的bin目录
cd $HBASE_HOME/bin

#开启HBase的shell
./hbase shell $FILE_NAME

3、修改权限

chmod 777 hbase_drop_table.sh

4、执行脚本

例如:把HBase表名称前缀为woniu的批量删除

./hbase_drop_table.sh woniu

5、自己去HBase中验证结果

五、生成批量导入脚本

1、通过Navicat连接MySQL数据库

2、查询所有表名称

select CONCAT('./mysql_hbase.sh ','woniu ',table_name) shell from information_schema.tables where table_schema='test'

3、查询结果导出为mysql_hbase_batch.txt文本,注意:不要列的标题

4、把mysql_hbase_batch.txt文本中所有双引号替换为空

5、新建脚本

vi mysql_hbase_batch.sh

6、把mysql_hbase_batch.txt 全部复制到 mysql_hbase_batch.sh

7、修改权限

chmod 777 mysql_hbase_batch.sh

8、执行批量导入,注意:如果重新导入,先执行批量删除

./mysql_hbase_batch.sh

六、HBase验证结果

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/78050.html

(0)
小半的头像小半

相关推荐

极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!