今天来缕一缕关于Hive的那些事,什么事呢?别急,且听我慢慢道来,如果有不当或错误的地方,欢迎指正,不胜感激。
hive常用命令
在hive安装目录下输入(配置环境变量的话可以在任意目录下)
bin/hive -help
“ -e ” 在不进入hive客户端的情况下,输入hive命令。如
bin/hive -e "select * from nginx_db.nginx"
这里需要注意的是指定数据库,如上nginx_db下的nginx表
” -f ” 执行sql文件,如
我们在主目录下,创建一个sql脚本
vim testHive.sql
#写入如下sql语句
select * from nginx_db.nginx
#保存退出
回到hive安装目录下,输入
bin/hive -f ~/testhive.sql
可以看见效果是一样的
使用此命令还可以把sql执行的结果写入到指定文件,如
bin/hive -f ~/testhive.sql > ~/testHive.txt
需要注意的是 “ > ”符号是Linux的重定向命令。我抽时间我们在卷一卷Linux下常用命令
在主目录下查看
产生了这个文件
好啦,这两个命令是hive最常用的命令,当然最常用的还是退出hive客户端命令,exit 和quit
不过还要注意一下,在beeline 客户端中退出命令是
!quit
hive日志
日志在日常的项目开发中,尤为重要,可以说他是你解决报错的一盏明灯。尤其是我们在学习各种框架组件的时候了解他的日志是极为必要的
hive默认日志文件在
/tmp/root/hive.log
这里还是需要注意的是root代表的是你登陆这台操作系统的用户名称,如果说你现在登陆的用户名是yj 那么hive默认日志文件就在/tmp/yj/hive.log 下
当然这个路径是可以自己配置指定的
在hive配置文件目录下
先将 hive-log4j2.properties.template 改名为hive-log4j2.properties
vim hive-log4j2.properties
找到
property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
这是他的默认配置,
s
y
s
:
j
a
v
a
.
i
o
.
t
m
p
d
i
r
代
表
系
统
的
临
时
目
录
t
m
p
,
{sys:java.io.tmpdir}代表系统的临时目录tmp,
sys:java.io.tmpdir代表系统的临时目录tmp,{sys:user.name}代表系统当前用户名称,现在明白为什么默认日志文件在/tmp/root/hive.log下了吧
怎么修改肯定不用我说了吧,将
s
y
s
:
j
a
v
a
.
i
o
.
t
m
p
d
i
r
/
{sys:java.io.tmpdir}/
sys:java.io.tmpdir/{sys:user.name}改为自己指定的目录即可。
如何查看日志文件呢 相信你一定会觉得简单,用cat呀,拜托一般日志文件都是很大的,谁还用cat呀,一点都不够专业,用什么 tail呀
tail -n 100 hive.log
这也是一条Linux命令,-n代表最后一百行,一般查日志都查最后几十行最多几百行,看来一定抽时间卷一卷Linux常用命令。
Hive数据类型,咦,注意干货来啦。当然啦上面的也很重要。
直接上实操,数据格式长这样。
{
"name": "songsong",
"friends": ["bingbing" , "lili"] , //列表 Array,
"children": { //键值 Map,
"xiao song": 18 ,
"xiaoxiao song": 19
}
"address": { //结构 Struct,
"street": "hui long guan",
"city": "beijing"
}
}
创建测试文件test.txt
songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long
guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing
注意,MAP,STRUCT,ARRAY里的元素之间的g关系可以用同一符号表示,这里用“_”,你也可以自定义
创建测试表test
create table test(
create table test(
name string,
friends array<string>,
children map<string, int>,
address struct<street:string, city:string>
)
row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';
字段解释
row format delimited fields terminated by ‘,’ – 列分隔符
collection items terminated by ‘_’ –MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ‘:’ – MAP 中的 key 与 value 的分隔符
lines terminated by ‘\n’; – 行分隔符
加载数据
load data local inpath '/root/test.txt' into table test;
查看数据
select friends[1],children['xiao song'],address.city from test where name="songsong";
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/133804.html