投稿
  1. 极客之音首页
  2. 技术随笔

Hive安装和基本操作

小半 • • 技术随笔 • 阅读 176

导读：本篇文章讲解 Hive安装和基本操作，希望对大家有帮助，欢迎收藏，转发！站点地址：www.bmabk.com

Hive安装和基本操作

一，Hive的安裝（Mac）

首先從官網 http://archive.apache.org/dist/hive/ 下載hive版本，解壓到 /usr/local目錄下

1.1環境配置

先通過 .bash_profile添加環境變量

sudo vim ~/.bash_profile

export HIVE_HOME=/usr/local/hive-2.2.0
export PATH=$PATH:$HIVE_HOME/bin

然後使添加的環境變量生效

source ~/.bash_profile

1.2 配置文件

需要修改的 Hive 配置文件都在/usr/local/hive-2.2.0/conf/`下，包括：

  • hive-env.sh
  • hive-log4j2.properties

1.2.1 hive-env.sh

修改hive-env.sh文件第48行和51行

48 HADOOP_HOME=/usr/local/hadoop-2.4.0
49 
50 # Hive Configuration Directory can be controlled by:
51 export HIVE_CONF_DIR=/usr/local/hive-2.2.0/conf

1.2.2 hive-log4j2.properties

修改 hive-log4j2.properties文件的第24行

24 property.hive.log.dir = /usr/local/hive-2.2.0/logs

1.2.3 hive-site.xml

將hive-site.xml文件的configuration修改成以下內容

<configuration> 
    <!-- hive元数据地址，默认是/user/hive/warehouse --> 
    <property> 
        <name>hive.metastore.warehouse.dir</name> 
        <value>/user/hive/warehouse</value> 
    </property> 
    <!-- hive查询时输出列名 --> 
    <property> 
    <name>hive.cli.print.header</name> 
        <value>true</value> 
    </property> 
    <!-- 显示当前数据库名 --> 
    <property> 
    <name>hive.cli.print.current.db</name> 
    <value>true</value> 
    </property> 
    <!-- 开启本地模式，默认是false --> 
    <property> 
        <name>hive.exec.mode.local.auto</name> 
        <value>true</value> 
    </property> 
    <!-- URL用于连接远程元数据 --> 
    <property> 
        <name>hive.metastore.uris</name> 
        <value>thrift://localhost:9083</value> 
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> 
    </property> 
    <!-- 元数据使用mysql数据库 --> 
    <property> 
        <name>javax.jdo.option.ConnectionURL</name> 
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value> 		         <description>JDBC connect string for a JDBC metastore</description> 
    </property> 
    <property> 
        <name>javax.jdo.option.ConnectionUserName</name> 
        <value>root</value> 
        <description>username to use against metastore database</description> 
    </property> 
    <property> 
        <name>javax.jdo.option.ConnectionPassword</name> 
        <value></value> 
        <description>password to use against metastore database</description>     		
    </property> 
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
        <description>Driver class name for a JDBC metastore</description> 
    </property> 
</configuration>

1.2.4 配置元數據

先在hadoop中創建路徑

hdfs dfs -mkdir /user/hive/tmp 
hdfs dfs -mkdir -p /user/hive/warehouse #创建目录 
hdfs dfs -chmod g+w /user/hive/tmp #修改文件权限 
hdfs dfs -chmod g+w /user/hive/warehouse #修改文件权限

然後將MySQL驅動拷貝到hive的lib目錄下

cp mysql-connector-java-5.1.47.jar /usr/local/hive-2.2.0/lib

再初始化MySQL數據庫

schematool -initSchema -dbType mysql

若初始化成功，會打印以下內容

Starting metastore schema initialization to 2.3.0 
Initialization script hive-schema-2.3.0.mysql.sql 
Initialization script completed 
schemaTool completed

最後開啟元數據

在开启元数据服务前必须 初始化mysql元数据库

如果设置了thriftURL，必须 开启元数据服务

nohup hive --service metastore & #开启元数据

1.3 啟動並測試

啟動hive

nohup hive --service metastore 2>&1 & 
nohup  hive --service hiveserver2 2>&1 &

在控制台輸入 hive 命令進入hive

hive (default)> show databases;
OK
database_name
default
Time taken: 1.845 seconds, Fetched: 1 row(s)
hive (default)> create database lmc;
OK
Time taken: 0.364 seconds
hive (default)> create table lmc.staff(
              > name string,
              > age int)
              > row format delimited fields terminated by "\t";
OK
Time taken: 1.927 seconds
hive (default)> select * from lmc.staff
              > ;
OK
staff.name      staff.age
Time taken: 4.678 seconds
load data local inpath '/usr/local/hive-2.2.0/data/staff.txt' into table lmc.staff;
Loading data to table lmc.staff
OK
Time taken: 0.861 seconds

staff.txt

lmc	23
hh	24

注意：數據之間用tab鍵隔開

關閉hive

ps -ef|grep hive
kill -9 xxx

二，Hive的指令

2.1 基礎命令

show databases; # 查看某个数据库 
use 数据库; # 进入某个数据库 
show tables; # 展示所有表 
desc 表名; # 显示表结构 
show partitions 表名; # 显示表名的分区 
show create table_name; # 显示创建表的结构 

# 建表语句 
# 内部表 
use xxdb; create table xxx; 
# 创建一个表，结构与其他一样 
create table xxx like xxx; 
# 外部表 
use xxdb; create external table xxx; 
# 分区表 
use xxdb; create external table xxx (l int) partitoned by (d string)
# 内外部表转化
alter table table_name set TBLPROPROTIES ('EXTERNAL'='TRUE'); # 内部表转外部表 
alter table table_name set TBLPROPROTIES ('EXTERNAL'='FALSE');# 外部表转内部表 

# 表结构修改 
# 重命名表 
use xxxdb; 
alter table table_name rename to new_table_name; 
# 增加字段 
alter table table_name add columns (newcol1 int comment ‘新增’)；
# 修改字段
alter table table_name change col_name new_col_name new_type；
# 删除字段(COLUMNS中只放保留的字段)
alter table table_name replace columns (col1 int,col2 string,col3 string)；
# 清空表(不分區)
truncate table table_name;
# 删除表
use xxxdb; drop table table_name; 
# 删除分区 
# 注意：若是外部表，则还需要删除文件(hadoop fs -rm -r -f hdfspath) 
alter table table_name drop if exists partitions (d=‘2016-07-01');

三，Hive元數據

hive的元数据存在于mysql中，在mysql中会有一个hive库，存放相应的表，一共53张表。

3.1 元數據表

3.1.1 存储Hive版本的元数据表（VERSION）

该表比较简单，但很重要。

VER_ID SCHEMA_VERSION VERSION_COMMENT
ID主键 Hive版本 版本说明
Hive1 2.1.0 Hive release version 2.1.0

如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

3.1.2 Hive數據庫相關的元數據表（DBS，DATABASE_PARAMS）

  • DBS

该表存储Hive中所有数据库的基本信息，字段如下：

DB_ID DESC DB_LOCATION_URI NAME OWNER_NAME OWNER_TYPE
数据库ID 数据库描述 数据库路徑 数据库名 数据库所有者用户名 所有者角色
1 Default Hive database hdfs://xxxx/warehouse default public ROLE
2 NULL hdfs://xxxx/warehouse/lmc.db lmc xx USER
  • DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数

DB_ID PARAM_KEY PARAM_VALUE
数据库ID 参数名 参数值

3.1.3 其他

Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

  • TBLS：该表中存储Hive表、视图、索引表的基本信息。
  • TABLE_PARAMS：该表存储表/视图的属性信息。
  • TBL_PRIVS：该表存储表/视图的授权信息

Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

  • SDS：该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

  • SD_PARAMS：该表存储Hive存储的属性信息，在创建表时候使用。

    ​ STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

  • SERDES：该表存储序列化使用的类信息

  • SERDE_PARAMS：该表存储序列化的一些属性、格式信息,比如：行、列分隔符

Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

  • PARTITIONS：该表存储表分区的基本信息。
  • PARTITION_KEYS：该表存储分区的字段信息。
  • PARTITION_KEY_VALS：该表存储分区字段值。
  • PARTITION_PARAMS：该表存储分区的属性信息。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/81598.html

赞 (0)
小半的头像小半
0 0

相关推荐

极客之音——专业性很强的中文编程技术网站，欢迎收藏到浏览器，订阅我们！