Hive 物化视图 (Materialized Views) [Hive3.0新特性]

导读:本篇文章讲解 Hive 物化视图 (Materialized Views) [Hive3.0新特性],希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com

1. 为什么使用物化视图?

前面说到 视图 可以降低查询语句复杂度提高数据安全。唯一不足的就是无法提高查询效率,而物化视图可以提高查询效率。

  1. 提高查询效率
    如果要对student_trans表经常进行某查询操作时,可以选择创建物化视图将该查询语句的查询结果预先存储起来,那么下次再次使用该查询语句时,会自动匹配到物化视图进行查询,非常快(因为没有启动MR,只是普通的table scan)

    -- 比如经常使用该查询语句
    select sdept, count(*) as sdept_cnt from student_trans group by sdept;
    
    -- 那么可以创建物化视图
    creat materialized view student_trans_agg
    as select sdept, count(*) as sdept_cnt from student_trans group by sdept;
    
    -- 再次使用该查询语句时,会自动匹配到物化视图,到物化视图中查数据,非常快
    select sdept, count(*) as sdept_cnt from student_trans group by sdept;
    

    在这里插入图片描述

  2. 可以选择将真实表中部分列数据提供给用户,提高数据安全

    --通过视图来限制数据访问可以用来保护信息不被随意查询:
    create table userinfo(firstname string, lastname string, ssn string, password string);
    
    create meterialized view safer_user_info 
    as select firstname, lastname from userinfo;
    
    -- 这样以后从safer_user_info表中查数据时,只能查询firstname、lastname 两个字段。
    

2. 特性

从上面可以了解到:

  1. 物化视图是一种真实表,里面存储着预计算的数据。可以用于预计算并保存表连接或聚集等耗时较多的操作的结果。
  2. 物化视图可以通过预计算,提高查询性能,当然需要占用一定的存储空间。

3. 创建物化视图

creat materialized view [if not exits] [db_name.]materialized_view_name
[disable rewrite]
[comment materialized_view_comment]
[partitioned by on (col_name, ...)]
[clustered by on (col_name, ...) | DISTRIBUTED ON (col_name, ...) SORTED ON (col_name, ...)]
[
[row format row_format]
[stored as file_format]
|stored by 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]
]
[location hdfs_path]
[tblproperties (property_name=property_value, ...)]
as selecct ...;

和创建表的语法很像。

4. 查看物化视图

  1. 查看所在数据库的所有物化视图

    SHOW MATERIALIZED VIEWS [IN database_name];
    
  2. 查看某个物化视图的定义

    show create table v_table;
    

    在这里插入图片描述

  3. 查看物化视图表的元数据:

    DESCRIBE [EXTENDED | FORMATTED] [db_name.]materialized_view_name;
    

5. 删除物化视图

  • 删除物化视图
    DROP MATERIALIZED VIEW [db_name.]materialized_view_name;
    

6. 修改物化视图

  1. 禁用物化视图重写,那么后续不会自动匹配到物化视图

    alter meterialized view student_trans_agg disable rewrite;
    
  2. 更新物化视图数据:当原表中的数据发生变化时,物化视图并不会自动的更新数据,而是需要使用者手动的执行以下代码进行手动更新。

    alter meterialized view [db_name.]materialized_view_name rebuild;
    

7. 视图 vs 物化视图

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/84529.html

(0)
小半的头像小半

相关推荐

极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!