开门见山的说,hive中有两个函数percentile和percentile_approx,可以用来计算分位数。
而中位数即2分位数,那么同样可以使用该函数计算。具体使用方如下:
percentile:percentile(col, p) col是要计算的列(值必须为int类型),p的取值为0-1,若为0.5,那么就是2分位数,即中位数。
percentile_approx:percentile_approx(col, p)。列为数值类型都可以。
percentile_approx还有一种形式percentile_approx(col, p,B),参数B控制内存消耗的近似精度,B越大,结果的精度越高。默认值为10000。当col字段中的distinct值的个数小于B时,结果就为准确的百分位数
其他使用方法请参考其他文档,这里不赘述,写这篇文章的主要目的是我看了很多篇文章都是复制粘贴的,没有自己实践,其中参数p应为0.5时,计算所得才是中位数,但是很多文章写得都是0.2
测试部分
1、先建测试表
CREATE TABLE temp_median_test
(
id int,
number bigint
)
ROW FORMAT DELIMITED fields terminated by '\t'
STORED AS ORC
2、插入数据
INSERT INTO temp_median_test VALUES(1,1);
INSERT INTO temp_median_test VALUES(2,2);
INSERT INTO temp_median_test VALUES(3,3);
INSERT INTO temp_median_test VALUES(4,4);
INSERT INTO temp_median_test VALUES(5,5);
INSERT INTO temp_median_test VALUES(6,6);
INSERT INTO temp_median_test VALUES(7,7);
3、执行查询
SELECT percentile(number,0.5) from temp_median_test;
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/155945.html