前言
在实际业务中，经常涉及到对不同分区的数据做最后的聚合统计等操作，我们知道，Spark通过分区提升了整体的任务并行处理能力，但是往往在数据最终需要进行汇总，就涉及到对不同分区数据做处理的问题；
在这种情况下，就可以考虑使用Spark提供的aggregateByKey这个算子；
函数签名
def aggregateByKey[U: ClassTag]
(zeroValue: U)(seqOp: (U, V) => U,combOp: (U, U) => U)
: RDD[(K, U)]
函数说明
将数据根据
不同的规则
进行分区内计算和分区间计算
案例展示
需求说明：取出每个分区内相同
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/143248.html
