累加器
累加器用来把
Executor
端变量信息聚合到
Driver
端。在
Driver
程序中定义的变量,在Executor
端的每个
Task
都会得到这个变量的一份新的副本,每个
task
更新这些副本的值后, 传回 Driver
端进行
merge
案例操作1
下面来做一个求和的案例
import org.apache.spark.{SparkConf, SparkContext}
object Acc1 {
def main(ar
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/143241.html