hadoop 1.x和2.x区别
| 版本 | 1.x | 2.x |
|---|---|---|
| common组件 | 有 | 有 |
| hdfs组件 | 有 | 有 |
| yarn组件 | 没有 | 负责资源调度 |
| map-reduce组件 | 负责计算和资源调度 | 负责计算 |
1.x中map reduce负责计算和资源调度，而在2.x版本中解耦，yarn负责资源调度，map reduce负责计算
hdfs-Hadoop Distributed File System架构
1.NameNode(nn):存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等
2.DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和
3.Secondary NameNode(2nn):用来监控hdfs状态的后台辅助程序，每隔一段时间获取HDFS元数据的快照
YARN架构概述
1.ResourceManager（RM）
处理客户端请求
监控NodeManager
启动或者监控ApplicationMaster
资源的分配和调度
2.NodeManager（NM）
管理单个节点上的资源
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
3.ApplicationMaster（AM）
负责数据的切分
为应用程序申请资源并分配给内部的任务
任务的监控与容错
4.Container
container是yarn中资源的抽象，它封装了节点上的多维度资源：内存、CPU、硬盘网络等
MapReduce架构
MapReduce分为两个阶段，map和reduce
Map阶段并行处理输入的数据
Reduce阶段是对Map输出的结果进行处理
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/140793.html
