当前位置: 首页> 健康> 科研 > YARN 的介绍

YARN 的介绍

时间:2025/7/11 9:34:20来源:https://blog.csdn.net/slb190623/article/details/141003754 浏览次数:0次

YARN 的介绍

  • 一、YARN 产生背景
    • 1.1 MapReduce 1.0 系统架构
  • 1.2 MapReduce 1.0架构缺陷
  • 二、YARN 是什么
  • 三、YARN 作用
  • 四、YARN 架构
  • 五、工作原理
  • 六、MapReduce ON YARN 工作流程
  • 七、YARN 的容错性
  • 八、YARN 的高可用
  • 八、YARN 调度器
    • 8.1 先进先出调度器
    • 8.2 容量调度器
    • 8.3 公平调度器

一、YARN 产生背景

1.1 MapReduce 1.0 系统架构

在这里插入图片描述

1.2 MapReduce 1.0架构缺陷

  • 扩展性差
    • JobTracker 同时兼备了资源管理和作业控制两个功能,严重制约了 Hadoop 集群扩展性
  • 资源利用率低
    • MRv1采用基于slot的粗粒度的资源分配模型,包含Map slot和Reduce slot。某个任务用不完的资源其他任务也不能用,因为map和reduce的资源完全不能共享的。当一个作业刚提交时,只会运行Map Task,此时Reduce Slot 闲置。
  • 通用性差
    • 随着互联网高速发展导致数据量剧增,MapReduce这种基于磁盘的离线计算框架已经不能满足应用要求,从而出现了一些新的计算框架以应对各种场景,包括内存计算框架、流式计算框架和迭代式计算框架等,而MRv1不能支持多种计算框架并存。
  • 单点故障
    • MRv1 采用了master/slave 结构,其中 master 存在单点故障问题,一旦它出现故障将导致整个集群不可用

二、YARN 是什么

  • YARN 是Hadoop2.0版本新引入的资源管理系统,接从MR1演化而来。

  • Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

  • 核心思想:将MR1中JobTracker的资源管理和作业调度两个功能分开,分别ResourceManager和ApplicationMaster进程来实现。

  • ResourceManager负责整个集群的资源管理和调度。ApplicationMaster负责应用程序相关的事务,比如任务调度、任务监控和容错等

三、YARN 作用

在这里插入图片描述

四、YARN 架构

在这里插入图片描述

五、工作原理

在这里插入图片描述

六、MapReduce ON YARN 工作流程

在这里插入图片描述

七、YARN 的容错性

  • ResourceManager的容错性保障ResourceManager存在单点故障,但是可以通过配置实现ResourceManager的HA(高可用),当主节点出现故障时,可以切换到备用节点继续对外提供服务。
  • NodeManager的容错性保障NodeManager失败之后,ResourceManager会将失败的任务通知对应的ApplicationMaster,由ApplicationMaster来决定如何去处理失败的任务。
  • ApplicationMaster的容错性保障ApplicationMaster失败后,由ResourceManager负责重启即可。其中,ApplicationMaster需要处理内部任务的容错问题。ResourceManager会保存已经运行的任务,重启后无须重新运行。

八、YARN 的高可用

在这里插入图片描述

八、YARN 调度器

8.1 先进先出调度器

在这里插入图片描述

8.2 容量调度器

在这里插入图片描述

8.3 公平调度器

在这里插入图片描述

关键字:YARN 的介绍

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: