YARN 安装HDFS 装好以后下一层就是YARN。它负责集群资源管理和任务调度后面的 MapReduce2、Tez、Hive、Flink、Spark 都会用到它。本次安装有一个很重要的细节选择YARN时Ambari Plus 会自动把MapReduce2纳入依赖。因此现场安装向导会显示已选服务 2一次完成YARN和MAPREDUCE2两个服务。本文先把 YARN 的安装链路讲清楚MapReduce2 的角色和确认方式单独放到下一篇。本次角色分配如下主机YARN 角色hadoop1.test.comRESOURCEMANAGER、NODEMANAGER、YARN_CLIENThadoop2.test.comNODEMANAGER、YARN_CLIENThadoop3.test.comNODEMANAGER、YARN_CLIENT::: tipYARN 安装前请先确认 HDFS 已经运行中。YARN 的 Service Check 会使用 HDFS如果 HDFS 还没稳定YARN 页面可能装完了检查任务却过不去。:::1. 选择 YARN 服务进入服务与组件点击新增服务勾选YARN。页面顶部会提示本次安装同时处理YARN、MapReduce2。这是正常现象不需要手动取消 MapReduce2后续 MapReduce2 的 HistoryServer 和 Client 会在同一个安装向导里落地。2. 分配 Master 角色Master 分配页里YARN 的核心角色是RESOURCEMANAGER组件分配主机RESOURCEMANAGERhadoop1.test.com我这里把 ResourceManager 放在hadoop1.test.com。在单 ResourceManager 的演示环境里这样后面查看 YARN UI、排查队列和看应用状态都比较集中。同一个页面还会看到HISTORYSERVER它属于 MapReduce2。这里先保留默认分配下一篇再单独讲它。3. 分配 NodeManager 和 ClientSlave 与 Client 分配页里YARN 需要看两类角色本次分配NODEMANAGERhadoop1.test.com、hadoop2.test.com、hadoop3.test.comYARN_CLIENThadoop1.test.com、hadoop2.test.com、hadoop3.test.comNodeManager 是实际承接容器运行的节点。教程环境三台都安装 NodeManager后续跑 MapReduce、Tez、Hive 或 Spark 测试任务时资源池会更完整。Client 组件建议三台都装。这样无论在哪台机器上执行yarn application -list、mapred job -list这类命令都不需要临时补客户端包。4. 查看自动推荐配置进入自定义配置页后页面显示待填写 0说明没有必填项需要额外补充。这里可以重点看三类配置配置说明yarn.nodemanager.resource.memory-mb单台 NodeManager 可提供给容器的总内存。yarn.scheduler.minimum-allocation-mb单个容器最小内存。yarn.scheduler.maximum-allocation-mb单个容器最大内存。演示环境可以先保留推荐值。生产环境建议结合机器内存、HDFS DataNode 内存、Spark/Hive 作业模型重新估算避免把系统内存全部交给 YARN。5. 确认安装清单确认页里要看清楚本次新增服务和角色分配检查项本次结果新增服务YARN、MAPREDUCE2YARN MasterRESOURCEMANAGER - hadoop1.test.comYARN SlaveNODEMANAGER - hadoop1.test.com, hadoop2.test.com, hadoop3.test.comYARN Client三台主机都安装配置校验必填项已填写确认无误后点击开始安装。6. 提交 KDC 管理员凭据当前集群已经开启 Kerberos新增 YARN 和 MapReduce2 时需要生成服务 Principal 和 keytab。向导会弹出KDC 管理员凭据。配置项示例值管理员 Principaladmin/adminTEST.COM管理员密码填写实际 KDC 管理员密码填写后点击提交并继续安装。7. 等待启动和检查安装进入进度页后我会重点看RESOURCEMANAGER、NODEMANAGER和YARN_SERVICE_CHECK。这个阶段的通过标准很直接检查项期望结果RESOURCEMANAGER启动成功NODEMANAGER三台主机启动成功YARN_SERVICE_CHECK执行成功失败任务0如果 YARN Service Check 失败优先看 ResourceManager 日志、NodeManager 日志、Kerberos keytab 是否生成以及 HDFS 是否可写。8. 完成安装并回到服务页向导最后显示YARN和MAPREDUCE2安装完成。进入 YARN 服务详情页服务状态应显示为运行中。这里我会看检查项期望结果服务状态YARN运行中核心实例ResourceManager、NodeManager运行中待刷新配置0失败请求0YARN 到这里就装好了。下一篇继续看 MapReduce2它不是单独再点一次安装而是在本次 YARN 向导里作为依赖一起完成。