第一部分基础概念 —— 你需要知道的三个关键词1. Yum —— Linux 里的“软件超市”是什么Yum 是 Linux 系统中的一个软件包管理工具。你可以把它想象成一个“软件超市”只要告诉它你要安装什么软件比如 Java、Python它就会自动从网上的“仓库”里下载并安装好还会顺便把依赖的其他小工具一起装上。工作机制Yum 通过读取.repo配置文件相当于超市的“商品目录”来知道去哪里下载软件。它最大的好处是自动处理依赖关系不用你手动一个一个去找。常用命令yum install 软件名 —— 安装指定软件包 yum remove 软件名 —— 彻底卸载指定软件包 yum list | grep 关键词 —— 通过关键词搜索可用软件包 yum clean all —— 清除所有软件包缓存下载异常时可尝试小技巧默认的 Yum 源在国外速度慢可以配置国内的阿里云源下载速度会快很多。2. Ambari —— 大数据平台的“总管家”是什么Ambari 是一个开源工具专门用来安装、管理和监控 Hadoop 及其生态圈的大数据软件如 Spark、HBase、Kafka 等。为什么需要它手工搭建一个 Hadoop 集群非常复杂需要配置很多文件而且容易出错。Ambari 提供了图形化界面你只需要在网页上点一点、填一填它就能自动帮你在多台机器上完成部署。整体结构Ambari 采用“服务器-代理”模式Ambari Server相当于“总指挥部”负责管理整个集群提供 Web 界面。Ambari Agent安装在集群的每一台机器上负责接收 Server 的指令并执行比如安装软件、启动服务。3. Hadoop2.x 集群 —— 大数据存储与计算的“团队”核心成员HDFS分布式文件系统负责存储数据就像一个可以跨多台机器的大硬盘。NameNode是 HDFS 的“总管”记录文件存在哪台机器上。DataNode是真正的“仓库管理员”实际存储数据块。YARN资源管理负责调度任务和分配计算资源CPU、内存。ResourceManager统筹全局。NodeManager在每台机器上执行具体任务。其他常用服务Spark计算引擎、Kafka消息队列、Zookeeper协调服务等。第二部分Ambari 安装流程10 步详解以下步骤是基于 Ambari 官方安装向导的实际流程也是我们后续模拟器练习的蓝本。启动安装向导登录 Ambari 的 Web 界面默认地址http://你的服务器IP:8080账号密码为admin/admin点击 “Launch Install Wizard” 按钮。命名集群给你的集群起一个名字例如bigdata。选择 Stack软件栈Stack 相当于一个软件全家桶里面包含了 Hadoop 生态圈的各种组件及其版本。我们选择HDP 2.6对应 Hadoop 2.6.x 版本。指定 Agent 机器填写集群中所有机器的完整主机名例如bigdata1.example.com并提供 Ambari Server 所在机器的 SSH 私钥用于免密登录自动安装 Agent。自动安装 AgentAmbari Server 会通过 SSH 连接到刚才指定的机器自动下载并安装 Ambari Agent然后 Agent 会向 Server 注册。注册成功后这些机器就纳入了管理。选择要安装的服务在列表里勾选你需要的组件比如 HDFS、YARN MapReduce2、Zookeeper、Spark、Kafka 等。Ambari 会自动检查依赖关系如果缺少某个服务会提醒你。分配 Master 和 Slave 节点Master节点运行 NameNode、ResourceManager 等主服务通常选择性能较好的机器。Slave节点运行 DataNode、NodeManager 等从服务负责存储和计算。Client节点用于提交作业不运行核心服务。服务配置大部分配置项都有默认值可以直接使用。但有一些关键项比如 HDFS 的数据存储目录需要手动设置注意不要设置为/home目录。审阅安装列表Ambari 会汇总你所有的选择集群名称、Stack、服务列表、节点分配、配置参数供你最后确认。检查无误后点击“部署”。开始安装Ambari 开始在线下载所有选中的软件包并安装到对应的机器上然后自动启动服务。这个过程需要一些时间取决于网络速度。安装完成后你就可以看到 Ambari 的 Dashboard仪表盘集群就正式运行了。第三部分实战模拟 —— 在脑海中走一遍部署过程为了帮助你更好地理解上述流程这里提供一个“模拟演练”的思维框架。你可以想象自己正在操作 Ambari 的界面一步步完成部署。模拟场景设定集群规模6 台机器均为 CentOS 7 系统ambari安装 Ambari Server作为管理节点bigdata1作为 NameNode 和 ResourceManager主节点bigdata2作为 SecondaryNameNode备份节点bigdata3、bigdata4、bigdata5作为 DataNode 和 NodeManager工作节点模拟操作步骤与上述 10 步对应步骤你的操作系统反馈模拟日志1. 启动点击 “Launch Install Wizard”[系统] Ambari 安装向导启动。2. 命名输入集群名称bigdata[配置] 集群名称: bigdata3. 选 Stack选择 HDP 2.6[配置] Stack: HDP 2.6 (Hadoop 2.6.5)4. 指定 Agent填写bigdata1~5的主机名上传 SSH 私钥[配置] Agent 主机: ambari, bigdata1-55. 安装 Agent点击下一步系统自动安装[安装] 正在安装 Ambari Agent ... 注册成功。6. 选服务勾选 HDFS, YARN, Zookeeper, Spark, Kafka[选择] 服务: HDFS, YARN, ZK, Spark2, Kafka7. 分配节点指定ambari为 NameNodebigdata3-5为 DataNode[分配] Master: ambari (NN), bigdata1 (RM) ; Slave: bigdata3-5 (DN)8. 配置设置 HDFS 数据目录为/data/hdfs[配置] HDFS datadir: /data/hdfs, namenode dir: /data/name9. 审阅检查清单点击“部署”[审阅] 配置检查通过。准备安装 8 个服务。10. 安装中等待进度条走完[安装] 正在下载 HDFS, YARN, Spark... 已完成 80% ...[成功] ✅ 集群部署完成第四部分集群管理 —— 部署完成后能做什么Ambari 不仅帮你安装集群还提供了非常方便的管理功能主要包括1. 服务管理启动/停止你可以一键启动或停止整个服务比如 HDFS也可以只操作某个组件比如只重启 DataNode。服务检查运行一个测试任务比如 WordCount来验证服务是否正常工作。添加/删除服务后续可以随时在 Ambari 里增加新的组件比如 Flume、Hive。2. 配置管理可视化修改在 Web 界面里修改 Hadoop 的配置文件如core-site.xml不需要手动编辑文件。版本回退每次修改配置都会保存为一个历史版本如果改错了可以一键回退到之前的版本。重启提醒如果修改的配置需要重启服务才能生效Ambari 会主动提示你。3. 监控与告警仪表盘查看整个集群的健康状态、各节点的资源使用情况CPU、内存、磁盘。热力图通过颜色深浅直观显示集群的负载分布。告警当某个节点宕机或磁盘空间不足时Ambari 会发送告警信息。4. 辅助工具HDFS 文件浏览器像操作网盘一样在 Web 界面上传、下载、删除 HDFS 上的文件。Quick Links快速跳转到各个服务的原生 Web UI比如 NameNode UI、ResourceManager UI方便查看更详细的运行信息。第五部分补充知识 —— Ambari 与 CDH 的对比在企业中除了 Ambari HDP 这个组合还有一个常用的免费大数据平台是CDH (Cloudera Distribution including Apache Hadoop)。两者都是非常优秀的工具主要区别如下对比维度Ambari HDPCDH Cloudera Manager维护方Hortonworks现并入 ClouderaCloudera安装方式图形化向导类似我们模拟的流程同样是图形化向导Cloudera Manager界面风格简洁直观功能丰富企业级安全认证支持 Kerberos支持 Kerberos且集成度更高社区与文档有较多中文资料官方文档非常详尽小结无论选择哪一种它们的目标都是一样的——让复杂的大数据集群部署变得像“搭积木”一样简单。对于初学者来说Ambari 的界面更加友好非常适合入门学习。第六部分准备工作清单在实际动手前需要做的如果你打算在自己的虚拟机或服务器上真正部署一次请提前完成以下准备工作这也是我们在模拟器里没有体现的“环境准备”步骤操作系统所有机器安装 CentOS 7最小化安装即可。Java 环境在所有节点安装 Oracle JDK 1.8并配置好环境变量JAVA_HOME。主机名与 hosts 文件配置好每台机器的主机名并在所有机器的/etc/hosts文件中添加完整的 IP 与主机名映射。时间同步安装 NTP 服务确保所有机器的时间一致这对 HBase 等服务很重要。SSH 免密登录在 Ambari Server 节点生成 SSH 密钥对并将公钥复制到所有其他节点包括自己。关闭防火墙和 SELinux为了避免安装过程中网络通信被阻断临时关闭防火墙和 SELinux。调整文件打开数使用ulimit -n 10000修改系统最大打开文件数限制避免大数据任务报错。配置 Yum 源建议使用阿里云或国内的 Yum 源加快软件包下载速度。