当前位置: 首页> 汽车> 新车 > 打广告_简历表格 个人简历手机版_seo关键词排名优化矩阵系统_企业文化培训

打广告_简历表格 个人简历手机版_seo关键词排名优化矩阵系统_企业文化培训

时间:2025/7/11 7:47:27来源:https://blog.csdn.net/2301_81373895/article/details/147594341 浏览次数: 0次
打广告_简历表格 个人简历手机版_seo关键词排名优化矩阵系统_企业文化培训

如何搭建 Spark Yarn 模式集群

1. 前置条件准备

在开始搭建 Spark YARN 集群之前,需要确保 Hadoop 和 YARN 已经正常部署并运行。可以通过执行 start-dfs.shstart-yarn.sh 来启动 HDFS 和 YARN。

2. 解压 SPARK 安装包

下载适合版本的 Spark 并将其解压至指定目录。例如,在 /opt/modules/ 下完成解压操作:

tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs/

此步骤完成后,需确认 Spark 文件夹路径已正确设置。

3. 修改 SPARK 环境配置文件

进入 Spark 的配置目录,编辑 spark-env.sh 文件以适配当前环境需求。保存更改后,可通过以下命令使新配置生效:

source spark-env.sh

该步骤对于定义诸如内存分配、日志级别等参数至关重要

4. 分发配置文件到所有节点
为了保持一致性,建议使用自定义脚本(如 xsync.sh)同步配置文件到整个集群中的各个节点。以下是两个重要 XML 文件及其用途说明:

core-site.xml: 设置默认 FS URI。
yarn-site.xml: 控制 ResourceManager 地址及其他高级选项5。
5. 提交第一个 SPARK 应用程序
验证集群状态良好之后,可以尝试提交一个简单的 Spark Pi 示例作业给 YARN 调度器管理。具体命令如下所示:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.11-2.1.1.jar

注意这里指定了 master 参数为 “yarn”,意味着采用的是 YARN 模式的资源调度;而 deploy-mode 则选择了 cluster 方式,即驱动程序将在远程 ApplicationMaster 中运行3

6. 监控与调试

最后一步是利用 Web UI 接口监控任务进度及排查潜在错误信息。通常情况下,默认端口号分别为:

  • YARN Resource Manager Dashboard: http://<master>:8088/
  • Spark History Server (可选): 如果启用了历史记录服务,则可在浏览器输入地址栏访问它——通常是 port number 18080

关键字:打广告_简历表格 个人简历手机版_seo关键词排名优化矩阵系统_企业文化培训

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: