Spark运行模式
1. Standalone模式
- 描述：Standalone模式是Spark的独立集群模式，Spark自己管理资源和调度任务。适合小型集群或个人开发环境。
- 特点：
- 简单易用，适合开发和测试。
- 不依赖外部资源管理器。
- 可以运行在单机或多机集群上。
2. YARN模式
- 描述：YARN（Yet Another Resource Negotiator）是Hadoop的资源管理器，Spark可以运行在YARN集群上，使用Hadoop的资源管理功能。
- 特点：
- 适合Hadoop生态系统中的Spark应用。
- Spark作业可以和其他Hadoop作业共享集群资源。
- 支持动态资源调度。
3. Mesos模式
- 描述：Mesos是一个开源的集群管理器，支持多种类型的工作负载，Spark可以作为Mesos的一个框架运行。
- 特点：
- 支持多种不同的作业类型，Spark作业可以与其他类型的任务共享Mesos集群资源。
- 提供精细的资源隔离和调度功能。
4. Local模式
- 描述：Local模式是Spark的单机模式，用于在本地机器上运行Spark应用程序，适合开发和测试。
- 特点：
- 仅在单个机器上运行，不涉及集群。
- 适合开发阶段和小规模测试，方便调试。
Spark on Yarn
在Spark on YARN模式中，Spark应用程序通过YARN资源管理器来管理集群资源。YARN提供了以下两种主要的运行模式：
1. Client模式（Client Mode）
在Client模式下，Driver运行在提交作业的客户端机器上，而Executor则运行在YARN集群的各个节点上。
- Driver：运行在客户端（即提交作业的机器）上，客户端负责启动应用程序的
main函数，并保持与YARN集群的连接。客户端通过YARN
ResourceManager与集群进行通信，负责分配和监控任务。- Executor：运行在YARN集群中的各个工作节点上，每个Executor负责执行分配的任务，并将计算结果返回给Driver。
特点：
- 适用场景：适合开发和调试时使用，因为Driver运行在本地，开发者可以方便地调试和查看日志。
- 资源管理：虽然Executor在YARN集群上运行，但Driver的资源是由客户端管理的，所有的交互和调度都由客户端发起。
- 网络连接要求：需要客户端与YARN集群之间有良好的网络连接，尤其是当Driver在远程机器上运行时，客户端必须能够访问集群。
启动方式：
spark-submit --master yarn --deploy-mode client --class <main-class> <your-spark-application>
2. Cluster模式（Cluster Mode）
在Cluster模式下，Driver会被调度到YARN集群中的一个节点上运行，而不是在客户端运行。
- Driver：在YARN集群内的一个工作节点上启动，YARN ResourceManager负责为Driver分配资源并启动它。Driver的启动不依赖于客户端，完全由YARN集群管理。
- Executor：和Client模式一样，Executor运行在YARN集群中的各个工作节点上，每个Executor负责执行分配的任务。
特点：
- 适用场景：适用于生产环境，特别是当Spark作业需要长期运行或需要集群资源时。因为Driver运行在集群中，作业提交和执行可以在完全分布式的环境下进行。
- 资源管理：Driver的资源由YARN集群管理，集群资源的调度和分配更加高效，适合大规模的数据处理。
- 网络连接要求：由于Driver运行在YARN集群中，客户端和集群之间的网络连接不需要持久化连接，客户端仅负责提交作业。
启动方式：
spark-submit --master yarn --deploy-mode cluster --class <main-class> <your-spark-application>
3.Client和Cluster模式的区别
1. Driver 的存储位置
- Client 模式： Driver 运行在提交作业的本地机器上，负责 Spark 应用程序的调度和任务分配。
- Cluster 模式： Driver 运行在 YARN 的 NodeManager 上，具体由 YARN 的 ApplicationMaster 负责启动并管理。
2. 流量问题
- Client 模式： 由于 Driver 运行在本地机器上，所有任务调度和数据的中间结果需要通过网络回传给本地 Driver，容易导致本地机器流量激增，尤其是数据量较大时。
- Cluster 模式： Driver 和 YARN 集群运行在一起，调度和数据传输均在集群内部完成，因此不存在流量激增问题。
3. 网络连接问题
- Client 模式： Driver 运行在本地机器，与 YARN 集群可能不在同一个机房或网络区域，容易因为网络延迟或不稳定导致作业失败，特别是在 Driver 与 Executor 的通信中。
- Cluster 模式： Driver 与 YARN 集群的 NodeManager 运行在相同机房内，网络延迟低且更稳定，不易因网络问题导致作业中断。
