ServerlessLLM 高级用户指南自定义调度策略与多机部署最佳实践【免费下载链接】ServerlessLLMServerlessLLM is a distributed model deployment system that supports efficient multi-checkpoint saving, offering fast cold starts and serverless deployment capabilities项目地址: https://gitcode.com/openeuler/ServerlessLLM前往项目官网免费下载https://ar.openeuler.org/ar/ServerlessLLM 是一款分布式模型部署系统支持高效的多检查点保存提供快速冷启动和无服务器部署能力。本指南将深入探讨如何自定义调度策略以及实现多机部署的最佳实践帮助高级用户充分发挥 ServerlessLLM 的强大功能。自定义调度策略优化模型部署效率 调度策略概述ServerlessLLM 提供了灵活的调度机制允许用户根据实际需求选择或自定义调度策略。目前系统中主要包含两种调度器FCFS 调度器先来先服务调度策略简单直观但可能无法充分利用资源存储感知调度器sllm/serve/schedulers/storage_aware_scheduler.py根据模型存储位置和硬件资源状况进行智能调度ServerlessLLM 架构概览展示了调度器在系统中的位置与作用存储感知调度器详解存储感知调度器StorageAwareScheduler是 ServerlessLLM 的高级调度功能它能够根据模型在各节点的存储情况选择最佳加载节点计算模型加载延迟并选择最优节点在资源不足时自动执行模型迁移计划平衡集群中各节点的负载状况class StorageAwareScheduler(FcfsScheduler): def __init__(self, scheduler_config: Optional[Mapping] None): super().__init__(scheduler_config) self.enable_migration scheduler_config.get(enable_migration, False) self.store_manager None self.model_scheduler_config {}存储感知调度器通过enable_migration参数控制是否启用模型迁移功能当节点资源不足时会自动计算并执行最优迁移计划以确保新模型能够顺利加载。自定义调度策略步骤创建调度器类继承基础调度器类并实现核心调度逻辑from sllm.serve.schedulers import FcfsScheduler class CustomScheduler(FcfsScheduler): async def schedule(self, model_name, num_gpus, worker_nodes, model_info, store_info, hardware_info): # 实现自定义调度逻辑 pass配置调度器在配置文件中指定自定义调度器注册调度器在 sllm/serve/schedulers/init.py 中注册新的调度器from .custom_scheduler import CustomScheduler __all__ [FcfsScheduler, StorageAwareScheduler, CustomScheduler]启用调度器在启动命令中通过参数指定使用自定义调度器多机部署构建弹性扩展的 LLM 服务集群 多机部署架构ServerlessLLM 支持多机部署模式通过 head 节点和 worker 节点的协同工作实现模型的分布式部署和调度。ServerlessLLM 完整架构图展示了多机部署时的组件交互部署准备工作硬件要求Head 节点至少 1 台无需 GPUWorker 节点至少 1 台需配备 NVIDIA GPU网络所有节点之间需保证网络互通开放 6379 (Ray)、8343 (API) 和 8073 (存储服务) 端口软件要求所有节点需安装DockerNVIDIA Docker Toolkit (仅 Worker 节点需要)多机部署步骤步骤 1启动 Head 节点在作为 Head 节点的机器上执行以下命令# 获取本机 IP 地址 export HEAD_IP$(hostname -I | awk {print $1}) echo Head node IP address: $HEAD_IP # 启动 Head 节点容器 docker run -d \ --name sllm_head \ --network host \ -e MODEHEAD \ -e RAY_NODE_IP$HEAD_IP \ serverlessllm/sllm:latest注意RAY_NODE_IP必须设置为其他节点可访问的 IP 地址在复杂网络环境中可能需要手动指定。验证 Head 节点是否正常运行docker logs sllm_head成功启动后日志中应包含 Uvicorn running on http://0.0.0.0:8343 等信息。步骤 2启动 Worker 节点在每台作为 Worker 节点的机器上执行以下命令# 创建模型存储目录 mkdir -p /path/to/your/models export MODEL_FOLDER/path/to/your/models # 设置 Head 节点 IP (替换为实际 Head 节点 IP) export HEAD_IPHEAD_NODE_IP # 获取 Worker 节点 IP export WORKER_IP$(hostname -I | awk {print $1}) echo Worker node IP address: $WORKER_IP # 启动 Worker 节点容器 docker run -d \ --name sllm_worker_0 \ --network host \ --gpus device0 \ -e WORKER_ID0 \ -e STORAGE_PATH/models \ -e MODEWORKER \ -e RAY_HEAD_ADDRESS${HEAD_IP}:6379 \ -e RAY_NODE_IP$WORKER_IP \ -v ${MODEL_FOLDER}:/models \ serverlessllm/sllm:latest \ --mem-pool-size 4GB --registration-required true提示添加更多 Worker 节点时需使用唯一的WORKER_ID并确保指向相同的 Head 节点 IP。验证 Worker 节点是否成功连接docker exec -it sllm_worker_0 bash -c source /opt/conda/etc/profile.d/conda.sh conda activate worker ray status成功连接后输出中应同时显示 Head 节点和 Worker 节点的资源信息。步骤 3部署和管理模型配置环境变量指向 Head 节点export LLM_SERVER_URLhttp://HEAD_NODE_IP:8343部署模型sllm deploy --model facebook/opt-1.3b查询模型curl $LLM_SERVER_URL/v1/chat/completions \ -H Content-Type: application/json \ -d { model: facebook/opt-1.3b, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: What is your name?} ] }删除模型sllm delete facebook/opt-1.3b多机部署最佳实践节点资源规划根据模型大小和预期负载合理分配 GPU 资源为每个 Worker 节点配置适当的内存池大小网络优化使用高速网络连接节点减少模型迁移时间确保所有必要端口开放避免防火墙阻碍节点通信存储策略将常用模型预加载到多个 Worker 节点减少加载延迟定期清理不常用模型释放存储空间ServerlessLLM 模型加载流程展示了多机环境下模型的调度与加载过程性能优化与监控调度策略调优存储感知调度器提供了多个可调整参数以优化调度性能alpha和beta控制迁移决策中的延迟计算权重enable_migration控制是否启用模型迁移功能模型优先级设置通过配置文件为不同模型设置调度优先级监控与诊断ServerlessLLM 提供了多种监控方式日志监控通过 Docker 日志查看系统运行状态Ray 集群状态使用ray status命令查看集群资源使用情况API 监控通过/v1/status端点获取服务状态常见问题与解决方案调度相关问题模型加载缓慢检查网络连接和存储性能考虑使用存储感知调度器并预加载常用模型资源利用率低调整调度策略参数增加工作负载或部署更多模型多机部署问题Worker 节点无法连接 Head 节点验证网络连接和防火墙设置确保RAY_HEAD_ADDRESS和RAY_NODE_IP设置正确GPU 资源未被识别确认 NVIDIA Docker Toolkit 已正确安装检查容器启动命令中是否包含--gpus参数总结通过自定义调度策略和多机部署ServerlessLLM 能够充分发挥分布式系统的优势为大规模 LLM 部署提供高效、灵活的解决方案。存储感知调度器能够智能优化模型加载和资源利用而多机部署架构则提供了良好的可扩展性和容错能力。无论是需要优化现有部署的高级用户还是正在构建大规模 LLM 服务的企业用户本指南提供的最佳实践都将帮助您充分利用 ServerlessLLM 的强大功能构建高性能、高可用的 LLM 服务。官方文档docs/stable/deployment/multi_machine.md 调度器源码sllm/serve/schedulers/【免费下载链接】ServerlessLLMServerlessLLM is a distributed model deployment system that supports efficient multi-checkpoint saving, offering fast cold starts and serverless deployment capabilities项目地址: https://gitcode.com/openeuler/ServerlessLLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考