——如 vLLM、SGLang、TensorRT-LLM甚至自定义引擎——以在 GPU 集群上实现最佳性能。核心功能包括多异构 GPU 集群池化调度、可插拔推理引擎架构、Day 0 模型支持、性能优化配置低延迟/高吞吐、以及企业级运维能力如故障恢复、负载均衡、监控与权限管理。GPUStack 可以帮助我们高效地管理vLLM、SGLang等推理引擎并推动模型从部署走向企业生产落地运营。在开始部署 MiniCPM-V 4.6 之前首先完成 GPUStack 控制面的安装并将节点纳入管理。准备容器环境GPUStack 以容器方式运行因此需要提前准备好容器运行环境如 Docker、Podman 或 Kubernetes。本文以Docker为例进行说明。在各节点上安装 Docker确保服务已正常启动docker info启动 GPUStack ServerGPUStack Server 无需依赖 GPU可运行在普通 CPU 节点也可直接部署在 GPU 节点上同时支持 Server 与 Worker 单节点部署。本文以单机双卡 NVIDIA RTX 4090 48GB 为实验环境在同一节点上部署 GPUStack Server 与 Worker。双卡 NVIDIA RTX 4090 48GB仅作为实验环境并不代表运行 MiniCPM-V 4.6 需要如此高的硬件配置。MiniCPM-V 4.6 模型本身体积较小可在低显存 GPU 或纯 CPU 环境下运行。启动 GPUStack Server 容器sudo docker run -d --name gpustack \ --restart unless-stopped \ -p 80:80 \ --volume gpustack-data:/var/lib/gpustack \ swr.cn-south-1.myhuaweicloud.com/gpustack/gpustack:v2.1.2 \ --bootstrap-password GPUStack123参数说明-p 80:80docker run的参数用于对外暴露 Web 控制台端口如需修改为其他端口例如 8080可调整为 -p 8080:80。--volumedocker run的参数持久化平台数据包括模型服务、计量数据、API Key 等--bootstrap-password初始化 admin 用户密码容器启动后可以通过日志确认服务是否正常运行docker logs -f gpustack访问控制台并初始化打开浏览器访问http://Server 主机 IP:80使用默认账号登录用户名admin密码GPUStack123登录后首先创建一个 Docker 类型的集群用于统一管理后续接入的节点。添加 NVIDIA GPU 节点集群创建完成后可接入 Worker 节点但需先完成基础环境检查。1驱动版本检查在目标节点上执行以下命令nvidia-smi该命令会显示当前安装的 NVIDIA 驱动版本、支持 CUDA 最高版本及 GPU 显存、功率等详细信息如下图所示2Nvidia Container Toolkit 检查执行以下命令检查 Docker 是否正确配置了Nvidia Container Toolkitsudo docker info 2/dev/null | grep -q Runtime.*nvidia echo Nvidia Container Toolkit OK || (echo Nvidia Container Toolkit not configured; exit 1)该命令会从docker info输出中查找是否存在nvidia运行时配置。如果输出 Nvidia Container Toolkit OK说明 Docker 已正确配置可在容器中访问 GPU。如果输出 Nvidia Container Toolkit not configured则说明未正确配置需要安装并启用 Nvidia Container Toolkit否则推理容器无法使用 GPU 资源。3接入 Worker 节点在 GPUStack 控制台中选择添加节点Worker按照步骤提示填写信息并复制系统生成的接入命令在目标节点执行。该命令本质是启动一个 Worker 容器并自动注册到 Server。4验证 Worker 状态节点接入后可以在节点上查看容器日志docker logs -f gpustack-worker同时在 GPUStack 控制台中也可以看到节点状态是否为Ready。至此GPUStack 的控制面已成功部署NVIDIA GPU 节点也顺利接入集群并能够正常采集设备名称、索引、厂商信息、温度、利用率及显存使用等指标。接下来即可在该环境中部署具体的推理服务。GPU 资源监控数据添加自定义 SGLang 版本GPUStack 支持可插拔的推理引擎架构允许自定义推理后端及其版本用于引入 GPUStack 未内置的vLLM/SGLang/MindIE版本或接入其他自定义推理引擎镜像。为了部署MiniCPM-V 4.6模型这里以SGLang最新v0.5.12版本为例将其作为 SGLang 的自定义版本添加 GPUStack 的推理后端中CUDA 版本官方镜像地址国内镜像地址cu130lmsysorg/sglang:v0.5.12swr.cn-south-1.myhuaweicloud.com/gpustack/sglang:v0.5.12cu129lmsysorg/sglang:v0.5.12-cu129swr.cn-south-1.myhuaweicloud.com/gpustack/sglang:v0.5.12-cu129对于其他 GPU可前往 https://hub.docker.com/r/lmsysorg/sglang/tags 查找 SGLang 官方打包的专用镜像。在推理后端菜单编辑 SGLang在版本配置中选择添加版本添加一个新的 SGLang 版本按实际情况填写镜像地址配置值版本0.5.12镜像名称swr.cn-south-1.myhuaweicloud.com/gpustack/sglang:v0.5.12框架CUDA自定义添加 SGLang0.5.12镜像配置如图所示也可以切换到 YAML 模式直接使用以下的 YAML 导入version_configs: 0.5.12-custom: image_name: swr.cn-south-1.myhuaweicloud.com/gpustack/sglang:v0.5.12 run_command: entrypoint: custom_framework: cuda env: {}公众号复制可能存在特殊格式可以发送给 AI 重新整理或者直接下载下方文件使用https://gpustack-cn-blogs.oss-cn-shanghai.aliyuncs.com/assets/minicpm-v-4.6/sglang-0.5.12.yml注意如果当前已经有其它自定义版本需要将其它自定义版本一同添加在 version_configs 中一起导入。部署 MiniCPM-V 4.6MiniCPM-V 4.6 与 v4.5 通过enable_thinking切换模式不同v4.6 将instruct与thinking拆分为两个独立checkpoint按需选择即可。版本HuggingFace IDModelScope (魔搭) IDInstructopenbmb/MiniCPM-V-4.6OpenBMB/MiniCPM-V-4.6Thinking思考openbmb/MiniCPM-V-4.6-ThinkingOpenBMB/MiniCPM-V-4.6-Thinking在线部署 MiniCPM-V 4.6GPUStack 支持在线从Hugging Face和ModelScope (魔搭)下载模型权重并部署也可从本地路径进行部署离线环境下可使用此方法。国内环境推荐从 ModelScope 下载部署模型如下图所示在弹窗口中搜索OpenBMB/MiniCPM-V-4.6并在右侧配置窗口选择 SGLang 推理后端和0.5.12自定义版本如下图所示要部署思考版本则搜索OpenBMB/MiniCPM-V-4.6-Thinking。参考文档获取模型部署参数文档来源文档地址OpenBMBGitHub - MiniCPM-V-CookBookSGLangSGLang Docs - MiniCPM-V-4.6--trust-remote-code --dtypebfloat16 --tool-call-parserqwen3_coder --uvicorn-access-log-exclude-prefixes /health /metrics若部署的是 Thinking 版本则还需添加--reasoning-parserqwen3参数。注意SGLang 使用--mem-fraction-static参数控制显存占用、使用--context-length控制上下文长度。大家按实际情况设置这里作为演示不作指定。等待模型启动时可以在操作中点击查看日志实时观察启动过程当模型实例状态显示为Running时说明模型已经成功启动可以进行后续的测试模型测试与排障GPUStack 提供了多种类型模型的试验场可进行基础模型测试与推理速度观察。要测试刚刚部署的 MiniCPM-V 4.6可通过以下两种方式在试验场进行测试在模型部署操作菜单中选择打开试验场直接打开对话试验场在右侧模型选择框中选择需要测试的模型在对话框输入内容以进行模型测试如图所示模型直接报错返回top_k must be -1 (disable) or at least 1, got 0.这是由于官方模型文件generation_config.json中存在top_k: 0。这个问题有两个解决办法编辑文件删除top_k字段{ bos_token_id: 248045, do_sample: true, eos_token_id: [ 248044, 248046 ], temperature: 0.7, - top_k: 0, top_p: 1.0, repetition_penalty: 1.0, transformers_version: 5.7.0 }推荐添加--sampling-defaultsopenai后端参数修改配置后删除重建现有示例再重新测试Instruct Thinking 对比GPUStack 试验场支持多模型对比测试进入对话试验场点击顶部多模型对比按钮切换到多模型对比视图支持同时测试六个模型。测试MiniCPM-V 4.6思考和非思考模式如果发现测试效果不佳可调整参数尝试向官方默认值靠拢如上文generation_config.json内容所示我们将temperature对齐到0.7再次测试模型基准测试GPUStack 内置基准测试功能可针对模型实例进行多种类型的测试例如吞吐、延迟、长上下文等场景并支持根据实际需求灵活调整测试参数。进阶混合 4x/16x 视觉 token 压缩MiniCPM-V 4.6 引入了创新的混合 4x/16x 视觉 token 压缩技术。在默认情况下模型为了追求极致的推理速度和移动端效率会自动采用高效的16x压缩模式即高比例下采样。然而在处理超高分辨率图像、密集型 OCR 文本识别或极其微小的视觉元素时16x压缩可能会因为过度合并视觉 Token 而丢失部分细节。此时我们可以将其调整为4x压缩模式以保留多达 4 倍的视觉特征碎片的精细度。切换为 4x 精细压缩模式SGLang API 暂不支持downsample_mode参数传递要想切换到4x模式需调整部署参数。在 GPUStack 的模型配置或启动参数中添加--json-model-override-args参数来强制覆盖默认配置--json-model-override-args {downsample_mode: 4x}修改后的最终可用启动参数配置如下图所示小技巧GPUStack 支持模型部署克隆功能可在操作菜单中直接使用。对于需要基于现有配置重新部署、仅做少量参数调整的场景可以省去重复填写参数的步骤。效果验证与对比