年前智谱正式发布了万众瞩目的 GLM-5 。作为上市后的首个重磅核弹GLM-5 带来了 745B MoE 架构和惊人的推理能力。但问题来了 如此强悍的 745B 模型如何在私有化环境中落地今天我们不谈虚的。直接在国产操作系统 OpenCloudOS 9 上用16张 NVIDIA H20-96GB 来一次硬核的部署实战一、为什么是OC 9GLM-5如果说 GLM-5 是软件上的“大脑”那 OpenCloudOS 就是承载它的“神经中枢”。面对 GLM-5 这种 MoE 架构频繁的专家切换对内存调度和系统延迟提出了极高要求。OpenCloudOS 9 内核经过深度调优在处理高并发 AI 负载时抖动极低是目前跑大模型最稳的国产底座之一。二、OC 9 H20 极限部署 GLM-5 实战手册2.1 环境清单OS : OpenCloudOS 9 (Kernel 6.6)GPU : NVIDIA H20 (96GB*16)Driver : NVIDIA Driver 590 / CUDA 13.1Model : GLM-5-745B-fp8 (量化版)大于1TB的剩余磁盘空间2.2 部署流程2.2.1 驱动安装推荐使用 NVIDIA Driver 590 版本目前 OpenCloudOS 9 的 EPOL 源上已集成对应 RPM 包可通过以下指令执行安装默认安装590版本如需安装 580 版本可在命令后加版本号dnf install nvidia-driver2.2.2 Nvidia Runtime安装因为需要用到容器所以需先通过如下指令安装 Nvidia Runtime# 添加nvidia runtime toolkitsudo yum-config-manager --add-repo https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.reposudo dnf install docker-ce nvidia-container-toolkit -ysudo systemctl start docker.servicesudo systemctl enable docker.service2.2.3 下载模型首先下载魔搭通过魔搭下载模型如果 python 版本较旧如使用的是 OC 8 版本默认自带 python 3.6则需先安装 python 3.11。pip3 install modelscopemodelscope download --model ZhipuAI/GLM-5-FP8# 如使用OC 8版本请先升级 python 版本至 3.11且上面的pip3 命令变更为pip3.11。如使用OC 9版本该步可跳过。dnf install python3.11 python3.11-pip -y2.2.4 安装 vLLM本次使用 vLLM 和 Ray 集群来运行 GLM-5。说明Ray 是分布式计算框架。当单机显存不足以加载超大模型需多机多卡并行推理时必须用它来统一调度集群资源。具体执行方式如下# 使用专用的 vLLM 来运行-v的模型映射路径,需根据您实际模型目录来写# 两台机器都需要启动集群,网卡 eth0 需根据您实际来设置docker run -itd --nethost --ipchost --privileged \--nameglm5 --gpus all --entrypoint /bin/bash \-e GLOO_SOCKET_IFNAMEeth0 \-e NCCL_SOCKET_IFNAMEeth0 \-e MASTER_ADDR192.168.32.6 \-e NCCL_DEBUGINFO \-e NCCL_IB_DISABLE1 \-e NCCL_P2P_DISABLE1 \-e NCCL_SHM_DISABLE0 \-e NCCL_NET_GDR_LEVEL0 \-v /data/models/:/data/ vllm/vllm-openai:glm52.2.5 启动1先启动 Ray 集群# 进入容器启动 Ray 集群主节点假设主节点ip为 192.168.32.6ray start --head --port6379 --num-gpus8# 进入另外一台机器的容器启动从节点ray start --address192.168.32.6:6379 --num-gpus8# 查看集群状态应该有16张GPUray status2在主节点容器执行如下命令启动 vLLMpython3 -m vllm.entrypoints.openai.api_server \--model /data/GLM-5-FP8 \--tensor-parallel-size 16 \--pipeline-parallel-size 1 \--distributed-executor-backend ray \--host 0.0.0.0 \--tool-call-parser glm47 \--reasoning-parser glm45 \--enable-auto-tool-choice \--served-model-name glm5 \--trust-remote-code \--port 80002.2.6 使用待服务启动后通过 curl 命令发送请求来进行验证。备注如使用普通tcp加之模型较大所以延迟会较高。curl http://localhost:8000/v1/chat/completions \-H Content-Type: application/json \-d {model: glm5,messages: [{role: user, content: 你好介绍一下你自己}]}为方便后续使用可以安装 webUIdocker run -d \--name open-webui \-p 3000:8080 \--add-hosthost.docker.internal:host-gateway \-e OPENAI_API_BASE_URLhttp://host.docker.internal:8000/v1 \-e OPENAI_API_KEYsk-xxx \-v open-webui-data:/app/backend/data \ghcr.nju.edu.cn/open-webui/open-webui:main三、实战测试一下 GLM-5 的能力到底怎样我们用一个典型的编程场景和问题来测试下 GLM-5 的编程能力作为对比我们接着用 Claude-opus 4-5来完成同样的一个编程指令可以看到Claude 还是存在明显的语法错误而 GLM-5 代码简洁、思路清晰、且没有语法错误。欢迎社区伙伴们在 OpenCloudOS 上部署 GLM-5体验相关流程和应用。也欢迎加入 OpenCloudOS 社区用户群扫描文末二维码加社区小助手即可进群一起参与更多应用实践的探讨。OpenCloudOS 开源社区是由操作系统、云平台、软硬件厂商与个人携手打造中立开放、安全稳定且高性能的 Linux 操作系统及生态。目前已实现从源社区、商业版、到社区稳定版全链路覆盖旨在输出经海量业务验证的企业级稳定操作系统版本为行业解决国产操作系统上下游供应问题促进基础软件可持续发展。备注「OCAI」即可加入社区微信群点击下方图片了解加入社区权益与方式↓技术干货 · 目录上一篇OpenCloudOS 原生适配玄武 CLI一行命令让国产算力跑起大模型下一篇OC 云原生 SLI 如何通过内核级观测解决容器抖动难题阅读 232​