一、安装kernel-devel、kernel-headers如果没有互联网环境可以使用iso文件搭建本地镜像仓库这两个包的版本一定要和当前系统的内核版本一致dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)二、安装dkmsdnf install -y dkms三、安装驱动rocklinux兼容rhel可以使用rh下载后安装rpm -ivh nvidia-driver-local-repo-rhel9-590.48.01-1.0-1.x86_64.rpm安装驱动nvidia-driver可能会被过滤导致dnf list | grep nvidia-driver,不显示驱动包可以直接手动rpm安装cd /var/nvidia-driver-local-repo-rhel9-590.48.01rpm -ivh nvidia-kmod-common-590.48.01-1.el9.noarch.rpm \kmod-nvidia-latest-dkms-590.48.01-1.el9.x86_64.rpm \nvidia-driver-590.48.01-1.el9.x86_64.rpm \nvidia-driver-libs-590.48.01-1.el9.x86_64.rpm \nvidia-driver-cuda-590.48.01-1.el9.x86_64.rpm \nvidia-driver-cuda-libs-590.48.01-1.el9.x86_64.rpm \libnvidia-ml-590.48.01-1.el9.x86_64.rpm \libnvidia-cfg-590.48.01-1.el9.x86_64.rpm \nvidia-modprobe-590.48.01-1.el9.x86_64.rpm \nvidia-persistenced-590.48.01-1.el9.x86_64.rpm \nvidia-fabricmanager-590.48.01-1.el9.x86_64.rpm \--nodeps --force检查驱动是否编译完成dkms install nvidia/590.48.01执行结果[rootlocalhost nvidia-driver-local-repo-rhel9-590.48.01]# dkms install nvidia/590.48.01Module nvidia/590.48.01 already installed on kernel 5.14.0-427.13.1.el9_4.x86_64 (x86_64), skip. You may override by specifying --force.[rootlocalhost nvidia-driver-local-repo-rhel9-590.48.01]#加载模块modprobe nvidiamodprobe nvidia-uvm启动SXM 专属服务用于显卡间通信systemctl enable --now nvidia-persistencedsystemctl enable --now nvidia-fabricmanager查看显卡状态nvidia-smi执行结果正常显示显卡信息则成功安装了驱动[rooth200-new ~]# nvidia-smiThu Apr 16 14:02:07 2026-----------------------------------------------------------------------------------------| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 |---------------------------------------------------------------------------------------| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC || Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. || | | MIG M. |||| 0 NVIDIA H200 On | 00000000:19:00.0 Off | 0 || N/A 37C P0 78W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 1 NVIDIA H200 On | 00000000:3B:00.0 Off | 0 || N/A 32C P0 80W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 2 NVIDIA H200 On | 00000000:4C:00.0 Off | 0 || N/A 31C P0 76W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 3 NVIDIA H200 On | 00000000:5D:00.0 Off | 0 || N/A 35C P0 78W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 4 NVIDIA H200 On | 00000000:9B:00.0 Off | 0 || N/A 37C P0 77W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 5 NVIDIA H200 On | 00000000:BB:00.0 Off | 0 || N/A 33C P0 79W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 6 NVIDIA H200 On | 00000000:CB:00.0 Off | 0 || N/A 36C P0 78W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 7 NVIDIA H200 On | 00000000:DB:00.0 Off | 0 || N/A 32C P0 77W / 700W | 0MiB / 143771MiB | 0% Default || | | Disabled |--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| Processes: || GPU GI CI PID Type Process name GPU Memory || ID ID Usage |||| No running processes found |-----------------------------------------------------------------------------------------[rooth200-new ~]#四、安装docker和libnvidia-containerdocker二进制包下载Index of linux/static/stable/x86_64/解压压缩包将二进制文件移动至/usr/local/bin/下新建service文件内容如下/usr/lib/systemd/system/docker.service[Unit]DescriptionDocker Application Container EngineDocumentationhttp://docs.docker.io[Service]EnvironmentPATH/usr/local/bin:/bin:/sbin:/usr/bin:/usr/sbinExecStart/usr/local/bin/dockerd --log-levelerror $DOCKER_NETWORK_OPTIONS \--data-root/data/docker/dataExecReload/bin/kill -s HUP $MAINPIDRestarton-failureRestartSec5LimitNOFILEinfinityLimitNPROCinfinityLimitCOREinfinityDelegateyesKillModeprocess[Install]WantedBymulti-user.target启动dockersystemctl daemon-reloadsystemctl enable docker --now安装libnvidia-container下载地址libnvidia-container/stable at gh-pages · NVIDIA/libnvidia-container · GitHub安装[rooth200-new containerd-tools]# lslibnvidia-container-tools-1.17.4-1.x86_64.rpm nvidia-container-toolkit-1.17.4-1.x86_64.rpmlibnvidia-container1-1.17.4-1.x86_64.rpm nvidia-container-toolkit-base-1.17.4-1.x86_64.rpm[rooth200-new containerd-tools]# rpm -ivh *rpmwarning: libnvidia-container-tools-1.17.4-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEYVerifying... ################################# [100%]Preparing... ################################# [100%]Updating / installing...1:nvidia-container-toolkit-base-1.1################################# [ 25%]2:libnvidia-container1-1.17.4-1 ################################# [ 50%]3:libnvidia-container-tools-1.17.4-################################# [ 75%]4:nvidia-container-toolkit-1.17.4-1################################# [100%][rooth200-new containerd-tools]#配置生效nvidia-ctk runtime configure --runtimedockersystemctl restart docker五、使用sglang 启动模型模型下载至/data/llm/glm5.1-fp8sglang镜像版本lmsysorg/sglang:v0.5.10启动sglangdocker run -d \--name sglang-glm5 \--gpus all \--ipchost \--ulimit memlock-1 \--ulimit stack67108864 \-p 30000:30000 \-e SGLANG_ENABLE_SPEC_V21 \-e CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 \-e TORCHINDUCTOR_CACHE_DIR/data/glmcache5.1 \-v /data/llm/:/data/models \--shm-size32g \--restartalways \lmsysorg/sglang:v0.5.10 \sglang serve \--model-path /data/models/glm5.1-fp8 \--served-model-name glm-5.1-fp8 \--api-key xxxxxx \--host 0.0.0.0 \--tp 8 \--reasoning-parser glm45 \--tool-call-parser glm47 \--speculative-algorithm EAGLE \--speculative-num-steps 3 \--speculative-eagle-topk 1 \--speculative-num-draft-tokens 4 \--mem-fraction-static 0.9 \--context-length184320 \--max-running-requests10 \--max-prefill-tokens8192使用docker logs -f sglang-glm5查看模型加载进度等待模型加载完成查看显卡使用情况[rooth200-new data]# nvidia-smiThu Apr 16 18:00:27 2026-----------------------------------------------------------------------------------------| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 |---------------------------------------------------------------------------------------| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC || Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. || | | MIG M. |||| 0 NVIDIA H200 On | 00000000:19:00.0 Off | 0 || N/A 55C P0 136W / 700W | 141572MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 1 NVIDIA H200 On | 00000000:3B:00.0 Off | 0 || N/A 42C P0 126W / 700W | 141622MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 2 NVIDIA H200 On | 00000000:4C:00.0 Off | 0 || N/A 40C P0 122W / 700W | 141622MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 3 NVIDIA H200 On | 00000000:5D:00.0 Off | 0 || N/A 54C P0 135W / 700W | 141622MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 4 NVIDIA H200 On | 00000000:9B:00.0 Off | 0 || N/A 54C P0 132W / 700W | 141622MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 5 NVIDIA H200 On | 00000000:BB:00.0 Off | 0 || N/A 42C P0 123W / 700W | 141622MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 6 NVIDIA H200 On | 00000000:CB:00.0 Off | 0 || N/A 55C P0 135W / 700W | 141624MiB / 143771MiB | 0% Default || | | Disabled |---------------------------------------------------------------------------------------| 7 NVIDIA H200 On | 00000000:DB:00.0 Off | 0 || N/A 41C P0 123W / 700W | 140658MiB / 143771MiB | 0% Default || | | Disabled |--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| Processes: || GPU GI CI PID Type Process name GPU Memory || ID ID Usage |||| 0 N/A N/A 161448 C sglang::scheduler_TP0 14156... || 1 N/A N/A 161449 C sglang::scheduler_TP1 14161... || 2 N/A N/A 161450 C sglang::scheduler_TP2 14161... || 3 N/A N/A 161451 C sglang::scheduler_TP3 14161... || 4 N/A N/A 161452 C sglang::scheduler_TP4 14161... || 5 N/A N/A 161453 C sglang::scheduler_TP5 14161... || 6 N/A N/A 161454 C sglang::scheduler_TP6 14161... || 7 N/A N/A 161455 C sglang::scheduler_TP7 14064... |-----------------------------------------------------------------------------------------[rooth200-new data]#测试[rooth200-new llm]# curl http://localhost:30000/v1/chat/completions \-H Content-Type: application/json \-H Authorization: Bearer xxxxxxx \-d {model: glm-5.1-fp8,messages: [{role: system, content: 你是一个人工智能助手。},{role: user, content: 你好请确认你的模型版本并简单介绍下 H100 GPU 的优势。}],temperature: 0.7}{id:3dd2d8cbf57546bd926b30e35559dd8d,object:chat.completion,created:1776325869,model:glm-5.1-fp8,choices:[{index:0,message:{role:assistant,content:你好我是一个由 Z.ai 开发的人工智能助手基于 GLM 大语言模型。\n\n关于 NVIDIA H100 GPU它是基于 Hopper 架构的旗舰级数据中心 GPU专为加速人工智能和高性能计算而设计。它的主要优势包括\n\n1. **Transformer 引擎**这是 H100 最大的亮点之一。它专门针对当前大语言模型LLM的基础——Transformer 架构进行了优化能够动态分配 FP8 和 FP16 精度在保持模型精度的同时将大模型的训练和推理速度提升至前所未有的水平。\n2. **极高的性能飞跃**相比上一代 A100H100 在 AI 训练上最高可提供 9 倍的提升在 AI 推理上最高可提供 30 倍的提升特别是在结合 FP8 和 Transformer 引擎时。\n3. **HBM3 高带宽内存**H100 采用了更先进的 HBM3 内存最高提供 80GB 容量和超过 3TB/s 的惊人带宽极大缓解了大规模 AI 模型的“内存墙”问题。\n4. **第四代 NVLink 与 PCIe 5.0**NVLink 互联带宽提升至 900GB/s是 PCIe 5.0 的 7 倍使得成千上万张 H100 组成的集群能够高效协同工作构建超大规模计算集群。\n5. **原生 FP8 支持**H100 是首批原生支持 FP88位浮点数据格式的 GPU 之一这不仅能将内存占用减半还能大幅提高吞吐量对 AI 推理极其有利。\n6. **DPX 指令集**专门用于加速动态规划算法在基因组学测序、物流路线优化等科学计算领域速度比 A100 提升高达 7 倍。\n\n总的来说H100 是目前大模型时代最重要的算力基础设施凭借其针对 Transformer 的特化设计和极高的带宽成为了训练和部署下一代 AI 的首选硬件。,reasoning_content:1. **分析请求**\n * 任务 1确认我的模型版本。\n * 任务 2简单介绍 H100 GPU 的优势。\n * 语言中文。\n\n2. **处理任务 1确认模型版本**\n * *自我认知* 我是一个人工智能助手。我的具体底层模型版本通常不作为硬编码字符串公开但我是由 Z.ai 开发的大语言模型GLM 系列。我应该清楚地说明我是一个人工智能助手并提及我的开发者/模型系列GLM而不必捏造特定的版本号除非我绝对确定但通常“由 Z.ai 开发的 GLM 大语言模型”是最准确和安全的回答。\n * *起草* 你好我是一个由 Z.ai 训练的大语言模型基于 GLM 架构。\n\n3. **处理任务 2介绍 H100 GPU 的优势**\n * *主题* NVIDIA H100 Hopper GPU。\n * *需要涵盖的关键优势*\n * 架构Hopper 架构继 Ampere/A100 之后。\n * 性能AI 训练和推理的巨大飞跃。Transformer 引擎对大语言模型至关重要。\n * 内存/带宽HBM3 内存与 A100 的 HBM2e 相比带宽大幅提升。\n * 互连NVLink 4.0比第 3 代更快、PCIe Gen 5。\n * 安全/可靠性机密计算、原生 FP8 支持。\n * DPX 指令集用于动态规划。\n * *构建介绍结构* 使用项目符号以提高可读性。保持简洁但全面。\n * *起草要点*\n 1. **Hopper 架构与 Transformer 引擎**专门针对大语言模型LLM优化自动分配 FP8/FP16 精度大幅提升推理和训练速度。\n 2. **极致的性能提升**相比上一代 A100AI 训练速度提升数倍推理速度最高提升 30 倍。\n 3. **更快的 HBM3 内存**提供更高的内存带宽最高可达 3TB/s解决大规模模型的内存瓶颈。\n 4. **第四代 NVLink 与 PCIe 5.0**多卡互联带宽翻倍支持构建更大规模的计算集群。\n 5. **FP8 数据格式支持**在保持精度的同时大幅减少内存占用和计算时间。\n 6. **DPX 指令集**加速动态规划算法适用于基因组学、物流优化等领域。\n\n4. **审查与润色**\n * 将两个回答流畅地结合起来。\n * 确保语气乐于助人且专业。\n * *起草时的自我纠正* 确保不要声称自己是 GPT-4 或 Claude 3因为那是不正确的。坚持 Z.ai/GLM 的身份。\n\n5. **最终输出生成中文**\n 你好我是一个由 Z.ai 开发的人工智能助手基于 GLM 大语言模型。\n\n 关于 NVIDIA H100 GPU它是基于 Hopper 架构的旗舰级数据中心 GPU专为加速 AI 和高性能计算HPC而设计。它的主要优势包括\n\n 1. **Transformer 引擎**这是 H100 最大的亮点之一。它专门针对当前大语言模型LLM的基础——Transformer 架构进行了优化能够动态分配 FP8 和 FP16 精度在保持模型精度的同时将大模型的训练和推理速度提升至前所未有的水平。\n 2. **极高的性能飞跃**相比上一代 A100H100 在 AI 训练上最高可提供 9 倍的提升在 AI 推理上最高可提供 30 倍的提升特别是在结合 FP8 和 Transformer 引擎时。\n 3. **HBM3 高带宽内存**H100 采用了更先进的 HBM3 内存最高提供 80GB 容量和超过 3TB/s 的惊人带宽极大缓解了大规模 AI 模型的“内存墙”问题。\n 4. **第四代 NVLink 与 PCIe 5.0**NVLink 互联带宽提升至 900GB/s是 PCIe 5.0 的 7 倍使得成千上万张 H100 组成的集群能够高效协同工作构建超大规模计算集群。\n 5. **原生 FP8 支持**H100 是首批原生支持 FP88位浮点数据格式的 GPU 之一这不仅能将内存占用减半还能大幅提高吞吐量对 AI 推理极其有利。\n 6. **DPX 指令集**专门用于加速动态规划算法在基因组学测序、物流路线优化等科学计算领域速度比 A100 提升高达 7 倍。\n\n 总的来说H100 是目前大模型时代最重要的算力基础设施凭借其针对 Transformer 的特化设计和极高的带宽成为了训练和部署下一代 AI 的首选硬件。,tool_calls:null},logprobs:null,finish_reason:stop,matched_stop:154827}],usage:{prompt_tokens:29,total_tokens:1576,completion_tokens:1547,prompt_tokens_details:null,reasoning_tokens:1119},metadata:{weight_version:default}}[rooth200-new llm]#[rooth200-new llm]#