这个项目是关于vLLM-Moet的它通过一系列底层优化让原本需要多张昂贵GPU的超大MoE模型如159B参数的DeepSeek-V4-Flash能在单张消费级显卡上运行。它的核心技术创新点以及在没有RTX 5090即Blackwell架构而只有A100Ampere架构卡的情况下我们能做的事情我为你梳理如下。 核心项目我们能学到什么这个项目不仅是“运行一个模型”更是一套极致的系统优化方法论你可以从中学习到模型压缩的“手术刀”2-bit专家量化将MoE模型中体量最大的“专家”网络压缩到2-bit同时通过研究发现并解决符号不对称性问题使用特定的{−4,−1,1,4}码本在极低比特下保持了模型质量。FP4增量缓存并非所有专家都同等重要。项目引入一个FP4精度的“增量缓存”池将最热门的专家保留在FP4精度作为2-bit之上的“质量修正层”既保证了速度又弥补了精度损失。硬件的“外科手术”级利用手写SASS内核为了榨干Blackwell架构RTX 5090等的性能项目直接编写了底层的SASS汇编内核moe_w2_mm等实现了对寄存器和张量核心的极致调度这是CUDA或PTX层面难以达到的。GPU作为专家缓存当模型2-bit大小超过显存时它开创性地将大部分专家权重放在主机内存GPU仅作为“热专家缓存”。利用MoE路由的局部性用少量显存命中绝大多数计算使得159B模型能在单张RTX 5090 (32GB)上运行。系统工程的“缝合术”项目提供了一个针对vLLM v0.24.0的5.6k行补丁修复了官方版本在Blackwell上运行DeepSeek-V4的多个致命问题如DeepGEMM路径、FlashInfer API、CUDA图捕获等。为了支持上述创新项目还从零构建了工具链包括逆向工程得到的blackwell-isa指令集数据库以及基于此的cubit汇编器/反汇编器。这展示了当现有工具无法满足需求时如何深入底层自己“造轮子”。⚙️ A100卡能干什么A100Ampere架构与项目优化的目标Blackwell SM120指令集不兼容因此无法直接运行其手写的SASS内核和2-bit/FP4量化推理。你无法直接使用VLLM_MOE_W21等核心功能获得文中惊人的单卡性能。但这并不意味着这个项目对A100用户毫无价值它为我们指明了方向让我们可以借鉴其思路做以下事情运行官方原始模型项目基于vLLM v0.24.0。你可以在A100上使用未修改的官方DeepSeek-V4-Flash模型FP4专家FP8密集层但需要满足其显存要求项目提到官方FP4检查点约149GiB远超单卡A100 80GB。你需要多卡并行使用至少2张A100如2×80GB通过--tensor-parallel-size 2来加载模型。性能参考根据项目数据官方FP4路径在多卡上性能尚可但失去了单卡运行的可能性。借鉴系统补丁项目中针对vLLM的非量化部分修复如DeepGEMM、FlashInfer的SM120支持补丁思路对于在A100上稳定运行vLLM服务仍有参考价值。采用其算法思路进行开发这是A100用户最大的收获。你可以借鉴其核心算法思想在现有的工具如TensorRT-LLM、FasterTransformer中尝试实现实现“符号对称”的2-bit量化在自己的模型上验证这一发现可能获得更好的极低比特量化效果。设计“专家缓存”与“精度分级”系统对于大MoE模型可以仿照其“主机内存存底、GPU显存做热点缓存、FP4做精度修正”的三级存储层次在A100集群上设计更灵活的显存/内存交换策略以支持更大的模型或更长的上下文。运行其支持的GLM-5.2模型项目明确支持GLM-5.2753B MoE。虽然A100无法使用其优化的SASS内核但你可以使用项目修改后的vLLM代码库在A100上以标准FP8或NVFP4精度加载和运行GLM-5.2模型需多卡。这提供了一个在A100上部署超大MoE模型的现成参考方案。 总结与建议方面在RTX 5090 (Blackwell) 上在A100 (Ampere) 上直接运行项目可以这是主要目标平台。能实现单卡159B模型推理。不可以SASS内核和核心量化路径不兼容。运行官方模型可以但项目目标是用更少资源达到官方质量。可以但需多卡并行如2×80GB以满足显存需求。最大价值极致的单卡推理性能和硬件利用率。算法思想与系统设计借鉴用于自研或优化A100上的大模型部署。给您的实操建议如果您手头只有A100最务实的做法是仔细阅读项目的docs/v024-port.md和docs/quality.md理解其解决的具体问题和设计哲学。直接使用官方vLLM或NVIDIA的TensorRT-LLM其A100支持更为成熟。您可以尝试将项目中2-bit量化和专家缓存的算法思路在TensorRT-LLM的插件框架中实现原型验证。关注该项目是否会为Ampere架构提供支持可能性较低因为SASS不通用或社区是否有移植。这个项目展示了软硬件协同设计的巨大潜力。即使无法直接使用它也为我们在受限硬件上部署超大模型提供了宝贵的技术路线图。如果您对其中某个技术点如2-bit量化的实现细节或在A100上部署GLM-5.2的具体方案想深入了解我可以为您进一步解释。海光dcu可以从中学到什么海光DCU的用户可以从这个项目中学到一套“顶层设计”和“落地方法”但无法直接复用其“底层代码”。这个项目就像一个顶尖的“解题思路展示”而DCU生态则提供了国产化的“实践路径”。简单来说vLLM-Moet项目展现了极致性能优化的上限而海光DCU的生态展示了快速规模化落地的能力。 可以学到的核心思想这个项目最值得DCU借鉴的是它解决问题的方法论而非代码本身极致的软硬协同项目为了榨干硬件性能直接编写了底层的SASS汇编内核。这告诉我们要释放硬件潜力有时需要深入指令集层面进行定制化优化。算法与架构的联合创新其核心的“2-bit量化FP4增量缓存”方案是根据MoE模型特性专门设计的。这是一种从算法和系统架构全局出发的优化思路而非简单的模型压缩。系统性的性能调优项目并非只优化单点而是对整个推理引擎vLLM进行了深度定制这种系统级的整合能力是获得最终高性能的关键。 海光DCU自己的“实践之路”海光DCU虽然没有照搬代码但它通过构建一套完整的软件生态走出了自己的路。它并非从零开始而是采用“兼容并包、快速适配”的策略。对比维度vLLM-Moet (项目思路)海光DCU (实践路径)核心目标在特定硬件上榨取极致性能让主流大模型能快速、低成本地跑起来技术路径深度定制、手写汇编构建统一软件栈、智能迁移工具生态策略为单一项目做极致优化兼容主流生态实现“模型发布即适配”海光DCU的具体实践体现在强大的软件栈DTK/DAS/FlagOS这是海光DCU的核心武器。它像一个“万能翻译器”让为CUDA编写的代码可以“零成本”或低成本迁移到DCU上运行。同时通过vLLM-plugin-FL这类插件能在不修改上层推理引擎的前提下完成适配。智能化的算子迁移KernelSwift/TileLang面对vLLM-Moet中手写汇编的复杂算子海光DCU的思路是“用魔法打败魔法”。它利用KernelSwift这类工具实现核心算子的自动生成和加速据报道能将适配周期从数月压缩到小时级加速比达3.4倍。而TileLang这类编程语言则让开发者用Python风格语法就能写出接近手写汇编性能的内核。惊人的落地速度Day-0适配这套方法论在实践中效果显著。无论是DeepSeek-V4、Qwen3.6还是腾讯混元Hy3海光DCU都实现了“发布即适配”的Day-0响应速度这是国产算力生态走向成熟的重要标志。 总结所以对于海光DCU的开发者而言这个项目的最大价值在于确认了“极致优化”的可行性并激发了类似的追求。但具体的实现则应充分借助海光DCU已经构建起的DTK、DAS、FlagOS等软件栈以及KernelSwift、TileLang等高效工具走出一条符合国产硬件生态特色的、更高效的“规模化落地”之路。这是一个从“单点极致”到“系统生态”的思路转变。如果你对海光DCU生态中的某个具体技术点如KernelSwift的算子生成原理感兴趣我们可以继续深入探讨。