这类扩散模型压缩方案最值得先看的不是理论有多新而是能不能在普通显卡上把生成质量稳住。OrbitQuant 的核心突破在于它让 4 位权值加 4 位激活W4A4的量化配置在 FLUX.1、Z-Image-Turbo 这类主流扩散 TransformerDiT上几乎无损运行甚至在某些评测中超过全精度模型更关键的是在 2 位权值加 4 位激活W2A4这种极低比特设置下其他训练后量化PTQ方法生成的已经是噪声而 OrbitQuant 还能输出可辨认的图像和视频。我一般会先确认一个新量化框架到底解决了什么实际问题。对于 DiT 模型激活值会随着去噪步数、提示词内容和分类器无关引导分支的变化而剧烈波动这直接打破了传统 PTQ 依赖静态校准数据的假设。OrbitQuant 通过一种叫做随机置换分块哈达玛RPBH的旋转操作把权值和激活投影到一个分布固定的公共基上使得单一 Lloyd-Max 码本就能覆盖所有时间步和层完全跳过了校准阶段。下面我会按实际落地时最需要关注的四个层次拆解它如何绕过校准、旋转量化的具体步骤、在图像和视频模型上的实测表现以及你自己尝试时需要注意的边界条件。1. 为什么 DiT 的量化一直需要校准数据而 OrbitQuant 能省掉这一步传统训练后量化方法比如从 LLM 领域迁移过来的 SmoothQuant、ZeroQuant核心思路是靠一小批校准数据来统计激活值的动态范围然后根据这个范围确定量化参数。这套方法在激活分布相对稳定的模型里工作得不错但到了扩散 Transformer 里就行不通了。DiT 的激活值会在三个维度上发生漂移时间步维度去噪过程早期和晚期的激活分布差异很大提示词维度不同的文本提示会导致特征激活的幅度和分布发生变化引导分支维度当使用分类器无关引导时条件分支和无条件分支的激活路径不同。这意味着如果你用某一批数据校准出来的量化参数换一个提示词或时间步就可能完全失效。之前的方法不得不为每个新的模型检查点、甚至每种不同的生成模态图像、视频重新收集校准数据实操成本很高。OrbitQuant 的做法是不去估计每个输入的具体范围而是通过数学变换把激活值映射到一个已知的分布上。它用一个随机置换分块哈达玛旋转矩阵 Π_d 对输入激活进行变换使得变换后的每个坐标都近似服从均值为 0、方差为 1/d 的高斯分布d 是输入维度。因为这个分布是固定的、与输入无关的所以可以提前为每个维度 d 计算好一个 Lloyd-Max 码本这个码本对所有时间步、所有提示词、所有层都适用。关键理解点旋转操作的本质是把原本可能包含异常值的激活值“打散”到各个维度上让每个维度的值都变得温和、可预测。这样就不再需要针对具体输入去调整量化区间实现了真正的数据无关。2. OrbitQuant 的旋转量化框架具体怎么实现离线吸收和在线推理整个框架分为离线准备和在线推理两个阶段目标是在保持精度的同时尽量减少运行时开销。2.1 离线权值量化把旋转吸收到权值里对于一个输入维度为 d 的线性层权值矩阵 W 的原始计算是 y Wx。离线阶段的操作流程权值旋转计算 W WΠ_d^⊤。这相当于把权值矩阵旋转到与激活相同的基上。行归一化对 W 的每一行计算其 L2 范数 r_i ||w_i||_2然后得到单位方向向量 w̃_i w_i / r_i。方向量化使用提前为维度 d 准备好的 Lloyd-Max 码本对方向向量进行量化Q_{b_w}^{(d)}(w̃_i)。重构权值将量化后的方向与保存的范数结合ŵ_i ri · Q{b_w}^{(d)}(w̃_i)。这里有个重要设计行范数向量 r 以 BF16 格式存储这只增加可忽略的存储开销但能更好地保留权值的幅度信息。2.2 在线激活量化只需前向旋转推理时的步骤激活旋转对输入激活 x计算 x Π_d x。幅度提取计算旋转后激活的 L2 范数 s ||x||_2。方向归一化x̃ x / (s ε)避免除零。方向量化使用相同的 Lloyd-Max 码本量化Q_{b_a}^{(d)}(x̃)。重构激活x̂ s · Q_{b_a}^{(d)}(x̃)。精妙之处权值量化时吸收了 Π_d^⊤激活量化时应用了 Π_d两者在矩阵乘法中正好抵消Ŵx̂ ≈ WΠ_d^⊤ · Π_d x ≈ Wx。这样运行时就不需要做逆旋转只需要在激活进入层之前做一次前向旋转即可。2.3 RPBH 旋转的具体实现和效率考量Π_d 被实现为随机置换分块哈达玛变换 Π_d blkdiag(H_h D_1, ..., H_h D_{d/h}) · P_π其中H_h 是尺寸为 h×h 的 Walsh-Hadamard 矩阵通常 h64D_i 是对角线元素为 ±1 的 Rademacher 符号矩阵P_π 是随机置换矩阵为什么需要随机置换 P_π如果没有这个置换异常值可能仍然集中在某些块内影响量化效果。P_π 把坐标随机打散到各个块中确保每个维度的方差都接近 1/d使分布更均匀。效率优势分块哈达玛变换可以利用快速算法计算复杂度为 O(d log h)比密集的 Haar 旋转O(d²)快一个数量级。实验显示结构化变换比密集旋转快 25 倍以上而 RPBH 只比简单的分块哈达玛增加很少的开销。3. 在真实图像和视频 DiT 模型上的实测表现论文在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 上进行了全面评估涵盖了图像和视频两种模态。3.1 图像生成结果W4A4 近乎无损W2A4 仍可用在 GenEval 基准测试中W4A4 配置在三个测试模型中的两个上OrbitQuant 实现了无损甚至超过 FP16 的分数另一个也仅微小落后。这意味着在 4 位量化下生成质量基本没有损失。W2A4 配置这是真正体现优势的地方。其他 PTQ 基线如 SmoothQuant、SVDQuant的评分崩溃到接近零生成的完全是噪声而 OrbitQuant 在 FLUX 模型上保留了大部分质量在 Z-Image-Turbo 上是唯一能产生有意义结果的方法。具体数据点FLUX.1-schnell (W4A4)OrbitQuant 的 GenEval 总体分数为 76.42超过 FP16 的 75.91Z-Image-Turbo (W4A4)OrbitQuant 得分为 73.15超过 FP16 的 72.80在 W2A4 下其他方法分数都低于 5而 OrbitQuant 在 FLUX 上仍能保持 68.373.2 视频生成结果跨模态一致性优秀在 VBench 视频生成评估中W4A6 配置在 Wan 2.1-1.3B 上OrbitQuant 的 Overall Consistency 达到 24.35领先第二名的 SVDQuant23.26W4A4 配置在大多数质量维度成像质量、美学质量、动态程度、背景一致性等上都最接近全精度模型值得注意的细节在运动平滑度指标上OrbitQuant 在 W4A6 下排名第二97.76稍低于 SmoothQuant98.01但在更低的比特宽度下优势更明显。3.3 消融实验RPBH 的关键作用作者对比了多种旋转变换密集 Haar 旋转理论效果最好但速度慢 25 倍不适合实际部署分块哈达玛无置换速度很快但在低比特下性能下降明显RPBH在 W3A3 和 W2A4 下获得最高分数速度与其它快速变换相当这证实了随机置换在分散异常值方面的关键作用特别是在极低比特宽度下。4. 实际尝试 OrbitQuant 时需要关注的部署细节如果你准备在自己的 DiT 模型上尝试这种量化方法有几个实操层面的要点需要提前考虑。4.1 环境依赖和硬件兼容性OrbitQuant 的核心运算依赖高效的哈达玛变换实现基础依赖需要支持快速哈达玛变换的数学库硬件适配在 CUDA 设备上需要相应的内核优化CPU 上需要向量化实现框架支持目前论文没有提供完整代码但根据描述需要扩展现有的量化工具链部署建议先在小规模模型上验证旋转量化的效果确认数值稳定性后再扩展到大型生产模型。4.2 码本生成和存储考虑虽然 OrbitQuant 免去了每轮推理的校准但仍需要离线生成码本码本计算为每个输入维度 d 预计算 Lloyd-Max 码本基于 N(0, 1/d) 分布存储开销码本数量与模型中的不同维度数成正比但每个码本很小内存布局需要设计高效的数据结构来存储不同维度的码本支持快速查找实际测试时可以先从 W8A8 开始逐步降低比特宽度观察质量下降的临界点。4.3 与现有推理引擎的集成现有的推理引擎如 TensorRT、ONNX Runtime可能不支持这种特殊的量化模式自定义算子可能需要实现 RPBH 旋转作为自定义算子图优化注意旋转吸收和抵消的优化机会避免不必要的计算端到端流水线需要考虑量化模型与预处理、后处理步骤的集成集成策略最好的方式是从一个完整的 FP16 模型开始逐步替换线性层为 OrbitQuant 版本确保每一步的数值一致性。4.4 比特宽度选择的实用指南根据论文结果和实际需求可以这样选择配置质量优先使用 W4A4在大多数场景下与 FP16 几乎无差异压缩优先考虑 W2A4但需要接受一定的质量损失适合对质量要求不极高的应用混合精度对敏感层保持较高精度其他层使用低比特重要提醒W2A4 虽然论文中显示可用但实际应用时需要仔细评估是否满足你的质量要求。建议先用你的测试集验证而不是直接依赖基准分数。5. 与其他量化方法的对比和适用场景OrbitQuant 不是唯一的 DiT 量化方案理解它与其他方法的区别有助于正确选择。5.1 与传统 PTQ 方法的对比方法类型需要校准数据处理激活漂移跨模态通用性极低比特效果SmoothQuant 类是需要重新校准差崩溃OrbitQuant否通过旋转适应优秀仍可用传统方法在模型激活分布稳定时工作良好但不适合 DiT 这种动态性强的模型。5.2 与训练感知量化的对比训练感知量化QAT通过微调让模型适应低精度通常能获得更好的效果但成本高QAT 优势精度更高支持更激进的量化QAT 劣势需要重新训练计算成本大数据需求高OrbitQuant 定位不需要重新训练适合快速部署和模型分发场景选择建议如果你有足够的计算资源和时间QAT 可能获得更好效果如果需要快速部署或无法访问训练数据OrbitQuant 是更好的选择。5.3 适用场景总结OrbitQuant 特别适合以下场景模型分发需要将预训练模型量化后交付无法进行客户端校准多模态部署同一套量化方案需要同时支持图像和视频生成资源受限环境在边缘设备上运行 DiT需要极致的压缩率快速原型想要实验低比特量化的效果但没有时间进行完整训练6. 实际部署中的常见问题和排查思路即使理解了原理实际部署时仍可能遇到问题。以下是一些常见情况及其排查方向。6.1 数值不稳定或输出异常如果量化后生成质量明显下降检查旋转实现确认 RPBH 变换的正确性特别是随机置换的一致性验证码本匹配确保每个维度使用的码本与理论分布匹配检查范数计算L2 范数计算中的数值稳定性问题可能放大误差排查顺序先在小输入上验证单个层的输入输出关系再扩展到整个模型。6.2 性能不如预期如果推理速度没有提升甚至下降分析计算瓶颈使用性能分析工具确认时间主要花费在哪里优化旋转内核哈达玛变换是否有高效的实现是否利用了硬件特性内存访问模式量化后的数据布局是否对缓存友好优化方向考虑将旋转操作与现有的矩阵乘法内核融合减少内存传输。6.3 跨平台一致性問題在不同硬件或推理引擎上结果不一致随机数生成器RPBH 中的随机置换需要保证跨平台一致性浮点精度不同平台上的浮点运算精度差异可能影响量化误差舍入模式量化过程中的舍入方式需要标准化解决方案制定严格的数值规范并在所有目标平台上进行验证测试。OrbitQuant 的价值在于它提供了一种系统性的思路来处理动态激活的量化问题而不仅仅是针对 DiT。这种通过数学变换将数据映射到已知分布的理念可能会影响更多序列生成模型的量化方案。在实际落地时我建议先聚焦于 W4A4 配置这是性价比最高的选择只有在极度资源受限的场景下才考虑 W2A4并且要对质量下降有充分预期。