扩散 TransformerDiT在图像和视频生成领域已经达到最优水平但模型参数量大、推理步骤多导致实际部署时计算和存储成本高昂。训练后量化PTQ是降低模型资源占用的直接手段但 DiT 的激活值会随去噪时间步、输入提示词和分类器引导分支动态变化传统 PTQ 方法依赖校准数据来估计数值范围面对这种动态特性时需要为每个模型检查点甚至每种模态重新收集数据严重限制了量化流程的通用性和效率。OrbitQuant 提出一种数据无关的权值-激活量化框架通过将权值和激活投影到归一化的旋转基中使得每个坐标的分布固定且已知从而无需任何输入数据就能为给定维度生成统一的 Lloyd-Max 量化码本。该方法在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 等多个图像与视频 DiT 模型上实现了 W4A44 比特权值、4 比特激活下的无损量化效果甚至在 W2A4 极端低位宽下仍能生成可用内容而其他 PTQ 基线已完全失效。本文将从扩散 Transformer 的量化难点出发解析 OrbitQuant 的旋转量化机制、码本构建方式、离线权值吸收与在线激活变换的具体实现并结合实验数据说明其在不同模型和比特配置下的性能表现。最后会讨论该框架的工程意义、适用边界以及在实际部署中的注意事项。1. 扩散 Transformer 的量化为什么比普通模型更难扩散模型生成内容时需要执行多步去噪采样每一步的中间激活值分布受多个动态因素影响时间步Timestep差异不同去噪步骤对应的噪声水平和语义内容不同导致同一层在不同步骤的激活分布差异显著。提示词Prompt变化输入文本提示直接影响生成内容激活值随语义内容漂移。分类器无关引导CFG引导强度调整会放大或缩小条件分支与无条件分支的激活差异进一步加剧分布不稳定性。这些特性打破了传统 PTQ 方法所依赖的“静态统计假设”。以往在 CNN 或 LLM 上的量化技术通常假设激活分布在少量校准数据上相对稳定可通过最小-最大范围或分位数估计来确定量化参数。但在 DiT 中如果为每个时间步、每个提示词配置都单独校准不仅数据准备成本高而且存储多个码本也会引入额外开销。更根本的挑战在于DiT 的激活分布中常存在异常值outliers这些异常值对量化误差影响极大。若直接采用低比特量化异常值附近的数值会被严重截断导致细节丢失甚至生成失败。现有方法如 SmoothQuant 尝试将异常值从激活迁移到权值但仍需校准数据来估计缩放因子并未从根本上解决数据依赖问题。2. OrbitQuant 如何通过旋转基实现数据无关量化OrbitQuant 的核心思路是构造一个共享的旋转基使得权值和激活在该基下的坐标分布固定从而可以直接基于分布而非输入数据设计量化码本。整个框架包含离线权值量化和在线激活量化两个阶段关键步骤可概括为对维度为 $d$ 的线性层定义一个随机置换分块哈达玛RPBH旋转矩阵 $\Pi_d$。离线阶段将权值矩阵 $W$ 右乘 $\Pi_d^\top$得到旋转后的权值 $W W \Pi_d^\top$并对 $W$ 的每一行进行幅度-方向分解和量化。在线阶段对输入激活 $x$ 左乘 $\Pi_d$得到 $x \Pi_d x$同样分解为幅度和方向并量化。由于权值吸收 $\Pi_d^\top$ 而激活应用 $\Pi_d$两者在矩阵乘法中抵消因此量化后的计算近似等于原始全精度计算$\hat{W} \hat{x} \approx W x$。2.1 随机置换分块哈达玛RPBH旋转的设计RPBH 旋转 $\Pi_d$ 由三个部分组成$$ \Pi_d \text{blkdiag}(H_h D_1, \dots, H_h D_{d/h}) \cdot P_\pi $$$H_h$ 是大小为 $h \times h$ 的 Walsh-Hadamard 矩阵$h$ 为分块大小通常取 2 的幂次。$D_i$ 是对角元素为 ±1 的 Rademacher 符号矩阵每个元素独立等概率取正负一。$P_\pi$ 是均匀随机置换矩阵用于将坐标分散到不同分块中。前导的随机置换 $P_\pi$ 至关重要。若不进行置换输入激活的异常值可能集中在少数分块内导致旋转后某些坐标的方差远大于其他坐标。通过随机置换每个坐标被均匀分散到各个块使得旋转后的每个坐标方差接近 $1/d$边缘分布近似 $N(0, 1/d)$。这样所有坐标共享同一分布为后续单一码本量化奠定基础。RPBH 的结构化设计使其支持快速变换算法计算复杂度为 $O(d \log h)$远低于密集随机旋转的 $O(d^2)$在实际部署中仅增加轻微延迟。2.2 基于分布的 Lloyd-Max 码本生成由于旋转后的坐标分布固定为 $f_d$近似高斯OrbitQuant 直接对该分布运行 Lloyd-Max 算法生成最优标量量化码本 $\mathcal{C}_d$。Lloyd-Max 码本最小化量化均方误差对高斯分布尤其有效。这一码本仅依赖于维度 $d$而与具体输入、时间步、提示词或层无关。因此只需在离线阶段为每个出现的维度 $d$ 预计算一次码本即可用于所有对应维度的权值行和激活向量。2.3 权值与激活的幅度-方向分解量化对于旋转后的权值行 $w_i$先计算其 L2 范数 $r_i |w_i|_2$得到单位方向向量 $\tilde{w}_i w_i / r_i$。方向向量使用码本 $\mathcal{C}_d$ 量化再与幅度 $r_i$ 组合$$ \hat{w}_i ri \cdot Q{b_w}^{(d)}(\tilde{w}_i) $$其中 $b_w$ 是权值量化比特数。幅度 $r_i$ 以 BF16 格式存储开销可忽略。激活 $x$ 处理方式类似计算幅度 $s |x|2$ 和单位方向 $\tilde{x} x / (s \epsilon)$量化后组合为 $\hat{x} s \cdot Q{b_a}^{(d)}(\tilde{x}$$b_a$ 为激活量化比特数。3. OrbitQuant 在图像与视频 DiT 上的实验结果实验部分覆盖 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 等多个主流图像与视频生成模型评估指标包括 GenEval图像和 VBench视频的综合分数以及各细分质量维度。3.1 图像生成上的量化效果在 W4A4 配置下OrbitQuant 在三个测试模型中的两个上实现了无损或优于 FP16 的 GenEval 总体分数另一个模型也仅以微小差距落后。相比之下SmoothQuant、SVDQuant 等基线方法在相同比特宽度下已有明显质量下降。在极端低位宽 W2A4 下OrbitQuant 的优势更为突出模型OrbitQuant (W2A4)最佳基线 (W2A4)现象FLUX.1-schnell保留大部分质量接近零分基线生成噪声Z-Image-Turbo有意义结果接近零分唯一可用方法Wan 2.1可用生成退化严重明显优于基线这表明 OrbitQuant 的分布对齐机制在低比特下仍能保持激活的结构信息而依赖校准数据的方法由于分布漂移无法适应所有时间步和提示词。3.2 视频生成上的跨模态通用性OrbitQuant 使用完全相同的量化流程处理视频 DiT无需针对视频模态调整任何参数。在 Wan 2.1-1.3B 和 CogVideoX-2B 上的结果显示W4A6 下OrbitQuant 在 Overall Consistency 上领先所有基线24.35 vs 次优 SVDQuant 23.26。W4A4 下OrbitQuant 在大多数质量维度成像质量、美学质量、动态程度、背景一致性等最接近全精度模型。仅在运动平滑度Motion Smoothness上略低于 SmoothQuant97.76 vs 98.01但仍保持较高水平。视频生成的长期依赖和时序一致性对量化误差更为敏感OrbitQuant 的稳健表现验证了其分布归一化方法的跨模态泛化能力。3.3 消融实验旋转方式对性能与速度的影响作者对比了多种旋转变换在低比特量化下的效果旋转类型W2A4 GenEval Overall相对速度密集 Haar 旋转较高1x基准全矩阵 RHT中等25x分块 RHT无置换较低26xRPBH带置换最高25x密集 Haar 旋转效果最好但速度慢不适合实际部署。随机置换的引入RPBH在低比特下显著提升性能说明置换对分散异常值、均衡坐标方差的关键作用。RPBH 在保持与其它快速 Hadamard 变换相当速度的同时达到了最佳的低比特量化精度。4. 实际部署中的注意事项与工程建议虽然 OrbitQuant 在论文实验中表现优异但在实际生产环境部署时仍需考虑以下因素4.1 硬件与推理库的兼容性当前主流推理引擎如 TensorRT、ONNX Runtime对 4 比特权重量化已有较好支持但 4 比特激活量化可能需要自定义算子或等待框架更新。RPBH 旋转的快速算法需要实现分块 Hadamard 变换与随机置换的组合建议使用现有数学库如 FFTW 或专用 GPU 内核保证效率。若推理硬件不支持 4 比特整数运算可考虑将 4 比特权值打包为 8 比特存储在计算时解包虽增加少量解包开销但仍能节省存储带宽。4.2 码本存储与内存布局每个维度 $d$ 对应一个 Lloyd-Max 码本码本大小随比特数指数增长但实际模型中 $d$ 的取值种类有限整体存储开销可忽略。权值幅度向量以 BF16 存储与量化权值分开存放需确保内存访问局部性避免因数据分散增加缓存失效。4.3 精度与速度的权衡在资源严格受限的场景可尝试 W2A4但需验证生成质量是否满足业务要求。对延迟敏感的应用建议优先采用 W4A4 配置在保证质量的同时最大化加速比。如果模型支持动态序列长度需预先为所有可能出现的维度 $d$ 生成码本或设计码本插值策略处理未见维度。4.4 与其他优化技术的结合OrbitQuant 可与权重剪枝、知识蒸馏等技术协同使用进一步压缩模型。在量化前对模型进行轻微微调PTQ with fine-tuning可缓解量化误差但会引入数据依赖与 OrbitQuant 的免校准初衷相悖需根据业务需求权衡。5. 总结与扩展方向OrbitQuant 通过旋转基归一化分布实现了扩散 Transformer 的真正数据无关量化显著降低了 DiT 模型在边缘设备或大规模服务中的部署门槛。其核心贡献在于提出 RPBH 旋转将权值和激活投影到分布稳定的基空间。利用分布已知性预计算码本彻底摆脱校准数据依赖。通过旋转吸收机制保持计算等价性仅增加少量前向旋转开销。目前该方法主要针对线性层未来可扩展至注意力机制中的 QKV 投影、LayerNorm 等模块的量化。另外将同一思路应用于其他动态激活模型如语音合成、多模态生成也值得探索。对于希望快速实验的研究者或工程师建议从官方代码库出发先在较小模型如 DiT-XL/2上验证量化效果再逐步迁移到生产模型。同时密切关注推理框架对低位宽量化的支持进展以便及时优化部署流程。