摘要BitsFusion 成功将 Stable Diffusion v1.5 的 UNet 压缩至1.99 bits体积缩小7.9 倍的同时实现了生成质量反超原始全精度模型。然而BitsFusion 的量化感知训练QAT核心依赖于直通估计器Straight-Through Estimator, STE——一个被广泛使用但理论上存在根本缺陷的梯度近似方案。本文从理论层面论证将 BitsFusion 的 STE 替换为精度扩散Precision Diffusion, PD——一个有完整量化理论基础、能提供真实梯度的可微框架——将在梯度质量、训练稳定性、收敛保证和压缩极限四个维度上实现系统性提升有望将极低位宽模型压缩推向新的高度。一、BitsFusion工程上的杰出成就1.1 什么是 BitsFusionBitsFusion 是 NeurIPS 2024 提出的极低位宽量化方法。它将 Stable Diffusion v1.5 的 UNetFP16 下1.72 GB压缩至1.99 bits219 MB压缩比达7.9 倍且在人类评估中54.41%的测试者更偏爱 BitsFusion 生成的图像。1.2 BitsFusion 的三步方法论BitsFusion 的成功依赖于一套精密的技术组合第一步混合精度分配。分析每一层的量化误差敏感度为不同层分配最优比特数——敏感层保留更高精度如 4-bit鲁棒层分配极低位宽如 1-bit。第二步模型初始化。通过平衡整数Balance Integer、缓存时间嵌入Caching Time Embedding、交替优化缩放因子Scaling Factor等手段为量化模型提供良好的起点。第三步两阶段量化感知训练QAT。阶段一冻结教师模型全精度 SD-v1.5通过 CFG 感知量化蒸馏和特征蒸馏损失优化学生模型量化模型并依据量化误差动态采样时间步阶段二使用标准噪声预测任务进一步微调。1.3 BitsFusion 的核心痛点STEBitsFusion 的训练依赖于STE来传递梯度。但 STE 本质上是一个启发式的工程妥协“STE 是一种算法启发式方法通过在反向传播中替代代理梯度使得包含不可微或离散操作的模型能够进行基于梯度的优化。”这恰恰是 BitsFusion 的理论短板也是 PD 可以带来根本性改进的切入点。二、精度扩散PD有理论保障的替代方案2.1 PD 的核心思想精度扩散Precision Diffusion提出了一种革命性的思路用“逐级降低量化位宽”替代传统扩散模型的“加高斯噪声”。传统 DDPM 的前向过程是xtαˉtx01−αˉtϵ,ϵ∼N(0,I)x_t \sqrt{\bar{\alpha}_t} x_0 \sqrt{1 - \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)xt​αˉt​​x0​1−αˉt​​ϵ,ϵ∼N(0,I)而 PD 的前向过程是纯粹的量化退化xtQt(x0)x_t Q_t(x_0)xt​Qt​(x0​)其中QtQ_tQt​是在不断降低位宽的量化器如 8-bit → 6-bit → 4-bit → 2-bit → 1-bit。2.2 PD 与 STE 的本质区别维度STEPrecision Diffusion梯度来源代理梯度启发式近似真实梯度数学可微路径理论基础缺乏严格理论保障完整的量化理论框架前向过程直接量化硬截断逐级精度退化结构化的量化误差误差特性不可控的量化误差可学习的结构化残差PD 最关键的贡献在于它证明了量化残差是结构化的而非各向同性的高斯噪声。这一结构性差异使得 PD 能够提供一个“有原则的、完全可微的 STE 替代方案”。2.3 PD 的实验验证在高维验证d2048中PD 展现了卓越的性能从良好初始化如 K-means出发PD 的量化质量与 K-means 的差距仅在 0.3% 以内PD 提供的是真实的非 STE 的梯度信号推荐实践策略为K-means 预训练 PD 微调三、BitsFusion PD理论推论的四个维度推论一梯度质量的根本性提升STE 的梯度是有偏的。在反向传播中STE 简单地将梯度“复制”通过量化器相当于告诉优化器“量化操作不存在”。这种“量化感知的前向传播但 oblivious 的反向传播”导致了“未管理的误差和不稳定性”。PD 的梯度是真实的。PD 通过建模量化误差的分布让“噪声预测器”变成“精度预测器”其梯度提供了“一条数学上合法的通过量化器的路径”。推论一在 BitsFusion 的极低位宽1.99 bits训练中STE 的有偏梯度会随着量化粒度变粗而急剧恶化而 PD 的真实梯度能保持信号质量使得模型在更低位宽下仍能有效优化。推论二训练稳定性的系统性改善STE 的稳定性问题已被广泛记录。研究表明STE 在 Stiefel 流形上会引入非平滑性和梯度噪声阻碍优化收敛即便经过大量训练也难以获得高保真量化模型。PD 的结构化前向过程天然具备更好的稳定性。其逐级精度退化的设计使得模型可以逐步适应量化误差而非一次性面对剧烈的精度跳变。推论二将 BitsFusion 的 STE 替换为 PD 后两阶段训练蒸馏 微调将更加稳定震荡更少收敛更快。这在极低位宽 2 bits场景下尤为关键。推论三收敛保证从启发式走向理论化STE 最根本的问题在于缺乏理论保证。它是一种“经验上有效”的方法但研究者无法从理论上证明其收敛性。PD 则建立在完整的量化理论框架之上。其前向过程的每一步都有明确的数学定义逆向过程的训练目标——预测量化误差——具有清晰的优化 landscape。推论三PD 为 BitsFusion 提供了可理论分析的收敛路径。这不仅关乎学术严谨性更意味着在超低位宽如 1 bit场景下PD 有着 STE 无法提供的收敛保证。推论四压缩极限的进一步拓展BitsFusion 已达到1.99 bits的惊人水平。但 1.99 bits 是否是极限STE 在中等位宽4-8 bits下表现尚可但在极低位宽下其代理梯度与真实梯度的偏差呈指数级增长。这是 BitsFusion 进一步压缩的根本瓶颈。PD 从设计之初就面向极低精度量化场景。其逐级精度退化的过程本质上就是在模拟从高精度到超低位宽的完整退化路径模型被训练来理解并补偿每一个精度级别的信息损失。推论四PD 使 BitsFusion 有望突破 1.99 bits 的极限向1.5 bits、1 bit甚至 sub-1 bit的极端压缩迈进同时保持可接受的生成质量。四、集成框架BitsFusion PD 的实践路径将 PD 集成到 BitsFusion 中可以保持其核心框架不变仅在训练引擎层面进行替换BitsFusion 框架保持不变 ├── 1. 混合精度分配按层敏感度分配 bit ├── 2. 模型初始化平衡整数 缓存时间嵌入 缩放因子优化 └── 3. 量化感知训练 ← 【核心替换点】 ├── 阶段一知识蒸馏 │ └── 梯度传递STE → PD精度扩散 ├── 阶段二噪声预测微调 │ └── 梯度传递STE → PD精度扩散 └── 推理保持不变这一替换的理论优势在于保持 BitsFusion 已验证的工程优势混合精度、初始化策略用有理论保障的 PD 替换经验性的 STE两阶段训练均可受益于 PD 的真实梯度五、潜在挑战与应对5.1 计算开销PD 的逆向过程可能比 STE 的单步近似更复杂带来额外的训练成本。应对策略借鉴 PD 论文中的K-means 预训练 PD 微调范式——仅在微调阶段使用 PD将额外开销控制在可接受范围。5.2 框架适配PD 目前主要验证在VQ-VAE、VQGAN等向量量化场景而 BitsFusion 是权重量化场景。两者虽同属量化范畴但对象不同激活值 vs. 权重。应对策略从小规模实验开始在微型扩散模型上验证 PD 用于权重量化的有效性再逐步扩展。5.3 理论到工程的鸿沟理论优势需要在真实系统中验证。PD 在高维d2048上的验证与扩散模型 UNet 的参数量级数百万至数十亿仍有差距。应对策略分阶段推进——先在小规模 UNet 上复现 PD 的权重量化效果再逐步扩展到 SD-v1.5 级别。六、结论BitsFusion 证明了极低位宽1.99 bits模型压缩的工程可行性其 7.9 倍压缩比和性能反超的成就是里程碑式的。然而STE 作为其训练核心是一个缺乏理论保证的启发式近似。精度扩散PD提供了一个有完整量化理论支撑、能提供真实梯度的替代方案。本文从梯度质量、训练稳定性、收敛保证、压缩极限四个维度论证了 PD 替代 STE 的理论优越性。这一替换有望将 BitsFusion 推向新的高度——不仅是1.99 bits而是向着1 bit 甚至 sub-1 bit的极限压缩迈进同时保持生成质量。BitsFusion 已经证明了“极低位宽是可行的”而 PD 可能证明的是“极低位宽可以做得更好、更深、更远”。参考文献Sui, Y., Li, Y., Kag, A., et al.BitsFusion: 1.99 bits Weight Quantization of Diffusion Model. NeurIPS 2024.dfytensor.Precision Diffusion: High-Dimensional Validation and Its Application to Real Image Compression. 2026.Beyond Discreteness: Finite-Sample Analysis of Straight-Through Estimator for Quantization. arXiv 2505.18113.Robust Training of Neural Networks at Arbitrary Precision and Sparsity. ICLR 2026.