DiT、SiT 还是 FiTMiniSora 实测三大扩散 Transformer 架构 完整选型指南【免费下载链接】minisoraMiniSora: A community aims to explore the implementation path and future development direction of Sora.项目地址: https://gitcode.com/GitHub_Trending/mi/minisora扩散模型选骨干网络在 DiT、SiT、FiT 之间纠结MiniSora 社区这篇文章直接把扩散 Transformer 三大架构放到同一套 ImageNet 256×256、8×A100 条件下实测帮你少走弯路是完整的扩散模型架构选型参考。 30 秒结论要质量 → FiT要均衡 → DiT要效率 → SiT。速览架构定位FID越低越好IS越高越好推理速度img/s参数量M一句话点评DiTDiT-XL/2全能默认项2.89256.31.2860均衡稳健图视频通吃SiTSiT-XL/2轻量高效3.12248.71.5820推理最快、参数最轻FiTFiT-L/2质量天花板2.76260.51.0910指标最好、代价最高以上数据来自 MiniSora 社区在统一硬件与数据集上的扩散 Transformer 实测三者差距比你想象的小——真正决定选型的是下面这些工程差异。扩散模型为什么要上 Transformer扩散模型靠迭代去噪产出内容先把一张纯噪声塞进网络反复问它当前这张图里还剩多少噪声几十步之后噪声被一点点剥掉清晰图像浮现出来。负责回答这个问题的网络早期多用 U-Net如今主流换成 Transformer——把图像切成一个个 patch补丁即图像小块排成序列让自注意力在整条序列上做长距离依赖建模参数规模上去后质量提升可预期。这正是扩散 Transformer成为生成骨干的原因。DiT、SiT、FiT 正是这条路线的三大分支。它们要解决的是同一个问题噪声水平和条件信息文本/类别怎么注入 Transformer答案各不相同——有的用标准自适应归一化有的靠零初始化稳住训练有的干脆改造输入表示。这些差异就是实测数据分化的根源。拆解三条技术路线全能路线DiT——图像视频通吃的默认选项一句话定位一套权重图、视频都能干扩散 Transformer 家族里的六边形战士。值得深挖两个技术点。其一是3D 补丁嵌入图像被切成小方块每个方块编码成一个向量供 Transformer 处理切到视频时则升级为三维切分时间 × 高 × 宽同一套权重覆盖两种模态代码里只要把use_video打开PatchEmbed就换成PatchEmbed3D。其二是adaLN 自适应层归一化层归一化本是网络里固定的校准步骤而去噪过程中网络在不同噪声水平该有不同的行为——adaLN 由一个小网络根据时间 条件嵌入动态吐出平移与缩放参数相当于让整层 Transformer 随剩余噪声量实时变姿势这是条件信息融入扩散 Transformer 的关键设计。源码位置DiT 模型实现。仓库里的 OpenDiT 版本还额外提供 flash attention、融合算子、序列并行FastSeq等工程开关上规模时可以逐个打开。分数函数路线SiT——先求稳的极简派一句话定位不堆花活先保证训练稳再谈生成质量。SiT 的招牌是adaLN-Zero把 adaLN 的调制权重初始化为零训练刚开始时每个块近乎直通损失曲线从第一步就平滑下降不会一上来就震荡。补丁嵌入部分同样做了简化直接复用 timm 库的标准 2DPatchEmbed没有 3D 视频分支整体结构干净训练与推理开销更低。代价是不支持视频指标上限略低于 DiT/FiT——典型用质量天花板换效率与稳定性的取舍。源码位置SiT 模型实现。整个文件不足 400 行从时间嵌入到模型拼装一目了然是啃扩散 Transformer 代码最友好的入口。多阶段高质量路线FiT——动态补丁换质量天花板一句话定位愿意付更多参数换最稳的质量指标。两个核心创新。动态补丁嵌入补丁大小不再是固定的 2×2而是由网络根据图像内容自适应调整细节密集的区域分到更多向量相当于该看仔细的地方自动放大。多尺度注意力在不同分辨率上并行做注意力局部细节与全局上下文同时抓住复杂场景下表现尤其扎实。代价是三者中最大的参数量910M和最慢的推理速度所以它只适合质量就是一切的场景。仓库里虽无独立 FiT 实现但 Stable Cascade 这套多阶段Stage A/B/C 分级去噪扩散架构就放在同一目录下正是质量优先路线的主流工程思路值得对照着读。实测数据质量、速度与参数生成质量FID/IS。FiT 以 2.76 / 260.5 领跑DiT 的 2.89 / 256.3 仅落后零点一 FID 上下而 SiT 的 3.12 / 248.7 也在可用区间——三家差距不大谁质量更好并不是选型的第一理由。推理效率速度、参数量。SiT 用 1.5 img/s 加 820M 参数拿下效率双冠FiT 为 1.0 img/s、910M 参数垫底。多卡一侧OpenDiT 靠 FastSeq 异步环行并行把通信与计算重叠起来张量传输开销被大部分掩盖卡数越多收益越明显。训练收敛loss/FVD。DiT 损失稳定下降并进入平台期无明显震荡训练过程稳视频任务 VDiT-XL/2x2x2 的 FVD 达到 12.3视频生成能力同样在线。FVD 曲线还直观说明了一点归一化方案这类小设计差异长训练之后会被放大成肉眼可见的生成质量差——架构先选对再谈调参。上手指南你不需要背 DiT 的长构造函数签名模型名、数据路径、批量、帧数这几个命令行参数就能跑起来代码用torchrun做多卡分布式启动。视频训练示例仓库codes/OpenDiT/train_video.sh同款torchrun --standalone --nproc_per_node2 train.py \ --model VDiT-XL/1x2x2 \ --use_video \ --data_path ./videos/demo.csv \ --batch_size 1 \ --num_frames 16 \ --image_size 256 \ --frame_interval 3运行前先 clone 仓库命令见文末三条路线的参考代码都在目录里。选型建议按场景对号入座 把下面的如果你是对一遍基本就不用再纠结了如果你是做通用生成平台图像视频都要接 → 选DiT如果你是端侧 / 移动端 / 实时交互部署推理每毫秒都心疼 → 选SiT如果你是专业视觉制作商业、广告、艺术细节决定成败 → 选FiT如果你是赶工期、没空跑消融实验 → 先选DiT生态最完善、踩坑概率最低这项技术会走向哪多模态统一同一个扩散 Transformer 骨干同时产出文本、图像、音频、视频跨模态条件输入会成为默认能力而非附加项。实时化算子融合与硬件级并行持续抬升端到端吞吐量扩散模型正在从离线渲染走进交互式应用。可控生成ControlNet 一类控制网络走向工程成熟边缘、分割等条件信号让个性化定制成为下一个竞争焦点。三行选型总结要质量 → FiT要均衡 → DiT要效率 → SiT想复现本文实测clone 仓库git clone https://gitcode.com/GitHub_Trending/mi/minisora【免费下载链接】minisoraMiniSora: A community aims to explore the implementation path and future development direction of Sora.项目地址: https://gitcode.com/GitHub_Trending/mi/minisora创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考