Qwen-Image-2.1 纹理修复 VAE 是什么一文看懂 Texture-Fix-VAE 的两大核心能力【免费下载链接】texture-fix-vae-for-qwen-image-2.1项目地址: https://ai.gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1Texture-Fix-VAE-for-Qwen-Image-2.1是一款面向 Qwen-Image-2.1 的纹理修复 VAE 模型基于官方 Qwen-Image-2.1 VAE 微调而来。它只改了解码器decoder部分专门修复两个让生图用户头疼的老问题解码后的棋盘格伪影checkerboard artifacts和fp16 半精度下输出 NaN 的问题同时还能兼容--fp16-vae运行。对新手来说它最大的价值就是不用改模型、不用换工作流替换一个 VAE 文件即可显著提升画面质感。一、什么是 VAE为什么生图会出棋盘格在扩散模型Diffusion Model生成图像的流程中VAE变分自编码器扮演翻译官的角色扩散模型在低分辨率的潜空间latent里画草稿最后由 VAE 解码器把潜变量还原成你看到的像素图。也就是说画面最终呈现的纹理细节、锐利程度很大程度上取决于 VAE 解码器的质量。而 Qwen-Image-2.1 原版 VAE 解码器有一个常见瑕疵在照片风格的复杂画面花卉、毛发、岩石纹理等上放大后能看到一层不规则的棋盘格状色块。作者在 README.md 中推测原因很可能是原版 VAE 训练时没有启用有效的对抗损失adversarial/GAN loss——MSE/MAE 损失会把细节抹糊LPIPS 损失则容易诱发棋盘格只有 GAN 损失能逼出看起来锐利又合理的细节。Texture-Fix-VAE 的解法借用 TAESD 的对抗式训练配方只对解码器中分辨率最高的两个阶段 输出头约 7.5M 可训练参数做约 5000 步的短时微调即可消除棋盘格伪影。下面是同一张 latent 分别用两个 VAE 解码后的放大对比左侧为原版右侧为纹理修复版。左图中紫色羽扇豆花簇区域可见明显的棋盘格杂色右图则干净得多。原版 Qwen-Image-2.1-VAETexture-Fix VAE 对比图使用的 latent 由 Qwen-Image-2.1 根据一张太平洋西北高山草甸溪流的照片风格提示词生成文件见 images/pnw_meadow_stream_2048.latent.pt。二、能力一消除棋盘格伪影照片级细节更干净核心能力一就是纹理修复在照片风格、细节密集的画面野花、岩石、植被等上解码结果不再有棋盘格杂色细节更自然。值得一提的是修复纹理的代价很小。根据 README.md 中的指标COCO val20175000 张 256² 图指标原版 VAE (bf16)纹理修复 VAE (bf16)纹理修复 VAE (fp16)rFID ↓感知质量越低越好3.382.072.06PSNR ↑重建精度33.2932.7332.79LPIPS ↓0.03570.03840.0380可以总结为感知质量指标 rFID 大幅变好3.38 → 2.06重建精度指标LPIPS/PSNR只有轻微损失——对绝大多数用户来说看起来更好比逐像素更准更有价值。三、能力二修复 fp16 下的 NaN低精度也能稳跑核心能力二是fp16 稳定性修复。很多用户在消费级显卡上会开启 fp16 半精度以省显存、提速但原版 Qwen-Image-2.1 VAE 的解码器在 fp16 下经常出现NaN无效像素最容易在全透明区域如带透明通道的贴纸、贴图类 RGBA 图产生并且会渗到周围正常内容里原版 VAE 解码器内部最大激活值可达约350 万而 fp16 的上限只有 65504必然溢出。Texture-Fix VAE 用了两步治本手段详见 NOTICE 与 README.md 的 Mechanism 章节微调解码器权重约 61k 个参数卷积的 scale/bias 与 RMSNorm gain在保持输出基本不变的前提下压小激活幅值——思路和 SDXL-VAE-FP16-Fix 类似手动缩小部分权重解码器 /512、编码器 /8均为 2 的整数次幂进一步压低残差流的数值规模输出完全不变。修复效果解码器最大激活值从 ~3.5M 降到~1.3k185 项压力测试透明/不透明/合成图/随机 latent256²~2048²中输出 NaN 的输入从75 个降到 0 个。你可以通过仓库自带的 fp16_demo.py 脚本完整复现 README 中的 fp16 对比效果运行python fp16_demo.pyNaN/inf 像素会被染成紫红色高亮测试数据就是仓库里的 images/rgba_dragon_sticker_1024.latent.pt一张 1024×1024 RGBA 透明贴纸的 latent。四、如何上手使用两步替换即可方式 1ComfyUI最简单下载权重文件 texture_fix_vae_for_qwen_image_2.1_bf16.safetensors放入ComfyUI/models/vae/目录在Load VAE节点中选中它替代原来的qwen_image_2.1_vae_bf16.safetensors完成 ✅支持--fp16-vae参数运行。方式 2Diffusers代码用户只需在加载流水线时把 VAE 换成微调版即可编码器逻辑不变权重仅做了 2 的幂次缩放import torch from diffusers import QwenImage21Pipeline, AutoencoderKLQwenImage21 vae AutoencoderKLQwenImage21.from_pretrained( madebyollin/texture-fix-vae-for-qwen-image-2.1, torch_dtypetorch.bfloat16 ) pipe QwenImage21Pipeline.from_pretrained( Qwen/Qwen-Image-2.1, vaevae, torch_dtypetorch.bfloat16 ).to(cuda)模型结构配置64 通道 latent、16 倍空间下采样等见 config.json。五、版本历史与注意事项2026-10-05更新版本新增修复 fp16 NaN微调解码器 透明训练数据 ~60k 步再重跑 8000 步恢复纹理细节权重按 2 的幂次缩放2026-09-24初始版本仅微调解码器修复棋盘格~5000 步学习率 3e-57.5M 可训练参数。⚠️许可提醒本模型基于 Qwen/Qwen-Image-2.1遵循 Qwen 研究许可协议见 LICENSE 与 NOTICE仅限非商业/研究用途商用前请自行确认版权要求。总结一张表看懂 Texture-Fix-VAE维度说明它是什么Qwen-Image-2.1 VAE 的非官方微调版仅改解码器权重 权重缩放能力一消除照片风格画面的棋盘格伪影rFID 从 3.38 降到 2.06能力二修复 fp16 下 NaN 溢出压力测试 NaN 输出 75 → 0上手成本ComfyUI 替换一个 VAE 文件Diffusers 改一行参数适用人群使用 Qwen-Image-2.1 生图、嫌细节发糊或有透明图 NaN 的用户如果你正在用 Qwen-Image-2.1 做照片风格创作或带透明通道的素材替换这个 VAE 是投入产出比极高的一步小改动。【免费下载链接】texture-fix-vae-for-qwen-image-2.1项目地址: https://ai.gitcode.com/hf_mirrors/madebyollin/texture-fix-vae-for-qwen-image-2.1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考