8G 显存够不够跑虚拟试穿CatVTON 轻量 diffusion 模型在消费级显卡上跑通【免费下载链接】CatVTON[ICLR 2025] CatVTON is a simple and efficient virtual try-on diffusion model with 1) Lightweight Network (899.06M parameters totally), 2) Parameter-Efficient Training (49.57M parameters trainable) and 3) Simplified Inference ( 8G VRAM for 1024X768 resolution).项目地址: https://gitcode.com/gh_mirrors/ca/CatVTON想给模特图换上新衣服、批量产出试穿效果图却被 24G 大卡占满、消费级显卡显存告急劝退CatVTON虚拟试穿 diffusion 模型就是为这个场景做的1024×768 分辨率下整个推理过程的显存占用不超过 8G。它是基于 Stable Diffusion v1.5 inpainting 的轻量级试穿模型把门槛压到个人开发者也够得着的位置。关键指标速览指标数值总参数量899.06M可训练参数49.57M约占总量的 5.5%推理显存8G1024×768bf16 精度基础模型SD v1.5 inpainting遮罩生成SCHP DensePose 自动完成为什么显存占用能压到 8G 以下不少试穿模型需要参考网络 试穿网络多路配合分支越多、来回传递的特征越多显存就越吃紧。CatVTON 的做法很直接先用 VAE 编码器把人物图和衣服图各自转成特征再在空间维度上一拼变成一张虚拟输入图交给同一个 Diffusion U-Net 一次处理完。好比把两张照片并排摆在桌上一眼读完而不是两个人隔着桌子传纸条。训练端同样克制899.06M 参数里只打开 49.57M 供学习主要集中自注意力层其余部分全部冻结。微调时只动一小撮零件省下的就是训练时间和机器成本。效果和显存的平衡做得怎么样论文用两个轴对比了主流试穿模型FID生成质量越低越好和推理显存。CatVTON 落在散点图的左下角——约 4G 显存、FID 不到 6比同档显存更大的同类模型更优。谁在用它、拿它做什么电商运营一张服装平铺图加一张模特图就能批量生成商品详情页用的试穿图不用每次都找真人拍摄独立创作者 / 游戏开发者给虚拟角色快速换装官方效果展示里甚至包含二次元角色ComfyUI 用户官方提供 custom node 和工作流 JSON拖进网页即可运行首次运行会自动下载权重上手门槛有多低项目说明最低显存8Gbf16 精度1024×768应用形态Gradio 网页应用 / ComfyUI 工作流遮罩自动推断生成无需手动标注许可协议CC BY-NC-SA 4.0限非商业用途本地部署一条命令克隆即可git clone https://gitcode.com/gh_mirrors/ca/CatVTON按 README 装好依赖后运行app.py权重自动下载。适合谁个人开发者、想快速验证试穿效果的电商团队、非商业创作场景。不适合谁需要商业交付的团队协议限制商业用途以及想要视频试穿或更高分辨率输出的用户——这些需求它暂未覆盖。【免费下载链接】CatVTON[ICLR 2025] CatVTON is a simple and efficient virtual try-on diffusion model with 1) Lightweight Network (899.06M parameters totally), 2) Parameter-Efficient Training (49.57M parameters trainable) and 3) Simplified Inference ( 8G VRAM for 1024X768 resolution).项目地址: https://gitcode.com/gh_mirrors/ca/CatVTON创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考