一张照片生成六个视角的3D模型Zero123 零基础上手全攻略【免费下载链接】zero123plusCode repository for Zero123: a Single Image to Consistent Multi-view Diffusion Base Model.项目地址: https://gitcode.com/gh_mirrors/ze/zero123plus如果你手里只有一张产品的正面照片却需要展示它的背面、侧面、俯视效果你会怎么办过去的选择只有两个要么重新拍摄要么打开专业建模软件慢慢啃。而如今一个名为Zero123的开源项目把这条老路彻底绕开了——它能在几秒钟内从一张普通图片自动生成物体一圈 6 个视角的视图堪称零基础 3D 建模工具里最省事的那一个。这篇 Zero123 使用教程会带你从零跑通它的完整流程。一、先搞明白它到底在做什么你可以把 Zero123 的工作方式想象成给物体补拍了一圈证件照。你交给它一张正面照它按照预设好的 6 个机位围绕物体旋转一周依次生成 6 张视角图。这 6 张图不是简单旋转拉伸而是保持了物体的外观一致性——颜色、纹理、比例在多个视角间是对得上的这正是它区别于普通图像旋转工具的核心能力。项目目前有两个主要版本v1.1稳定的基础版本社区使用最广泛配套有深度 ControlNet 插件。v1.2在相机内参处理上做了大改对输入图片的视场角裁剪更鲁棒同时把输出视场角统一为30°更贴近现实中近距离观察物体的感觉仰角也从原来的 30°/-20° 调整为20°/-10°。此外还新增了法线生成器 ControlNet。对普通用户来说两版的调用方式基本一致你只需要在加载模型时更换模型名即可。二、把它跑起来一条命令加一小段代码整个项目依赖 PyTorch 和 diffusers 等常见深度学习库克隆仓库后安装依赖即可开始。git clone https://gitcode.com/gh_mirrors/ze/zero123plus cd zero123plus pip install -r requirements.txtZero123 为 diffusers 框架提供了自定义管道所以不需要你自己拼装复杂的扩散模型代码。最简调用如下import torch from PIL import Image from diffusers import DiffusionPipeline # 加载模型 pipeline DiffusionPipeline.from_pretrained( sudo-ai/zero123plus-v1.1, custom_pipelinesudo-ai/zero123plus-pipeline, torch_dtypetorch.float16 ) pipeline.to(cuda:0) # 输入一张图片输出 6 个视角 input_image Image.open(your_image.jpg) result pipeline(input_image, num_inference_steps75).images[0] result.save(output.png)两点提示这段代码运行大约需要 5GB 显存输入图片必须是正方形建议分辨率不低于 320×320。如果你只装了一般的显卡或 Mac 电脑也可以先用云端环境体验。三、输出长什么样固定机位的六个视角生成结果是 6 张图拼在一起的一张长图每张子图对应一个固定相机位。具体来说方位角相对输入视图依次为30°、90°、150°、210°、270°、330°恰好绕物体一整圈v1.2 下六个视角的仰角依次为20°、-10°、20°、-10°、20°、-10°视场角统一为30°。也就是说一次推理你就拿到了物体俯视一圈 平视一圈的完整视角集合可直接用于商品展示或三维重建。四、出图更干净的四个小技巧刚上手时生成结果可能不够理想多数情况是输入或参数的问题。按下面几步排查效果提升立竿见影预处理输入图先用背景移除工具把杂物背景去掉再把物体裁剪到画面中央、四周留一点边距最后缩放到正方形。干净的输入是高质量输出的前提。按内容调步数普通物体杯子、玩具、日用品大约28 步就够用人脸或二次元动漫角色这类细节丰富的图像建议提高到75~100 步细节才能完整成形。引导尺度默认值为 4一般不需要动想探索不同风格可以在 1~10 之间尝试。去灰底默认输出是灰底不透明图这是 Stable Diffusion VAE 的零值背景。想要透明底加一行rembg后处理即可import rembg result rembg.remove(result) result.save(output_clean.png)五、进阶玩法深度图与法线图如果只是生成视角图那还只是 Zero123 的一半功力。它支持挂载深度 ControlNet让你在生成多视角图的同时带上深度信息这对后续三维重建非常有用。加载方式是在基础管道上追加一个 ControlNet 模型from diffusers import ControlNetModel pipeline.add_controlnet( ControlNetModel.from_pretrained( sudo-ai/controlnet-zp11-depth-v1, torch_dtypetorch.float16 ), conditioning_scale0.75 )v1.2 还多了一个法线生成器sudo-ai/controlnet-zp12-normal-gen-v1能输出视图空间法线图。别被法线这个词吓到你可以把它理解为一张记录物体表面朝向的方向图。它的一大实用价值是比传统抠图方式得到更精准的物体遮罩官方在 Objaverse 验证集上的 alpha 掩膜 IoU 达到了 98.81%。具体用法可以参考仓库里的examples/normal_gen.py和examples/matting_postprocess.py。六、这些场景现在就能用上掌握了基础用法后你会发现它的应用面比想象中宽得多电商产品展示上传一张汉堡、鞋子或数码产品的照片立刻得到 6 个角度的展示图顾客不用再靠想象力脑补产品背面长什么样。游戏与动画前期角色设定图或道具草图丢进去快速拿到多角度参考图原型阶段的速度能快一大截。3D 打印预检打印前先生成多视角视图提前发现模型的比例或结构问题避免材料浪费。教学演示把教材里的二维插图转成三维展示立体几何、生物结构这类概念讲起来直观得多。创意素材创作艺术创作者把概念草图喂给模型探索不同视角下的视觉效果甚至能玩出幽灵吃汉堡这类脑洞场景。七、常见疑问速查生成的是真 3D 模型吗不是。Zero123 输出的是多视角图像不是可直接编辑的 mesh 文件它解决的是视角问题后续建模需要配合 One-2-3-45、One-2-3-45 等单图重建项目Zero123 则是它的前身项目。能商用吗代码采用 Apache 2.0 协议开源但模型权重是 CC-BY-NC 4.0即不能直接放进商用产品管线不过模型生成的输出物你可以自由使用同时要对自己生成的内容负责。源码和示例去哪看项目根目录的README.md是使用说明examples/文件夹里放着多视角生成、深度 ControlNet、法线生成、抠图后处理等现成脚本diffusers-support/pipeline.py则是自定义管道的完整实现想深入研究的可以从这里读起。结语从一张图开始迈出 3D 创作第一步现在你已经知道了 Zero123 是什么、能干什么、怎么上手。建议你今晚就动手试一次找一张身边小物件的清晰照片去掉背景、裁成正方形跑一遍上面的代码看看 6 个视角在眼前徐徐展开的感觉。从单张图片生成 3D 模型这个起点出发配合深度图、法线图以及生态里的重建项目你完全有可能拼出一条属于自己的 3D 创作流水线。跑通之后欢迎把你的生成效果分享给社区——这既是给自己留个记录也是在为这个开源项目贡献一份真实的使用反馈。【免费下载链接】zero123plusCode repository for Zero123: a Single Image to Consistent Multi-view Diffusion Base Model.项目地址: https://gitcode.com/gh_mirrors/ze/zero123plus创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考