The sculpture is already complete within the marble block, before l start my work. lt isalready there, just have to chisel away the superfluous material. - Michelan.
“雕塑已经在大理石块中完成了,在我开始工作之前。它已经在那里了,我只需要凿去多余的材料。”——米开朗基罗
.........................................................................................................................................................
参考 【生成式AI】Diffusion Model 概念讲解 (1/2)_哔哩哔哩_bilibili
1. Denoise 过程
在Denoise内部相当于需要去预测图片当中的Noise,然后用原图减去预测的Noise,得到输出的图片。内部存在一个Noise Predicter.
如何训练Noise Predictor
2. Diffusion Process ( Forward Process)
相当于当进行完Diffusion Process后,就产生了Noise Predicter 的训练资料。
文生图相当于就是在每个step多了一个文字描述的输入。
3. Stable Diffusion
其中的Generation Model使用扩散模型。
三个模块通常分开训练,然后再组合起来。
FID
smaller is better
Decoder的训练方式: