如果尝试用stable diffusion生成特别暗或特别亮的图像,它几乎总是生成平均值相对接近 0.5 的图像。如下图所示,生成暗的图片总是带着明亮的区域(暗的街道明亮的光),生成亮的图片总是带着暗的区域(白的雪暗的树)。

Offset Noise正是为了解决这个问题的一个trick。
stable diffusion使用的初始噪声是服从N(0,I)N(\pmb{0}, \pmb{I})N(0,I)的,如下
文章讨论了StableDiffusion在生成暗亮图像时存在的问题,介绍OffsetNoise如何通过调整初始噪声分布来减少图片中的明暗区域不均衡。作者指出,前向过程中的噪声实际不符合期望的N(0,I)分布,而反向过程依赖于此分布,两者存在差异。
如果尝试用stable diffusion生成特别暗或特别亮的图像,它几乎总是生成平均值相对接近 0.5 的图像。如下图所示,生成暗的图片总是带着明亮的区域(暗的街道明亮的光),生成亮的图片总是带着暗的区域(白的雪暗的树)。

Offset Noise正是为了解决这个问题的一个trick。
stable diffusion使用的初始噪声是服从N(0,I)N(\pmb{0}, \pmb{I})N(0,I)的,如下
3153
790

被折叠的 条评论
为什么被折叠?
