2024最新controlnet详解：reference的使用方法

介绍

本文介绍了Stable Diffusion中【controlNet】Reference的使用方法，帮助用户在AI绘图中实现精准的风格和内容参考。

引用官方对参考的介绍：现在我们有一个 reference-only预处理，它不需要任何控制模型即可实现直接使用一张图片作为参考来引导扩散。

关于reference-only的官方介绍：https://github.com/Mikubill/sd-webui-controlnet/discussions/1236

在我看来这个功能有点类似于Midjourney的垫图，很多controlnet的功能都有垫图的效果

预处理器介绍

由于reference是由算法控制，所以是没有控制模型的只有3个预处理器

reference_adain：仅参考输入图，自适应实例规范。简单来说就生成的图更偏向模型

reference_adain+attn：仅参考输入图，自适应实例规范+Attention链接。这个预处理器相当于另外两个算法的综合。

reference_only：仅参考输入图。这种是最大程度的参考我们的素材图片。一般使用的就是这个预处理器，本文主要介绍的也是这种

使用方法

ControlNet按图片进行配置，Style Fidelity需要设置成1

Style Fidelity (only for "Balanced" mode)是最终要参考图片的一个权重，最小 0 最大1，可以根据需要调整数值；

建议把完美像素也勾上。