Diffusers代码学习-ControlNet(SDXL）

最新推荐文章于 2026-05-12 07:05:35 发布

原创

最新推荐文章于 2026-05-12 07:05:35 发布 · 1.3k 阅读

标签

#AIGC

收录于

目前没有太多的ControlNet模型与Stable Diffusion XL（SDXL）兼容，这里为SDXL训练了两个全尺寸ControlNet模型，这些模型以Canny边缘检测和深度图为条件进行推理。

# 以下代码为程序运行进行设置

import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

# 以下代码引入与SDXL兼容的ControlNet管道和模型

from diffusers import StableDiffusionXLControlNetPipeline, ControlNetModel, AutoencoderKL

from diffusers.utils import load_image, make_image_grid
from PIL import Image
import cv2
import numpy as np
import torch

# 以下代码加载初始图像，并通过Canny边缘检测生成控制图片

original_image = load_image(
    "https://hf-mirror.com/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png"
)

image = np.array(original_image)

low_threshold = 100
high_threshold = 200

image = cv2.Canny(image, low_threshold, high_threshold)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
canny_image = Image.fromarray(image)
make_image_grid([original_image, cann