AI绘画新时代!忘了SD吧,现在是Flux的时代!

前段时间,在SD3后推出不久,Flux横空出世。

可以说,优秀的Flux和付费版的MJ效果已经相差不大(前提是配置足够高,能进行足够的优化)。

但最近本来以为黑森林工作室开源完FLUX Dev模型后面不想再搞开源了,没想到一下整了一个大的,一下子发布一堆新工具模型,把整个生态圈直接拉到一个新高度,FLUX这下真无敌了!

1

一、速览通道

具体来说,此次FLUX一共发布了这四款创意工具

1、FLUX.1 Fill——修图或扩展画面

2、Canny——精准控制画面轮廓,类似ControlNet

3、Depth——景深控制工具,类似ControlNet

4、Redux——变换工具,创意万金油

这份完整版的comfyui整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

FLUX.1 Fill

首先来看Fill,其修复和扩图能力特别自然,若你有破损的老照片,或扩图,直接给它,生成效果直接惊艳。

此外还支持outpainting,可以将图像扩展到原始画面之外。

同时,对比SD1.5,细腻度和速度都更甚一筹,效果更加明显。

FLUX.1 Depth 和 Canny

可以把这两模型当作官方ControlNet系列,无论纹理细化还是整体结构重塑,都很稳的一批。

尤其Canny 边缘检测版,非常精准。这清晰度和稳定性着实让人震惊。

FLUX.1 Redux

Redux的重点是变风格和调画面结构,它特别适合做那种角色设计的多样化需求。

尤其是多张图进行风格融合,效果实在炸裂,对品牌设计师也是大有助力。

它自然地集成到更复杂的工作流程中,通过提示解锁图像重新设计。

这四款工具都是支持pro和dev两个版本(其中Canny和Depth还分完整版和LoRA版),dev版本代码和模型权重都是开放下载,pro版则要通过BFL API来使用。

另外,这四个工具还会通过五家FLUX合作的模型平台提供,这五家分别是fal(L的小写).ai、Replicate、 Together.ai、Freepik和krea.ai。

1

二、FLUX的优势及适用场景

(一)优势:

1、扩图能力:其因画面细节衔接特别自然,能直接做商业设计

2、结构控制:Depth 和 Canny的精确度使画面结构更可控

3、风格多样性:Redux的风格变体非常适合做连贯设计

4、ComfyUI支持:ComfyUI 同步支持了Black Forest Labs 为 Flux.1 设计的 3 个系列新模型:Redux Adapter 、 Fill Model 、 ControlNet Models 和 LoRA (Depth 和 Canny)。

(二)适用场景:

1、内容创作:制作高质量的插画或短视频封面

2、品牌设计:生成风格一致但多样化的品牌视觉图

3、多媒体项目:做创意设计素材的基础工具

4、高精度画面场景输出:如工业概念图、建筑设计等

1

三、模型下载

FLUX.1 Fill:https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev

FLUX.1 Depth:https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev

Flux.1 Canny:https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev

FLUX.1 Redux:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev

ComfyUI工作流:https://blog.comfy.org/day-1-support-for-flux-tools-in-comfyui/

1

四、Flux操作指南

有的小伙伴会说,那我之前没弄过Flux怎么玩起?

这得先从前 Stability AI 核心成员 Robin Rombach 创立了一个新的公司:“黑森林实验室”说起,Flux 就是其发布的作品。

Flux.1 模型家族包含以下三个变体:

·

1

Flux.1 [pro]

这是Flux.1的顶级版本,提供最先进的图像生成性能,但是模型不开源;

1

· Flux.1 [dev]

开源的模型,但是不能商用;

1

· Flux.1 [schnell]

这是Flux.1模型家族中最快的模型,专为本地开发和个人使用优化。

目前 ComfyUI 已经集成了 Flux,可以在 ComfyUI 上部署体验。

(一)ComfyUI 的安装

首先我们点开打开 releases 地址:

https://github.com/comfyanonymous/ComfyUI/releases,就能看到最新启动包

双击run_nvidia_gpu.bat 就能启动 ComfyUI 了。

若没有N卡,可以使用run_cpu.bat,只用 CPU 启动 ComfyUI。

运行成功后,会自动打开页面,像这样:

打开电脑终端,进入使用 ComfyUIComfyUI 项目根目录,有个必安装的插件,ComfyUI-Manager。

当看到存放的Code\ComfyUI_windows_portable目录下,进入custom_nodes 目录下,使用指令

然后克隆ComfyUI-Manager 到本地。

接着重启ComfyUI ,就可看到Manager 了

准备就绪。

(二)Flux安装

ComfyUI 已经提供了 Flux 的部署教程,这个是 demo:

https://comfyanonymous.github.io/ComfyUI_examples/flux/

我们需要下载4个东西

1.t5xxl_fp16.safetensors:放在 ComfyUI/models/clip/ 目录下

2、ae.safetensors:放在 ComfyUI/models/vae/ 目录下

3、clip_l.safetensors:放在 ComfyUI/models/clip/ 目录下

4.flux1-dev.safetensors:放在 ComfyUI/models/unet/ 目录下

t5xxl_fp16.safetensors 和 clip_l.safetensors

下载地址:

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

最后我们再下载一张官方的图片:

https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png

一定要使用这个链接,下载图片。

我们打开 ComfyUI,把这个图片拖拽到 ComfyUI 里

这样就打开了Flux的整个节点工作流。

我们点击Queue Prompt 运行整个工作流

稍等片刻,就能看到生图了。

(三)推荐以下三个版本

按需要选择一个即可。

DEV整合版本, 文件大小:16G

Schnell整合版加速版本, 文件大小:16G

NF4 整合显存版本, 文件大小:11G

模型安装位置:ComfyUI\models\checkpoints

最后

生成的图片,还可以结合视频生成方法,还能进一步生成 AI 视频。

1

五、配置要求

Flux作为一款开源模型,由于可以使用ComfyUI进行本地和云服务器部署,快速搭建工作流,进行图像生成,故其对电脑有一定配置要求。

最低显存要求:8-12GB或更高(渲染速度较慢) 推荐显存:16-24GB,若电脑配置一般,只是普通学习,不建议本地部署,推荐云平台。

这份完整版的comfyui整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值