[ComfyUI]Flux:超强图像反推!JoyCaption(S&NSFW)最全部署指南,LLM助力提示临摹

siglip代码笔记 siglip笔记 阅读详情

大家好我是小王同学!!!

在数字艺术领域,图像反推和临摹一直是艺术家的挑战。现在,ComfyUI的Flux功能结合JoyCaption(S&NSFW)最全部署指南,利用LLM技术,为你提供强大的图像反推和临摹支持。

Flux超强图像反推:捕捉细节,提升创造力 ComfyUI的Flux功能,以其超强图像反推能力而备受关注。无论你是艺术家、设计师还是摄影爱好者,Flux都能帮助你捕捉图像中的每一个细节,提升你的创造力。
JoyCaption(S&NSFW)最全部署指南:临摹提示,激发灵感 JoyCaption(S&NSFW)最全部署指南,为用户提供全面的临摹提示。无论你是初学者还是专业人士,都能从中获得灵感和指导,让你的作品更加出色。

Joy Caption简介

在之前的文章中已经介绍了当前优秀的图像反推提示语模型:Joy CaptionJoy Caption反推提示词能够生产详细且明确的图像描述信息,并且支持SFWNSFW图像描述而备受关注。这是一款结合了谷歌siglip-so400m-patch14-384模型和面向图像提示精细化微调的Meta-Llama-3.1-8B-bnb-4bit模型构成。

Flux JoyCaption ComfyUI体验

Joy Caption安装指南

首先需要利用ComfyUI插件管理器搜索Comfyui_CXH_joy_caption插件,并点击安装此插件并重启。然后还需下载对应的模型,这也是本地复杂安装的步骤:

  • • 注意本地运行环境中 需要确认transformers>=4.44.2 版本。插件地址:(需要的同学可自行扫描获取)
    在这里插入图片描述

    • 下载模型google/siglip-so400m-patch14-384并放置目录 /ComfyUI/models/clip/siglip-so400m-patch14-384。这里需要下载整个项目文件,模型地址为:https://huggingface.co/google/siglip-so400m-patch14-384

  • • 下载模型 unsloth/Meta-Llama-3.1-8B-bnb-4bit 并放置目录 /ComfyUI/models/LLM。下载整个项目文件,模型地址为:https://huggingface.co/unsloth/Meta-Llama-3.1-8B-bnb-4bit

    • 下载模型 fancyfeast/joy-caption-pre-alpha 并放置目录 /ComfyUI/models/Joy_caption。这里需要手动下载整个项目文件,模型地址为:https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6

如嫌手动下载文件麻烦同学可以尝试使用git方式下载,在CMD中导航到对应目录然后使用git目录下载,例如google/siglip-so400m-patch14-384 模型如下:

git lfs install  
# 替换对应模型git地址  
git lfs clone https://huggingface.co/google/siglip-so400m-patch14-384

基础Flux ComfyUI工作流

Joy Caption反推工作流

要想增加JoyCaption反推提示工作流,只需要在Flux基础工作流上增加JoyCaption模型加载和反推两个节点。

01. 晾晒衣服

flim rendering, depicting a young Asian woman standing on a rooftop on a bright, sunny day. She has long, straight black hair tied into a high ponytail, and is wearing a simple, white, short-sleeved T-shirt and light blue denim shorts. The woman is facing away from the camera, gazing towards the horizon with a serene expression. She holds a wooden clothespin in her right hand, which is holding a white T-shirt on a clothesline strung horizontally across the rooftop. The clothesline is made of thin, yellow string, and the clothespin is positioned near the sleeve of the shirt. In the background, there is a clear blue sky with a few scattered clouds, and a view of a cityscape featuring multiple high-rise apartment buildings with balconies. The rooftop surface is concrete, with a few small plants adding some greenery. The overall scene conveys a sense of tranquility and simplicity, with the bright sunlight casting soft, natural shadows.

在这里插入图片描述
在这里插入图片描述

02. 在一起

octane rendering,UE5,Maya,blender, . This is a digital photograph featuring two fingers, one on top of the other, with the tips touching. Each finger is drawn with black marker to resemble a person. The top finger is a girl, depicted with closed eyes and a small smile, suggesting happiness. She has a pink heart above her head, and her arms are bent at the elbow, with her hands clasped together. The bottom finger is a boy, with closed eyes and a small smile, also suggesting happiness. He has a pink heart above his head and his arms are bent at the elbow, with his hands clasped together. The fingers are positioned upright and facing each other, with the girl’s finger on top. The background is a soft, pale yellow color, providing a neutral and soothing backdrop that enhances the warm, affectionate theme of the image. Text is written in black, playful, hand-like font, with the words “Together Forever” above the girl’s finger, and “I love you…” below the boy’s finger. The text is surrounded by small pink hearts, adding a whimsical touch. The overall mood is one of love and affection, conveyed through the simple yet charming depiction of the fingers and the accompanying text.

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

03. 卖猪仔

octane rendering,UE5,Maya,blender, Slung over his shoulder was a stick with two caged piglets on either side, of a photorealistic CGI (computer-generated imagery) artwork. This digital artwork depicts a chubby, adorable baby with dark hair and large, round eyes, dressed in a sleeveless, light pink dress with a subtle polka dot pattern. The baby is holding two woven baskets on either side of its body, balanced on its shoulders. Each basket contains a small piglet with pink skin and short snouts. The baby’s expression is one of contentment and innocence. The background features a rural setting with a paved path leading into the distance, flanked by lush green foliage and a wooden building on the left. The lighting is soft and natural, creating a serene atmosphere. The textures are meticulously detailed, from the smoothness of the baby’s skin to the coarse texture of the woven baskets and the soft fur of the piglets. This CGI artwork combines photorealism with a whimsical, almost surrealistic touch, enhancing the charm and cuteness of the subject.

在这里插入图片描述
在这里插入图片描述

04. 黄瓜服装秀

octane rendering,UE5,Maya,blender, . This is a highly detailed, high-resolution photograph featuring a life-sized, stylized human figure crafted entirely from cucumber slices. The figure stands against a plain white background, emphasizing its vivid green hue. The person, with a serene expression, wears an elegant, sleeveless gown made from cucumber slices arranged in a layered, petal-like fashion. The gown’s neckline is V-shaped, and the slices form a series of overlapping, scalloped edges that resemble a flower’s petals. The figure’s head is adorned with a crown of cucumber leaves, adding to the botanical theme. The texture of the cucumber slices is smooth and glossy, with the light reflecting off the wet surface, giving it a fresh, vibrant appearance. The overall effect is both surreal and artistic, blending elements of nature and human craftsmanship. The photograph captures the intricate details of the cucumber slices, emphasizing their natural patterns and the delicate arrangement that creates the gown. The figure’s skin is a pale, almost translucent white, contrasting starkly with the green of the cucumber slices, enhancing the surreal nature of the image.


![](https://img-blog.csdnimg.cn/img_convert/ae7475a9becf0f318edfe25bfc48bb11.png)

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/18c8a91c56cf438ab591998dc85f9a5c.png)![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/7351ae4cb6c14143b58645494c556db8.png)





**资料软件免费放送**

**次日同一发放请耐心等待**

## <font face="幼圆" size="4" color="red">关于AI绘画技术储备</font>

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

**需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】**

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e4eae00bfe004f51bf748b06b64f6d3f.png)


\*\*一、AIGC所有方向的学习路线\*\*

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/af6e2f485a4f485d9b76a93afa81a02f.png)

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/7d91365d8b3a45aba258f4603c71dc5c.png#pic_center)

**二、AIGC必备工具**

工具都帮大家整理好了,安装就可直接上手!  
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/01a2ea000b474fef83abfd18888b2e38.png)

**三、最新AIGC学习笔记**

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。  
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9e597a6fae9344cea8f4a9caf30ecc55.png)  
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/f2619de95125425d8a19b85ce2ff1894.png)

**四、AIGC视频教程合集**

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/ce803d0289b84736b059293d696429b6.png)

**五、实战案例**

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。  
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/373dd1f17ed14db1a2fa4dfec03c0559.png)  
**这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】**

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4ef6c3c84f424b47afa657004903bf17.png)

ComfyUIJoyCaption 2 安装指南反推效果大升级!支持多种反推模式! 之前我介绍了 JoyCaptin2 反推的网页版和打标工具,当时还不支持 ComfyUI,现在已经有节点支持啦,现在就教大家如何部署,大家也可以回顾一下之前的文章:网页版本介绍:JoyCaption Alpha Two:可定制化的在线反推工具,反推模式更自由 (chinaz.com)打标工具介绍:大佬自制JoyCaption打标神器,10G低显存可用,支持批量打标! (chinaz.com)插件还是我们之前用的 CXH 大佬的插件,他最近刚好更新了 Joy2,我们直接更新就可以更新完成后我再安装必要的文件, 阅读详情

相关推荐

JoyCaption:开源的图像提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当

JoyCaption 是一款开源的图像提示词生成工具,支持多种生成模式和灵活的提示选项,适用于社交媒体、图像标注、内容创作等场景,帮助用户快速生成高质量图像描述。

士多啤梨先生の博客 3585

ComfyUI Joy Caption插件:5分钟掌握智能图片描述生成技巧

还在为AI生成的图片编写描述而烦恼吗?ComfyUI Joy Caption插件为你提供了一站式的智能图片描述生成解决方案。这款基于先进AI技术的图片描述生成工具能够自动分析图片内容,生成丰富、准确且富有创意的文字描述,无论是AI绘画训练、社交媒体发布还是内容创作,都能大幅提升你的工作效率。在AI绘画和内容创作领域,高质量的图片描述往往决定了一张图片的价值,而Joy Caption插件通过结合CL

gitblog_00665的博客 301

vrep和matlab,使用Matlab与V-REP联合仿真 - Play V-REP with Matlab

OS: Win10 x64Matlab: R2016bV-REP: V-REP PRO EDU v3.5.0 下载、安装与支持V-REP操作基础V-REP仿真基础Matlab环境准备一个简单的例子对V-REP有一定了解的读者可以直接跳到第三节Matlab环境准备。下载、安装与支持V-REP提供Windows、Linux和MacOS三个平台的应用程序支持,任意平台都提供教育版和专业版两个版本。教育版...

weixin_42660494的博客 3189

RuntimeError: Unknown model (vit_so400m_patch14_siglip_384)

查询资料后,定为timm版本问题。更新timm版本至最新版本。

尘思录 1821

ComfyUI 最强图像反推JoyCaption2再次升级,图像反推,批量文件打标,结合Flux使用,本地安装

近期,Joy Caption已经更新到:joy-caption-alpha-two(JoyCaption2)版本,图像反推更加细致,同时增添了许多多样化的输入Prompt支持。也可以用网页版的Demo: https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two如果使用JoyCaption2 进行批量文件打标的,那就推荐本地安装Joy_Caption2了。

5942

[ComfyUI]Flux​:不花钱免费白嫖最强反推JoyCaption​,仅需几步无门槛轻松搞定

大家好我是极客菌!!!今天文章主题将为大家介绍一款优秀的图像反推模型:Joy Caption。这是由作者开发的模型,是在谷歌的SigLIP模型和Meta的最新Llama3.1模型的基础之上,使用Adapter适配模式,并通过精心训练出的优秀图像反推描述LLM模型。能够根据用户设置参数,输出相应的具有丰富细节的图像描述提示语。

2401_85688943的博客 3870

最强图像反推Joy_Caption结合ComfyUI Flux GGUF的使用

对于图像提示反推,大家不都陌生,最开始使用的WD14反推,到我之前写的文章 [Flux超强图像提示词伴侣MiniCPM-V 2.6(超强)| ComfyUIFlux实现无IPA三图创意融合],在中的安装,以及结合最强大模型,来进行图生图。当然如果你指向进行测试,也有。

z19981的博客 3740

小显存再次沸腾:6步出图的Flux(可NSFW)

随着AI绘画转入Flux时代,小显存用户面临着抉择:换显卡还是继续停留在SD?Flux的全量大模型要22G,量化版的也要16G以上才能跑的很好,像我12G显存只能勉强跑,效率非常低。好像是是,很多创作者通过各种优化精简了Flux模型,基本实现了小显存可以跑起来,甚至可以跑得很快。今天推荐一个6步就可以出图的Flux模型,同时支持涩涩(官方大模型无法涩涩):Flux1 - Dev NF4 6 steps NSFW & Hybrid FP8 4 steps NSFW。

m0_59162248的博客 6956

3步搞定!siglip_so400m_patch14_384模型部署全攻略

siglip_so400m_patch14_384是一个基于Sigmoid Loss预训练的语言图像模型,能够实现零样本图像分类任务。本文将详细介绍如何从零开始完成该模型的完整部署流程。 ## 🎯 部署前准备清单 ### 硬件环境要求 - **推理部署**:至少需要16GB显存的GPU - **模型微调**:建议32GB显存或多卡并行环境 - **最低配置**:支持CUDA的NVIDIA显卡

gitblog_00795的博客 1286

【一句话经验】OSError:Error no file named pytorch_model.bin, model.safetensors in siglip-so400m-patch14-384

发现是下载的模型不对,huggingface下有好几个版本,恰好我下的版本就没有model.safetensors。

applebomb的专栏 900

ComfyUI - 使用 Joy Caption 模型 描述和打标 图像数据集 (Image Caption)

Joy Caption 模型 (由 Fancy Feast 研发)SigLIP 和 Llama3.1 的基础之上,使用 Adapter 模式,训练出更好的描述图像的模型,需要与 SigLIP 和 Llama3.1 混合使用,输入图像,输出一段语义丰富的图像描述。

AGI 5590

[ComfyUI]这才是Flux下真正意义上的Ipadapter,效果不错推荐使用

昨天除了Flux官方的工具库发布之外,还有一个不错的东西,InstantX家开源了Ipadapter,测试下来效果很Nice。

m0_56144365的博客 2047

COMFYUI工作流】一键照片转插画(工作流)

今天推荐一个工作流,把照片转成漫画风格的插画。

A2421417624的博客 2041

最强图像反推Joy_Caption本地部署教程,结合FLux出图效果惊艳

我认为非必要就不用安装,想体验的可以去用网页版,效果还更准确一些网页版地址:https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha。

Yu91an的博客 4471

Idefics2 简介: 为社区而生的强大 8B 视觉语言模型

我们很高兴在此发布 Idefics2,这是一个通用的多模态模型,接受任意文本序列和图像序列作为输入,并据此生成文本。它可用于回答图像相关的问题、描述视觉内容、基于多幅图像创作故事、从文档中提取信息以及执行基本的算术运算。Idefics2https://hf.co/HuggingFaceM4/idefics2-8bIdefics2 由 Idefics1 改进而得,其参数量为 8B,具有开放许可 (A...

Hugging Face 1534

ComfyUI NSFW视频模型下载实战:从环境配置到安全部署指南

最近在尝试用ComfyUI部署NSFW视频模型,发现整个过程比想象中复杂不少。从环境配置到模型下载,再到安全合规处理,每个环节都有不少坑。折腾了几天,总算整理出一套相对完整的实战方案,分享给有同样需求的开发者们。

2600_94960191的博客 2386

基于 Simulink 的**单相全桥 LLC 谐振双向 DC-DC 变换器(带软开关特性)**实战教程

原边(Primary):全桥逆变电路(4个 MOSFET/IGBT),将直流斩波为高频方波。变压器:提供电气隔离和电压变比。副边(Secondary):全波或全桥整流电路(同步整流或二极管)。

xiaoheshang_123的博客 40

MATLAB可视化大学物理学 全部PPT课件 含每个章节所有源代码.rar

【课程大纲】MATLAB可视化大学物理学 第00章 MATLAB应用基础MATLAB可视化大学物理学 第01章 运动学MATLAB可视化大学物理学 第02章 牛顿运动定律MATLAB可视化大学物理学 第03章 运动的守恒定律MATLAB可视化大学物理学 第04章 刚体MATLAB可视化大学物理学 第05章 振动MATLAB可视化大学物理学 第06章 波动MATLAB可视化大学物理学 第07章 光学MATLAB可视化大学物理学 第08章 气体分子运动论和热力学基础MATLAB可视化大学物理学 第09章 静电场MATLAB可视化大学物理学 第10章 恒磁场MATLAB可视化大学物理学 第11章 导体电介质和磁介质MATLAB可视化大学物理学 第12章 变化的电磁场MATLAB可视化大学物理学 第13章 狭义相对论MATLAB可视化大学物理学 第14章 量子物理基础

上一篇: Flux【lora模型】【微缩景观】:惊艳!3D场景融入手机上的微景观
下一篇: 【ComfyUI】完全免费!证件照片不求人!还可以美颜,智能换装?HivisionIDPhotos轻松实现最美证件照!
AIGC小王
博客等级 码龄4年 4388粉丝 · 571原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值