ComfyUI中使用DeepSeek的Janus-Pro-7B模型做文生图和提示词反推

最近 DeepSeek 真是火的不得了，无论是模型的性能，还是模型的价格，都特别招人喜欢，在AI大模型领域连下数城，达到了世界一流水平。其实 DeepSeek 最近还发布了一个多模态视觉模型：Janus-Pro。

Janus-Pro 是 DeepSeeK 最近发布的一个先进的多模态理解和生成模型，可以用来文生图，也可以用来理解图片。Janus-Pro 对图像理解和图像生成分别使用独立的编码方法，直接使用正常的文本到图像数据进行训练，还引入了合成美学数据来改善图像生成的质量，这显著提升了多模态理解和图像生成的能力，特别是描述图片的能力，真的很棒。

因为ComfyUI的更新速度比较快，我最近也在一直安利ComfyUI的使用方法， 所以这篇文章就给大家来介绍下在ComfyUI中使用 Janus-Pro 的方法。

===

效果展示

废话不多说，先看效果：

===

安装部署

安装 ComfyUI

本地安装可以参考这篇文章：https://mp.weixin.qq.com/s/VeoR-S1c3WW6BCkKRdU2Lw?token=113961696&lang=zh_CN

我的云镜像在这里，开箱即用：https://haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q

安装 Janus-Pro

1、通过 ComfyUI-Manager 直接安装

输入 Janus-Pro 即可找到这个插件。

安装完毕后，记得重启。

2、下载插件、手动安装

插件下载地址：https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

如果访问Github不方便，可以通过网盘下载：https://pan.quark.cn/s/07fe9378f99c

下载后解压，再放到 ComfyUI/custom_nodes 目录下。

安装完毕后，记得重启。

3、下载模型

Janus Pro 提供了两个模型，分别是1B和7B的参数规模，一般参数量越大效果越好，但是处理速度也会变慢。

模型地址：

https://huggingface.co/deepseek-ai/Janus-Pro-7B

https://huggingface.co/deepseek-ai/Janus-Pro-1B

如果访问huggingface不方便，也可以通过我整理的网盘下载：https://pan.quark.cn/s/07fe9378f99c

模型目录结构：

ComfyUI/models/Janus-Pro/Janus-Pro-1B

ComfyUI/models/Janus-Pro/Janus-Pro-7B

===

使用 Janus-Pro

Janus Pro 的工作流使用比较简单，这里分成两部分进行介绍。工作流下载方式见文末。

文生图

这个工作流比较简单，首先加载模型，然后使用文本提示词生成图片。Janus Pro默认生成的图片大小是384*384，我们可以使用常用的放大模型把生成的图片再次放大。

注意这里cfg_weight代表模型对文本提示词的相关性，默认值是5，取值范围 1-10；其它参数默认即可。

分享两条 Janus Pro 的提示词：

A minimalist photo of an orange tangerine with a green stem and leaves, symbolizing prosperity, sitting on a red silk cloth during Chinese New Year.

Capture a close-up shot of a vibrant sunflower in full bloom, with a honeybee perched on its petals, its delicate wings catching the sunlight.

描述图片

这个工作流也很简单，首先加载模型，然后上传一张待描述的图片，运行工作流就可以生成对应的图片描述了。为了验证生成的图片描述，我在原始工作流的后边又串联了一个Flux的工作流，使用前边生成的图片描述来生成一张新的图片。

===

Janus-Pro的缺点

Janus Pro 生成的图片大小只有384*384，这个分辨率在某些需要高清晰度的任务中会显得不足，特别是对于远距离或小区域内的细节捕捉。同时 Janus-Pro 使用了一个 16 倍下采样的离散编码器，这可能会影响图像的清晰度和细节表现。尤其是在处理一些细节丰富的场景时，如远处的人脸，会出现细节不够丰富的情况，有些用户反馈 Janus Pro 的效果甚至不如 SD1.5。

但我们仍然可以通过选择合适的场景来最大化利用 Janus-Pro 的优势。例如：近景拍摄：选择近距离、特写镜头的场景可以更好地展现模型的优势。比如，您可以尝试生成“一个性感男人的脸部特写”这样的提示，这样可以让模型专注于较小的区域，从而提高细节的表现力。

资源下载

本文用到的插件、工作流和模型都已经整理好，扫下图 即可获取下载地址。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除