从DALLE-3看AI绘画的未来：为什么描述文本比模型更重要？

从DALLE-3看AI绘画的未来：为什么描述文本比模型更重要？

最近和几个做AI绘画的朋友聊天，发现一个挺有意思的现象。大家拿到一个新模型，比如Midjourney V6或者Stable Diffusion XL，第一反应往往是去试那些酷炫的、风格化的提示词，比如“赛博朋克城市夜景，霓虹灯，雨，未来感”。但当我们想生成一张符合特定商业需求、细节分毫不差的图片时，比如“一张产品宣传图，图中一台银色笔记本电脑以45度角放置在浅灰色大理石桌面上，屏幕显示着代码编辑器界面，旁边放着一杯冒着热气的咖啡和一本摊开的黑色笔记本，背景是虚化的书架，自然光从左侧窗户照入”——这时候，模型本身的“强大”似乎突然失灵了，生成的图片要么漏了咖啡杯，要么笔记本角度不对，要么背景书架清晰得抢镜。问题出在哪里？是模型不够先进吗？

恰恰相反，问题很可能出在我们给模型的“指令”——也就是描述文本（Prompt）——不够精确。这引出了一个被许多技术爱好者忽视的核心议题：在文本到图像（Text-to-Image）生成领域，描述文本的质量，其重要性可能已经超越了模型架构本身。OpenAI在发布DALLE-3时，其技术报告《Improving Image Generation with Better Captions》就旗帜鲜明地指向了这一点。他们发现，限制模型性能的瓶颈，往往不是模型有多复杂，而是训练数据中那些用来描述图像的“标题”（Captions）太粗糙、太不准确了。这篇文章，我们就来深入聊聊，为什么在AI绘画的赛道上，写好“描述”这门手艺，正变得比挑选“画笔”（模型）本身更为关键。

1. 问题的根源：我们一直在用“糟糕的说明书”训练AI

要理解描述文本为何如此重要，我们得先看看主流文本到图像模型是怎么被“喂”大的。它们的训练数据，绝大多数来自互联网上公开的“图像-文本”对。想象一下，你在为一个庞大的图片库写标签，你会怎么写？大概率是“一只猫”、“日落风景”、“两个人握手”。这些标签（Captions）通常只描述了图像中最显著、最核心的主题，而忽略了海量的细节。

1.1 传统图像标题的“七宗罪”

为什么说这些网络抓取来的标题是“糟糕的说明书”？它们通常存在以下几类问题：

1. 信息极度简略与缺失：这是最普遍的问题。标题“城市街景”掩盖了建筑风格、天气、行人数量、车辆型号、店铺招牌文字等所有细节。模型从这样的数据中学到的，是“街景”这个概念与一堆模糊像素的关联，而非精确的构图逻辑。
2. 描述不准确甚至错误：互联网内容鱼龙混杂。一张图片的配文可能是无关的广告语、表情包文字，甚至是完全错误的描述。用这样的数据训练，相当于告诉模型：“这个看起来像狗的东西，可以叫它‘猫’。”
3. 忽略空间与数量关系：“桌上有苹果”和“桌上有三个红苹果，左边两个挨着，右边一个”是天壤之别的指令。传统标题几乎从不包含精确的数量、位置（左/右、前/后、上/下）和相对关系。
4. 无视文本内容：图像中如果包含文字（如路牌、书籍封面、屏幕显示），这些信息在标题中几乎总是被忽略。然而，生成准确的文字一直是文本到图像模型的难点之一。
5. 缺乏风格与美学描述：“一幅画”和“一幅莫奈风格的印象派油画，笔触轻柔，色彩朦胧”所传达的意图完全不同。
6. 省略常识与物理逻辑：标题不会说明“水是透明的”、“玻璃会反光”、“影子方向与光源一致”。这些常识本应是模型从海量数据中归纳的，但模糊的标题让这种归纳变得困难。
7. 主题偏见：标注者倾向于描述他们认为的“主体”，导致背景、环境、次要物体在文本描述中被系统性忽略。