AI产品经理必懂的文生图技术原理

相信你一定用过豆包“图像生成”功能，输入文字描述，即可得到精美的图片。

来自网络

提到文生图，笔者最想聊一下经典的CLIP模型。而且这也是文生图方向AI产品经理必备的技术理解，面试必考题。

基本概念

将语言与视觉打通的CLIP模型（Contrastive Language-Image Pre-Training）是一种多模态预训练神经网络，由OpenAI在2021年1月发布。

理解CLIP模型原理，需要涉及到向量，空间，特征，Text Encoder，Image Encoder这几个概念。

向量：是高维数学空间中的点，是人类语言/视觉信息在新空间中的数学特征表述，高度抽象和提炼语言语意、视觉画面物理信息。

Text Encoder：用于将自然语言文本编码为向量表示。
Image Encoder：用于将视觉图像编码为向量表示。

在文本和自然语言处理中，每个文字都有其对应的数学空间向量，可理解为坐标，将文本采用Text Encoder转化为向量后，可以进行数学运算。

所谓生成式，本质是单字接龙，基于上文生成下一个字，然后通过自回归生成方式，逐步生成一段话。比如，祖国繁荣- >昌，祖国繁荣昌- >盛，祖国繁荣昌盛- >美，祖国繁荣昌盛美- >好，祖国繁荣昌盛美好。进行文字的运算组合、聚合形成词语、句子、文章。

而图片也一样，采用 Image Encoder编码成image特征向量。

算法原理

CLIP使用大规模的图像-文本对数据集进行预训练，从互联网上收集了4亿个「图像-文本对」作为参数。这些数据集包含了丰富的图像和对应的描述文本（比如：小红书，百度上的图文内容），使得模型能够学习到广泛的视觉概念和语言表达。

CLIP是典型的双塔结构，即一个 Image Encoder 和一个 Text Encoder。

参数量scale越大，越多样，模型越能学习到更多规律。对数据进行分批训练，先把文本提取出来，用Text Encoder编码成向量组；再把图片，通过Image Encoder编码成 image向量组。

这样，将文字和图片两种模态，采用统一的特征表述，编码在一个共同的数学空间里。

在对角线上的相似度最高

模型的输入是图片和文字的配对，图片输入到图片的encoder得到一些特征向量，文本输入到文本的encoder得到一些特征向量。

每个traning batch里有n个图片-文本对，就能得到n个图片的特征和n个文本的特征，然后在这些特征上做对比学习，配对的图片-文本对就是正样本，描述的是一一对应（特征矩阵里对角线上的都是正样本）；

矩阵中非对角线上的元素都是负样本，有了正负样本，模型就可以通过对比学习的方式去训练了，不需要任何手工标注。

来自豆包

CLIP的推理过程

预训练之后只能得到文本和图片的特征，是没有分类头的，作者提出一种利用自然语言的方法：prompt template。

对于ImageNet的类别，首先把它变成"A photo of a {object}" 一个句子；如果ImageNet有100个类，就生成100个句子，这100个句子通过预训练好的text encoder得到100个文本特征向量。当然，实际中并不局限于这100个类别。

直接用类别单词去抽取文本特征也可，但模型预训练时，和图片配对的都是句子，用单词推理效果会下降。

把需要分类的图片通过image encoder得到特征向量，拿图片的特征和文本特征计算余弦相似性，选择最相似的那个文本特征对应的句子，从而完成了分类任务。训练和推理时都不需要提前定义标签列表。

而传统方法做分类，需要先确定类别，然后去下载图片进行清洗，和标注；现在只需下载图片和文本的配对，数据集易做大，scale够大才能训练出更有质量的模型。

如何转行/入门AI产品经理 ？

🤔越来越多的人开始转行AI产品经理，毕竟大行情不是太好，对于刚毕业的研究生，想转行的互联网人，AI产品经理，确实是一个不错的方向，我在大厂做了多年的AI产品经理，还是想给大家一些经验和方向⏩

🔥AIGC在行业大火，AI产品经理到底要学哪些内容，和算法工程师有哪些区别，转行AI产品经理要学哪些东西，以下是整个学习思路和方向👇

1️⃣AI产品经理全局学习
2️⃣python系统学习
3️⃣机器学习&深度学习
4️⃣热门AI产品竞品分析
5️⃣AI产品设计学习
6️⃣AI产品0-1实操项目经验
7️⃣AI产品求职&面试

💎以上7点，看起来简单，内部内容其实很多，每一个篇章，展开都有夯实且丰富的内容，需要深度学习。

👉AI产品经理大模型视频和书籍PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉获取方式：

😝文章篇幅有限，详细资料有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓