10、生成模型全面解析：基础、理论与实践

生成模型全面解析：基础、理论与实践

1 生成模型概述

在机器学习领域，此前我们深入探讨了判别模型。现在，我们将把关注点转向另一个重要的模型类别——生成模型。生成模型旨在对输入和输出的联合概率分布 (p(x, y)) 进行建模，这与判别模型有着本质的区别。

1.1 生成模型的定义

判别模型可以看作是一个以特征向量 (x) 为输入，目标标签 (y) 为输出的系统，输入 (x) 是遵循未知分布 (p(x)) 的随机向量，输入 (x) 和输出 (y) 之间的关系是确定的，由未知目标函数 (y = \overline{f}(x)) 规定。学习判别模型的目标是基于该系统生成的一些输入 - 输出对训练样本，在预设的模型空间内估计未知的目标函数。

而生成模型同样以特征向量 (x) 为输入，目标标签 (y) 为输出，但存在显著差异：
- (x) 和 (y) 均为随机变量。
- (x) 和 (y) 之间的关系并非确定的，而是随机的。即输出 (y) 不能完全由对应的输入 (x) 决定，底层系统包含一些随机性，即使输入相同，也可能产生不同的输出。在这种情况下，(x) 和 (y) 之间的关系必须由它们之间的联合概率分布（即 (p(x, y))）来规定。

下面通过一个简单的例子来说明确定性和随机性关系的关键区别：
- 确定性关系 ：假设系统是线性的（即 (y = w^{\top}x)），其中参数 (w) 未知但固定。在这种情况下，(x) 和 (y) 之间的关系是确定的。如果我们输入相同的 (x)，无论是否知道这是一个线性系统，总是会得到相同的输出。
- 随机性关系 </