【机器学习】激活函数（Softmax）

在机器学习中，Softmax 是一种激活函数，常用于多分类任务中。它的主要作用是将一个未归一化的向量（通常是模型的输出）转换为一个概率分布，使得输出中的每个值都位于 0 和 1 之间，并且所有输出的和为 1。

1. Softmax

Softmax 的数学定义

Softmax 函数的数学表达式如下：

$$\sigma (z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$$

其中：

• $z_i$ 是输入向量中的第 $i$ 个元素，
• $K$ 是类别的总数，
• $e$ 是自然对数的底数。

Softmax 函数的作用可以理解为：

• 缩放输出值：它将每个类别的输出值 $z_i$ 转换为一个正值，同时保持类别之间的相对比例不变。
• 归一化为概率：通过对每个转换后的值进行归一化，确保输出的所有类别的值加起来为 1，表示每个类别的概率。

Softmax 的应用

Softmax 常用于分类问题的最后一层，特别是在多分类任务中，比如手写数字识别（MNIST），语言分类等。在这些任务中，Softmax 的输出表示模型对每个类别的信心值，可以通过选择概率最大的类别作为最终的预测结果。

2. 一个简单的例子：

假设我们设计一个 CNN 来分类手写数字（比如 MNIST 数据集），目标是将输入的 28x28 像素的手写数字图像分类为 0 到 9 这 10 个数字之一。

1) CNN 的结构：

2) Softmax 的作用：

假设最后一个全连接层的输出是一个 10 维的向量，每个元素代表模型对每个类别的信心值（这时并不是概率）。比如输出向量可能是：

$$[2.5,-1.3,0.8,4.2,0.1,-2.0,3.1,0.5,-0.9,1.7]$$

这 10 个值表示模型对 0-9 这 10 个数字的预测“分数”。如果直接选择最大的值，可能不太直观，因为这些值并不是概率。

这时我们需要使用 Softmax 函数来将这些分数转换为概率：

$$P(y_i)=\frac{e^{z_i}}{{\sum }_{j=1}^{10}{e}^{z_j}}$$

经过 Softmax 之后，假设得到的概率分布如下：

$$[0.01,0.001,0.005,0.8,0.03,0.0005,0.1,0.04,0.002,0.013]$$

从这个结果可以看出，第三个类别（索引为 3，对应数字 3）有最大的概率 0.8，因此模型的最终预测结果就是 3。