AI中的数学一

把AI计算里最核心的数学概念串起来。

在AI（深度学习）中，“积”这个概念贯穿始终。把AI中常见的“积”分成三大类来梳理：基础代数积、矩阵乘法积、神经网络专用积。

第一类：基础代数积（两个向量的运算）

这是最底层的定义，也是AI论文里最常提到的。

1. 内积（Inner Product / Dot Product）

• 定义：两个同长度的向量，对应位置元素相乘，再全部加起来。

• 公式：A⃗⋅B⃗=∑iAi×BiA⋅B=∑i​Ai​×Bi​

• 几何意义：衡量两个向量的“相似度”或“夹角余弦”（投影长度）。

• AI中的应用：无处不在。全连接层（y = Wx）的计算、卷积的滑动窗口计算、Transformer中的注意力分数（Q·K）计算，本质上都是内积。

2. 外积（Outer Product）

• 定义：两个长度可以不同的向量（假设长度m和n），A的每一个元素分别去乘B的每一个元素，生成一个 m行 × n列 的矩阵。

• 公式：(A⃗⊗B⃗)ij=Ai×Bj(A⊗B)ij​=Ai​×Bj​

• 几何意义：生成一个平面（秩1矩阵）。

• AI中的应用：

  • RNN/LSTM 中的某些门控计算。

  • 低秩分解（LoRA微调大模型）：用两个小矩阵的外积来近似一个大矩阵的更新量，大幅减少参数量。

  • 在GPU底层（如Tensor Core），大量使用外积累加（Outer Product Accumulation）来并行计算矩阵乘法。

第二类：矩阵乘法积（涉及二维数组）

这是AI训练和推理时的计算主体。

3. 矩阵乘积（Matrix Product / GEMM）

• 定义：C=A×BC=A×B。要求A的列数等于B的行数。

• 结果：结果C中每个元素 CijCij​，是A的第i行 与 B的第j列 的内积。

• AI中的应用：全连接层、卷积层（通过im2col转化后）、Transformer的FFN（前馈网络）。AI 99%的计算量都在跑GEMM。

4. 逐元素乘积（Hadamard Product / Element-wise Product）

• 定义：两个形状完全一样的矩阵，对应位置的数字直接相乘，结果形状不变。

• 公式：(A∘B)ij=Aij×Bij(A∘B)ij​=Aij​×Bij​

• AI中的应用：

  • 注意力机制中的Mask（掩码）操作。

  • 残差连接中的门控机制（Gating）。

  • Batch Normalization 中的缩放（乘以gamma）和平移。

第三类：神经网络专用积（特殊运算）

这些是AI独有的，不再局限于纯数学定义。

5. 卷积（Convolution / Cross-correlation）

• 定义（AI版）：用一个小的卷积核（Kernel），在大的输入矩阵上滑动，每一步做对应位置的逐元素相乘，然后求和（即内积），得到一个输出值。

• 本质：带权重共享和局部连接的滑动内积。

• AI中的应用：处理图像（CNN）、音频、序列数据。

6. 克罗内克积（Kronecker Product）

• 定义：用矩阵B去替换矩阵A中的每一个元素。如果A是m×n，B是p×q，结果是一个 (mp) × (nq) 的大矩阵。

• AI中的应用：

  • 模型压缩：用克罗内克积构造大矩阵，减少参数量。

  • 神经正切核（NTK） 理论分析中常用。

总结一览表（帮你快速回忆）

终极硬核总结（划重点）

如果去翻NVIDIA的CUDA手册或AI框架的底层源码，会发现：

• 硬件只认识“乘加（MAC）”：无论是内积、外积、GEMM，底层都是 a*b + c 这条指令。

• AI训练的反向传播（BP）：本质就是在疯狂计算雅可比矩阵（Jacobian），而雅可比矩阵的计算，又可以被拆解成上述各种“积”的组合。

所以，可以这样记：AI的“智能”，就是通过反向传播，不断调整矩阵里的数字，让“内积”和“外积”的计算结果恰好符合预期。