【AI知识】内积、点积、逐元素乘法、矩阵乘法等概念介绍

内积、点积、外积、逐元素乘法、矩阵乘法等等概念傻傻弄不清？T T 记录一下：

1.内积：

内积（Inner Product），也称为点积（Dot Product）或数量积，是指两个向量之间的运算，计算规则是：两个向量的对应元素相乘后求和，结果是一个标量（一个数值），它要求两个向量的长度必须相同，可以用来计算相似度（如余弦相似度）、注意力机制等。

如果再详细一点介绍：

1）内积的数学意义：

2）内积的几何意义：

cosθ 表示向量方向的相似程度，如果 cosθ 接近 1，说明两个向量方向相近（相似）；如果接近 0，说明它们几乎无关。

内积的pytorch写法：

torch.dot只适用于1D 向量

import torch

a = torch.tensor([1.0, 2.0, 3.0])  # 1D 向量
b = torch.tensor([4.0, 5.0, 6.0])  # 1D 向量

dot_product = torch.dot(a, b)  # 1×4 + 2×5 + 3×6 = 32
print(dot