矩阵乘法和激活函数

矩阵乘法

1.矩阵内积：

矩阵内积又称为向量内积/点积/数量积，这是最常见的一种矩阵乘法.
两个矩阵A、B的矩阵内积对应分量乘积之和，结果为一个数，即一个标量，记作<A,B>。

2.矩阵外积

矩阵外积又称为或向量外积/叉积/向量积，即克罗内克积：
克罗内克积 是两个任意大小的矩阵间的运算，结果是一个矩阵如果A是一个m×n的矩阵，而B是一个p×q的矩阵，克罗内克积则是一个mp×nq的分块矩阵。克罗内克积符号为：$\otimes$

3.哈达玛积(Hadamard product)

哈达玛积的乘法符号为$\circ$

激活函数

1.Sigmoid

2.Tanh

$tanh(x)=\frac{sinh(x)}{cosh(x)}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

3.ReLU

ReLU(x)=max{0,x}ReLU(x)=max\{0,x\}ReLU(x)=max{0,x}

4.LeakyReLU

$LeakyRelu(x)=max(0,x)+leak\ast min(0,x)$ （$leak$是一个很小的常数，这样保留了一些负轴的值，使得负轴的信息不会全部丢失）

5.GELU

GELU(Gaussian error linear unit)，即高斯误差线性单元，可以看作dropout的思想和relu的结合，据报道GELU在多项计算机视觉， 自然语言处理，语音任务上效果优于ReLU。