CS231n学习记录

1.关于训练和推理。

线性代数很重要，理解向量点积，向量点积和向量相似度正相关。

最邻近算法的缺点，训练很快，推理很慢，这不符合我们的要求，因为我们希望训练慢一点，这样可以训练出更准确的模型，而且训练是在数据中心完成的，能够承担更大的计算量。我们希望推理快一点，这样可以部署在算力比较小的终端设备上面。

2.关于距离

L1距离是正方形，正方形上每个点到原点的L1距离是相同的，L2距离是欧几里得距离，是圆形，圆形上的点到原点的L2距离也是相同的

3.超参数的概念

比如，K邻近分类中的K就是超参数。

更好的办法，轮流作validation

4.线性分类器和CNN的关系

5.卷积核是对包含整个深度的三维立体图像结构进行卷积的，所以，图像深度信息在卷积后就没有了，剩下了图像大小和卷集核的个数信息。通常，卷积核是三维的，不是二维的。一次卷积核产生一个数字。

池化，没有重叠，最大池化一般好于平均池化，选择最神经的神经元。

 池化参数：

GPUs VS CPUs

通常说的网络深度，是指可训练层的个数，也就是计算层的数量，包括卷积层和全连接层。

 大部分参数在FC层，大部分内存在前面的COV层。

零填充

要不要对权重进行batch normalization，看斯坦福的小姐姐是怎么说的

结束！