深度学习|KNN,CNN,RNN,LeNet

KNN（K - 近邻算法）K-Nearest Neighbors

一种简单的监督学习算法，属于惰性学习（Lazy Learning），即训练时不构建模型，预测时才计算距离。

对于新样本，根据 “距离” 找到训练集中与其最接近的 K 个样本（邻居），然后根据这 K 个样本的类别（分类任务）或数值（回归任务）投票 / 平均得到新样本的结果。

• 例如：判断一个水果是苹果还是橘子，找到最像它的 3 个（K=3）已知水果，若其中 2 个是苹果，则新水果被预测为苹果。

参数：

• K 值：K 太小易受噪声影响，K 太大可能忽略局部特征。
• 距离度量：常用欧氏距离（连续特征）、曼哈顿距离等。

• 优点：简单易懂，无需训练过程，适合多分类问题。
• 缺点：计算量大（预测时需遍历所有样本），对不平衡数据敏感，不适合高维数据。

CNN（卷积神经网络）Convolutional Neural Network

一种深度学习模型，专为处理网格结构数据（如图像、音频）设计，属于前馈神经网络。模拟人类视觉系统，通过卷积操作自动提取数据的局部特征（如边缘、纹理、形状），并通过层级结构逐步组合成高层语义特征（如 “眼睛”“汽车”）。擅长捕捉局部特征，参数少，适合处理高维数据（如图像）。

• 关键模块：
  • 卷积层：用卷积核（过滤器）滑动提取局部特征，减少参数（权值共享）。
  • 池化层：通过最大池化 / 平均池化压缩特征图，降低维度，增强鲁棒性。
  • 全连接层：整合高层特征，输出分类 / 回归结果。

RNN（循环神经网络）Recurrent Neural Network

一种深度学习模型，专为处理序列数据（如文本、时间序列、语音）设计，具有记忆能力。网络中包含循环结构，允许信息在节点间循环传递，即当前输出不仅依赖当前输入，还依赖之前的 “记忆”（历史输入）。例如：预测句子的下一个词时，需要结合前文语境。

• 关键结构：
  • 循环单元：包含隐藏状态（Hidden State），用于存储历史信息，常见变体有 LSTM（长短期记忆网络）、GRU（门控循环单