全15万字丨PyTorch 深度学习实践、基础知识体系全集；忘记时，请时常回顾。

阅读目录

• 🍄一、基础 模型&算法 回顾
• • 💧1.1 线性模型
  • • 1.1.1 基础练习 $\hat{y}=\omega x$
    • 1.1.2 练习 $\hat{y}=\omega x+b$
    • 1.1.3 其它：在深度学习训练中，横轴往往是Epoch
  • 💧1.2 Gradient Descent（梯度下降）
  • • 1.2.1 梯度下降法 的由来：问题背景
    • 1.2.2 何为梯度？
    • 1.2.3 梯度下降
    • 1.2.4 梯度下降的公式 如何得来的？（理解）
    • 1.2.5 随机梯度下降（Stochastic gradient descent，SGD）；Mini-batch！
    • 1.2.6 梯度下降练习：方法一（推荐 完全 自己 多手写几遍）
    • 1.2.7 方法二（与法一类似，不过这里 纵轴 是 权值的$收敛变化$）
    • 1.2.8 随机梯度下降练习（一），可视化
    • 1.2.9 随机梯度下降练习（二），可视化
  • 💧1.3 反向传播（Back Propagation）
  • • 1.3.1 从 神经网络视角下 来看：
    • 1.3.2 “计算图” 中的 神经网络；由 单纯添加层数的“无效复杂” 到 添加 非线性激活函数(如sigmoid/ReLU/等)后的“有效复杂”
    • 1.3.3 反向传播的过程；前馈计算，反向传播！
    • 1.3.4 附：PyTorch中的 前馈与反馈；Tensor！
    • 1.3.5 PyTorch反向传播练习（1）$\hat{y}=\omega x$
    • 1.3.6 PyTorch反向传播练习（2）$\hat{y}={\omega }_1{x}^2+{\omega }_{2}x+b$
    • 1.3.7 补充——针对1.3.5，可视化，看权重收敛情况。$\hat{y}=\omega x$
    • 1.3.8 补充——针对1.3.6，可视化，看参数w1、w2、b收敛情况 $\hat{y}={\omega }_1{x}^2+{\omega }_{2}x+b$
  • 💧1.4 线性回归——使用PyTorch实现 $\hat{y}=\omega x+b$
  • • 1.4.1 Pytorch深度学习的一般流程
    • 1.4.2 线性单元----Linear Unit
    • 1.4.3 练习（训练周期：前馈、反馈、权重更新）
    • 1.4.4 练习2——测试一下其它优化器效果如何
  • 💧1.5 逻辑回归 (LogisticRegression)——基于PyTorch实现
  • • 1.5.1 问题背景——二分类问题
    • 1.5.2 常做练习用的数据集介绍：MNIST 和 CIFAR-10
    • 1.5.3 二分类 与 sigmoid
    • 1.5.4 模型的变化：由线性回归模型---->二分类模型，增添sigmoid函数；损失函数的变化：由线性回归损失函数(MSE 均方误差损失函数) ---->二分类损失函数BCELoss (mini-batch 小批量交叉熵损失函数cross entropy)
    • 1.5.5 code练习
  • 💧1.6 处理多维特征的输入
  • • 1.6.1 问题背景，含 多维特征 的数据集
    • 1.6.2 多维度特征的处理；Mini-batch；多层神经网络
    • 1.6.3 练习
    • 1.6.4 可视化，使用 Adam优化器/SGD优化器 试试看
    • 1.6.5 附：可尝试 不同的激活函数
  • 💧1.7 加载数据集 Dataset and DataLoader
  • • 1.7.1 Dataset类、DataLoader类；Epoch、Mini-batch、Iteration；
    • 1.7.2 DataLoader类 核心参数解释
    • 1.7.3 如何在代码层面实现 Dataset和DataLoader
    • 1.7.4 其它说明：torchvision内置数据集
    • 1.7.5 练习（1）【建议取num_workers=0；若=2，速度反而慢了】
    • 1.7.6 练习（2），划分训练集、测试集；封装训练过程、测试过程
    • 1.7.3 练习（3）使用GPU训练
  • 💧1.8 多分类问题——交叉熵损失函数CrossEntropyLoss：Softmax分类器，One-hot；针对MNIST数据集
  • • 1.8.1 针对多分类问题，输出的概率 应满足“分布”的要求
    • 1.8.2 Softmax 计算公式
    • 1.8.3 通过softmax得到概率分布后，损失函数Loss如何做？
    • 1.8.4 交叉熵损失CrossEntropyLoss = Softmax + 原Loss(即 $-Ylog\hat{Y}$)
    • 1.8.5 有了上面的分析，这里如何处理MNIST数据集呢
    • 1.8.6 模型
    • 1.8.7 练习（1）（未使用GPU）默认CPU
    • 1.8.8 练习（2）使用GPU
  • 💧1.9 卷积神经网络CNN（基础篇）
  • • 1.9.1 基础概念：卷积、卷积运算过程、单通道卷积&多通道卷积、卷积层 权重$w$的四个维度
    • 1.9.2 CNN计算过程示例
    • 1.9.3 改进——padding，一般 外围补0
    • 1.9.4 改进——步长 stride
    • 1.9.5 改进——下采样(又叫“池化”)，一般采用 Max Pooling Layer
    • 1.9.6 针对MNIST数据集，所采用的模型
    • 1.9.7 如何在GPU上来跑（怎么用显卡来计算）
    • 1.9.8 练习（1）
    • 1.9.9 练习（2）使用GPU来跑
  • 💧1.10 卷积神经网络CNN（高级篇）
  • • 1.10.1 背景，引出更复杂的网络结构（非串行的）
    • 1.10.2 非串行网络结构 之 GoogLeNet
    • 1.10.3 GoogLeNet：Inception Module，Average Pooling，$1\times 1$卷积
    • 1.10.4 GoogLeNet 练习
    • 1.10.5 GoogLeNet 练习，GPU版
    • ----------------------------------分割线----------------------------------
    • 1.10.6 ResNet（残差网络）
    • 1.10.7 Residual Net：“和$x$做加法”
    • 1.10.8 Residual Net 练习——accuracy=99%
    • 1.10.9 Residual Net 练习——GPU版
    • 1.10.10 附：其它Residual块 设计——可参阅Paper
  • 💧1.11 循环神经网络RNN（基础篇）
  • • 1.11.1 问题背景，RNN：专门用来处理序列数据
    • 1.11.2 RNN的运算
    • 1.11.3 构造RNN
  • 💧1.12 循环神经网络RNN（高级篇）
• 🍄二、其他——PyTorch深度学习库的特点
• • 💧2.1 Torch简介
  • 💧2.2 PyTorch安装
  • 💧2.3 特点——GPU加速
  • 💧2.4 特点——自动求导
  • 💧2.5 特点——封装的API
• 🍄三、其他——神经网络基础
• • 💧3.1 基本原理
  • 💧3.2 正向传播与反向传播
  • • 3.2.1 正向传播
    • 3.2.2 反向传播
• 🍄四、传统机器学习策略
• 🍄五、学习系统的发展
• • 💧5.1 基于规则的系统
  • 💧5.2 经典机器学习方法
  • 💧5.3 表示学习方法
  • • 5.3.1 维度诅咒
    • 5.3.2 解决方法
• 🍄六、人工智能补充知识
• • 💧6.1 需要会的必备知识
  • 💧6.2 人工智能——问题分类
  • • 6.2.1 推理
    • 6.2.2 预测
  • 💧6.3 人工智能——算法分类
  • • 6.3.1 传统算法与智能算法
• 🍄七、Reference