2022-04-10 深度学习与应用 一（网课）

1、课程目标

1. 学习深度学习基础知识，包括经典模型、优化方法、训练技巧。
2. 很多知识已经被研究过了，多动手训练。
3. Keywords：
   基础：pytorch基础、机器学习基础、感知器、前馈神经网络、误差反向传播…
   近代网络：卷积神经网络、常用CNN模型、视觉目标分类、监测、分割.
   其他：生成式神经网络、循环神经网络、LSTM、GRU、注意力机制.
   应用实践：“动态人脸识别系统比拼”、“基于注意力网络的人脸表情识别”.
4. 成绩评估：实践作业(35%，共7次) > 期末课程论文(30%，4-6页) > PPT展示presentation(20%) > 随堂测试(10%) > 考勤(5%).
5. 推荐书籍：《动手学深度学习》pytorch版本（原作为MXNet框架），与课程PPT契合度高，有 网页版
   《深入浅出pytorch——从模型到源码》——pytorch基础
6. 前提知识：python编程、高等数学（矩阵运算、求导）、机器学习基础.

2、基础知识

1. 概述：AI有可塑性、可调性（仅阈值）
2. AI历程：达特茅斯会议（起源，1956.8），三起两落，阿尔法狗（2016.3）
3. 深度学习：逐层抽象（处理方式）
4. 现代深度学习发展历程：Hinton发明深度学习网络训练方法（网络特点：非监督学习 和逐层训练）
5. 深度学习成功秘诀：大数据支持+高性能计算 支持+深度学习技术支持。
6. AI实现

网络+训练规则+迭代（AI核心代码内容）

7. 常见应用：视觉（生物视觉、艺术图像生成、增强/虚拟现实）、听觉（nlp、语音助手）、语言（文章自动续写）、搜索（以图搜图、搜同款）、控制（AI控制小太阳、下棋）。

8. 课程开发环境配置：基于pytorch深度学习框架.
   进入创建的pytorch环境：conda activate pytorch
   进入python界面：python

9. 机器学习能做什么？
   

10. 机器学习要素：
    数据：训练、测试
    模型：线性，非线性，浅度、深度模型
    学习准则：最小化损失函数等
    优化方法：梯度下降等

11. 机器学习类型：
    （1）有监督学习（典型任务：分类、回归、预测），有标签；最小化经验误差（目标）
    （2）无监督学习（聚类 k-means、概率密度估计、数据降维），无标签靠聚类；最小化类内距离，最大化似然概率（目标）
    （3）半监督学习，部分有标签
    （4）强化学习（Reinforcement Learning，典型任务：决策制定，奖励类、棋盘类游戏）

12. 机器学习经典算法：无监督学习之K均值，线性回归、逻辑回归方法，K近邻分类，线性判别函数，支持向量机，线性vs非线性，朴素贝叶斯分类方法。