深度学习：算法到实战

本文是学习专知课程《深度学习：算法到实战》的个人笔记。

第一讲 绪论

1.1 人工智能和机器学习概述

（1）人工智能（Artificial Intelligence）
       使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统。

（2）图灵测试
       假设在一个封闭的空间里一个机器做了一个任务，在封闭空间之外有一个人，如果这个人判断不了在封闭空间里的任务是由一个人还是一个机器完成的，那就说这个机器通过了图灵测试。

（3）人工智能的三个层面
       计算智能（能存会算）
       感知智能（能听会说、能看会认）
       认知智能（能理解，会思考）

（4）实现人工智能需要模仿人的智能方式，人的智能方式大概有两种：逻辑演绎和归纳总结

（5）知识工程/专家系统
       根据专家定义的知识和经验，进行推理和判断，从而模拟人类专家的决策过程来解决问题。

（6）机器学习的应用技术领域
       计算机视觉，语音，自然语言处理

（7）机器学习的定义

（8）机器学习方法都可以从以下三个要素去理解：

（9）模型分类

（10）模型分类之根据数据标记分类：监督学习、无监督学习、半监督学习、强化学习


（11）模型分类之根据数据分布分类：参数模型，非参数模型

（12）模型分类之根据建模对象分类：判别模型，生成模型

（13）标记数据不够用时，可采用两种模型：半监督模型（部分标记），生成模型（生成一些数据）

1.2 深度学习概述

（1）人工智能>机器学习>深度学习

（2）传统机器学习：人工设计特征

（3）深度学习又称为表示学习

（4）深度学习的发展有三个要素：算法（学术界），算力（工业界），数据（工业界）

（5）神经网络结构的发展

（6）深度学习的“不能”
a.算法输出不稳定，容易被“攻击”
b.模型复杂度高，难以纠错和调试
c.模型层级复合程度高，参数不透明
d.端到端训练方式对数据依赖性强，模型增量性差
e.专注直观感知类问题，对开放性推理问题无能为力
f.人类知识无法有效引入进行监督，机器偏见难以避免

第二讲：神经网络基础

2.1 浅层神经网络

（1）为什么需要激活函数？
       激活函数很多情况下我们需要非线性函数，从而让整个神经网络具有非线性的拟合能力。

（2）激活函数举例

（3）万有逼近定理

a.单隐层感知器逼近连续函数。 如果一个隐层包含足够多的神经元，三层前馈神经网络（输入-隐层-输出）能以任意精度逼近任意预定的连续函数。

b.双隐层感知器逼近非连续函数。 当隐层足够宽时，双隐层感知器（输入-隐层1-隐层2-输出）可以逼近任意非连续函数：可以解决任何复杂的分类问题。

（4）神经网络每一层的作用

（4）梯度

（5）残差
       损失函数在某个结点的偏导。

（6）深层神经网络的问题：梯度消失、局部极小值

2.2 从神经网络到深度学习<