第0节机器学习与深度学习

#跨考考研，后不考，遂停止，又感兴趣+工作室需要，遂又重新温习

一、学习初期需注意

1、听不懂课很正常，不要因此停止。可听：吴恩达、李宏毅、李沐、B站up“风中摇曳的小萝卜”——5分钟学一个算法、比特鹏哥——C语言、小甲鱼——python基础的语法，听七八遍也不懂都很正常。如果不懂，课程+代码是最高效的理解方式，不要只听课不实战。通过对比去理解每一步在做什么、怎么做；

2、如果要准备面试、笔试，需要准备深层次的原理，需要准备“”为什么“”而不是“是什么”。比如代码是根据什么选择的；

3、深度学习每年的知识都在变化，如果真的想学，要记得持续学习。

二、学习内容章节介绍

1、多层神经网络，多层感知机

2、python基本操作，环境搭建，pytorch

3、深度学习解决回归任务。（看懂一个深度学习项目，项目保存、预测、训练集和验证集划分，测试集评估）

回归代码实战：新冠人数预测

4、图片分类人物。卷积神经网络、经典卷积神经网络

5、图片分类任务实战，食物分类任务（迁移学习、图片增广、学会写一个项目）

6、深度学习与特征的关系

7、自然语言处理NLP（nature language process）RNN，LSTM简单介绍，self-attention自注意力机制与bert模型代码讲解。无监督、自监督

8、BERT实战，文本情感分类任务

9、初始生成任务，认识生成任务项目代码

10、ViT模型与多模态任务，大模型简介

三、机器学习与深度学习介绍

1、人工智能>机器学习>深度学习

机器学习：让机器自己学会一种规则，具有数学上的可解释性，但是准确率不是百分之百，不够灵活

深度学习：设计一个很深的网络架构让机器自己学，像一个黑匣子、函数f，实践性的项目，可解释性比较差

2、机器学习算法（狭义，除去深度学习的机器学习）

基于数学、统计学，有很强的可解释性或公式，说的通

传统的机器学习算法：KNN、决策树、朴素贝叶斯

①KNN：K最近邻居，K-Nearest Neighbors

监督学习算法，用于分类和回归

a.距离度量（欧式距离）来衡量数据点之间的相似性

b.确定邻居数量K

c.投票机制        不同圈的距离不同，给的权重也不同

②决策树

类似于二叉树

但是如果没有垃圾关键词的邮件中有垃圾邮件——需要不断再添加新的特征以满足新的情况——不善于处理未见过的情况，只能等情况出现bug了再去发现并解决

③朴素贝叶斯

朴素贝叶斯的后验：先知道结果，再去往前推方式

已经到达了B地，则当初选择飞机为交通方式的概率有多大？

四、初始神经网络任务

1、输入和输出

   f（x）=y

   f（身高，体重，财富）=寿命

   f（某图片）=“y”

   f（某描述）=“y”

2、输入

①向量

身高，体重，财富=（180，40，-1000）

②矩阵/张量（torch）

图片→一个又一个矩阵

③序列

有顺序的一组东西（一段话、一个视频），上下文共同决定了它是什么意思。eg：“你今天吃什么”“我吃的苹果”“我用的苹果”

3、输出

①回归任务——填空题——向量

根据以前的温度推测明天的温度

②分类任务——选择题（判断题-选择为2）——矩阵/图片

图片：猫、狗

句子：积极、消极

污染程度：轻度、中度、重度

下围棋：19*19的选择空间

③生成任务/结构化——简答题——序列

生成一个图片、视频、文案等

（所有的结构化输出都有分类的意味，比如输出一段字幕，其实是在所有的汉字中做选择，合适的出来）

分类和回归是结构化的基础

（基础硬件对深度学习的影响，显卡的性能提升了，能处理更多运算，所以由处理1、2比较多，到处理3比较多）

 1、1

3、3

3、3

3、2

3/2、2

3、2

3、2

3、2+1，框出来的框也是回归出来的，由中心点、长、宽组成

3、3+2，一个一个的色彩块是通过分类实现的，车画成蓝色、人画成红色

3、3

4、回归与神经元

深度学习需要数据，从一笔一笔的数据中得到函数

如何开始深度学习：

①定义一个函数（模型）

x：数据feature，y：标签label

②定义一个合适的损失函数

损失函数的变量是w和b，也就是定的函数里面的权重和偏差

③根据损失，对模型进行优化

min这部分的意思是让LOSS最小的w和b 是多少，如argmin x^2=（0）

x、y、b看做常量，w看做变量，如果＞0，往左走更新w的值，w-w的偏导是要走的距离

leaning rate的设置很重要，调参侠。学习率固定的情况下，梯度大、移动的远，梯度小、移动的近。

w右上角的数字表示版本（第一次更新、第二次更新），右下角的数字表示不同的参数

试几次，摸清规律就可以调差不多了

5、线性函数与多层神经元

试玩数据分类

https://playground.tensorflow.org/

试图用一条线将蓝色和橙色区分开

比较浅的无法实现，加深、或加层数，可以实现分割

加深、或加层数，让蓝色和橙色的分界线越来越清晰