学习小结

    机器学习的目的: 1.分类，2.聚类，3.回归/拟合/函数逼近→预测

    学习的过程，本质上就是学习权系数，权系数→知识，知识存储在权系数中。

    输入/输出 + 数据 = 有用的模型

   问题要定义好，信息存储在权重中

    一种学习方法：

    目的：学习权系数

    分类：

         1.监督学习：   Xi→Yi

         2.非监督学习： 聚类，竞争网络

    规则：

       就是学习方法

        Hebb学习规则

        最小均方误差(LMS)

        误差纠正学习

        竞争学习规则

        自适应滤波器（自动调整/迭代）

         ...

    指标：

        均方误差（MSE）（信号是随机的）minE(e^2)

   优化技术：

        梯度下降等等

        在现实生活中，概率密度是不知道的，因此在生活中：统计→概率，大数定理（统计思考)

    具体问题：

     学习曲线（MSE变化曲线）

     学习率

     创新（修改权系数），需要理解原理的基础上，再创新

     感知器：网络结构，可以用作逻辑运算

     感知器→多层感知器

     数据特别重要（做有影响力的研究，数据规模要大，上百万，数据不够易过拟合）

   应用：

   学习+数据，爬虫软件（枪分类），图像识别（猫学习），语音识别，编码，金融数据预测，

    一、定义：

   分类器（Classifier）是一种机器学习计算机程序，归属人工智能范畴。应用在搜索引擎以及各种检索程序中。同时也大量应于数据分析与预测领域。他的设计目标是在通过自动学习后，可自动将数据分到已知类别，其本质为数学模型，针对模型的不同，有很多种分支。

Bayes分类器、KNN分类器、BP神经网络、Adboost分类器、决策树、SVM

二、分类器有线性分类器，和非线性分类器之分

（1）线性分类器：

    单层感知器网络

    贝叶斯

    KNN

（2）非线性分类器：：

    多层感知器网络

    决策树

（3）线性和非线性兼有的分类器（两面派）：

    SVM

三、分类器构造方法

    统计方法：贝叶斯法、非参数法（近邻学习/基于事例学习），对应的知识表示判别函数和原型事例。

    机器学习方法：决策树法、规则归纳法，前者对应为决策树或判别树，后者则一般为产生式规则

    神经网络方法：主要是BP算法，本质上是一种非线性判别函数

四、几个重要的思想

AdaBoost思想

线性/非线性的思想

五、总结

   基于几何空间（测量距离）：如svm，寻找距离

   基于概率空间（测量可能性）：贝叶斯/似然函数，很多事物背后的概率模型是未知的，我们可以寻找近似的模型来模拟

六、期待

如何抓住概念和数学定义

查阅文献、分析文献、研究、演讲能力（表达能力）

如何看好的文章/书？ 可能5篇文章，或精读5篇以上，慢慢就有想法了

如何做研究，指导自己做更好的研究

如何体现价值

知道了机理，才去创新

创新：理论创新、组合创新、应用创新

阅读笔记：论证与组织

1.研究进展 2.实验方法 3.主要问题 4.研究结果

学习内容：

理论

1.决策树、2.核方法（SVM）3.HMM(特别有必要研究一下） 4.AdaBoost（举个简单的例子，两个特征的，1995年) PAC框架

优点：

缺点：

应用

1.邮件分类、2.关键音效检测、3.人脸检测