PRML 读书笔记 持续更新

回归模型（线性回归,逻辑回归)决策树（C4.5，ID3，CART，剪枝)贝叶斯（朴素贝叶斯，极大似然估计)最大嫡与EM算法；降维（K近邻，PCA，MDS，流形学习)SVM（线性、非线性)集成学习（Adaboost，随机森林)特征工程（特征选择)聚类（聚类任务、K-Means，DBSCAN)概率图模型。线性分类器全连接神经网络卷积神经网络。

一、介绍 (Introduction) 本章目的：介绍一些重要概念 模式识别的核心： 使用计算机算法，自动化地发现数据中的规律 (the automatic discovery of regularities in data) 利用这些规律去完成某些任务，例如数据分类 不同领域间关系： 泛化 (generalization)： 【定义】将「不曾在训练集中出现过的数据」识别准确的能力 【意义】模式识别的核心目标 预处理 (pre-processing)： 有时也称作特征提取 (feature ex

1 Introduction 本章主要讲解的是三大理论的一些基本概念知识，这三大理论分别为：probability theory，decision theory 以及 information theory。 1.1 Example: Polynomial Curve Fitting 1.2 Probability Theory 1.2.1 Probability densities 1.2.2 E...

【转】 PRML笔记 - 1.1介绍 模式识别的目标 自动从数据中发现潜在规律，以利用这些规律做后续操作，如数据分类等。 模型选择和参数调节 类似的一族规律通常可以以一种模型的形式为表达，选择合适模型的过程称为模型选择（Model Selection）。模型选择的目的只是选择模型的形式，而模型的参数是未定的。 从数据中获得具体规律的过程称为训练或学习，训练的过程就是根据数...

第一章举了一个数字图像识别的例子来介绍了机器学习的几个重要概念：学习，训练集，测试集，监督学习，无监督学习，强化学习，回归，特征抽取，泛化性，等等。 1.1多项式拟合问题 我们很容易的想到了多项式拟合，这个是最naïve的想法。 y(x,w)=w0+w1x+w2x2+w3x3+...+wMxM=∑Mj=0wjxjy(x,w) = w_0 + w_1x + w_2x^2 + w_3x^3 +

可能有人说，我们直接写程序给它设定规则就可以了，然而，由于总有我们考虑不到的手写体，每当发现新的程序识别不了的字符，我们必须增加新的规则，这就导致了规则的激增。比如下面的两个2，我们很难通过人工设定规则。或者这么理解，我们希望有一个映射，可以将输入的图像，映射成对应的数字。人工方法设定的映射函数可能会非常庞大，因此我们需要探索更省力、效率更高的方法，那就是机器学习。组成的集合叫做训练集(training set)，用来调节映射的参数。每个图像对应的数字都是已知的，使用目标向量(target vector)

转载自：http://nbviewer.jupyter.org/github/lijin-THU/notes-machine-learning/blob/master/ReadMe.ipynb 机器学习笔记 简介 作者：李金  版本：0.0.1 邮件：lijinwithyou@gmail.com 机器学习笔记，使用 jupyter notebook (ipy

PRML 第三章笔记 回归的线性模型

最近有时间把Christopher M Bishop的《Pattern Recognition and Machine Learning》（PRML）温习了一遍，这本书可以说是机器学习的经典学习之作。以前在上机器学习这么课的时候，很多细节还没联系到，结果在读论文中就显得捉襟见肘。本文打算理清楚这本书的脉络，也顺便为学习机器学习的人打下一个学习路线图。 1. 排除两块内容 现排除第五章的

本文主要内容是讲在学习PRML这本书的第一章所遇到的问题的总结

PRML 概率分布

Bishop的Pattern Recognition and Machine Learning读书笔记。 转载自：http://1.kaopuer.applinzi.com/?cat=11 一个例子：多项式拟合 概率论 基本知识点 贝叶斯概率 高斯分布 回到多项式拟合 决策理论（Decision Theory） 分类问题的决策

贝叶斯概率论 简介 在本章前面的学习中，已经从随机的、可重复的事件出现的频率角度中观察了概率。这些被称为概率的经典或常规解释。这一篇的学习将转向普遍的贝叶斯观点，这里概率将不确定性进行了量化。 不确定事件 接下来列举几个不确定事件： 月亮是否曾经是围绕着太阳公转 北极冰层是否会在本世纪末消失 这些不确定事件无法通过重复多次来对其概率下定义，不像之前 1.2 开头所列举的从水果盒中取水果来判断概率的例子一样。下面两张图为 1.2 水果盒例子。 尽管如此，这里依旧能通过一些想法来对北极冰层是否会在本世纪

prml 学习笔记kalman filter : kalman filter : MIT tutorial Understanding the Basis of the Kalman Filter Via a Simple and Intuitive Derivation [Lecture Notes]

2018/4/2:1.对于最简单的损失函数：该误差函数是系数w的二次函数，因此它关于w的偏导数是线性函数，所以误差函数的最小值有一个唯一解；2.均方根误差（RMS）公式：3.随着M的增大（M为模型多项式的阶），模型的系数也越来越大，这样是可以让多项式函数精确的与数据匹配，但是与此同时，对于数据之间的点，多项式的值会表现出剧烈的震荡，有着更大的M值的更灵活的多项式被过分地调参，使得多项式被调节成了与...

得分函数定义为对数概率密度关于输入的梯度：因为是一个常数（或者说它只和参数有关，和输入的数据无关）。当我们对数据求偏导（梯度）时，对的导数直接等于0为什么不直接叫梯度？继承自传统统计学的 Fisher Score 命名传统；同时也为了与深度学习中"更新网络权重的参数梯度"做严格的功能性区分——得分函数是输出给图像的"修图方向向量"，而参数梯度用于更新网络自身。传统似然模型└── 死磕绝对概率 → 遇到不可积分母 Z_θ → 走进死胡同 ❌│▼朴素得分匹配（2019）