机器学习概念 —— 样本距离矩阵

系统聚类的合并算法通过计算两类数据点间的距离，对最为接近的两类数据点进行组合，并反复迭代这一过程，直到将所有数据 点合成一类，并生成聚类谱系图。我们可以根据这个图来确定聚类的个数。系统（层次）聚类的算法流程：将每个对象看作一类，计算两两之间的最小距离；将距离最小的两个类合并成一个新类；重新计算新类与所有类之间的距离；重复二三两步，直到所有类最后合并成一类；结束。【举例说明】对上面这一组数据进行聚类分析：横坐标为学生的物理成绩，纵坐标为学生的数学成绩，可以绘制成一个二维坐标图。

样本距离给定样本xi=(xi1;xi2;⋯;xin)x_i=(x_{i1};x_{i2};\cdots ;x_{in})与xj=(xj1;xj2;⋯;xjn)x_j=(x_{j1};x_{j2};\cdots ;x_{jn})最常用的是“闵可夫斯基距离”： 即LpL_p范数||xi−xj||p||x_i-x_j||_p distmk(xi,xj)=(∑u=1n|xiu−xju|p)1pdist_

前言 关于这部分，我自己并没有很懂，目前网上找到的资料和博客，我并没有完全领会，所以这篇博客只能算是学习过程的简略版。（以后更懂再更新） 计算矩阵距离 函数 返回 任意两个点之间距离的平方 import numpy as np def cal_parwise_dist(x): # (a-b)^2 = a^2 + b^2 - 2*a*b 很多地方这样子备注，但是从矩阵角度看似乎也是对的？后面的《扩展了解》部分有推导 # param x: 矩阵matrix sum_x = np.sum

前言 最近需要写关于kmeans的一些小程序，需要计算距离，直接写for循环又特别慢，再要是样本多一点，那简直了。细细一想，需要计算距离的地方还真不少，kmeans、KNN、图等等。 1. 理论指导 小学学过的公式，开平方：(a−b)2=a2+b2−2ab(a-b)^2 = a^2+b^2-2ab(a−b)2=a2+b2−2ab，这里无非是转换成其矩阵形式。 假设现在有两个矩阵，分别是A和B，分别包含2个和3个样本，每个样本有三个特征： 先求ABT: 然后分别对A和B中的每个样本求其向量的模平方，也就

虽然空间是高维，但是与学习任务相关的样本可能只与其中某个曲面相关（比如，过马路只需要一座立交桥），这一限定就实现了降维。 三维中的曲面，可以“展”成平面区域，实现了从三维降成二维。 重点讨论了特征分解进行降维的技巧。这一技巧是机器学习中的常用技巧，我们会多次碰到，请同学们学好它。

机器学习——聚类方法聚类基本概念层次聚类kkk均值聚类 两种常用聚类方法：层次聚类（hierarchical clustering）和kkk均值聚类（k-means clustring）。层次聚类又有聚合（自下而上）和分裂（自下而上） 聚类基本概念 聚类的核心是相似度（similarity）或距离（distance）。样本间的相似度也可以用相关系数（correlation coefficient）来表示。相关系数的绝对值越接近于1，表示样本越相似；越接近于0，表示样本越不相似。相关系数定义为 rij=∑k=

K-Means与LVQ都试图以类簇中心作为原型指导聚类，其中K-Means通过EM算法不断迭代直至收敛，LVQ使用真实类标辅助聚类；高斯混合聚类采用高斯分布来描述类簇原型；密度聚类则是将一个核心对象所有密度可达的样本形成类簇，直到所有核心对象都遍历完；最后层次聚类是一种自底向上的树形聚类方法，不断合并最相近的两个小类簇。本篇将讨论机器学习常用的方法–降维与度量学习。 降维与度量学习 维数（dimensionality）：样本的特征数 “维数灾难”：维数非常大 具体表现在：在高维情形下，数据样本将变得十分稀疏

特征归一化 为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。 k维度的低纬度向量表示。 word2vec 实际是一种浅层的神经网络结构，cbow和skip-gram LDA, 线性回归分析还是文档主题生成模型。 GAN生成式对抗网络。 准确率的局限性，分类器把所有的样本都预测为负样本也可以获得99%的准确率。 准确率不适用于正负样本分布不均匀...

python的shape函数

利用python中矩阵性质提升计算效率

此处注意维度信息， X.shape = (n *d )，输出维度 Y.shape = (n * q)

<br /><br />在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。<br />　　本文的目的就是对常用的相似性度量作一个总结。<br /><br /><br />本文目录：<br />1. 欧氏距离<br />2. 曼哈顿距离<br />3. 切比雪夫距离<br />4. 闵可夫斯基距离<br />5. 标准化欧氏距离<br />6

距离矩阵的计算距离矩阵参考资料在讲距离矩阵之前，先复习一下什么是 欧式距离 :在做分类时，常常需要估算两个样本间的相似性度量（SimilarityMeasurement），这时经常就用到两个样本间的“距离”(Distance)，采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。​经常使用的度量方法是欧式距离，欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。(1)二...

import numpy as np from sklearn.datasets import load_iris iris = load_iris() # data = iris.data # print(data[0]) # print(data[2]) # print(type(iris.data)) # print(iris.data.shape) # LenRow, LenColum...

样本间相似度/距离计算方法总结标签（空格分隔）： 机器学习闵可夫斯基距离Minkowski距离，也成欧式距离，计算方法为：dist(X,Y)=(∑ni=1|xi−yi|p)1p\begin{equation} dist(X, Y) = (\sum_{i=1}^{n}|x_{i}-y_{i}|^{p})^{\frac{1}{p}} \end{equation} 这是我们最常用的一种距离度量方

最近在设计分类器时用到了KNN分类器，因此在网上下载了一个knn的程序包，它实现的是一个简单的二分类问题下载地址如下http://download.csdn.net/detail/m_g_c_516/3027316#comment。但是由于这个程序嵌套比较多，距离函数的编写挺也让人费解，因此很多朋友在下面评论说不太好理解。在我把它研究明白后发现或许它性能不太好，但是有一个地方值得学习，这也是困扰很

K近邻算法的核心在于找到实例点的邻居，这个时候，问题就接踵而至了，如何找到邻居，邻居的判定标准是什么，用什么来度量。这一系列问题便是下面要讲的距离度量表示法。但有的读者可能就有疑问了，我是要找邻居，找相似性，怎么又跟距离扯上关系了？     这是因为特征空间中两个实例点的距离和反应出两个实例点之间的相似性程度。K近邻模型的特征空间一般是n维实数向量空间，使用的距离可以使欧式距离，也是可以是其

引言： 前几天被同事问到了一个问题：当batch_size=1时，Batch Normalization还有没有意义，没有说出个所以然，才意识到自己从来不好好读过BN的论文（Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift），寻思着看看可不可以从论文中得到答案，本文就是自己学习记录之用，有些狗屁不通的地方请谅解。 1. Introduce 主要分析了输入数据的分布不稳