Python机器学习应用 Unit2-降维-PCA主成分分析法 和 NMF非负矩阵分解法

最新推荐文章于 2024-12-20 05:00:00 发布
原创 最新推荐文章于 2024-12-20 05:00:00 发布 · 1.5k 阅读 · 12
标签
#无监督学习 #pca降维 #机器学习 #聚类算法 #数据分析

> 课源：Python机器学习应用 BIT嵩天，本文作为个人课堂笔记。

主成分分析(PCA )

  • 主成分分析(Principal Component Analysis , PCA )是最常用的 一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数 据压缩和预处理等。 
  • PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。 
  • 在介绍PCA的原理之前需要回顾涉及到的相关术语: 方差； 协方差 ；协方差矩阵 ；特征向量和特征值。

       方差：是各个样本和样本均值的差的平方和的均值，用来度量一组 数据的分散程度。

      协方差：用于度量两个变量之间的线性相关性程度，若两个变量的 协方差为0 ,则可认为二者线性无关。协方差矩阵则是由变量的协方差值 构成的矩阵（对称阵）。 

      特征向量：矩阵的特征向量是描述数据集结构的非零向量，并满足 如下公式:

矩阵的主成分:

      就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主 成分,以此类推。[可以参考周志华老的西瓜书《机器学习》]

      算法过程：

最低0.47元/天 解锁文章
非负矩阵分解(non-negative matrix factorization)应用于图像处理的原理及与PCA，VQ的比较
qq_43110298的博客
06-13 3528
本文主要总结为什么非负矩阵分解能够用于图像压缩，以及分解出的矩阵究竟有什么实际意义
无监督学习——非负矩阵分解（NMF）
weixin_43580339的博客
07-02 4534
序 非负矩阵分解（NMF）是一种无监督学习算法，其目的在于提取有用的特征。它的工作原理类似于PCA，也可以用于降维。与PCA相同，我们试图将每个数据点写成一些分量的加权求和。但在PCA中，我们想要的是正负分量，并且能够解释尽可能多的数据方差；而在NMF中，我们希望分量和系数均为负，也就是说，我们希望分量和系数都大于或等于0。因此，NMF只能应用于每个特征都是非负的数据，因为非负分量的非负求和不可能变为负值。 将数据分解成非负加权求和的这个过程，对由多个独立源相加（或叠加）创建而成的数据特别有用，比如多人说话
12- 降维算法 (PCA降维/LDA分类/NMF) (数据处理)
March_A的博客
02-14 3569
高维度特征数据预处理方法留下最重要的一些特征，去除噪声和不重要的特征数据降维简介: 降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。降维算法优点减少所需的存储空间加快计算速度去除冗余特征太复杂的模型可以导致过拟合较简单的模型更强的鲁棒性。
【线性代数】矩阵分解（Matrix Factorization）笔记：非负矩阵分解（实践）
小哲的博客
01-13 2284
@[TOC](非负矩阵分解(Non-negative Matrix Factorization)实践) 1. 应用概述 NMF可以应用的领域很广，源于其对事物的局部特性有很好的解释。 在众多应用中，NMF能被用于发现数据库中的图像特征，便于快速自动识别应用； 能够发现文档的语义相关度，用于信息自动索引和提取； 能够在DNA阵列分析中识别基因等等。 其中，最有效的就是图像处理领域，是图像处理的数据降维和特征提取的一种有效方法。 1.1 特征学习 类似主成分分析（Principal Component An
【矩阵分解】PCA - 主成分分析中的数学原理
AI研究院
09-09 1190
PCA主成分分析属于矩阵分解算法中的入门算法，通过分解特征矩阵来实现降维。前置知识：包括样本方差、协方差、协方差矩阵、散度矩阵的简单介绍特征值分解EVD和奇异值分解EVD的原理和流程分别基于EVD和SVD的PCA实现方法PCA的应用以及对一些应用或说明的补充。
51c深度学习~合集8
whaosoft~aiotの开发板商城
11-22 2788
方法的完整数学描述略显复杂，如果只是想了解主要思想，可以只看上面 PatchMix的流程图即可（其实只是公式多，每个公式也不复杂，后续有机会做个演示动画，帮助大家理解。这个方法也可以用简单的 Mask 方法实现，但是本方法在大规模图像处理上效率是最高的），对该工作感兴趣的同行可以看一下，我尽量写得清楚一些。结合 PatMix 的流程图，主要过程如下：由于混合图像和混合图像之间，重叠比例的不同，mix-to-mix label 中每一项的权重分数是不同的，根据上图，可以得到权重系数可以表示为。
矩阵分解之：主成分分析（PCA）
qfikh的博客
01-16 2万+
本文是在参考主成分分析（PCA）原理详解的基础上 添加一些自己的理解。 1.相关背景 在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立...
机器学习实战（五）—降维（PCA与NMF）
时光机的学习博客
05-11 4224
import matplotlib.pyplot as plt from sklearn.decomposition import PCA from sklearn.datasets import load_iris data = load_iris() #字典形式加载数据集 y = data.target X = data.data #y代表标签，X代表数据 pca = PCA(n_compo...
矩阵分解与PCA降维知识点整理
qq_29153321的博客
04-07 1298
目录 1 矩阵谱分解 2 矩阵LU分解 3 满秩分解 4 QR分解 5 特征值分解 6 奇异值分解 7 PCA 1 矩阵谱分解 2 矩阵LU分解 n阶方阵可能通过初等变换变为上三角矩阵，不一定存在。 3 满秩分解 4 QR分解 5 特征值分解 6 奇异值分解 7 PCA 其中第二步详细过程： 由第（3）式和...
PCA方法的分解过程_协方差矩阵+特征值分解+降维投影
王缓缓欢的博客
11-15 4507
非原创，感谢原作Sebastian Raschka https://sebastianraschka.com/Articles/2015_pca_in_3_steps.html from sklearn import datasets # 加载数据 iris = datasets.load_iris() # help(datasets.load_iris) # Check the data struture X = iris.data # Each row is an observation, eac
协方差矩阵 和 PCA
wohaiyo的博客
03-14 649
1.协方差协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另
机器学习—数据压缩(PCA)—特征值分解、奇异值分解+代码理解
柳成荫
08-05 3559
一、特征值 1、特征值分解 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式子 ： Av = λv 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中W是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵...
NMF降维的本质，NMF和PCA的区别
qq_42115919的博客
07-02 2469
NMF和PCA
07_数据降维，降维算法，主成分分析PCA,NMF，线性判别分析LDA
涂作权的博客
04-21 3548
1、降维介绍 保证数据所具有的代表性特性或分布的情况下，将高维数据转化为低维数据。 聚类和分类都是无监督学习的典型任务，任务之间存在关联，比如某些高维数据的分类可以通过降维处理更好的获得。 降维过程可以被理解为数据集的组成成分进行分解（decomposition）的过程，因此sklearn为降维模块命名为decomposition。在对降维算法调用需要使用sklearn.decomposition...
非负矩阵分解NMF
热门推荐
皮皮blog
08-03 8万+
http://blog.csdn.net/pipisorry/article/details/52098864非负矩阵分解(NMF,Non-negative matrix factorization)NMF的发展及原理　　著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想——非负矩阵分解(Non
矩阵分解与自然语言处理：文本摘要和情感分析
东海陈光剑的博客：禅与计算机程序设计艺术
01-09 1007
1.背景介绍 自然语言处理(NLP)是人工智能领域的一个重要分支，其主要目标是让计算机理解、生成和处理人类语言。在过去的几年里，NLP 领域取得了显著的进展，尤其是在文本摘要和情感分析方面。这两个任务都涉及到处理大量的文本数据，以提取有意义的信息和洞察。 文本摘要是将长篇文章压缩为短语摘要的过程，旨在保留关键信息并减少阅读时间。情感分析则是判断给定文本的情感倾向(如积极、消极或中性)的过程，通...
6. NMF方法及实例
一只小羊
09-11 3640
非负矩阵分解NMF 实现原理 sklearn中非负矩阵分解 NMF人脸数据特征提取1. 非负矩阵分解（NMF）非负矩阵分解（Non-negative Matrix Factorization ，NMF）是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。 基本思想：给定一个非负矩阵V，NMF能够找到一个非负矩阵W和一个非负矩阵H，使得矩阵W和H的乘积近似等于矩阵V中的值。Vn×m=Wn×k×H
PCA的本质----特征值分解
Sunshine_in_Moon的专栏
05-27 2万+
相信大家对PCA并不陌生，但是PCA的本质你是否了解呢？今天就给大家简单讲讲，也是自己对PCA的一个巩固。博客中使用的图片来自七月算法的程博士的PPT，在此感谢程博士课上的耐心讲解。      1、特征值个特征向量     我相信大家对于这个式子非常熟悉，但是你真正的理解这个式子了吗？特征向量和特征值到底有什么意义呢？说实话，在听程博士的课之前我一直迷惑，不过现在懂了。     首先，我们
机器学习学习笔记之——无监督学习之降维、特征提取与流形学习
前尘忆梦的博客
12-08 2045
降维、特征提取与流形学习 前面讨论过，利用无监督学习进行数据变换可能有很多种目的。最常见的目的就是可视化、压缩数据，以及寻找信息量更大的数据表示以用于进一步的处理。 为了实现这些目的，最简单也最常用的一种算法就是主成分分析。我们也将学习另外两种算法：非负矩阵分解（NMF）和 t-SNE，前者通常用于特征提取，后者通常用于二维散点图的可视化。 1、主成分分析（PCA） 主成分分析（principal component analysis，PCA）是一种旋转数据集的方法，旋转后的特征在统计上不相关。在做完这种旋
【机器学习】降维系列算法（PCA、LDA、NMF、LLE）
最新发布
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
12-20 1万+
降维（Dimensionality Reduction）是机器学习中用来减少数据集特征数量的技术，其目的是在尽可能保留原始数据信息的同时降低数据的复杂度。降维不仅可以加速模型训练、减少计算资源消耗，还能帮助消除噪声、提高模型性能，并且有助于可视化高维数据。PCA 是一种线性降维方法，它通过找到一组新的正交基（主成分），将原始数据投影到这些新轴上。新的坐标系中的每个维度都是原始变量的线性组合，且各维度之间相互独立。PCA的目标是在尽可能少的维度上保留尽可能多的数据方差。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值