SVD与PCA，奇异值分解与主成分分析的比较

最新推荐文章于 2025-11-22 11:50:30 发布

原创

最新推荐文章于 2025-11-22 11:50:30 发布 · 1.9w 阅读

标签

#SVD #PCA

收录于

SVD（奇异值分解）和PCA（主成分分析）是两种常用的降维方法。SVD通常用于图像压缩和去噪，通过最大奇异值对应的U和V向量获取主要信息。PCA则寻找超平面来最大化样本点的投影间隔，确保样本在降维空间内的可分性。两者在实际应用中，SVD提供基向量，PCA关注样本点的投影分布。

一般来说，想要获得低维的子空间，最简单的是对原始的高维空间进行线性变换（当然了，非线性也是可以的，如加入核函数，比较著名的就是KPCA）。SVD和PCA呢，都实现了降维与重构，但是呢，思路不太一样，老师课上提了一次，以前看的迷迷糊糊的，这次下定决心，怎么都要搞清楚这两个概念。
SVD（singular value decomposition），线性代数里也叫作奇异值分解，可以用来计算矩阵的特征值（奇异值）和特征向量（我知道表达不准确，但我也不想知道正确的说法）。
SVD大多数情况下用来提取一个矩阵的主特征值，可以用于图像的压缩和去噪。举个例子，将一个纳木错大牦牛图像奇异值分解，

Im=imread('niu.jpg');
figure(1);
Im=rgb2gray(Im);
imshow(Im,[]);
set(gca,'position',[0 0 1 1])
[m n]=size(Im);
Im=double(Im);
r=rank(Im);
[s v d]=svd(Im);
Im2=s(:,:)*v(:,1:100)*d(:,1:100)';
figure(2);
imshow(mat2gray(Im2));
imwrite(mat2gray(Im2),'1.jpg')
set(gca,'position',[0 0 1 1])

原图：