自监督学习（五）Unsupervised Deep Embedding for Clustering Analysis

如何优化。

0. 写在前面 这篇文章发表在2016年，算是比较早的文章，但很值得去看，算法深度无监督聚类的一个经典文章，本博客从模型、LOSS来讲，实验部分不着重讲。 1. 摘要 摘要部分，作者主要告诉我们DEC模型的聚类不是从数据本身来聚类，而是学习到数据到隐空间的映射，然后设置了聚类优化目标来学习隐空间的聚类，该模型不是生成模型，类似于K-means，选取了聚类中心，然后让数据自动逼近自己所属的聚类中心。 2. 介绍 这部分主要讲明该模型的三大贡献 （a）深度嵌入和聚类的联合优化; （b）通过软分配进行新颖的

Unsupervised Deep Embedding for Clustering Analysis论文笔记，如有错误欢迎评论指正

【论文笔记】Unsupervised Deep Embedding for Clustering Analysis（DEC） 文章题目：Unsupervised Deep Embedding for Clustering Analysis 作者：Junyuan Xie，Ross Girshick，Ali Farhadi 关键词： 时间：2016 来源：ICML paper：http://proceedings.mlr.press/v48/xieb16.html , https://arxiv.org/pd

前言 转载自：https://blog.csdn.net/SCS199411/article/details/90759274 至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。对于所有最简单的图像数据集，使用欧氏距离的聚类完全失效。本文希望找到一种方案，可以联合解决特征空间学习与聚类关系判别。 基于此本文提出了一种深度嵌入聚类方法(Deep embedded clustering) 论文链接：https://arxiv.org/abs/1511.0633

序言 两年之前开始学习深度聚类，首先是被其面对高维复杂海量数据时聚类效果的大幅度提升所吸引，两年之前那个“意气风发”的我读了几篇论文，以为自己已了解其主体，便动手写了那么几篇论文，结果是被现实摁在地上狠狠的摩擦。我开始重新审视这个方向。深度聚类中，深度模型的多样化，经典的有自动编码器AE,变分自动编码器 VAE,生成对抗网络GAN,高斯混合模型GMM以及近几年流形起来的图神经网络GCN等，聚类算法的多样性有经典的kmeans，凝聚聚类，谱聚类等。我把自己的目标定位在神经网络部分，而每类神经网络模型都是被损失

亲爱的读者，欢迎您翻开这本书。我们即将探索的，是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学，也是创造的艺术，更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发，亲手搭建神经网络，驾驭Transformer等前沿模型，最终将智慧转化为现实世界的价值。请放下畏惧，保持好奇。这不仅是一次知识的学习，更是一场思维的远行。来，随我一起，开启这趟非凡的旅程吧。

Unsupervised Deep Embedding for Clustering Analysis 1.Introduction 聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。对于所有最简单的图像数据集，使用欧氏距...

无监督的深度嵌入式聚类 Unsupervised Deep Embedding for Clustering Analysis http://arxiv.org/abs/1511.06335为了解决使用Kmeans传统聚类的在高维空间失效的问题，该论文首先提出将KL散度用于聚类损失，并使用这一损失调整一个预训练的编码器（堆叠自编码器DAE）。称为深度嵌入聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。为了使KL散度更好应用于聚类任务，文章创设性的设置了KL散度中两个分布，

Unsupervised Deep Embedding for Clustering Analysis 摘要 DEC是一个使用深度神经网络同时学习特征表示和聚类分配的方法。它学习从数据空间到低维特征空间的映射，其中迭代地优化聚类目标。 ...

7.0 k-means聚类以及图像压缩 使用k-means聚类算法并且将其应用于压缩图像。在第二部分中你将使用主成分分析来找到脸部图像的一个低维表示。 第一部分为k-means聚类，首先从一个2维的样本集开始，他可以帮助你对k-means算法有一个直观的感受。然后你将使用k-means算法对图像进行压缩，通过减少颜色数量，直到只出现在该图像中最常见的那些颜色。 无监督学习 根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习，“监督”的意思可以直观理解为“是否有标注的数据”

利用大量的标注数据来训练模型，模型最终学习到输入和输出标签之间的相关性；​​​​​​​用有标签的数据训练；监督学习需要每一个数据都有标签。一般来说这些标签都是人工设计的标签，通常标注需要花费大量的人力物力。监督学习更像学习一种映射关系，大多数的训练数据都带有标签。输入数据是x，标签是y，学习f函数的映射关系。监督学习的特征通常是具体的特征抽取。不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类；​​​​​​​用无标签的数据训练；训练数据不要求有标签，没有显示的。

Unsupervised Deep Embedding for Clustering Analysis论文阅读   拖更了很长一段时间处理各种个人事情，今天分享一篇论文阅读，利用DNN框架进行聚类的方法的论文。  本篇文章首先的理论思路灵感很大程度上来源于2008年的t-SNE论文——Visualizing Data using t-SNE，所以今天会结合两篇论文一起进行一个分析。后者主要是用于高维数据的降维可视化过程。t-SNE技术方法中的核心思想是，对于高维空间XXX和低维空间YYY当中的两个点X1,X

监督、半监督、无监督、自监督学习方法之间的区别

聚类结构不明确的某些视图所带来的负面影响，导致多视图聚类性能较差，所以本文提出SDMVC。

通过自监督学习策略，SSCN能够有效地利用数据的内在结构，而不需要额外的标注信息，这使得它在各种领域中具有广泛的应用前景，包括计算机视觉、生物信息学和信号处理等。自监督卷积子空间聚类网络（SSCN）是一种先进的深度学习框架，它通过结合卷积神经网络的特征提取能力和子空间聚类的结构优势，能够在无监督或弱监督条件下学习数据的低维表示并进行聚类。SSCN的核心思想是通过自监督学习策略，利用数据自身的结构信息来指导模型学习，而不需要额外的标注数据。在训练过程中，SSCN不仅学习数据的表示，还。的优化可以看作是一种。

1. Introduction             聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。For all but simplest image datasets,使用欧氏距离的聚类完全失效。本文希望找到一种...

DEC通过深度神经网络联合优化特征表示和聚类分配，提出了一种高效、鲁棒的 unsupervised clustering 方法。其核心目标函数基于 KL 散度，通过迭代软分配和目标分布匹配实现优化。论文的贡献在于方法创新、性能提升和实际应用价值，为后续深度聚类研究奠定了重要基础。

本文主要是本人的学习心得，包括以下两个方面：一、对论文《无监督的深度嵌入式聚类》（DEC）相关知识的学习；二、对DEC代码的学习。详细讲解点击此处：（论文解读）DEC（Deep Embedded Clustering）是一种基于深度学习的无监督聚类方法，它通过将自编码器（Autoencoder）与K-Means聚类相结合来实现端到端的聚类任务。