Unsupervised Deep Embedding for Clustering Analysis(DEC)

最新推荐文章于 2026-03-27 09:19:57 发布
原创 最新推荐文章于 2026-03-27 09:19:57 发布 · 3.6k 阅读 · 24
本文深入解析2016年发表的DEC模型，一种深度无监督聚类算法。核心在于联合优化深度嵌入与聚类，通过软分配进行迭代改进，实现聚类精度与速度的领先成果。模型利用AE进行参数初始化，并通过KL散度优化聚类中心与隐空间表示。

文章目录

0. 写在前面

  • 这篇文章发表在2016年，算是比较早的文章，但很值得去看，算法深度无监督聚类的一个经典文章，本博客从模型、LOSS来讲，实验部分不着重讲。

1. 摘要

摘要部分，作者主要告诉我们DEC模型的聚类不是从数据本身来聚类，而是学习到数据到隐空间的映射，然后设置了聚类优化目标来学习隐空间的聚类，该模型不是生成模型，类似于K-means，选取了聚类中心，然后让数据自动逼近自己所属的聚类中心。
在这里插入图片描述

2. 介绍

这部分主要讲明该模型的三大贡献
（a）深度嵌入和聚类的联合优化;
（b）通过软分配进行新颖的迭代改进;
（c）得出聚类精度和速度方面最先进的聚类结果；

在这里插入图片描述

3. 相关工作

这部分不太重要，略读
在这里插入图片描述

4. DEC模型

  • 作者对模型行的训练分为两个部分
    1.用AE进行参数初始化，这一步和VaDE的预训练很像，是为了让模型在初始化时就学习到良好的隐空间表示。对于聚类中心的初始化，作者在隐

最低0.47元/天 解锁文章
【数据聚类|深度聚类】Unsupervised Deep Embedding for Clustering Analysis(DEC)论文研读
快乐江湖的博客
03-01 1292
如何优化。
Unsupervised Deep Embedding for Clustering Analysis
Christo的博客
10-10 726
聚类是许多数据驱动应用领域的核心，在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习聚类表示上。在本文中，我们提出了深度嵌入聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射，在该空间中迭代优化聚类目标。我们对图像和文本语料库的实验评估显示出比最先进的方法的显着改进。本文提出了一种在联合优化特征空间中对一组数据点进行聚类的算法Deep Embedding Clustering。
【文献阅读笔记】Unsupervised Deep Embedding for Clustering Analysis
weixin_42949680的博客
01-11 1632
Unsupervised Deep Embedding for Clustering Analysis论文笔记，如有错误欢迎评论指正
从自编码器到聚类中心：一文读懂DEC（深度嵌入式聚类）的核心思想与代码实现
最新发布
weixin_29098367的博客
03-27 285
本文深入解析深度嵌入式聚类（DEC）的核心思想与PyTorch实现，揭示其如何通过自编码器学习数据低维嵌入表示，并结合软分配概率实现高效聚类。DEC在无监督学习领域展现出显著优势，特别适合处理复杂非线性数据结构。文章详细介绍了DEC的两阶段训练机制、代码实现及优化技巧，为开发者提供从理论到实践的完整指南。
【论文笔记】Unsupervised Deep Embedding for Clustering Analysis（DEC）
qq_44055705的博客
04-02 5454
【论文笔记】Unsupervised Deep Embedding for Clustering Analysis（DEC） 文章题目：Unsupervised Deep Embedding for Clustering Analysis 作者：Junyuan Xie，Ross Girshick，Ali Farhadi 关键词： 时间：2016 来源：ICML paper：http://proceedings.mlr.press/v48/xieb16.html , https://arxiv.org/pd
[文献阅读] Unsupervised Deep Embedding for Clustering Analysis （DEC）（pytorch复现）
weixin_53834244的博客
01-26 2808
无监督的深度嵌入式聚类 Unsupervised Deep Embedding for Clustering Analysis http://arxiv.org/abs/1511.06335为了解决使用Kmeans传统聚类的在高维空间失效的问题，该论文首先提出将KL散度用于聚类损失，并使用这一损失调整一个预训练的编码器（堆叠自编码器DAE）。称为深度嵌入聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。为了使KL散度更好应用于聚类任务，文章创设性的设置了KL散度中两个分布，
论文笔记：Unsupervised Deep Embedding for Clustering Analysis
qq_44015059的博客
06-10 4182
前言 转载自：https://blog.csdn.net/SCS199411/article/details/90759274 至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。对于所有最简单的图像数据集，使用欧氏距离的聚类完全失效。本文希望找到一种方案，可以联合解决特征空间学习与聚类关系判别。 基于此本文提出了一种深度嵌入聚类方法(Deep embedded clustering) 论文链接：https://arxiv.org/abs/1511.0633
Unsupervised Deep Embedding for Clustering Analysis论文介绍
SCS199411的博客
06-03 6206
Unsupervised Deep Embedding for Clustering Analysis 1.Introduction 聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。对于所有最简单的图像数据集，使用欧氏距...
DEC：Unsupervised Deep Embedding for Clustering Analysis
GYY8023的博客
02-27 1445
Unsupervised Deep Embedding for Clustering Analysis 摘要 DEC是一个使用深度神经网络同时学习特征表示和聚类分配的方法。它学习从数据空间到低维特征空间的映射，其中迭代地优化聚类目标。 ...
Unsupervised Deep Embedding for Clustering Analysis论文阅读
qq_40746182的博客
05-26 538
Unsupervised Deep Embedding for Clustering Analysis论文阅读   拖更了很长一段时间处理各种个人事情，今天分享一篇论文阅读，利用DNN框架进行聚类的方法的论文。  本篇文章首先的理论思路灵感很大程度上来源于2008年的t-SNE论文——Visualizing Data using t-SNE，所以今天会结合两篇论文一起进行一个分析。后者主要是用于高维数据的降维可视化过程。t-SNE技术方法中的核心思想是，对于高维空间XXX和低维空间YYY当中的两个点X1,X
自监督学习（五）Unsupervised Deep Embedding for Clustering Analysis
weixin_47444348的博客
05-04 4788
Unsupervised Deep Embedding for Clustering Analysis
ICML-2016《Unsupervised Deep Embedding for Clustering Analysis》
Christo的博客
05-03 821
DEC通过深度神经网络联合优化特征表示和聚类分配，提出了一种高效、鲁棒的 unsupervised clustering 方法。其核心目标函数基于 KL 散度，通过迭代软分配和目标分布匹配实现优化。论文的贡献在于方法创新、性能提升和实际应用价值，为后续深度聚类研究奠定了重要基础。
《Unsupervised Deep Embedding for Clustering Analysis》论文学习
Weyoung_的博客
03-01 7255
1. Introduction             聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。For all but simplest image datasets,使用欧氏距离的聚类完全失效。本文希望找到一种...
DEC 深度编码聚类函数
chumingqian的博客
11-14 1125
要使用输入 (bt, groups, embed_dim) 计算 DEC 模型的目标分布，关键部分是使用软分配 q ，其形状为 (bt, groups, max_cluster)。对 groups 维度求和：您对 groups 维度（张量中的索引 1）上的这些平方概率求和，因为您想要捕获每个组在所有集群中的分布批次中的项目。对软分配进行平方 ( q )：这会放大高概率分配并抑制较低概率分配。归一化：然后对求和值进行归一化，以确保它们形成正确的概率分布。
基础深度聚类算法——DEC与SDEC
crisps_ww的博客
11-12 2323
在DEC论文中，聚类过程通过KL散度（Kullback-Leibler Divergence）来优化，并涉及一个非线性映射和一组初始聚类中心。整个过程是一个迭代的无监督学习算法，交替执行步骤，直至满足收敛条件。（1）soft assignment软分配计算论文中详细解释了软分配（Soft Assignment）的计算方法，该方法基于Maaten和Hinton（2008）的研究。软分配是一种衡量嵌入点与聚类中心之间相似度的方法，允许一个样本属于多个聚类的概率分布。具体计算步骤如下：·计算距离。
DEC
ddana_a的博客
08-05 2435
算法（DEC）通过同时学习特征空间Z中的k个聚类中心{μj∈Z} j = 1 … k和将数据点映射到Z的DNN参数θ来对数据进行聚类。两个阶段：（1）使用深度自动编码器进行参数初始化和（2）参数优化（即，聚类），在此过程中，我们在计算辅助目标分布与最小化Kullback-Leibler（KL）差异之间进行迭代。我们从描述阶段（2）参数优化/聚类开始，给定θ的初始估计值，且{µj} j = 1，… k。 KL聚类 给定非线性映射fθ的初始估计和初始聚类质心{μj} kj = 1，我们建议使用在两步之间交替的无
DEC(Deep Embedded Cluster)小结
AndyViky的博客
06-30 7504
Deep Embedded Cluster References: https://zhuanlan.zhihu.com/p/50365577 https://flashgene.com/archives/7798.html https://zhuanlan.zhihu.com/p/28967965 http://proceedings.mlr.press/v48/xieb16.pdf
探索无监督聚类新境界：深度嵌入聚类（Deep Embedding Clustering, DEC）
gitblog_00562的博客
08-24 1337
探索无监督聚类新境界：深度嵌入聚类（Deep Embedding Clustering, DEC） 随着机器学习和深度学习的飞速发展，如何在无需标签数据的情况下高效地进行数据聚类成为一个炙手可热的研究话题。今天，我们为你介绍一个开创性的开源项目——基于Keras实现的Deep Embedding Clustering(DEC)，该技术源自ICML 2016上发表的一篇论文。 项目介绍 DEC是Ju...
论文笔记-DEC (Deep Embedded Clustering)
weixin_45739483的博客
11-08 2898
论文笔记-DEC (Deep Embedded Clustering）知识点1.将聚类的度量参考T-SNE中的t-分布，将聚类的度量转换成一个概率值（软分配，qij 表示将样本 i 分配给 j 簇的概率）：知识2. 作者定义一个辅助分布 p ，通过KL散度衡量 p 和 q 两个分布构造损失函数L 论文原文：http://proceedings.mlr.press/v48/xieb16.pdf 知识点1.将聚类的度量参考T-SNE中的t-分布，将聚类的度量转换成一个概率值（软分配，qij 表示将样本 i 分配
Deep Embedded Clustering with Asymmetric Residual Autoencoder
qq_44944580的博客
10-09 720
出于为了解决AE中的梯度消失，是否可以使用残差网络或者dense net解决的心态，我搜到了这篇文章Deep Embedded Clustering with Asymmetric Residual Autoencoder。 本文的亮点： 使用了一个非对称的、残差的autoencoder来训练样本； 将clustering融合入模型，解决end-to-end问题； 非对称训练得到的AE更加适合clustering； 因为将模型融合，导致AE的训练存在一些constraint（满足clu.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

InceptionZ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值