ICLR 2022 | Facebook AI提出解决表示学习坍塌问题新方法

Facebook AI团队在ICLR 2022发表了一篇文章，针对表示学习中的坍塌问题，提出了VICREG方法，通过variance、invariance、covariance三种loss的结合约束自监督学习过程，在表示学习中取得SOTA效果，且不依赖负样本构造。下面为大家详细介绍一下这篇文章，以及这个方向上的历史相关工作。

论文标题：VICREG: VARIANCE-INVARIANCE-COVARIANCE REGULARIZATION FOR SELF-SUPERVISED LEARNING

下载地址：https://arxiv.org/pdf/2105.04906.pdf

1. 表示学习中的坍塌问题

在表示学习中，一种很常见的做法是利用孪生网络的结构，让同一个样本的不同数据增强后的表示相似。比如对于一张图像，使用翻转、裁剪等方法生成另一个增强图像，两个图像分别经过两个共享参数的编码器，得到表示，木星的优化目标是让这两个表示的距离近。

这种方法一个比较大的挑战在于，模型在训练过程中容易出现坍塌问题。模型可以把所有样本的表示都学成完全相同的常数向量（比如每个样本模型的输出都是全0向量），这样就能满足上述两个表示距离近的要求了。