解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence, NIPS, 2020

函数名为ShearY，参数包括img表示输入的图像，v表示错切变换的强度，max_v表示错切变换的最大强度，bias表示对错切变换强度的偏置。函数中的参数 $v$ 控制了锐化的程度，取值范围为 $[0, \text{max}_v]$，其中 $\text{max}_v$ 是参数的最大值。，它包含了一系列的图像增强操作，这些操作可以用于对输入的图像进行随机变换，增加模型对不同样本的泛化能力。该函数会调整图像中每个像素的亮度值，使得输出图像中每个像素值的出现概率更加均衡，从而提高图像的质量。

FixMatch是一种创新的半监督学习方法，巧妙结合伪标签和一致性正则化。其核心思想是对同一图像进行强弱两种数据增强：弱增强生成伪标签，强增强用于模型训练。通过设定置信度阈值，系统自动筛选高可信度预测作为监督信号，舍弃低置信度结果。这种方法既保留了数据增强的优势，又通过置信度过滤提高了伪标签质量，在减少标注需求的同时保持了模型性能。FixMatch的简洁高效使其成为半监督学习领域的标杆性工作。

半监督学习(SSL)提供了一种利用无标记数据提高模型性能的有效方法。最近，这一领域取得了快速的进展，但代价是需要更复杂的方法。我们提出了FixMatch方法，对现有的SSL方法进行了大幅简化。首先，FixMatch对无标记图像的弱增强视图进行预测，生成伪标签，并且只有当模型产生高置信度预测时，才会保留伪标签。然后，FixMatch对同一无标记图像的强增强视图进行预测，并且将预测结果与上述伪标签进行匹配，计算损失，以此来训练模型。FixMatch简单易行，并且在各种半监督学习基准上都达到了最先进的性能。

FixMatch 本博客仅做算法流程疏导，具体细节请参见原文 原文 查看原文点这里 Github代码 Github代码点这里 解读 FixMatch算法抓住了半监督算法的两个重要观点，第一个是一致性正则化，第二个是伪标记。一致性正则化在MixMatch中已经介绍过了，在此不再赘述。伪标记是一种常用的半监督算法。 伪标记 伪标记（pseudo label）其实算最早的一类半监督算法，代表算法self-training。简单地说就是通过训练的模型对无标记样本打标签，这个标签有对有错，通过一些方法筛选标签后，选择

paper

这篇论文提出了一种名为"FixMatch"的半监督学习方法,该方法主要思想就是使用弱增强后未标记图像作为伪标签,再用强增强后同一图像作为训练样本,从而利用少量标注样本获得更好分类结果. 具体来说:1. FixMatch首先使用模型在弱增强后未标记图像上得到预测结果作为伪标签,然后再用强增强后同一图像预测结果作为真实标签;我们的算法 FixMatch 使用一致性正则化和伪标记来生成人工标签。打破了最近最先进的方法的趋势，这些方法结合了越来越复杂的机制[4,54,3]，并产生了一种更简单，但也更准确的方法。

伪标签生成：使用模型对未标记数据进行预测，生成伪标签，仅在预测置信度高时采用。一致性正则化：通过强增强和弱增强保持模型对同一数据样本的预测一致性。高效利用未标记数据，显著降低标注成本。简单易实现，不需要复杂的模型改动。在标记样本有限的情况下，具有良好的性能表现。初始阶段：模型使用有标签样本进行监督训练，学习基础特征表示。未标记样本引入使用强增强生成伪标签，仅在置信度足够高时采用伪标签。应用弱增强，确保强、弱增强样本的一致性。持续优化：结合有标签损失和无标签一致性损失更新模型。

Fixmatch:用一致性和置信度简化半监督学习

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：amitness编译：ronghuaiyang导读仅使用10张带有标签的图像，它在CIFAR-10上的中位精度为78％，...

半监督学习

在实际使用中，应根据数据集的格式、任务的需求以及硬件资源的情况，配置合适的数据加载器和参数设置。这样，通过上述代码，可以得到三个数据集对象，分别包含了 CIFAR-10 数据集中的有标签数据、无标签数据和测试数据，并且已经应用了相应的数据变换和数据增强方法。字典，可以根据不同的键（即数据集名称）来获取对应的数据集，并调用相应的获取数据集的方法，从而获取相应的数据加载器或数据集对象。OK，现在我们已经得到了带标签的数据集，不带标签的数据集，验证集的dataset数据，然后我们回到主文件。

FixMatch: 半监督学习的强大工具 这篇论文介绍了 FixMatch，一种用于半监督学习的强大方法。半监督学习是指利用少量带标签的数据和大量无标签数据进行训练。论文以医学图像为例，说明了收集带标签的医学图像数据非常困难，因为需要专业的医师进行诊断和标注。而互联网上存在大量的无标签图像数据，如何利用这些数据来提升模型的学习效果成为了半监督学习的关键问题。 FixMatch 结合了两种半监督学习...

​ 我们提出了一种新的半监督学习框架，智能地利用模型预测之间的一致性正则化，从图像的两个强增强视图，由伪标签置信度加权，称为ConMatch。虽然最新的半监督学习方法使用图像的弱增强视图和强增强视图来定义方向一致性损失，但如何为两个强增强视图之间的一致性正则化定义这种方向仍未探索。为了解释这一点，我们提出了新的伪标签置信度测量方法，通过弱增强视图作为非参数和参数方法的锚。特别是在参数化方法中，我们首次提出了在网络中学习伪标签置信度的方法，这是通过骨干网模型端到端学习的。

原论文：FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence 作者单位：Google Research 出版：arXiv 2001.07685 code：https://github.com/google-research/fixmatch 摘要 半监督学习（SSL）提供了一种有效...

推荐开源项目：FixMatch——半监督学习的简化之道 fixmatchA simple method to perform semi-supervised learning with limited data.项目地址:https://gitcode.com/gh_mirrors/fi/fixmatch 在机器学习的世界里，标签数据的获取常常是成本高昂且耗时的过程。而Google Resear...

FixMatch Simplifying Semi-Supervised Learning with Consistency and Confidence 作者：Kihyuk Sohn∗ David Berthelot∗Chun-Liang Li Zizhao Zhang Nicholas Carlini Ekin D. Cubuk Alex Kurakin Han Zhang Colin Raffel 机构：Google Research 出处：arXiv:2001.07685 写作技巧 w