研一第二十周论文阅读情况

一、《GPS-SSL: Guided Positive Sampling to Inject Prior Into Self-Supervised Learning》

1、Abstract：

        我们提出了引导正采样自监督学习（GPS-SSL），一种通用的方法注入先验知识的自监督学习（SSL）的正样本选择。目前的SSL方法利用数据增强（DA）来生成阳性样本并结合先验知识-不正确或太弱的DA将大大降低学习表示的质量。GPS-SSL建议设计一个度量空间，其中欧几里德距离成为语义关系的有意义的代理。在该空间中，现在可以从最近邻采样生成正样本。任何先验知识现在都可以独立于所采用的DA嵌入到该度量空间中。由于其简单性，GPS-SSL适用于任何SSL方法，例如Simplified或BYOL。GPS-SSL的一个关键好处是减少了定制强大DA的压力。例如，GPS-SSL在弱DA的Cifar 10上达到85.58%，而基线仅达到37.51%。因此，我们朝着使SSL更少依赖DA的目标前进了一步。我们还表明，即使使用强大的DA，GPS-SSL优于基线研究不足的域。当模型使用强或最小的数据增强时，我们在来自不同领域的众多下游数据集上评估GPS-SSL以及多个基线SSL方法。我们希望GPS-SSL将开辟新的途径，研究如何注入先验知识SSL的原则性的方式。

2、Conclusion：

        在本文中，我们提出了GPS-SSL，它为自我监督学习提供了一种获取正样本的新策略。具体来说，GPS-SSL摆脱了基于数据增强的常规正样本采样方法，而是通过在某些指定的嵌入空间中测量数据的最近邻居来生成正样本。也就是说，GPS-SSL引入了一种全新的轴研究，并改进了与数据增强和损失设计相辅相成的SSL。通过这种策略，例如，我们能够在没有搜索和调整正确数据增强的情况下，在典型数据集（如医学图像）上训练SSL。这些结果为现有SSL预训练大型数据集的策略开辟了新的途径，然后将模型转移到其他没有数据增强的数据集。事实上，我们观察到，尽管GPS-SSL在我们的实验中达到了或超过了SSL的性能，但在不知道最佳数据增强的情况下，性能差距更大。例如，在PathMNIST和TissueMNIST中，我们观察到GPS-SSL的性能在弱增强下略低于强增强。除了实际应用外，GPS-SSL还提供了一种将先验知识嵌入到SSL中的新策略。

3、Result：

二、《MedCLIP: Contrastive Learning from Unpaired Medical Images and Text》

参考：EMNLP'22 | 医疗多模态预训练：如何利用非天然配对的医疗图像和文本做对比学习？ - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/5749631331、Abstract：

        现有的视觉文本对比学习，如CLIP（Radford等，2021年），旨在匹配图像和描述的配对嵌入，同时将其他内容推开，这提高了表示的可转移性并支持零次预测。然而，医学图像文本数据集的规模远远小于互联网上的通用图像和描述。此外，先前的方法遇到许多假阴性，即来自不同患者的图像和报告可能具有相同的语义，但被错误地视为阴性。

        在本文中，我们将图像和文本分离进行多模态对比学习，从而以较低的成本组合大量可用的训练数据。我们还提出使用基于医学知识的语义匹配损失来替换InfoNCE损失，以消除对比学习中的假阴性。我们证明MedCLIP是一个简单而有效的框架：它在零次预测、监督分类和图像文本检索方面优于最先进的方法。令人惊讶的是，我们观察到仅使用20K预训练数据时，MedCLIP优于使用200K数据的最先进方法。

2、Conclusion：

        在这项工作中，我们提出了一个名为MedCLIP的分离医学图像文本对比学习框架。它以组合方式显著扩大了训练数据的大小。同时，医学知识的引入有助于减少假阴性。因此，MedCLIP具有出色的预训练数据效率：它以比最新基准高1%的准确率赢得了10个数据点的优势。此外，我们验证了MedCLIP在零次预测、监督分类和图像文本检索任务方面的突出表现。预计它将为医疗领域提供基础模型，并在面对资源需求较低的多种疾病时处理医疗诊断。

3、Result：