半监督学习

半监督学习结合了监督学习和无监督学习方法，能在有标签但标签不完整的数据中使用机器学习算法。半监督学习利用带标签的数据与无标签的数据共同完善训练效果。

PS：目前,利用未标记示例的主流学习技术主要有三大类,即半监督学习(semi-supervisedlearning)、直推学习(transductive learning)和主动学习(active learning)

• 为什么半监督学习有效?
  【译文】伪标签学习导论 - 一种半监督学习方法【译文】伪标签学习导论 - 一种半监督学习方法

• 半监督学习可以分为直推学习和归纳学习
  半监督学习

• 生成伪标签的经典具体算法
  一文概览能生成代理标签的半监督学习算法, 具体分为自训练算法，多视角训练算法和Self-ensembling方法:

  1.Self-training
  2.Multi-view training

  • Co-training（协同训练）
  • Democratic Co-learning （民主协同训练）
  • Tri-training（三体训练法，周志华2005年，目前知名度最高的算法，与相同训练的不同的关键点：bootstrap采样）
  • Tri-training with disagreement （带分歧的三体训练，在词性标注达到很好的效果）
  • Asymmetric tri-training (三体训练法在计算机视觉上的扩展)论文笔记
  • Multi-task tri-training （缓解三体训练训练独立模型的效率问题，引入迁移训练）

  3.Self-ensembling
  (与Multi-task tri-training很像，都是通过多个独立的模型达到更好的效果，已经在计算机视觉上取得了state-of-the-art的成果。)

  • Ladder networks（让模型对噪声更具鲁棒性）
  • Virtual Adversarial Training（指出无需标签，模型也能生成对抗样本，这就为它在半监督学习领域的使用打开了渠道。能在模型最敏感的方向生成扰动，从而提高它的鲁棒性。目前，这种方法已经在文本分类数据集上取得了令人满意的结果。）
  • Π model（2017年提出的一种新型伪标签提升方法。）
  • Temporal Ensembling（Temporal Ensembling和Π model来自同一篇论文，不同的是后者关注的是数据增强和正则化，而前者关心的是模型在不同迭代期的表现集成。它背后的思想是：因为单独训练模型代价过大，我们可以利用不同的时间步长来集成模型预测。）
  • Mean Teacher（它先把模型参数的移动平均值放进Teache模型中，然后对于每个样本，它再生成代理标签 \tilde{z} ，最后计算整体的一致性损失和监督损失（supervised loss）。）

  4.相关工具和领域

  • Distillation

  • Learning from weak supervision

  • Learning with noisy labels

  • Data augmentation

  • Ensembling a single model