18、算法级深度学习技术：应对数据不平衡挑战

算法级深度学习技术：应对数据不平衡挑战

在深度学习中，数据不平衡是一个常见且棘手的问题，它会导致模型在少数类样本上的性能不佳。本文将深入探讨多种算法级的深度学习技术，以有效应对这一挑战。

1. 类别加权技术

类别加权是处理数据不平衡的常用方法。通过为不同类别的样本分配不同的权重，可以使模型更加关注少数类样本。
- 效果分析 ：以ABBR和DESC等少数类为例，类别加权后其性能有所提升，但ENTY类的性能有所下降。同时，使用类别权重后，ABBR和DESC类之间以及DESC和ENTY类之间的混淆显著降低。
- NLP任务变体 ：对于NLP任务，一种变体建议将样本权重设置为其对应类别的频率平方根的倒数，而非之前使用的逆类别频率加权技术。
- 实际应用 - Wayfair ：Wayfair使用BERT语言模型改进其产品搜索和推荐系统时，面临数据不平衡问题。通过为正例（客户交互过的产品）分配更高的权重，帮助BERT准确分类正负例，提高了系统的准确性。

2. 延迟重加权技术

延迟重加权技术类似于两阶段采样方法。在训练的第一阶段，模型在完整的不平衡数据集上进行训练，不进行任何加权或采样；在第二阶段，使用与类别频率成反比的类别权重对损失函数进行重新训练，并可选择使用较小的学习率。

graph LR
    A[第一阶段：在不平衡数据集上训练] --> B[第二阶段：使用类别权重重新训练]

• <