深度学习与文本分类总结第二篇--大规模多标签文本分类

最新推荐文章于 2026-05-17 08:03:56 发布

原创

最新推荐文章于 2026-05-17 08:03:56 发布 · 2.3w 阅读

标签

#深度学习 #文本分类 #多标签

收录于

本文探讨了深度学习在多标签文本分类中的应用，包括BP-MLL、Adagrad、dropout等技术，以及TextCNN、GRU、CNN-RNN融合模型。文章提到了将多标签问题转化为二分类、排名和排名加分区的方法，如BR算法，并分析了知乎竞赛中深度学习模型的使用情况和未来可能的改进方向，如利用标签关系和树状结构。

上一篇博客中我们已经总结了文本分类中常用的深度学习模型，因为知乎的本次竞赛是多标签的文本分类任务，这也是我第一次接触多标签分类，所以想单独写一篇博客来记录这方面的相关知识。
在这里首先列出几篇参考的文章：

基于神经网络的多标签分类可以追溯到周志华在2006年发表的文章： Multi-Label Neural Networks with Applications to Functional Genomics and Text Categorization。其贡献在于提出了BP-MLL（多标签反向传播）以及新的误差函数：
然后是一篇基于周志华文章改进的论文：Large-scale Multi-label Text Classification Revisiting Neural Networks。这篇文章提出使用Adagrad，dropout等技术，此外还提出使用标准的交叉熵函数作为目标函数效果更好。
上面的文章还是使用普通的神经网络进行分类，接下来就出现了基于深度学习模型的方法。比如：Large Scale Multi-label Text Classification with Semantic Word Vectors。这篇文章很简单，就是把TextCNN和GRU直接用到多标签文本分类里，最后根据一个阈值alpha来确定样本是否属于某个类别。
Improved Neural Network-based Multi-label Classification with Better Initialization Leveraging Label Co-occurrence。这篇文章提出了一种