顶会风向标！当交叉注意力遇上特征融合！今年最容易中稿的几个新思路

今天在顶会上看到一篇论文：将交叉注意力机制与特征融合结合，在脑电图情感识别任务中实现了近100%的准确率。

这一思路当下十分热门，相比传统方法，不仅能提升模型准确率与计算效率，还能更好地适应跨模态数据融合，增强泛化性与鲁棒性。

其关键在于，交叉注意力可动态分配权重，在模态间建立有效关联，为特征融合提供更丰富的表示，同时剔除冗余、降低计算负担。

为大家快速掌握这一涨点技巧，我整理了12篇顶会论文及源码，供参考学习。

-------点击阅读原文，获取更多资源

Feature Fusion Based on Mutual-Cross-Attention Mechanism for EEG Emotion Recognition

关键词: 脑电情感识别, 互注意力特征融合, 3D-CNN, EEG特征提取

研究方法

针对脑电信号处理中模型复杂度高、可解释性弱及精度瓶颈等问题，本文提出了名为 MCA-3D-CNN 的解决方案。该方法核心在于引入了纯数学的互注意力机制（MCA），通过双向计算脑电数据在时域和频域特征间的互补关系，并结合专为EEG设计的Channel-Frequency-Time 3D特征，利用轻量化3D-CNN实现高效的情绪判别。

论文创新点

1. 提出了MCA互注意力机制，实现了时域与频域特征在两个方向上的深度信息互补。
2. 创新地设计了Channel-Frequency-Time 3D特征结构，解决了传统拓扑图空间信息表达不足的问题。
3. 通过纯数学计算的融合方法，将模型复杂度维持在较低水平，同时显著提升了结果的可解释性。
4. 首次将定制化3D-CNN与MCA融合技术结合，验证了在DEAP数据集上达到99.49%的SOTA性能。

论文链接: https://arxiv.org/pdf/2406.14014v1.pdf

-------点击阅读原文，获取更多资源

A Depression Detection Method Based on Multi-Modal Feature Fusion Using Cross-Attention

关键词: 抑郁症检测, 多模态特征融合, 交叉注意力, MacBERT

研究方法

针对社交媒体抑郁检测中多模态关联缺失及早期诊断难的问题，本文提出了名为 MFFNC 的多模态融合网络。该模型利用 MacBERT 深度提取社交文本的语义特征，同时结合用户行为特征（如深夜发帖频率、图像比例等），通过交叉注意力机制（Cross-Attention）捕捉不同模态间的非线性关联，最后经由多层感知器实现精准预测。

论文创新点

1. 构建了MFFNC多模态融合网络，实现了文本语义、社交行为与图像频率的高维整合。
2. 创新地引入交叉注意力机制，解决了传统方法简单拼接模态导致的信息冗余与关联缺失问题。
3. 通过引入Transformer增强模块，将MacBERT提取的词法特征进一步转化为任务特定的上下文语义。
4. 首次将深度语义与6类核心统计特征结合，验证了在Weibo数据集上0.9495的超高预测准确率。

论文链接: https://arxiv.org/pdf/2407.12825v1.pdf

-------点击阅读原文，获取更多资源