图像融合Balancing Task-invariant Interaction and Task-specific Adaptation for Unified Image Fusion

论文作者：Xingyu Hu,Junjun Jiang,Chenyang Wang,Kui Jiang,Xianming Liu,Jiayi Ma

作者单位：Harbin Institute of Technology;Wuhan University

论文链接：http://arxiv.org/abs/2504.05164v1

内容简介：

1）方向：图像融合

2）应用：图像融合

3）背景：现有的图像融合方法通常将所有融合任务视为统一问题，以便促进任务无关的知识共享，但这种方式忽视了任务特定的特征，从而限制了整体性能。此外，许多现有方法依赖于任务标识进行适应，但这种依赖性在推理过程中限制了模型对未见过的融合任务的泛化能力。

4）方法：为了解决这些问题，提出一种新的统一图像融合框架——TITA。该框架通过动态平衡任务无关的交互和任务特定的适应性来提升融合效果。TITA框架包括：交互增强像素注意力（IPA）模块，增强像素级的交互作用，以便更好地提取多源互补信息；基于操作的自适应融合（OAF）模块，根据任务特性动态调整操作权重；快速自适应多任务优化（FAMO）策略，通过联合训练时缓解任务间梯度冲突的影响。

5）结果：大量实验表明，TITA不仅在三个图像融合场景中表现出与专业化方法相媲美的竞争力，且在面对未见过的融合任务时展现了强大的泛化能力。