【论文阅读 | TCSVT 2025 | T2EA：用于红外与可见光图像融合的目标感知泰勒展开近似网络】

题目：T2EA: Target-Aware Taylor Expansion Approximation Network for Infrared and Visible Image Fusion

会议：IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY（TCSVT）

论文：https://ieeexplore.ieee.org/document/10819442

代码：https://github.com/MysterYxby/T2EA

年份：2025

1.摘要&&引言

在图像融合任务中，关键是生成高质量图像，以突出关键目标，同时增强场景的可理解性。为了完成这一任务，并在生成适合视觉任务（如目标检测和分割）的融合结果时，提供强大的可解释性和泛化能力，我们提出了一种新颖的可解释分解方案，并开发了一种用于红外和可见光图像融合的目标感知泰勒展开近似$T^{2}EA$网络。

$T^{2}EA$ 包括以下关键步骤：首先，通过设计的泰勒展开近似（TEA）网络，将可见光和红外图像都分解为特征图。然后，利用双分支特征融合（DBFF）网络对泰勒特征图进行分层融合。接下来，通过逆泰勒展开，将各层的融合图合成为理想的融合结果。最后，结合一个分割网络来优化融合网络的参数，使融合结果更适合目标分割。为了验证$T^{2}EA$网络的有效性，我们首先讨论泰勒展开层数和融合策略的选择。然后，在三个数据集（MSRS、TNO 和 LLVIP）上，对选定的最先进方法生成的定量和定性实验结果，在测试、泛化以及目标检测和分割方面进行比较。

图1. 所提出的$T^{2}EA$网络流程图。

2.目标感知泰勒展开近似$T^{2}EA$网络

在本节中，将介绍目标感知泰勒展开近似（$T^{2}EA$）网络的各个组件，包括泰勒展开近似网络、双分支特征融合网络和目标感知融合特征优化训练策略。

2.1 泰勒展开近似网络

泰勒展开理论：泰勒展开作为一种重要的数学工具，已广泛应用于计算机视觉任务，如图像恢复、光流估计和去噪模型构建。根据泰勒展开定理，当 $f(x)(x\in (a,b))$ 具有 n 阶导数时，它可以在 $x_0(x_0\in (a,b))$ 处展开如下：

$$\begin{array}{rl}f(x)& =f\left(x_0\right)+\frac{f^{\prime }\left(x_0\right)}{1!}\left(x-x_0\right)+\cdots +\frac{f^{(n)}\left(x_0\right)}{n!}{\left(x-x_0\right)}^n\\ & =f\left(x_0\right)+\sum _{k=1}^n\frac{f^{(k)}\left(x_0\right)}{k!}{\left(x-x_0\right)}^k,\end{array}$$

其中 “!” 表示阶乘运算。$f(x)$、$f(x_0)$ 和 ${\sum }_{k=1}^n\frac{f^{(k)}(x_0)}{k!}(x-x_0{)}^k$ 分别表示源可见光或红外图像、基本大尺度特征图和导数特征。从泰勒展开公式（1）可以看出，其各级特征图之间具有密切的相关性，这将有助于网络将原始图像的全局多结构转移到融合结果中。

为了充分提取图像特征图，开发了一个映射网络来近似基本层，同时为导数特征设计一个共享导数网络。

图2. 泰勒展开近似网络的架构。

• 网络架构：公式（1）中有两个主要组件需要估计，即基础层 $f(x_0)$ 及其导数层（如 f k ( x 0 ) f^{k}(x_{0}) fk(x0​)<