【图像融合】基于NSST与改进PCNN的多模态医学图像融合算法实现（含Matlab源码）

原创

于 2026-02-27 05:36:35 发布 · 223 阅读

1. 为什么医学图像融合需要“强强联手”？

大家好，我是老张，在医学影像处理这个行当里摸爬滚打了十来年。今天想和大家聊聊一个特别有意思，也特别有“临床价值”的技术——多模态医学图像融合。你可能听说过CT、MRI、PET这些检查，它们各自都是医生诊断的“火眼金睛”。但不知道你有没有想过，如果把CT清晰的骨骼结构和MRI细腻的软组织图像“合二为一”，或者把PET显示的功能代谢信息叠加在CT的解剖结构上，那会是什么效果？

这就像我们看地图，一张是地形图（告诉你哪里有山有水），一张是交通图（告诉你哪里有路有桥）。如果能把两张图完美地叠在一起，你就能立刻知道，要翻过那座山，走哪条路最近。医学图像融合干的就是这个事儿。它能把不同成像设备、不同原理拍出来的图像，融合成一幅信息更全面、更精准的“超级图像”。这对于肿瘤的精准定位、手术方案的规划、以及治疗效果的评估，简直是如虎添翼。

但是，想把这事儿干好，技术门槛可不低。难点在哪呢？第一，不同模态的图像，它们的“脾气”不一样。比如CT图像对比度高，骨骼看得清；MRI软组织分辨率高，但背景复杂。直接硬拼，就像把油和水混在一起，效果很差。第二，医学图像对细节和边缘的保真度要求极高，一个模糊的边界可能就对应着关键的病灶区域，融合过程绝不能“和稀泥”。第三，融合算法得高效、稳定，毕竟临床环境可没时间让你慢慢算。

所以，我们得找两把“好刷子”：一把负责把图像拆解得明明白白（多尺度几何分析工具），另一把负责把拆解后的精华部分，按照最合理的方式“搅拌”在一起（融合规则）。今天要深入聊的“NSST+改进PCNN”组合，就是经过我们多年实践，觉得特别趁手的一对“黄金搭档”。NSST这把“解剖刀”足够锋利，能把图像的细节和方向特征分离得清清楚楚；而改进后的PCNN这个“智能搅拌器”，则能模仿人脑视觉神经的机制，自动找出最重要的信息进行融合。接下来，我就带大家一步步拆解这个组合是怎么工作的，并且手把手教你怎么用Matlab把它实现出来。

2. 核心武器一：NSST，为什么说它是更锋利的“解剖刀”？

要融合图像，首先得理解图像。一幅医学图像里，信息是分层次的：有大范围的、平滑变化的背景信息（低频子带），也有刻画器官边缘、组织纹理的细节信息（高频子带）。传统的融合方法，比如直接用加权平均，相当于把所有信息不分青红皂白混在一起，结果就是细节丢失，图像变模糊。

所以，我们得用多尺度变换工具，先把图像像剥洋葱一样，一层层分解开。早期大家用小波变换（DWT），但它有个硬伤：方向选择性差，只能捕捉水平、垂直和对角线三个方向，对于医学图像中复杂的曲线边缘和纹理，捕捉能力不足。后来有了轮廓波（Contourlet）和剪切波（Shearlet），方向捕捉能力增强了，但它们大多采用下采样操作。什么叫下采样？简单说就是在分解过程中把图像尺寸缩小了。这就像你用低分辨率的筛子去筛分细节，筛完之后，各个成分的位置对不齐了，很容易在重建回完整图像时产生“伪影”，也就是原本没有的虚假纹理或光晕。

这时候，非下采样剪切波变换（NSST）的优势就凸显出来了。它最大的特点就是“非下采样”，在整个分解和重构过程中，每一层、每一个方向子带的尺寸都和原图一模一样。这就保证了信息在变换过程中没有丝毫的位置偏移，从根本上杜绝了伪影的产生。我打个比方，DWT或Contourlet像是用不同网眼的筛子筛沙子，每筛一次都要倒进一个更小的容器里，沙子（像素）的位置关系全乱了。而NSST像是用一套透明的、网眼大小和形状各异的滤网，一层层叠在原图上观察，每一层看到的都是和原图严格对齐的、不同尺度和方向的成分。

在Matlab里实现NSST分解，我们通常会借助一些成熟的工具箱。核心步骤很清晰：首先是多尺度分解，用非下采样金字塔（NSP）把图像分成不同尺度的低频和高频部分；然后是方向局部化，在每个高频尺度上，用剪切滤波器组（SFB）把细节信息按照不同方向（比如8个、16个方向）分离出来。这个过程结束后，你会得到一组系数：一个代表整体轮廓的低频子带，和一系列代表不同尺度、不同方向细节的高频子带。这就为我们后续的精细化融合打下了完美的基础。

% 示例：使用NSST工具箱对一幅图像进行分解
addpath('nsst_toolbox'); % 添加NSST工具箱路径
img = double(imread('medical_image.png'));
% 设置分解参数
shear_parameters.dcomp = [3, 3, 4, 4]; % 各尺度的方向数，例如[3,3,4,4]表示4个尺度，方向数分别为8,8,16,16
shear_parameters.dsize = [8, 8, 16, 16]; % 各尺度对应的剪切滤波器大小
pfilt = 'maxflat'; % 使用的金字塔滤波器名称

% 执行NSST分解
[coeffs, shear_f] = nsst_dec2(img, shear_parameters, pfilt);
% coeffs是一个细胞数组，coeffs{1}是低频子带，coeffs{2}, coeffs{3}...是各尺度的高频方向子带