原始图像扩展_荧光显微镜图像去卷积和多图融合技术，提升荧光显微镜成像效率数千倍...

原创 mumu 图灵基因 今天

来自专辑 前沿分子生物学技术

撰文：mumu

IF=36.558

推荐度：⭐⭐⭐⭐⭐

亮点：提出荧光显微镜图像去卷积和多视图融合的创新技术，用于提升荧光显微镜图像后处理效率十倍至数千倍。

​

近日，美国国立卫生研究院（NIH）的Hari Shroff博士联合多家研究单位在《Nature Biotechology》上发表了一篇名为“Rapid image deconvolution and multiview fusion foroptical microscopy”的文章。文中介绍了一种用于提高荧光显微镜图片后处理效率的新技术——去卷积和多视图融合。根据文中报道，该技术可将图像处理效率较以前提升十倍至数千倍。首先，反向投影算子相对于经典的理查德森-露西（RLD）算法，将去卷积至少加速了十倍；其次，图像处理单元（GPU）的三维图像配准算法将处理速度较CPU提高了十倍至一百倍；第三，对于具有空间变化的点扩展函数的去卷积，深度学习提供了进一步的加速。这些算法和软件设计的理论和实践进展，可以加速基于图像的生物观察，明显增强了一些新开发的荧光显微镜的空间分辨率性能，为现代新型荧光显微镜的研究提供了更多可能。

迭代去卷积算法是尝试从由光学系统引起的图像模糊和噪声中，估计样本的潜在密度。这种算法的重要组成部分是前向投影算子和反向投影算子。前向投影算子是从目标所需图像到显微镜测量的噪声，模糊图像的映射；而反向投影算子将测量的图像映射回所需的对象图像。在传统的理查德森-露西去卷积（RLD）方法中，一般是为的转置，此时被称为匹配的前向/反向投影算子。但本文的研究团队利用非匹配的反向投影算子可以加速去卷积的迭代过程这一理论，应用到已有的显微镜图像后处理过程中去卷积算法，设计了三种不同的反向投影算子，分别是高斯反向投影算子、巴特沃斯反向投影算子、维纳-巴特沃斯反向投影算子。其中维纳-巴特沃斯反向投影算子在案例中仅通过1次迭代即可恢复对象分辨率限制的大小，而传统的反向投影算子则需要进行15次迭代。而且维纳-巴特沃斯反向投影算子的性能提高不依赖于输入数据中信噪比的提高（图1）。大大减少迭代去卷积中的迭代次数，提升了去卷积速率。

在将单视图去卷积的处理速度提高了十倍以上之后，研究团队继续探索是否可以继续将方法应用于计算量更大的多视图去卷积任务。但在处理双视图和四视图数据集时，研究人员注意到图像配准的时间大大超过了去卷积的时间，通常是75到120倍。目前更快的图像配准的方法是使用来自多个基准点的多个特征点将样品包裹在标记的矩阵中，以在不同视图之间获得配准，相反，文章中选择了侵入性较小的选项。首先，研究人员重新编写了基于CPU的图像配准算法并在CUDA中运行，以便该过程可以完全在他们的GPU上运行。其次，通过合并初始的2D配准和逐渐复杂的3D配准，改进了基础配准算法，实现了并行操作。从而在使用相同的策略的基础上，实现了更快，更稳定的性能（图2）。

由于去卷积和多视图融合的改进，大量的透明组织样本可以使用光片显微镜快速成像。研究人员随即利用双视组织透明光片显微镜（diSPIM），对毫米级样本进行成像（图3）。但发现生成的数据跨越数百个千兆位元到兆位元级，最大约为2 TB。这种大小带来了很大的挑战，因为整个原始视图无法容纳在单个GPU卡的内存中，必须在处理之前进行细分。为了应对这一挑战，研究人员创建了用于TB级数据的处理管道：将原始3D图像裁剪为子块，再对子块进行配准和去卷积，最后将生成的子串进行拼接，形成更高分辨率的大型3D图像。

反射式diSPIM能够收集其他标本视图，增加信息内容并提高时空分辨率。但是，原始的反射数据受到在成像场上变化的大量落射荧光的污染。为了消除落射荧光并融合视图以实现最佳分辨率增强，需要使用空间变化的PSF进行配准和随后的去卷积操作。不幸的是，空间变化的去卷积会带来相当大的计算负担。与之前的情况不同，此时反卷积而非配准成为原始数据后处理的瓶颈。为了解决这一问题，研究人员构建了一个基于3D全卷积的神经网络，称为“ DenseDeconNet”。它基于高效内存的方式将密集的网络块链接在一起（图4）。这些块使用多个密集连接从原始图像堆栈中提取特征，然后学习对图像进行模糊处理。与维纳-巴特沃斯反投影算子针对变化点扩展函数去卷积的任务相比，进一步实现了50倍的加速。

教授介绍

Hari Shroff博士是美国国家生物医学成像与生物工程研究所（NIBIB）高分辨率光学成像实验室的负责人，他和他的员工正在开发用于生物学和临床研究的新成像工具。在其博士后期间，专注于一种光学超分辨率技术，PALM（光活化定位显微镜）显微镜的开发。目前他已经开发了包括diSPIM和即时结构照明显微镜在内的几种显微镜技术。参考文献1. Guo, M., Li, Y., Su, Y. etal. Rapid image deconvolution and multiview fusion for optical microscopy. NatBiotechnol (2020).