【论文翻译-3】Attention U-Net: Learning Where to Look for the Pancreas

Attention U-Net: Learning Where to Look for the Pancreas

• 阅读日期：2020年11月25日

Abstract

• 我们提出新型注意力门控（attention gate, AG）模型用于医学成像，它可以自动学习并关注不同形状和大小的目标结构。使用AGs训练的模型能隐式学习抑制输入图像中不相关的区域，同时强调对特定任务有用的显著特征。这使得我们无需使用级联级联卷积神经网络来定位外部组织/器官。AGs能容易集成到标准CNN架构，例如U-Net，并且计算开销小，同时提高了模型的灵敏度和预测精度。在两个大型腹部CT数据集中用多类图像分割任务评估Attention U-Net。实验结果表明AGs在保持计算效率的同时，在不同数据集和训练规模的情况下均提高了U-Net的性能。代码开源：https://github.com/ozan-oktay/Attention-Gated-Networks

1 Introduction

• 由于对大量医学图像进行手工密集标注是一项繁琐且容易出错的任务，自动医学图像分割在图像分析领域得到了广泛的研究。精确可靠的解决方案是希望提高临床工作流程效率和通过快速和自动提取定量测量方法来支持决策。

• 随着卷积神经网络的出现，自动化医学图像分析任务（包括心脏MR分割、癌性肺节点检测）的性能可以达到接近放射科医师的水平。表达能力高，快速推理和滤波器共享特征使得CNNs成为图像分割的标准。全卷积网络FCNs和U-Net是两种常用的架构。尽管它们的表示能力很高，但是当患者之间目标器官的形状和大小差异较大时，这些架构依赖于多级级联CNNs。级联框架提取感兴趣区域（ROI），并对特定的ROI进行密集预测。应用领域包括心脏MRI[14]、心脏CT[23]、腹部CT[26,27]分段、肺CT结节[17]的检测。但是，这种方法会导致计算资源和模型参数的过度和冗余使用；例如，类似的低级特征会被级联中的所有模型重复提取。为了解决这一普遍问题，我们提出了一个简单而有效的解决方案，即“注意力门”(AGs)。带有AGs的CNN模型可以像训练FCN模型一样以标准的方式从头开始训练，并且AGs可以自动学习集中在目标结构上而不需要额外的监督。在测试时，这些门会产生动态的软区域建议，并突出对特定任务有用的显著特征。此外，它们不会引入显著的计算开销，也不需要像多模型框架那样需要大量的模型参数。反过来，所提出的AGs通过抑制不相关区域的特征激活，提高了稠密标签预测模型的敏感性和准确性。这样，在保持较高预测精度的同时，消除了使用外部器官定位模型的必要性。类似的注意机制也被用于自然图像分类和视频字幕，自适应特征池化，其中模型在选定图像区域的一个子集进行。在本文中，我们概括了这种设计，并提出了基于图像网格的门控，使注意系数能够特定于局部区域。此外，我们的方法可以用于基于注意力的密集预测。

• 我们在标准U-Net架构(Attention U-Net)中演示了AG的实现，并将其应用于医学图像。我们选择具有挑战性的CT胰腺分割问题来作为评估。该问题困难之处在于组织对比度低，器官形状和大小的变异性大。我们通过两个常用的基准来评估我们的执行情况：TCIA Pancreas CT-82和multi-class abdominal CT-150。结果表明，在不需要多个CNN模型的情况下，AGs一致性地提高了不同数据集和训练规模的预测精度。

1.1 Related Work

• CT Pancreas Segmentation：早期对腹部CT中胰腺分割的研究使用了统计形状模型或多图谱技术，特别是，atlas方法受益于人工注释传播控制的隐式形状约束。然而，在公共基准测试中，比如TCIA数据集，基于atla的框架的骰子相似系数(DSC)在69.6%到73.9%之间。在[39]中，提出了一种基于分类的图像配准框架来消除图像集对配准的依赖。最近，人们提出了级联多阶段CNN模型[26,27,38]来解决这个问题。这里，使用一个初始的粗糙模型(例如U-Net或回归森林)来获得一个ROI，然后使用一个被裁剪的ROI经过第二个模型分割细化。类似地，**在【4】中使用2D-FCN和递归神经网络(RNN)模型的组合来利用相邻轴向切片之间的依赖关系。这些方法在TCIA基准(81.2% - 82.4% DSC)中实现了最先进的性能。如果不使用级联框架，性能会下降2.0%到4.4%。【37】最近的工作提出了一个迭代的两阶段模型，递归地更新局部和全局的预测，两个模型都是端到端训练的。**除了标准FCNs外，在CT胰腺分割问题中还应用了稠密连接和稀疏卷积。密集连接和稀疏核通过减少非零参数的数量来降低计算复杂度

• Attention Gates：AGs通常用于自然图像分析、知识图谱和自然语言处理(NLP)（用于图像字幕、机器翻译和分类任务）。最初的工作是通过解释相对于输入图像的输出类分数的梯度来探索注意力图。另一方面，可训练的注意力是设计出来的，分为硬注意力和软注意力。Hard attention【21】，迭代建议的区域和裁剪，通常是不可微的，需要依靠强化学习来更新参数，这使得模型训练更加困难。[36]中使用递归集中注意力来检测胸部x射线扫描的异常。相反，Soft attention是概率性的，它使用标准的反向传播而不需要蒙特卡罗抽样。例如，加法软注意被用于句子到句子的翻译，最近又被应用于图像分类。在[10]中，channel-wise attention被用来突出重要的特征维度，这是ILSVRC 2017年图像分类挑战中表现最好的。Self-attention技术【11,33】提出用来消除对外部门控信息的依赖。例如，[33]中使用了非局部自我注意来捕获长期依赖关系。在[11,32]中，利用self-attention对特定的类进行池化，提高了图像分类精度和鲁棒性。

1.2 Contributions

• 在本文中，我们提出了一种新的自注意门控模块，可用于基于CNN的标准图像分析模型的密集标签预测。此外，我们探讨了AGs对医学图像分析的好处，特别是在图像分割的背景下。这项工作的贡献可以总结如下:
  • 我们进一步采用了【11】（self-attention）中提出的注意方法，提出了基于网格的门控，使注意系数更聚焦于局部区域。与基于全局特征向量的门控相比，这提高了性能。此外，我们的方法可以用于密集预测，因为我们不执行自适应池。
  • 我们提出的soft-attention技术是第一个用于医学成像任务的前馈CNN模型。提出的注意力门可以替代图像分类[36]和图像分割框架中的外部器官定位模型中使用的hard-attention方法。
  • 提出了一种对标准U-Net模型的扩展，在不需要复杂启发式的情况下提高模型对前景像素的灵敏度。通过实验观察，对比U-Net，在不同的成像数据集中精度都提高了。

2 Methodology

• Fully Convolutional Network（FCN）：在公共基准数据集上，卷积神经网络(CNNs)在医学图像分析方面优于传统方法，同时也比图切和多图谱分割技术快一个数量级。这主要是因为(I)使用随机梯度下降(SGD)优化来学习区域特定的图像特征，(II)学习到的滤波器参数在所有像素之间共享，(III)图像卷积操作很好地利用了医学图像中的结构信息。特别是，全卷积网络(FCN)[18]，如U-Net[24]、DeepMedic[13]和整体嵌套网络[16,35]已被证明在各种任务中，包括心脏MR[3]、脑瘤[12]和腹部CT[26, 27]的图像分割任务中，能够实现稳健和准确的性能。
• 卷积层通过逐层处理局部信息来逐渐提取高维图像表示$（x^l）$。最终，这将根据它们的语义在高维空间中分离像素。通过这个连续的过程，模型的预测是基于从一个大的感受野收集的信息。因此，特征图$(x^l)$的获得方式如下，第$l$层的输出依次使用一个线性变换，后接一个非线性激活函数（通常选择ReLU：${\sigma }_1(x_{i,c}^l)=max(0,x_{i,c}^l)$），其中$i$和$c$分别表示空间和通道维度。特征激活公式为：$x_c^l={\sigma }_1({\sum }_{c^{{}^{\prime }}\in F_l}{x}_{c^{{}^{\prime }}}^{l-1}\ast k_{c^{{}^{\prime }},c})$，其中$\ast$表示卷积操作，这里空间下标$(i)$省略了。函数$f($