Hierarchical graph representations in digital pathology

Author: Pushpak Pati

Publication: Medical image analysis

Introduction

组织标本的癌症诊断、预后和治疗反应预测高度依赖表型和构成组织实体的拓扑分布。因此，适当的组织代表编码组织实体是计算机辅助癌症患者护理的当务之急。为此，有几种方法利用细胞图，捕捉细胞微环境，以描绘组织。这允许利用图论和机器学习将组织表示映射到组织功能，并量化他们的关系。虽然细胞信息是至关重要的，但它是不完整的综合表征复杂的组织结构。在此，他们将组织作为多种类型的组织实体从细到粗的层次组成，在多个层次上捕获多变量组织信息。他们提出了一种新颖的组织标本多层层次实体图表示方法，以模拟编码组织实体及其内部和实体间层次交互的分层组合。在此基础上，提出了一种分层图神经网络，将组织结构映射到组织功能。具体来说，对于输入的组织图像，他们利用定义明确的细胞和组织区域来建立分层细胞到组织图表示，并设计一个信息传递图神经网络HACT-net来对HACT进行分类。作为这项工作的一部分，他们引入了乳腺癌(BRACS)数据集，（HE染色）。

Related work

CNN的局限：

在固定大小的输入patch上运行的CNN，被限制在一个固定的视场，并被限制吸收来自不同空间距离的信息。此外，CNN基于像素的处理忽略了组织学意义实体的概念，如细胞、腺体和组织类型。对组织学实体的忽视严重限制了病理学家对CNN的可解释性，在基于CNN的诊断框架中，任何已经建立的实体层面的先验病理知识的利用。此外，CNN忽略了组织的结构组成，细小的实体层次地构成粗的实体，如上皮细胞组织形成上皮细胞。上皮细胞再形成腺体。这种层次结构对诊断和解释都是有意义的。

为了解决这个问题，本文提出了一种多级实体图表示方法，即细胞-组织层次图，该方法由多种类型的实体集（即细胞-组织层次图）组成，对细胞和组织微环境进行编码。实体的多集本质上是耦合的，在多个尺度上描述组织组成。HACT图形编码个体的属性和实体内部和实体间的关系，以层次地描述一个组织图像。在图构造的基础上，一种基于图结构数据的深度学习技术---图神经网络（GNN）对实体图进行处理，以进行图像分析。具体来说，他们引入了一个分级的GNN，分层细胞到组织网络，对HACT图进行从细到粗的顺序操作，为图像提供一个固定的维度嵌入。该方法编码了多组实体在组织中的形态和拓扑分布。有趣的是，他们提出的方法类似于临床实践中的组织诊断程序，病理学家对组织进行分级分析。

他们提出了一种由HACT图构造和基于HACT - net的组织学图像分析组成的方法。我们描述乳腺肿瘤感兴趣区域(TRoI)来评估我们的方法。Pati等人(2020)提出了这项工作的初步版本。我们在这里的主要扩展包括:1)改进的HACT表示和HACT -Net架构，2)更大的评估数据集(是早期规模的两倍)，3)详细的消融研究和公共数据评估，以及4)与独立病理学家的基准比较。

•提出了一种新的层次实体图表示(HACT)和层次学习(HACT - net)方法来分析他的本体图;

•引入一个公共数据集，乳腺癌亚型(BRACS 1)，一个大队列的乳腺TRoI注释了7个乳腺癌亚型。BRACS包括具有挑战性的非典型病例和代表现实乳腺癌分析的各种TRoI;

•通过与三位独立的病理学家进行比较，对我们在BRACS数据集上提出的方法进行评估，其中广泛的评估表明，我们在癌症分型方面的分类性能优于几种最近的CNN和GNN方法。而在每类和聚合分类任务上可与病理学家相媲美。

Notion:

1.概念：