论文小结——影像学和基因组学多模态数据融合在肺癌复发预测中的应用

系列文章目录

基于多模态成像遗传学数据来预测帕金森病相关基因和大脑区域的新型GERNNE方法

基于聚类演化随机森林的阿尔兹海默症的多模态数据分析

前言

这篇博客将记录我在这篇论文中所学到的知识，说实话，这篇论文不是很好的论文，但它确实给我了一些启发和知识。例如cox比例回归模型，以及所提供的代码（虽然代码只给了线性方法的，而且基因数据集没给）在一定程度上给我了一点学习的角度。在这篇博客中，我并未能写出自己所学到的所有知识，因为很多是拓展性知识，例如mircoRNA知识等等，
对于这篇文章我还有很多没理解到位的地方。

一、Introduction

论文题目：
Multimodal fusion of imaging and genomics for lung cancer recurrence prediction
论文地址（点击直达）
IEEE

期刊:
2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI)

作者:
Vaishnavi Subramanian,Minh N. Do, Tanveer Syeda-Mahmood

单位:
Vaishnavi Subramanian 美国伊利诺伊大学香槟分校电子与计算机工程系博士研究生
Minh N. Do 美国伊利诺伊大学香槟分校电子与计算机工程系教授
Tanveer Syeda-Mahmood IBM研究中心，Almaden研究中心，美国圣何塞
这三位作者也是第一次进行基因数据和影像数据多模态数据融合方向。

代码 :
有（代码不全）
代码地址
github

二、背景

1.研究现状

现阶段，传统方法都是分别单独从影像组学和基因组学预测肺癌患者愈者的复发风险。

2.研究目标

融合提取特征进行肺癌复发风险的预测

3.研究挑战

1.如何融合多模态数据
2.怎样预测复发风险

4.创新点

1.线性方法：比例风险(Cox)回归模型
2.非线性方法：多层感知器和VQA技术融合的模块

5.意义

1.病症

非小细胞肺癌是除小细胞肺癌（SCLC）以外的所有肺上皮癌。在进行肺癌切除手术后，每个患者每年肺癌复发的可能性为1%到2%。

2.危害

在美国，肺癌是造成癌症相关死亡的首要原因。肺癌患者在1995到2001年间的5年相对生存率是15.7%

三、方法流程

左边是论文流程图，右边是我的总结概括。

四、数据处理过程

五、线性方法

1.COX比例风险模型

这是我做的关于COX的博客小结

六、非线性方法

1.多层感知器

2.MFH 多模态因子高阶池化

参考文献：
[1]Y. Gao, O. Beijbom, N. Zhang, and T. Darrell, “Compact bilinear pooling,” in Proc. CVPR, 2016.
[2]J.-H. Kim, K.-W. On, W. Lim, J. Kim, J.-W. Ha, and B.-T. Zhang, “Hadamard product for low-rank bilinear pooling,” in Proc. ICLR, 2017.
[3]Z. Yu, J. Yu, J. Fan, and D. Tao, “Multi-modal factorized bilinear pooling with co-attention learning for visual question answering,” in Proc. ICCV, 2017.
[4]Z. Yu, J. Yu, C. Xiang, J. Fan, and D. Tao, “Beyond bilinear: Generalized multimodal factorized high-order pooling for visual question answering,” IEEE Transactions on Neural Networks and Learning Systems, vol. 29, pp. 5947–5959, 2018.

3.BLOCK

参考文献：
[1H. Ben-younes, R. Cadene, N. Thome, and M. Cord, “BLOCK: Bilinear superdiagonal fusion for visual question answering and visual relationship detection,” in Proc. AAAI, 2019.

七、评价指标

八、数据集

九、结果

10.总结与讨论