多模态可解释性（Multimodal Interpretability）是指在多模态系统中，能够以人类可理解的方式解释系统的输出或决策过程。随着多模态大模型（MLLMs）的快速发展，其复杂性和规模带来了可解释性的挑战，但同时也推动了相关研究的进展。
Token 级别：研究视觉词元或视觉文本词元对模型决策的影响。
Embedding 级别：评估多模态嵌入（如视觉嵌入、文本嵌入、跨模态嵌入）如何在模型中融合信息。
神经元和网络层：分析个体神经元、神经元组以及不同网络层在决策中的作用。
小编整理了一些多模态可解释性【论文】合集，以下放出部分，全部论文PDF版皆可领取。
需要的同学扫码添加我
回复“多模态可解释性”即可全部领取
论文精选
论文1：
Explainable Multimodal Emotion Recognition
可解释的多模态情感识别
方法
Zemax API 与 Python 的独立应用程序
Zemax 提供了多个 python 示例代码，位于 Documents\Zemax\ZOS-API Sample Code\Python。使用以下代码，它们保存在 ZOS 文件目录中：/Documents\Zemax\Samples\API\Python。此代码块定位已安装的 OpticStudio 版本，确定根目录，创建命名空间和类，加载局部变量。如果定义的镜头需要一些特殊的编辑，例如反转，一种快速方法是从位于编程选项卡的 ZOS-API 语法帮助中找到相应的命令。重新运行整个代码块，镜头方向会改变。
MAIA：多模态自动化可解释智能体的突破
随着人工智能技术的飞速发展，深度学习模型在图像识别、自然语言处理等领域取得了显著成就。然而，这些模型的“黑箱”特性使得其决策过程难以理解，限制了它们的应用范围和可靠性。为了解决这一问题，研究者们提出了多种模型可解释性方法，旨在提高模型的透明度和可信度。MAIA（Multimodal Automated Interpretability Agent）是一种创新的系统，由一组预训练的神经模型构成，它们协同工作以执行诸如特征解释和故障模式发现等任务。
多模态大模型技术演进及研究框架
多模态表示包含两个或两个以上事物表现形式模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。Transformer颠覆传统模型，但限于单模态领域。
多模态发展系列（8）：多模态模型的可解释性技术（附SHAP值可视化代码）
本期代码在医疗影像场景验证：可解释性使医生信任度从58%提升至89%。下期《多模态发展系列（9）：多模态模型的持续学习技术》将揭秘如何让AI不断学习新模态数据，附ContinualLLM框架代码。运行环境：Python 3.10 + shap 0.41.0 + torch 2.1.1（需A100 GPU）多模态解释器（含Jupyter Notebook教程）
大语言模型(LLMs)和新兴机器学习技术栈
过去，NLP开发人员依赖于文本分类、命名实体识别和命名实体消歧等技术栈来优化NLP任务。然而，随着大语言模型(LLM)的快速发展，新的技术栈开始出现，以支持和加速这些大型语言模型的实现和应用。 让我们一起跟随Langchain的开发者，共同探讨LLM及NLP技术栈正在发生的变化，以及这一系列变化对开发者的意义
强烈推荐！可解释多模态融合顶刊新成果！Nature大子刊已发
近期涌现的一批工作，清晰地展现了可解释多模态融合的研究热点：从单纯追求性能，转向了在保持高性能的同时，让模型的决策过程变得透明、可理解。比如一篇Nat. Commun.文章，通过模仿临床决策路径和量化临床净收益来实现决策透明。又比如中山六院的这篇，通过桥接网络对齐跨模态语义和揭示生物学相关特征来达成机理透明，共同解决了从“模型能用”到“临床敢用”的关键跃迁。本文选取了近期受到瞩目的18篇可解释多模态融合相关代表性工作，这些具有创新性的成果，是快速洞察发展脉络与最新动态的最佳捷径。
2025年，医学图像分割还有的做吗？
论文提出了一种名为U-KAN的新型医学图像分割框架，通过将KAN与经典的U-Net架构相结合，显著提升了分割性能。Self-Prompt-SAM是一个用于医学图像分割的框架，它通过自动生成提示来适应预训练的SAM模型，并通过3D深度融合适配器使其能够处理3D医学图像，从而在多个数据集上实现了优异的分割性能。论文提出了一种多模态医学图像分割方法，通过深度神经网络提取特征并转化为证据理论中的质量函数，再利用上下文折扣和Dempster组合规则对不同模态的证据进行融合，从而提高分割精度并量化不确定性。
顶刊IJCV 2024！北大/哈工大/清华提出：自监督图像重建网络学习方法
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！一、论文信息论文标题：Self-Supervised Scalable Deep Com...
人工智能在病理组学领域的最新研究进展｜顶刊速递·25-03-12
第一篇文章通过整合三个机构的 6172 例激素受体阳性早期乳腺癌病例数据，开发出多模态深度学习工具 Orpheus，能从 H&E 全切片图像推断 Oncotype DX 复发评分，在识别高风险病例和预测远处转移复发风险方面表现优异，为乳腺癌精准治疗决策提供了新依据 。第二篇文章通过对 435 例来自癌症基因组图谱（TCGA）的结肠腺癌全切片图像进行自监督学习，构建 47 个组织形态表型簇（HPCs），在独立临床试验中验证其可重复性和预测能力，揭示其与患者生存、治疗反应、免疫景观及致癌通路的关系，为结肠癌治疗
人工智能在病理切片分割领域的最新研究进展｜顶刊速递·25-01-17
Graph neural networks in histopathology: Emerging trends and future directions》由Siemen Brussee等人撰写，全面综述了图神经网络（GNNs）在组织病理学中的应用，探讨了新兴趋势并展望了未来发展方向。引言研究背景：组织病理学分析对疾病诊断等意义重大，随着全切片图像数字化，其计算分析愈发关键。深度学习兴起后，卷积神经网络（CNNs）广泛应用，但难以捕捉图像中复杂空间依赖关系。
GPT-4V在异常检测上有多少强？华科大等最新测评来了！
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【异常检测和缺陷检测】交流群在CVer微信公众号后台回复：GPT异常检测，可以下载测评报告pdf，快学起来！扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！转载自：机器之心异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检...
大模型最新趋势！LVLM再突破，让诊断可信度暴涨！
最新LVLM研究突破视觉与语义的鸿沟：谷歌GeminiPro-Visual通过动态模态注意力提升图文匹配准确率32%；VL-CausE模型实现医学图文诊断与症状关联解释，可信度提高27%。GLSIM框架创新性结合全局-局部特征检测物体幻觉，AUROC提升12.7%。ECVT架构利用LVLM多粒度语义引导未剪辑视频理解，在ActivityNet和THUMOS14上达到SOTA性能。这些进展显示跨模态因果建模和轻量化视觉编码器将成为关键方向，推动AI实现从图像识别到语义推理的跨越。
Communications in Transportation Research | 一种可解释交通流预测大语言模型
中添加生成解释文本的指令，会导致解释往往与预测结果缺乏一致性，这是由于解释与预测之间的对齐不足造成的。值得注意的是，模型在整个月内的表现持续优于其他模型，体现了其在处理真实交通场景中多样时间动态变化时的优越能力。该框架的预测精度与当前最先进的深度学习模型相比具有竞争力，且无需额外训练，就能在不同交通流预测场景中展现出优异的泛化能力。进行指令微调，在保证预测精度的同时，能生成直观易懂的自然语言解释，清晰阐述预测结果的核心影响因素与推理逻辑。结果以日历热力图的形式展示在下图中，呈现了各模型在整月中的对比性能。
CVPR 2026 | T2I的文化去哪了？揭示多语言文生图模型的文化鸿沟与对齐新方案
实验结果显示，该团队提出的方案表现优异，其中微调版本的CultureVQA准确率达36.63，较基础模型PEA-Diffusion提升14.98，零训练版本的CLIPScore和ImageReward均达到最优，且在用户研究中，文化语义相关性（CSR）得分高达77.6，显著优于所有主流基线模型，定性对比也证明，该方案能在“仅名词”提示下生成符合目标文化的图像，而其他模型多生成文化中性的通用内容；在仅用名词提示时，文生图模型难以生成符合对应文化的内容，而推荐系统和大语言模型能保持跨语言文化一致性。
NPJ Precis Oncol（IF=8）山西医科大学第一医院双卫兵教授等团队：基于多尺度影像组学与深度学习的肾透明细胞癌Ki-67表达预测研究
研究团队基于627例来自多中心回顾性队列的患者数据，首先通过ICC、CCC等方法筛选稳定特征，分别构建了多个单模态模型（如瘤内、瘤周、亚区、DL2D/DL3D及临床模型），并在验证集上比较五种集成学习算法（RF、Ada、XGB、LGBM、EXT）的表现。：并行提取三类特征——放射组学特征（瘤内、栖息地、瘤周1/3/5mm）、深度学习特征（2D/3DResNet50）、临床特征（Table1筛选的独立因子）；研究纳入了627例患者，构建了基于CT影像的瘤内、瘤周（1mm/3mm/5mm）、
NPJ Precis Oncol 广东省人民医院放射科刘再毅团队：基于纵向MRI的深度学习模型预测乳腺癌病理完全缓解
显著优于对比模型：在外部验证中，BSTNet AUC显著高于No-SSL（0.783/0.759）、放射组学模型（0.602/0.710）、临床模型（0.705/0.733）及单扫描模型（0.643/0.613）（P<0.05）。训练+内部验证集：I-SPY2试验（Center 1，2010-2016），按8:2随机分配；对比模型：临床模型（基于多变量逻辑回归）、放射组学模型（预处理与末次影像差异特征）、单扫描深度学习模型（仅用术前或1-4周期影像）、无自监督学习的多时间点模型（No-SSL）。
生物医学基础模型实战指南：从原理到蛋白质功能预测应用
预训练模型和迁移学习是当前人工智能赋能科学发现的核心范式。其原理在于，模型首先在海量无标注数据上进行自监督学习，捕获数据中隐含的通用规律和分布，形成高质量的特征表示。这种范式在计算机视觉和自然语言处理领域已证明其巨大技术价值，能显著降低下游任务对标注数据的依赖，并提升模型的泛化能力。在生物医学这一数据复杂、标注成本极高的领域，该技术范式的应用催生了生物医学基础模型。这类模型专门学习生物实体的通用表征，如蛋白质序列、结构和功能之间的关系。其核心应用场景包括蛋白质功能注释、药物发现和疾病机制解析。本文聚焦于Tr
51c视觉~合集55
要么生成的异常真实性不足、掩码精度低，且难以跨领域复用。试想一下，在工业质检、医疗影像诊断、日常物品瑕疵识别等场景中，无需任何示例缺陷样本，也无需针对特定领域微调模型，就能根据文字或图像提示，自动生成真实且符合语义的异常，还能精准输出缺陷掩码，大幅提升下游异常检测模型的性能。Anomagic引入对比掩码细化策略，通过计算输入正常图像与生成异常图像的像素级差异，结合预训练的MetaUAS模型，自动生成高精度缺陷掩码，实现异常区域与掩码的像素级对齐，大幅提升生成数据的实用性。
R语言使用party包中的ctree函数构建条件推理决策树（Conditional inference trees）、使用plot函数可视化训练好的条件推理决策树、条件推理决策树的叶子节点的阴影区域表
R语言使用party包中的ctree函数构建条件推理决策树（Conditional inference trees）、使用plot函数可视化训练好的条件推理决策树、条件推理决策树的叶子节点的阴影区域表示的是阳性样本的比例
嵌入式八股文面试题库资料知识宝典-凝思科技面试题2.zip
嵌入式八股文面试题库资料知识宝典-凝思科技面试题2.zip
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1925
扫一扫
