IAD-GPT: Advancing Visual Knowledge in Multimodal Large Language Model for Industrial Anomaly Det...

文章主要内容与创新点总结

一、主要内容

本文针对工业异常检测（IAD）领域传统方法存在的局限性，提出了一种基于多模态大语言模型（MLLMs）的新型框架IAD-GPT。该框架旨在提升工业场景下异常检测的效率、准确性和可解释性，核心思路是融合丰富的文本语义与图像的图像级、像素级信息，解决传统方法无法提供多轮人机对话、缺乏异常细节描述，以及现有大模型方法未充分激活异常检测能力的问题。

1. 核心模块设计

• 异常提示生成器（APG）：通过多轮问答引导大语言模型（LLM）生成特定物体的详细异常提示（如皮革的裂纹、撕裂等），利用这些富含语义的提示激活预训练视觉语言模型（CLIP）的检测和分割功能。
• 文本引导增强器（TGE）：受混合专家（MoE）架构启发，通过图像特征与正常/异常文本提示的交互动态选择增强路径，提升MLLMs对图像级异常的感知能力。
• 多掩码融合（MMF）：将解码器生成的多尺度掩码作为专家知识，通过卷积模块转换为提示嵌入并融合，增强LLM对像素级异常的定位能力。

2. 训练与数据策略

• 采用三阶段训练策略：先训练TGE以优化图像级异常识别，再训练视觉引导解码器和MMF实现像素级特征对齐，最后联合训练TGE和MMF以融合多尺度信息。
• 数据增强采用NSA方法，结合泊松图像编辑技术生成更真实的合成异常图像，缓解CutPaste方法的视觉不连续