【深度学习新浪潮】如何使用多模态大模型进行图片的开放词汇语义分割？

在计算机视觉领域，传统语义分割模型受限于预定义的封闭类别集合，无法应对现实世界中无限扩展的语义概念。开放词汇语义分割（Open-Vocabulary Semantic Segmentation）通过结合文本描述与图像分析，实现了对未见类别的像素级标注，而多模态大模型的发展让这一任务的落地变得更加高效可靠。本文将以工业界常用的Grounding DINO + SAM组合为例，详解开放词汇语义分割的实现原理与代码实践。

一、核心概念与技术选型

1.1 关键概念解析

• 开放词汇语义分割：区别于传统封闭集分割，该任务允许模型根据自然语言描述（如"红色的书包、木质桌子"），对图像中从未训练过的类别进行像素级分割，核心在于建立视觉特征与文本语义的跨模态对齐。
• 多模态大模型角色：视觉-语言基础模型（如CLIP）负责构建跨模态特征空间，目标检测模型（如Grounding DINO）实现文本引导的区域定位，分割模型（如SAM）完成像素级掩码生成。

1.2 技术方案选型：Grounding DINO + SAM

经过近年实践验证，“文本引导检测+通用分割”