VLM相关论文推荐

原创 已于 2026-08-21 14:50:52 修改 · 585 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
大模型

当前文章被收录于：

大模型
34 篇文章 1 人学习
订阅专栏 查看详情
于 2026-08-21 14:45:00 首次发布

一、视觉编码器基础(2020-2023 经典)

论文年份/出处核心贡献端侧关联
ViT: An Image is Worth 16x16 WordsDosovitskiy et al., ICLR 2021图像切 patch 送 Transformer 的开山作所有 VLM 视觉基座鼻祖
DeiT: Data-efficient Image TransformersTouvron et al., ICML 2021Distillation 训小模型,端侧友好轻量 ViT 训练范式
MAE: Masked Autoencoders Are ScalableHe et al., CVPR 2022自监督重建训 ViT,数据效率极高InternViT 训练基础
DINOv2: Learning Robust Visual FeaturesOquab et al., 20231.42 亿图像自监督训通用视觉特征端侧特征提取备选,22M-1.1B 多尺寸

二、对比学习/语义编码器

论文年份/出处核心贡献端侧关联
CLIP: Learning Transferable Visual ModelsRadford et al., OpenAI 2021图文对比学习开山,zero-shot 能力强早期 VLM 基座,现被 SigLIP 替代
SigLIP: Sigmoid Loss for Language Image Pre-TrainingZhai et al., Google 2023用 sigmoid 替代 softmax,训练更快更准端侧 VLM 主流基座
SigLIP 2: Multilingual Vision-Language Encoders ⭐Tschannen et al., Google 2025.02多语言 + captioning 预训练 + 自监督损失 + 在线数据筛选,支持多分辨率保持宽高比Qwen3-VL 采用 SigLIP-2 作为视觉编码器,ViT-B(86M)/L(303M)/So400m(400M)/g(1B) 四尺寸
OpenCLIP: Reproducible scaling lawsGadre et al., 2023CLIP 开源复现 + 大规模数据配方社区 SigLIP/CLIP 主要来源
EVA-CLIP: Improved Training TechniquesSun et al., 2023MAE 初始化 + 知识蒸馏训 CLIPLLaVA-NeXT 4V 基座选择之一

三、聚合视觉编码器(2025 新方向)

论文年份/出处核心贡献端侧关联
RADIOv2.5: Agglomerative Vision Foundation Models ⭐NVIDIA, 2025融合 DFN_CLIP + DINOv2 + SAM + SigLIP + ToMe,一个 encoder 多任务“One Encoder to Rule Them All”,VLM benchmark 超越 SigLIP
DINOv2 Meets TextCVPR 2025DINOv2 + 文本对齐,统一图像和像素级理解自监督编码器 + 文本对齐新范式

四、多模态连接器架构

论文年份/出处核心贡献端侧关联
Flamingo: A Visual Language ModelAlayrac et al., DeepMind 2022Perceiver Resampler + Gated Cross-Attention视觉 token 固定数压缩,内存友好
BLIP-2: Bootstrapping Language-Image Pre-trainingLi et al., Salesforce 2023Q-Former:32 个 learnable query 压缩视觉极致 token 压缩但训练复杂
LLaVA: Large Language and Vision AssistantLiu et al., 2023简单 2-layer MLP 连接 ViT 和 LLM⭐ 端侧 VLM 连接器首选方案
LLaVA-1.5: Improved BaselinesLiu et al., 2023MLP 比 Q-Former 好,数据配方更重要训练范式参考
InstructBLIPDai et al., 2023指令感知的视觉特征提取多任务场景借鉴

五、视觉 token 压缩 / 高分辨率(端侧核心)

论文年份/出处核心贡献端侧关联
NaViT: Patch n’ PackDehghani et al., Google 2023任意分辨率/比例直接输入 ViTQwen2-VL 核心,端侧动态分辨率方案
LLaVA-UHD / AnyResLi et al., 2024切图成网格 + 全局压缩视图高分辨率理解,patch 数可控
MiniCPM-V 2.6: C-AbstractorYao et al., 2024网格化压缩 576 → 64 token⭐ 端侧 KV cache 节省关键技术
Cambrian-1: Vision-Centric LLMTong et al., MIT 2024系统对比多个视觉编码器 + Spatial Vision Aggregator⭐ 视觉编码器选型必读
Vision Token Reduction via Attention-Driven Self-Compression2026注意力驱动的自压缩视觉 token最新 token 压缩方法
Prune Redundancy, Preserve Essence: Vision Token CompressionICLR 2026重要性-多样性协同压缩2026 年 token 压缩新方向

六、综合 VLM 大模型

论文年份/出处核心贡献端侧关联
Qwen-VLBai et al., 2023中文 VLM + 多模态对话 + groundingQwen 系列 VLM 开山
Qwen2-VLWang et al., 2024NaViT 动态分辨率 + M-RoPE 位置编码Qwen3.5 的视觉基座来源
Qwen3-VL Technical Report ⭐Qwen Team, 2025.11三模块架构(vision encoder + MLP-based merger + LLM),采用 SigLIP-2,支持 256K tokens 上下文,增强 interleaved-MRoPE多模态,端侧版值得关注
InternVLChen et al., 2024自研 InternViT-6B + InternLMInternVL3 的基座
InternVL 1.5Chen et al., 2024高分辨率切图 + 数据配方0.5B-26B 全系列端侧可选
InternVL 2.5Chen et al., 2024RL 训练 + 长上下文最新一代
CogVLMWang et al., 2023视觉专家模块(独立 attention)另一种连接思路
Phi-3-VisionAbdin et al., Microsoft 20243.8B 小 VLM + CLIP ViTMoondream2 的 LLM 底座
MolmoDeitke et al., AI2 2024完全开源(数据+代码+模型)的强 VLM工程复现最佳参考

七、端侧/轻量 VLM⭐ 重点

论文年份/出处核心贡献端侧关联
MobileVLM: A Fast, Strong and Open VLMChu et al., MTK 20231.7B-3B,端侧部署实战手机 NPU 部署参考
MobileVLM v2: Better and FasterChu et al., MTK 2024多阶段训练 + token 压缩端侧 VLM 性能优化
TinyLLaVAZhang et al., 20241B 以下 VLM 训练框架轻量训练参考
PaliGemma 3MSteiner et al., Google 20243B 模型 + SigLIP,端侧友好Google 端侧方案
JanusWu et al., DeepSeek 2024统一理解和生成的自回归 VLM图像生成场景参考
SmolVLM: Redefining Small and Efficient Multimodal Models ⭐HuggingFace, 2025.04重新定义小型高效多模态模型,探索最优容量分配⭐⭐⭐⭐⭐ 端侧 VLM 工程参考首选
NanoVLMs: How Small Can We Go? ⭐HuggingFace, 2025.02探索 VLM 能多小,纯 PyTorch 轻量实现⭐⭐⭐⭐⭐ 极致轻量端侧方案
Small Vision-Language Models: A Survey on Compact Architectures2025.03小型 VLM 综述,Transformer-based / Mamba-based 架构分类端侧 VLM 选型参考
Vision-Language Models for Edge Networks: A Comprehensive Survey2025.02边缘 VLM 综述,模型压缩(剪枝/量化/蒸馏)端侧部署必读综述

八、训练数据与对齐

论文年份/出处核心贡献端侧关联
ShareGPT4VChen et al., 2023GPT-4V 生成的 100K 高质量图文对指令微调核心数据
ALLaVA: Harnessing Diverse Data for VLMsLi et al., 2024700K 多样 caption + VQA 数据提升泛化能力
LLaVA-Instruct-150K/665KLiu et al., 2023经典对话指令数据集SFT 起步数据

九、2025-2026 年关键趋势总结

趋势 1:SigLIP 2 成为新标准

  • Google 2025 年 2 月发布,Qwen3-VL 已采用
  • 多语言支持、多分辨率、保持宽高比
  • 端侧 VLM 视觉基座首选从 SigLIP 升级到 SigLIP 2

趋势 2:聚合视觉编码器兴起

  • RADIOv2.5 融合多个编码器(DFN_CLIP + DINOv2 + SAM + SigLIP)
  • "One Encoder to Rule Them All"理念
  • 端侧场景可能受益于统一特征提取

趋势 3:端侧 VLM 探索更小尺寸

  • NanoVLMs 探索 VLM 能多小
  • SmolVLM 2025 版重新定义小型高效模型
  • 目标:256M-500M 参数的 VLM 在端侧可用

趋势 4:视觉 token 压缩成为研究热点

  • 2026 年 ICLR/NeurIPS 多篇相关论文
  • 注意力驱动自压缩、重要性-多样性协同
  • 端侧 KV cache 节省的关键

趋势 5:从"粘合时代"到"原生多模态"

  • 2023-2024:ViT + Adapter + LLM 粘合
  • 2025-2026:Qwen3-VL / InternVL3.5 原生多模态架构
  • 端侧部署需要关注原生多模态的端侧版本

十、⭐ 强烈推荐精读 Top 8

如果时间有限,这 8 篇优先级最高:

  1. SigLIP 2 (2025.02) —— 最新视觉编码器标准,Qwen3-VL 采用
  2. RADIOv2.5 (2025) —— 聚合视觉编码器新方向
  3. SmolVLM 2025 (2025.04) —— 端侧 VLM 工程参考首选
  4. NanoVLMs (2025.02) —— 极致轻量端侧方案
  5. Cambrian-1 (2024) —— 视觉编码器选型必读
  6. LLaVA-1.5 (2023) —— 最简单有效的 VLM 架构范式
  7. MiniCPM-V 2.6 (2024) —— C-Abstractor token 压缩
  8. Qwen3-VL Technical Report (2025.11) —— 最新多模态架构参考

十一、端侧 VLM 选型建议(2026 年 8 月更新)

视觉基座首选

  • SigLIP 2-SO400M(400M)—— 端侧主力,Qwen3-VL 验证
  • SigLIP 2-B(86M)—— 极致轻量场景
  • RADIOv2.5 —— 如果需要多任务统一特征(但端侧部署复杂度更高)

语言基座首选

  • Qwen3-1.7B / 0.6B —— 中文端侧首选,支持 thinking
  • Qwen2.5-1.5B / 0.5B —— 稳定可靠,社区支持好
  • SmolLM2-1.7B —— HuggingFace 生态

连接器

  • 2-layer MLP —— 简单有效,端侧部署友好
  • C-Abstractor —— 需要 token 压缩时(MiniCPM-V 方案)

部署框架

  • MLC LLM —— 端侧效果最好
  • llama.cpp —— 跨平台,GGUF 量化
  • ExecuTorch —— PyTorch 原生,Android/iOS
标签
#VLM #大模型 #视觉编码器
每日论文推荐：字节提出视觉定位token来提升VLM模型的定位能力
林夕
04-23 1525
论文提出了一个名为Groma的新型多模态大型语言模型，该模型具备局部化的视觉感知能力，能够更好地处理区域级别的任务，如区域字幕和视觉定位。
基于VLM的视频内容理解系统的设计与实现
专注于机器学习、数据分析、软件开发、毕业设计、深度学习、Kubernetes（K8s）等多个技术领域，致力于分享实用的技术经验、开发技巧和行业最佳实践以及商务合作。
08-10 1346
本文提出了一种基于视频语言模型(VLM)的智能视频内容理解系统。系统采用多模态融合技术，结合视觉特征提取(ViT)、语音识别(Whisper)和语义对齐(CLIP/VideoBERT)，通过讯飞大模型实现视频深度语义理解。研究构建了前后端分离的系统架构：后端使用Django框架处理视频数据，前端采用Vue实现交互可视化。系统可自动分析视频中的人物行为、场景信息和情感语义，在智能安防、视频推荐等领域具有应用价值。实验结果验证了该方案在视频内容理解任务上的有效性，同时指出了计算开销大等局限性。
论文推荐：最新榜单评估VLM的富文本理解
林夕
04-28 1437
1. 📌 元数据概览：2. ✨ 核心观点与亮点：3. 📚 论文的核心内容，模型结构，关键术语/概念：4. 🌟 实验结果：5. 🔄 总结归纳：6.❓引发思考的问题：
多模态Embedding相关论文
qq_34499305的博客
09-23 998
文档通过文本以及图形、页面布局、表格甚至字体来传递信息。由于现代检索系统的性能瓶颈并非是嵌入模型的性能而是前置的数据获取过程。对于一个PDF，需要通过OCR从页面提取单词，然后通过文档布局检测来分割段落、标题、表格等对象，随后通过分块将文本段落分组为语义连贯性的单元，对于图片信息通过image caption来提取描述。ColPali是一个视觉语言模型，经过训练可以从文档页面的图像中生成高质量的多向量嵌入，更加简单、快速且可端到端训练。定义 论文认为目前大多数检索系统可以分解为：并确定一个高效的文档检索系统
每日论文推荐：Prismatic VLMs VLM设计经验总结
林夕
04-22 1818
本文通过一系列实验探索了视觉条件语言模型（VLMs）的设计空间，提出了改进训练的关键见解，并发布了PRISM系列模型，这些模型在多个基准测试中超越了现有的开源VLMs。
视觉语言模型VLM最佳学习资源推荐
lyy2017175913的博客
05-29 969
视觉语言模型学习指南摘要 本文系统介绍了视觉语言模型（VLM）的学习资源与发展方向。内容涵盖：1）多模态模型原理与应用，包括CLIP、Flamingo等模型的跨模态对齐方法；2）实践教程如《轻量级视觉模型课程》和5小时PyTorch实现PaliGemma的编码教学；3）Awesome-VLM仓库提供的视觉任务论文综述；4）多模态检索增强生成（RAG）系统开发全流程，涉及嵌入表示、向量检索等关键技术。资源包含视频课程、开源代码和学术论文，适合从入门到进阶的开发者探索多模态AI领域。
如何用VLM技术提升AI辅助编程效率？
BlackStone33的博客
01-12 605
经过这段时间的尝试，有几点深刻体会：视觉保真度很重要低分辨率或倾斜的代码图片会导致识别错误，建议截图时保持清晰显示模式（如暗色主题+合适字号）结合传统方法更可靠对于特别复杂的代码结构，适当结合正则表达式等传统方法进行后处理，比完全依赖模型更稳定需要人工校验虽然模型能处理大部分情况，但关键业务代码还是建议人工复核，特别是涉及安全相关的逻辑这种VLM+编程的结合方式正在改变我的开发习惯。现在阅读技术文章时，遇到有价值的代码示例第一反应不是复制粘贴，而是截图让AI助手处理，效率提升非常明显。
学习端到端大模型，还不太明白VLM和VLA的区别。。。
CV_Autobot的博客
06-19 2846
2、VLA更侧重Action的能力，最终目的是为了做动作，在自动驾驶中可以理解为自车轨迹预测的能力，通时预测的轨迹又要尽可能的符合人类的理解，这又进一步依赖vision和language的基本能力，比如我要解释这个行为，可以使用思维链的形式一步步推理分析，这里面依赖自动驾驶基础的感知（行人在哪里，2D坐标，3D位置等等）VLM接扩散模型就可以预测轨迹，也就是Action，这块就涉及到多模轨迹的好处了，面对不确定的环境，单模的能力有限，多模的上限是更高的。业内最全的全栈学习路线图，独家业内招聘信息分享~
启程篇：推开VLM世界的大门
jiaquan3011的博客
09-06 1135
本文是“CSwiftVLM”系列教程的开篇。我们将探讨视觉语言模型（VLM）的技术价值，梳理其发展脉络，并介绍构建我们自己的轻量级模型“CSwiftVLM”所依赖的两大基石——Qwen3语言模型与SmolVLM2的视觉模块。最后，本文将提供一个清晰、可行的技术蓝图，展示如何将二者有机融合。本教程旨在为初学者提供一条从零到一的VLM实践路径，无论你的背景如何，都能在这里找到清晰的指引。
怎么搞一个间隔1分钟循环的vlm带记忆的agent
brepnet uvnet
01-31 564
"""分析图像内容的自定义工具"""# 这里集成你的VLM模型# 例如调用OpenAI GPT-4V、Google Gemini Vision等return "图像分析结果"# 注册到工具包。
#今日论文推荐# ICML 2022 | 字节跳动 AI Lab 提出多模态模型：X-VLM，学习视觉和语言的多粒度对齐
w1hsxn的博客
06-17 571
仅216M参数量的X-VLM就能在广泛的多模态任务
RexUniNLU学术应用：论文自动分类与推荐
weixin_34725745的博客
02-06 375
本文介绍了如何在星图GPU平台上自动化部署中文 NLP 综合分析系统 (RexUniNLU零样本通用自然语言理解)镜像，高效实现学术论文的自动分类与精准推荐。用户上传论文摘要后，系统可秒级完成领域识别、核心贡献提炼及跨维度相关文献推荐，显著提升科研文献管理与开题调研效率。
VLM2Vec：统一多模态嵌入任务的强大模型
gitblog_01167的博客
12-28 603
VLM2Vec 是一项用于大规模多模态嵌入任务的开源项目。该项目旨在构建一个统一的多模态嵌入模型，适用于任何任务。通过将现有的训练有素的视觉语言模型（VLM）转化为嵌入模型，VLM2Vec 实现了在多种模态组合、任务和指令上的通用性和鲁棒性。 ## 项目技术分析 VLM2Vec 的核心在于将现有先进的视觉语言模型转变为一种能够生成统一多模态嵌入的模型。其基本思路是使用序列末尾的最后一个标记作为
VLM技术：多模态（首次更新）
2401_84495872的博客
03-25 1420
https://zhuanlan.zhihu.com/p/2433292582(一文详解 codebook 技术史（从 VAE 到 VQ/RQ-VAE 到 FSQ）)https://zhuanlan.zhihu.com/p/698502893(重新发现VAE（Variational Autoencoders）)
开源项目推荐：Awesome-LLM-Inference
gitblog_00162的博客
01-08 639
开源项目推荐：Awesome-LLM-Inference 1. 项目基础介绍 Awesome-LLM-Inference 是一个开源项目，旨在整理和分享一系列大型语言模型（LLM）和视觉语言模型（VLM）推理领域的高质量论文及其代码实现。该项目由 DefTruth 等贡献者维护，使用 Python 编程语言编写，旨在为研究者和开发者提供一个学习和参考的平台。 2. 项目核心功能 项目的核心功能包括...
Unsloth图像描述生成：VLM多模态微调部署指南
最新发布
weixin_42300144的博客
03-07 976
本文介绍了如何在星图GPU平台上自动化部署Unsloth镜像，以快速构建和微调视觉语言模型。该平台简化了环境配置，用户可基于Unsloth高效训练定制化的图像描述生成模型，典型应用如为电商产品图片自动生成精准、吸引人的营销文案，显著提升内容创作效率。
NavA3——双VLM架构下的先“推理解析”后“定位导航”：理解任意指令，导航至任意地点，查找任意目标
结构之法 算法之道
08-21 4029
本文提出NavA3分层框架，通过全局和局部策略解决具身导航任务中的高层次指令理解问题。全局策略利用Reasoning-VLM解析指令并推断目标物体及其可能位置；局部策略采用NaviAfford模型在目标区域进行精确物体定位。该系统基于三维场景重建和语义标注，支持复杂空间关系理解，在长时序导航任务中展现出卓越性能。实验表明NavA3能有效处理"我想要一杯咖啡"等自然指令，实现精准导航，具备跨机器人平台的适应能力。
arXiv LLM 论文推荐(2025.3.11-3.17)
m0_72665447的博客
04-30 1254
本文对一周arxiv上新推出的LLM论文做了一些阅读推荐，欢迎大佬们批评指正！
学术论文小助手-SourceMind
m0_46728645的博客
02-25 605
摘要： SourceMind是一款基于LangGraph和Streamlit的智能学术论文分析工具，支持从PDF或Arxiv链接提取信息并生成结构化报告。核心功能包括智能翻译、关键要点提取、实验结果分析、术语解释、相关研究搜索（含GitHub代码搜索），以及创新的圆桌讨论模式（多智能体学术辩论）。系统支持多模型配置（OpenAI/Anthropic等）、视觉解析PDF内容，并集成Langfuse/LangSmith实现全链路追踪。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JoannaJuanCV

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值