Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
前言
当前多模态大模型的天花板，Qwen2-VL无论是通用的多模态能力还是多语言、Agent的能力，在开源模型中都是一骑绝尘的，甚至可以和商业模型如GPT-4o掰掰手腕。Qwen2-VL是经过沉淀的工作，它不只是扩数据那么简单，在很多实现细节上都进行了改进，是非常值得学习的工作。| Paper | https://arxiv.org/pdf/2409.12191 |
|---|---|
| Code | https://github.com/QwenLM/Qwen2-VL |
Abstract
Qwen2-VL重新定义了视觉处理中传统的预定分辨率的方法。它提出了新颖的动态分辨率机制，集成了M-RoPE（多模态旋转位置编码），并采用了统一的范式来处理图像和视频，增强模型的视觉感知能力。Qwen2-VL取得了具有竞争力的效果，甚至与GPT-4o相当。
Motivation
当前主流多模态框架是visual encoder->cross-model connector->LLM。其他一些方法，如更大的模型架构，更高分辨率图像，MoE架构，模型集成，视觉文本更复杂的连接，也为提升LVLM处理复杂能力方面发挥了关键作用。
但是当前的LVLMs通常是固定输入的图像大小。虽然这增强了输入的一致性，但是也限制了模型捕获不同尺寸信息的能力，尤其导致高分辨率图像信息丢失。此外，大部分LVLMs依赖静态冻结的CLIP-style
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
