商汤SenseNova U1：原生统一架构如何终结缝合时代
商汤SenseNova U1：原生统一架构如何终结缝合时代
多模态AI领域长期存在一个顽疾：缝合。
视觉编码器(VE)把图像翻译成token，LLM处理文本，VAE再把token翻译回图像。三个模块接力传话，每道手都丢一点信息，效率天花板永远够不着。
商汤SenseNova U1干了件激进的事：砍掉VE和VAE，用一个大脑原生完成理解和生成。
这不是优化，是范式革命。
一、传统缝合架构的三大痛点
传统多模态模型像一条流水线：
图像 → VE编码 → token → LLM理解 → token → VAE解码 → 图像
每个环节都在"翻译"，而翻译必然有损耗：
| 环节 | 信息损耗 | 原因 |
|---|---|---|
| VE编码 | 10-20% | 图像压缩为离散token |
| LLM处理 | 5-10% | 文本token与视觉token语义鸿沟 |
| VAE解码 | 15-25% | 离散token重建连续像素 |
累积损耗高达30-50%，这就是为什么多模态模型需要堆参数来弥补。
更致命的是效率问题：
| 架构 | 推理延迟 | 原因 |
|---|---|---|
| 缝合式 | 20-25秒 | 三个模块串行执行 |
| 统一式 |
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
