用BEVformer来卷自动驾驶-2

BEV与Transformer结合的开山之作，自动驾驶感知入门必学!

BEVFormer是一种基于鸟瞰图（BEV）视角的Transformer架构，用于解决自动驾驶感知任务的挑战。它通过多传感器编码器处理摄像头和激光雷达数据，利用BEV查询向量作为桥梁，结合时空交叉注意力机制实现多视角特征融合。该模型包含ResNet骨干网络、核心的时空注意力模块以及多种任务头（如目标检测、占用网格预测等），能够有效处理遮挡问题并提供全局场景理解。尽管效果显著，BEVFormer仍面临计算复杂度高、数据依赖性强等挑战。该模型为自动驾驶的感知、预测和规划任务提供了创新的解决方案框架。

这是一篇BEVFormer的论文阅读笔记。3D视觉感知任务对于自动驾驶系统至关重要，为此作者提出了BEVFormer。BEVFormer使用时空学习统一的BEV表示以支持多个自主驾驶感知任务。BEVFormer通过预定义的网格形状的BEV queries与空间和时间进行交互，从而利用空间和时间信息。为聚合空间信息，作者设计了一个空间交叉注意力，即每个BEV从摄相机视图中的感兴趣区域中提取空间特征。由于该模型结合了时序信息，所以对于速度估计和被遮挡物体的识别问题都有很大改善，性能远超其他基于相机的模型。

如果强解释，我个人认为，和数据采样有关，因为你的BEV高维空间上的点（向量），在计算attetion的时候，实际上跟你有关的可能就那么几个点，如果你把所有的点都引入，也许带来了不必要的噪音，使结果反而没有就几个点的计算方式好。心细的读者已经有想法了，这是啥啊？最后一个需要注意的，论文里提出来需要考虑的一个特征"高度"，因为在现实社会里，我们实际上的物体是有高矮的区分，所以如上图所示，其实并不是一个向量，比如图里画了4个向量，就是不同高度的向量分别去和跟它们相关的摄像头去计算。

BEVformer是自动驾驶算法中的重要部分之一，由南京大学、香港大学、上海人工智能实验室与2022年提出，也是3D->2D变换的开创工作，和我们上次讲的LSS（2D->3D）方案截然不同。其出发点主要在于解决自驾方案中2D信息难以精确推断3D位置的问题，开创性的提出使用多相机输入来生成鸟瞰图特征的方案，在nuscene数据集上的NDS达到了56.9%，比之前最好的高出了9个点，与基于雷达的baseline性能相当。同时，BEVFormer显著提高了低可见度情况下的速度估计精度和物体召回率。图 1。

作者 | 李志琦单位 | 南京大学/上海人工智能实验室研究方向 | 基于注意力机制的视觉感知BEVFormer 很荣幸参与到最近这波 BEV 感知的研究浪潮中，我们从开源社区中受益良多，也希望尽我们所能为社区做出我们自己的贡献，希望未来与社区一道共同构建更加安全可靠的自动驾驶感知系统。引言TL; DR：本文提出了一套基于 Transformer 和时序模型在鸟瞰图视角下优...

作者提出了一种具有视角监督的新型鸟瞰（BEV）检测器，该检测器收敛速度更快，更适合现代图像主干。现有的最先进的BEV检测器通常与VoVNet等深度预训练的主干相关联，阻碍了蓬勃发展的图像主干与BEV检测器之间的协同作用。为了解决这一限制，我们优先考虑通过引入透视视图监督来简化BEV检测器的优化。为此，我们提出了一种两阶段的BEV探测器，其中来自视角头部的建议被馈送到鸟瞰头部以进行最终预测。为了评估我们的模型的有效性，我们进行了广泛的消融研究，重点是监督的形式和提议的检测器的一般性。

1.相当于我们在上帝视角下重构了一个特征空间，空间的大小我们自己定义 2.特征空间相当于一个网格，网格的间隔也可以自己定义，对应精度也会有差异 3.在特征空间中，我们可以以全局的视角来进行预测，特征都给你了，咋用你来定 4.难点：既想做的细致，还想节约计算成本，怎么办？BevFormer它来了

BEVFormer 是一个纯视觉方案，通过空间和时间Deformable Attention，基本上奠定了当前自动驾驶纯视觉感知基本框架。

本文深入解析了自动驾驶BEV感知技术从BEVFormer到BEVFormerv2的演进历程。BEV技术通过Transformer架构实现多摄像头数据的统一俯视视角转换，显著提升环境感知能力。BEVFormerv2在性能、实时性和部署效率上实现突破，成为自动驾驶领域的关键技术。文章详细对比了技术方案，并探讨了行业应用与未来挑战。

BEVFormer是一种纯视觉的自动驾驶感知算法，通过融合环视相机图像的空间和时序特征显式的生成具有强表征能力的BEV特征，并应用于下游3D检测、分割等任务，取得了SOTA的结果。

BEVFormer和BEVFormer v2

BEVFormer，利用时间自注意力和空间交叉注意力对BEV query进行处理，输出场景的BEV特征

本文介绍了一种新的框架——BEVFormer，用于学习具有时空Transformer的统一BEV表征，以支持多个自动驾驶感知任务。BEVFormer利用空间和时间信息，通过预定的网格状BEV查询向量与空间和时间域交互。为了聚合空间信息，作者设计了一个空间交叉注意力，每个BEV查询向量从跨相机视图的感兴趣区域提取空间特征。对于时间信息，作者提出了一种时间自注意力来递归融合历史BEV信息。

三维视觉感知任务，包括基于多摄像头图像的三维检测和地图分割，对于自动驾驶系统至关重要。在这项工作中，我们提出了一个名为 BEVFormer 的新框架，它利用时空变换器学习统一的 BEV 表征，以支持多种自动驾驶感知任务。简而言之，BEVFormer 通过预定义的网格状 BEV 查询与空间和时间进行交互，从而利用空间和时间信息。为了聚合空间信息，我们设计了空间交叉关注，使每个 BEV 查询都能从跨摄像头视图的感兴趣区域提取空间特征。对于时间信息，我们提出了时间自关注，以反复融合历史 BEV 信息。

对BEVFormer这个文章的一些个人理解和解读，介绍了文章中的一些关键概念，简单讲解示例代码

BEVFormer模型通过创新性地结合了Transformer的强大能力和BEV视图的空间表示，提供了一种高效且精准的自动驾驶环境感知方法。它在多传感器融合、长时间序列建模和空间上下文建模等方面展现了出色的性能，推动了自动驾驶技术向更加智能化和高效的方向发展。随着技术的不断进步，BEVFormer可能会成为未来自动驾驶和智能交通系统中不可或缺的核心技术之一。

2026年自动驾驶行业全面完成端到端技术架构规模化落地，彻底替代传统模块化分层设计，成为智能驾驶的基础标配技术。但行业普遍陷入技术迭代放缓、用户体验无质变、数据堆量收益递减的发展瓶颈，单纯依靠扩大数据规模、优化基础网络结构的迭代方式已无法突破性能上限。本文从零视角独立拆解端到端自动驾驶下半场核心竞争赛道，深度解析英伟达MOSAIC高效数据筛选、比亚迪HyWorldVLA混合世界模型、Mobileye长尾场景挖掘三大核心技术体系，结合量产落地应用案例，提供完整可部署的全套工程代码。