BEV感知技术全景解析：从纯视觉到多传感器融合的实战指南

最新推荐文章于 2026-02-20 03:50:56 发布

原创

最新推荐文章于 2026-02-20 03:50:56 发布 · 1.1k 阅读

1. 什么是BEV感知？为什么说它是自动驾驶的“上帝视角”？

大家好，我是柒柒，一个在自动驾驶算法领域摸爬滚打了快十年的工程师。今天想和大家聊聊BEV感知，这个在自动驾驶圈子里火得不行，但很多刚入门的朋友又觉得有点“玄乎”的技术。咱们不扯那些高大上的术语，就用大白话把它讲明白。

BEV，全称是Bird‘s-Eye View，翻译过来就是“鸟瞰视角”。你可以想象一下，你玩《侠盗猎车手》或者《极品飞车》这类游戏时，是不是经常切换到一个从天空往下看的视角？在这个视角下，你能一眼看清整条马路、周围所有的车、行人、障碍物，以及它们之间的位置关系。BEV感知要做的，就是给自动驾驶汽车装上这样一个“上帝视角”。

那为什么非得是“鸟瞰视角”呢？这得从传统自动驾驶感知的痛点说起。在BEV流行之前，主流的感知方案是“多视角感知+后融合”。简单说，就是车身上的每个摄像头（比如前视、左视、右视、后视）各自为战，先在自己的2D图像里识别出物体（比如一个行人），然后算法再根据摄像头的安装位置、角度，结合一些几何假设（比如这个行人站在地面上），把这个2D框“猜”成一个3D框，最后把所有摄像头“猜”出来的结果拼到一起。这个过程就像你蒙着眼睛，靠几个站在不同位置的朋友给你口头描述周围环境，你再在脑子里拼出一张地图，不仅慢，还容易出错，尤其是当物体出现在两个摄像头视野交界处，或者被遮挡的时候。

BEV感知的思路就聪明多了。它说：咱们别在2D图像里打架了，都统一到一个“会议室”（BEV空间）里来开会。这个会议室就是一张以车为中心、铺在地上的俯视网格图。每个摄像头提取的特征，不是直接去猜3D框，而是通过一种叫“视角转换”的技术，直接映射到这张网格图的对应位置上。这样一来，所有信息天生就在同一个坐标系下，谁前谁后、谁左谁右，一目了然。规划和控制模块拿到这张“地图”，做决策就直观多了。

我刚开始接触BEV时，最直观的感受就是调试效率的飙升。以前看多个摄像头的2D检测结果，再在脑子里做空间对齐，非常烧脑。现在直接看一张BEV图，哪里检测漏了，哪里框歪了，一眼就能看出来。这不仅仅是视角的转换，更是整个自动驾驶感知范式的一次升级。

2. 纯视觉BEV：如何让摄像头“脑补”出三维世界？

纯视觉BEV，顾名思义，就是只靠摄像头，不依赖激光雷达（LiDAR）或毫米波雷达，来构建鸟瞰图。这听起来有点像“无中生有”，因为摄像头是2D传感器，它拍到的图片本身没有深度信息。这就好比给你一张照片，让你判断照片里的人和远处的山距离你分别有多远，单看一张照片是很难的。纯视觉BEV的核心挑战和魅力，就在于如何从2D图像中“脑补”出3D信息。

实现这个“脑补”过程，学术界和工业界探索出了几条主要的技术路线，我给大家梳理一下，并说说我实际跑代码时的体会。

2.1 基于几何假设的IPM方法

这是最直观、也是最早的方法，叫做逆透视变换（IPM）。它的核心假设非常简单粗暴：地面是平的。基于这个假设，结合每个摄像头的精确标定参数（内参和外参），就可以建立一个数学公式，把图像上的每一个像素点，反向投影到假设的地平面上，从而生成BEV图。

优点：速度快，计算量小，完全可解释。在高速路这种路面平坦的场景，做车道线检测、可行驶区域分割效果很不错。缺点：“地面是平的”这个假设在现实世界太脆弱了。遇到上下坡、减速带、或者路上停着的车（它们不在地平面上），投影就会严重失真。我早期在一个园区场景测试时，就因为一个小坡，IPM生成的BEV图里，前方的车看起来像是“飘”在空中一样。

所以，IPM更像是一个快速的“初筛”工具，或者作为其他更复杂方法的一个初始化步骤。单纯靠它来做全场景的3D感知，是远远不够的。

2.2 基于深度估计的Lift-Splat-Shoot范式

这是目前纯视觉BEV的绝对主流，可以说现在市面上你能听到的大多数BEV模型，比如BEVDet、BEVDepth，都基于这个范式。它的思想非常巧妙，分三步走：

Lift（提升）：对于图像上的每个像素，不是只给一个特征，而是预测一个深度分布。简单理解，就是算法会猜这个像素点可能对应着距离车1米、5米、10米……等多个不同的深度，并为每个深度分配一个概率。这样，一个2D像素就被“拉”成了一条在3D空间中的射线（视锥）。
Splat（拍平）：把所有摄像头所有像素产生的这些带有深度概率的3D射线，“拍”到预设的BEV网格平面上。距离近、概率高的点，对网格特征的贡献就大。这个过程就像把一团团带有颜色的沙子（特征），从不同角度洒向一张网格布，最终在布上形成一幅图案。
Shoot（规划）：这部分是后续的规划任务，不是所有模型都包含。

我踩过的坑：LSS范式最大的痛点就是显存！因为你要为每个像素预测几十个深度区间，这个计算和存储开销是巨大的。我记得第一次跑早期LSS代码时，一张图就把我12GB的显存给塞满了。后来像M2BEV这类工作做了优化，比如假设深度分布是均匀的，才让显存占用降下来。所以，如果你想复现这类工作，一块大显存的GPU是刚需。