​BEV和OCC学习-3:mmdet3d 坐标系

在无人驾驶中存在多种传感器，例如相机camera，激光雷达lidar，毫米波雷达radar等。在每个传感器中都有自己的坐标系，所以在无人驾驶中存在诸多的坐标系转换问题。本文将会基于nusenes数据集介绍一下世界坐标系，自车坐标系，相机坐标系，像素坐标系，激光雷达坐标系，毫米波雷达坐标系，IMU坐标系，以及最近在无人驾驶领域最流行的bev检测方案中的bev坐标系和bev像素坐标系，之后会说明一下nusenes数据集与argoverse数据集的区别，最后会介绍相机内外参和不同坐标系之间的转换。

GitNet 论文阅读笔记

引入了三篇文章链接，是对自驾中各种坐标系的理解，以及bev中体素坐标系的理解。

自动驾驶中经常涉及到不同坐标系之间的坐标转换，在BEV方案中用的比较多的是自车坐标到图像坐标的转换，系统整理了一下坐标转换过程流程。

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【占用网络】技术交流群问题1一个关于说从入门到精通的入门的点。就occupancy的数据格式而言，PPT讲了它是基于体素。但是如果我想修改occupancy到其他设备要改这个范围跟格子大小的时候，应该怎么改呢？这个xyz具体是怎么组织的，位置索引里是中心点还是端点？这些都没有提过。修改范围和格子...

想要快速上手FB-BEV这个强大的视觉中心自动驾驶感知模型？数据集处理是关键第一步！本文将为你详细介绍如何在FB-BEV中适配三大主流自动驾驶数据集：KITTI、NuScenes和Waymo，让你轻松完成数据预处理，开启3D目标检测之旅。 ## 为什么FB-BEV数据集处理如此重要？ FB-BEV（Forward-Backward View Transformation）是一个基于前向-后向视

由于图像坐标系和像素坐标系处于同一平面，故两者之间的差异在于坐标原点的位置和单位。像素坐标系的原点在图像坐标系的左上角，同时像素坐标系的单位为像素。一根柱子从BEV平面升起，柱子内的一个三维点被投影到相机视图上。投影过程涉及到世界World、相机Camera、图像Image和像素Pixel坐标系之间的转换。从世界坐标到相机坐标的转换是一种刚性变换，只需要平移和旋转（更详细的可以看上面的博客）。给定P的世界坐标和相机的内在参数和外在参数，可以得到。分别对应于柱上的三维点和摄像机视图上投影的2D点。

本文介绍了如何在星图GPU平台上自动化部署训练PETRV2-BEV模型的镜像，实现自动驾驶领域的BEV感知环境搭建。通过该平台，用户可以快速配置并训练模型，应用于车辆和行人的精准3D目标检测与定位，提升自动驾驶系统的环境感知能力。

BEV（鸟瞰图）感知算法是自动驾驶的核心技术，通过将多传感器（摄像头、激光雷达、毫米波雷达）数据统一转换到俯视图坐标系，实现环境感知。其核心流程包括传感器数据预处理、视图转换（2D/3D数据投影到BEV平面）、多模态与时序融合，最终输出目标检测、语义分割等结果。相比传统视角，BEV提供更直观的空间认知，消除透视畸变，并直接适配决策规划需求。关键技术涵盖传感器标定、深度估计、多模态融合及实时性优化。该技术显著提升了自动驾驶系统对周围环境的理解能力。

在阅读了许多多传感器工作后，这里作者对多传感器融合的方法做出总结。本文将从单传感器讲起，并一步步去向多传感器方向总结。之前的《》博客从算法层面介绍了多传感器的分类以及数据传输的能力，而《》博客则是从标定层面向读者介绍了如何对多传感器进行先一步的标定处理。而这篇文章将从方法层面总括多传感器的分类以及作者对多传感器的理解与思考。.........

我的cuda版本是11.7，选择安装mmdet3d 版本是v1.2.0，按照官方教程安装mmcv相关版本会报错，按照以下安装步骤正常。

BEV多模态感知正成为自动驾驶的标配，从数学原理到工业级实现需关注传感器标定、实时性和泛化性。开发者可从PyTorch原型入手，逐步优化到量产级C++部署，结合开源社区资源加速研发。

智能驾驶领域的坐标变换，本质是「将分散的传感器数据，通过标准化的几何规则，统一到同一空间框架」的过程 —— 无论是全景拼接的 2D-2D 变换，还是 BEV 感知的 2D-3D-2D 变换，核心都是为了让智能驾驶系统 “看懂” 周围环境的空间关系。对驾驶员：全景拼接提供直观的 360° 上帝视角，解决泊车 / 低速行驶的视野盲区；对算法：BEV 感知提供统一的 3D 空间栅格图，为路径规划、障碍物避让提供精准的空间决策依据。

作者|石桥 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/597554089?点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【BEV感知】技术交流群自动驾驶：BEV感知背景介绍早期的自动驾驶感知通常是在图像空间进行，但是随着摄像头的增多，多相机融合和下游规控的应用需求，使得基于BEV空间的感知算法日趋流行。BEV...

在3D目标检测领域，坐标系系统的理解和转换是基础中的基础。不同的传感器（如激光雷达、深度相机）和不同的数据集都使用各自的坐标系系统，这给算法开发和模型训练带来了不小的挑战。本文将深入剖析MMDetection3D框架中采用的三种主要坐标系系统，帮助开发者更好地理解和使用这一强大的3D目标检测框架。 ## 三种核心坐标系系统 MMDetection3D定义了三种主要的坐标系系统，以适应不同传感器...

在自动驾驶领域中，Bird’s Eye View (BEV) 算法是一种将来自不同传感器（如摄像头、激光雷达、毫米波雷达等）的数据转换为车辆正上方俯瞰视角下的统一表示的方法。这种转换使得车辆能够获得一个直观且具有空间一致性的环境感知视图，便于进行3D目标检测、追踪、地图构建和路径规划等任务。实现原理：常用的算法：代码示例：以下是一个简化的示例，说明如何在PyTorch中定义一个简单的BEV映射函数（假设已经获得了深度图）： BEVFormer算法 BEVFormer（Bird’s Eye View Tran

BEVFormer中TSA采用了继承式的时域信息融合方式：利用attention机制在t时刻融合了t-1时刻的BEV features信息，由于t-1时刻的BEV features 也融合了更早时刻(t-2)的信息，因此t时刻BEV features间接地融合了比t-1时刻更早的信息。每一时刻生成的 BEV 特征Bt都从上一时刻的 BEV 特征Bt-1获取所需的时序信息，这样能保证动态地获取所需的时序特征，而非像堆叠不同时刻 BEV 特征那样只能获取定长的时序信息。而这个位置编码根据博客。

本篇主要记录对`AVOD`代码的学习与理解，主要是`KITTI`数据集中`3D Object Detection`任务中的点云数据和`BEV`图的处理，为方面理解其中的操作，博主在这里加入了可视化的操作。

作者丨黄浴@知乎来源丨https://zhuanlan.zhihu.com/p/422992592编辑丨3D视觉工坊ICCV‘21论文 “FIERY: Future Instance Pr...