A Sim2Real Deep Learning Approach for theTransformation of Images from Multiple Vehicle-Mounted Cam

原创 已于 2022-08-01 11:48:29 修改 · 854 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#深度学习 #计算机视觉 #人工智能
于 2022-05-09 12:37:39 首次发布
本文探讨了IPM变换在处理3D物体和路面起伏时的局限性，指出其在lanedetection和freespace检测中的适用性。为了解决这一问题，提出了新的BEV图像获取方法，该方法能够减少由于平坦地面假设引起的误差。文章还涉及了处理遮挡问题的策略，并详细介绍了从图像坐标到路面BEV变换的过程。网络结构的设计也被提及，以实现更准确的BEV映射。

IPM变换建立image到BEV平面的映射关系

但是IPM变换的前提假设是世界是一个平坦的平面，但是3D物体是有高度的，或者当路面出现起伏的时候就会违反这一假设，导致出现目标物体的严重形变

所以IPM变换一般只是应用于lane detection或者是free space检测，在这些场景下，地面平整性假设是令人信服的

在本文中，我们提出了一种获取 BEV 图像的方法，该方法不受 IPM 的平坦度假设引入的误差的影响

多个视角图像如果沿着channel维度拼接在一起，那在经过CNN

一.处理遮挡问题

引入额外的一类表示遮挡，在上图里面表示灰色，从车上的几个相机中发出射线，一直到相机视野的边界

  • 一些类别总是会被遮挡，比如building，truc
  • 一些类别从不会被遮挡，比如road
  • cars会被遮挡，除了主车后面更高的trauck和bus
  • 部分被遮挡的objects全部可见
  • objects只有当在所有相机的视野中全都看不到，才会被标记未被遮挡

二.从图像坐标系到路面BEV的变换

矩阵P并不可逆，但是地面平整性假设使得PM整体可逆

三.网络结构

 

 

论文阅读笔记--Transformation of Images from Multiple Vehicle-Mounted Camerasto a Semantically Segmented...
weixin_43704656的博客
01-09 1935
写在前面：一些介绍 monocular cameras单目摄像机：需要对目标进行识别，也就是说在测距前先识别障碍物是车、人还是别的什么。在此基础上再进行测距。缺点：需要大量数据且要不断更新 双目摄像头：则更加像人类的双眼，主要通过两幅图像的视差计算来确定距离。也就是说，双目摄像头不需要知道障碍物是什么，只要通过计算就可以测距。缺点：计算量庞大 reality gap：由于模拟器对于物理环境的建模都是存在误差的，因而在模拟环境中学习到的最优策略往往不能直接在现实环境中应用，我们把这个问题称为 “real
【paper】Cam2BEV论文浅析
是安澜啊
07-30 1995
《A Sim2Real Deep Learning Approach for theTransformation of Images from Multiple Vehicle-Mounted Camerasto a Semantically Segmented Image in Bird’s Eye View》
基于Sim2Real的鸟瞰图语义分割方法
点云PCL
09-08 977
文章： A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented Image in Bird’s Eye View作者： Lennart Reiher1 and Bastian Lampe1 ...
Sim2Real学习总结：A Short Survey
平平无奇小天才的博客
12-06 7485
Sim2Real学习总结：A Short Survey
单眼测试_单眼鸟瞰自动驾驶语义分割
weixin_26731327的博客
10-14 3863
单眼测试Autonomous driving requires an accurate representation of the environment around the ego vehicle. The environment includes static elements such as road layout and lane structures, and also dynamic...
CV Code|计算机视觉开源周报20200502期
我爱计算机视觉
05-16 2320
五月第二周，盘点本周新开源或即将开源的CV代码，涵盖方向广泛，不仅涉及到技术创新，还涉及多种CV应用，希望对大家有帮助。 图像分割[1].A Hand Motion-guided A...
论文阅读：CVPR2016 Paper list
热门推荐
一亩半分地
05-12 8万+
CVPR2016 accepted paper list
BEV（Bird’s-eye-view）三部曲之二：方法详解
mathlxj的博客
11-04 2万+
BEV调研之近期主流论文的核心内容、测速
华人占大半壁江山！CVPR 2021 目标检测论文大盘点（65篇论文）
阿木寺的博客
07-01 3145
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：Amusi | 来源：CVer前言CVer 正式盘点CVPR 2021上各个方向的工作，本篇是热度依然很高的2...
【转载】Sim2Real问题[1]
方小汪的博客
02-18 2730
原文链接 原创 Cong Wang Robot Learning 1月30日 微信公众号：robot_learning123 Sim2Real 问题是比较难的, 也是目前制约learning-based method在机器人上应用的一个重要原因, 近几年机器人领域的顶会都有相关的workshop进行讨论. 仿真环境中的机器人建模, 例如URDF模型, 其动力学模型一般都是3D模型的简化, 肯定...
sim9000a sim_sim2real在机器人操纵中
weixin_26750481的博客
08-27 1189
sim9000a simThis article contains details on sim2real in robotic manipulation for following tasks: 本文包含有关用于以下任务的机器人操纵中sim2real的详细信息： Perception for manipulation (DOPE / SD-MaskRCNN). 操纵感知(DOPE / SD-M...
深度学习周报（6.8~6.14）
m0_57788739的博客
06-14 290
本周主要在上周的基础上对基线模型进行了训练，同时对预处理部分进行了完善。下周努力一把把剩下的主体都搞了，同时对比一下两个模型的效果，同时训练的时候为了固定结果可以加一个随机种子。
吴恩达《深度学习》之看懂Adam 优化算法
m0_74435839的博客
06-15 268
Adam优化算法是深度学习中广泛使用的优化器，它结合了动量梯度下降和RMSprop的优点，通过自适应调整学习率来提高训练效率。文章从物理角度形象解析了Adam的核心机制：动量项（一阶矩）减少参数更新的震荡，而梯度平方项（二阶矩）根据地形陡峭程度自动调节步长（陡峭时减速，平缓时加速）。PyTorch中只需简单调用optim.Adam即可实现这一复杂过程。尽管Adam通用性强，但某些场景（如CV任务）仍可能使用SGD-Momentum以获得更精确的解。全文通过“小球下山”的比喻，生动揭示了数学公式背后的动态调节
Python全栈项目--基于深度学习的自动驾驶模拟系统
exlink2012的专栏
06-17 629
本文介绍了一个基于深度学习的自动驾驶模拟系统全栈项目，包含以下核心内容： 系统架构：采用前后端分离设计，Python+FastAPI处理后端逻辑和深度学习模拟，Vue3构建前端交互界面。 功能模块： 用户认证（JWT+bcrypt加密） 场景配置（道路类型/天气/交通密度） 自动驾驶模拟（车道线识别/障碍物检测/碰撞风险评估） 数据看板展示 技术特点： 轻量级SQLite数据库存储 完整的认证流程实现 可扩展的深度学习模拟框架 响应式前端界面 学习价值：项目提供了完整的开发流程和可运行源码，适合作为深度学习
学习长短期记忆网络lstm
qq_52122048的博客
06-17 337
Ct可能是-2到2之间，所以后面再来一个tanh缩小范围-1到1之间。
LSTM预判+速度门控双保险自愈
2301_77211362的博客
06-21 153
模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。
深度学习稀疏编码与 PCA 的流形解释 —— 线性因子模型收官（八十一）
hello.reader
06-21 88
本文总结了线性因子模型的两个重要主题：稀疏编码和PCA的流形解释。稀疏编码通过L1范数约束实现因子稀疏性，其编码器是非参数的优化过程，虽能获得更优重构但计算效率较低。PCA可视为学习数据所在的低维线性流形（"薄饼"几何），通过保留方差最大的主成分实现降维，并可从线性自编码器角度理解其编码-解码过程。这些线性模型为后续自编码器等深度表示学习模型奠定了基础，同时也揭示了线性方法的局限性，如稀疏编码生成样本质量不佳的问题。文章通过几何动画和对比表格直观展示了关键概念的技术原理与优劣。
深度学习自编码器基础与欠完备自编码器 —— 复制的艺术（八十二）
hello.reader
06-21 166
自编码器不需要标签（用数据自身作监督信号，目标是重构 x），产出有用表示 h，能利用无标注的海量数据。非线性自编码器能找弯曲的流形（曲面），是 PCA 的强大推广，能捕捉更复杂的数据结构。上图展示自编码器的两个组件：编码器 f（x→h）和解码器 g（h→r），目标是 r 近似 x。上图展示欠完备自编码器的沙漏结构：编码维度（瓶颈，如 2 维）小于输入维度（如 8 维）。也有更具生物学意义的**再循环（recirculation）**算法（比较原始输入与重构输入的激活），但很少用于实际。
深度学习自编码器的概率视角与流形学习 —— 编码器即分布（八十四）
最新发布
hello.reader
06-21 30
上图总结自编码器的概率视角三层次：确定函数（h=f(x), r=g(h)，传统自编码器）→ 概率分布（p(h|x), p(x|h)，随机自编码器）→ 生成模型（近似后验+似然+先验，VAE）。上图展示流形的经典例子：把一张 MNIST 图像垂直平移，所有平移版本在 784 维空间中构成一条 1 维流形（弯曲路径），平移量就是沿流形的坐标。把编码器/解码器从函数推广为分布，再加上对隐变量先验的建模和变分下界，就得到了 VAE——一个真正的深度生成模型。前两篇讲了自编码器的结构（82）和正则化（83）。
基于深度学习的目标跟踪综述（A review of object tracking based on deep learningq）
2301_78173237的博客
06-17 328
随着深度学习技术的快速发展，目标跟踪算法的发展也随之兴起。鉴于目标、骨干网络和应用方法的多样性，本研究旨在综合整合现有的目标跟踪方法。我们提出了一种基于应用场景和主要方法的系统分类方案，伴随着对每个类别的透彻分析和简明摘要。这种方法提供了更广泛的跟踪技术覆盖面，便于新手研究人员更快地理解该领域。此外，我们提出了标准化的评估指标和广泛使用的数据集，包括在相同的基准上对选定算法进行跨方法性能比较，以增强读者对上下文的理解。最后，我们对当前的局限性、实用建议和前瞻性观点进行了批判性评估，以指导未来的研究方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值