RTFNet: 城市场景语义分割的RGB-Thermal融合网络

最新推荐文章于 2026-02-25 00:35:56 发布
原创 最新推荐文章于 2026-02-25 00:35:56 发布 · 1.4k 阅读 · 4
标签
#计算机视觉 #卷积神经网络 #自动驾驶 #多模态数据融合 #RGB-T融合
本文介绍了一种名为RTFNet的深度学习模型，该模型用于城市场景的语义分割。RTFNet结合了RGB和热成像数据，通过非对称的编码器-解码器结构进行特征融合和恢复。模型包含两个大型编码器和一个小型解码器，其中Upception blocks在解码过程中逐步恢复分辨率并减少特征通道。实验部分展示了模型在不同场景下的效果。

目录

一、Title

二、Journal

三、Background

四、Model

五、Experiments

Experiment 1

Experiment 2

Experiment 3

Experiment 4

Experiment 5

论文阅读时间: 2021-4-15 11:22:31

一、Title

        RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes

二、Journal

        IEEE ROBOTICS AND AUTOMATION LETTERS

三、Background

        相比RGB相机，热成像相机的优势。

四、Model

RTFNet是用于城市场景语义分割的深度神经网络模型，RTFNet的总体架构见上图。RTFNet由三个模块组成：RGB编码器和热编码器，分别用于从RGB图像和热图像中提取特征；解码器，用于恢复feature map的分辨率。RTFNet中的解码器模块不是编码器模

最低0.47元/天 解锁文章
RTFNet:RGB热融合网络用于城市场景的语义分割
05-23
RTFNet-火炬 这是RTFNet的官方pytorch实施（IEEE RAL）。 一些代码是从借用的。 请注意，我们评估指标（Acc和IoU）的实现与MFNet中的实现不同。 此外，我们在计算指标时会考虑未标记的类。 当前版本支持Python> = 3.6，CUDA> = 11.1和PyTorch> = 1.7.1，但是它在较低版本的CUDA和PyTorch上应该可以正常工作。 请根据需要修改Dockerfile 。 如果您不使用docker，请手动安装Dockerfile列出的依赖Dockerfile 。 介绍 RTFNet是用于语义分割的数据融合网络。 它由两个编码器和一个解码器组成。 尽管RTFNet是用RGB热数据设计的，但它对RGB-D数据的推广很好。 请看一下。 数据集 原始数据集可以从MFNet项目下载，但建议您从下载经过预处理的数据集。 预先训练的体重 本文中使用的权重
西交软件成熟度宋+考什么.rar
11-09
学习如何进行软件开发，结构化的软件开发技术，CMM也就是软件能力成熟度模型，包括上课讲义、相关书籍。
RTFNet：用于城市场景语义分割的RGB和红外融合网络
Change ZH的博客
03-07 5639
RTFNet：用于城市场景语义分割的RGB和红外融合网络
RTFNet——用于城市场景语义分割的RGB和热红外融合网络
王北先森
09-22 1523
RTFNet
推荐开源项目：RTFNet-pytorch - RGB与热红外融合的语义分割网络
gitblog_00021的博客
06-09 695
推荐开源项目：RTFNet-pytorch - RGB与热红外融合的语义分割网络 项目介绍 RTFNet-pytorch 是一个官方实现的PyTorch版本的RTFNet（ IEEE RA-L 发表），它专为城市场景的语义分割设计，将RGB和热红外图像数据进行有效融合。该网络由两个编码器和一个解码器构成，旨在提升在复杂环境下的物体识别效果。 项目技术分析 RTFNet的核心是一个双模态的数据融合网...
2019 RAL之RGBT语义分割：RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes
makabaka的博客
10-22 1211
RTFNet: RGB-Thermal Fusion Network for Semantic Segm 简述： 本文针对RGB-T语义分割任务，利用热图像的优势，并融合RGB和热信息在一个新的深度神经网络。 模型： 本文只有一个创新点，就是upception模块，其实就是上采样跳链接模块，本文没有太大的创新点，指标达到了sota（Res50的mIOU为51.7）： ...
【亲测免费】 推荐文章：深入探索RGB-热红外融合的语义分割——RTFNet-Pytorch
gitblog_01123的博客
08-19 534
推荐文章：深入探索RGB-热红外融合的语义分割——RTFNet-Pytorch 在多元感知数据的时代，融合不同模态的信息成为了提升机器智能理解环境的关键。今天，我们向您推荐一个开源项目——RTFNet-pytorch，这是一个基于PyTorch实现的深度学习框架，专为城市场景中的RGB与热红外图像语义分割而设计。RTFNet不仅继承了多模态信息的强大力量，而且其高效且灵活的设计让学术界和工业界的朋...
多光谱（RGB-T）语义分割第二个数据集-PST900论文解读
zz937211040的博客
03-26 4977
PST900: RGB-Thermal Calibration, Dataset and Segmentation Network 一、Overview  RGB-T语义分割可以应用于机器人自主环境感知领域（医学、农业、自动驾驶等等）。本文提出了第二个RGB-T数据集PST900以及一种新的RGB-T语义分割网络。实验表明，本文提出的模型在PST900中取得了目前最好的分割效果，但是在MFNet提...
红外与可见光图像融合数据集（2025 持续更新）
热门推荐
陈嘿萌的博客
05-13 3万+
本文系统整理了当前主流的红外与可见光图像融合数据集，涵盖 MSRS、RoadScene、M3FD、TNO、LLVIP、FMB、FLIR、MFNet、KAIST、PST900、HDO、MMVS、DVTOD、AWMM-100k、EMS、INO 和 M3SVD 等多个高质量数据源，分别介绍其数据构建团队、参考论文、下载链接及关键特征，包括图像数量、分辨率、退化类型和标注信息。该博客旨在为图像融合研究者提供全面、便捷、持续更新的数据集参考平台。
RTFNet解码器设计：基于Upception模块的城市场景多模态特征融合策略
最新发布
weixin_29035147的博客
02-25 412
本文深入解析了RTFNet解码器中创新的Upception模块设计，该模块通过Block A精炼特征与Block B上采样融合，实现了RGB与红外图像在城市场景语义分割中的多层次、渐进式深度融合。这种策略有效结合了RGB的纹理细节与红外的温度轮廓信息，显著提升了模型在夜间、雾天等复杂光照条件下的分割鲁棒性和准确性。
夜间行车救星！RTFNet如何用热成像提升自动驾驶分割精度？实测对比白天黑夜效果差异
weixin_29083373的博客
02-14 371
本文深入解析了RTFNet如何通过融合RGB与热成像（红外）数据，显著提升自动驾驶在夜间及恶劣天气下的语义分割精度。通过双编码器架构与Upception解码器设计，RTFNet实现了多模态特征的有效互补，实测数据显示其大幅缩小了白天与夜间场景的性能差距，为全天候自动驾驶感知提供了鲁棒性更强的解决方案。
各种类型的RGB图像总结
985小菜鸡
05-19 3653
RGB系列图像包含了多个类型的图像，它们在传统的红、绿、蓝（RGB）颜色通道基础上添加了其他信息通道，以提供更丰富的图像数据。这些扩展的图像类型通常用于计算机视觉、图像处理和深度学习等领域。：添加了近红外（Near Infrared, NIR）通道，用于遥感和农业监测等领域。：包含热红外（Thermal Infrared）通道，用于夜视、监控和温度测量等应用。：加入了强度（Intensity）信息通道，通常用于光学成像和医学成像中。：包含透明度（Alpha）通道，用于图像合成和图像编辑。
可见光(RGB)-热成像(thermal)图像翻译(风格迁移)实践记录
07-24 1万+
记录下可见光到红外热成像的图像翻译（风格迁移）算法实践
图像分割(五)——Multispectral Fusion Transformer Network for RGB-Thermal Urban Scene Semantic Segmentation
qq_42208244的博客
09-27 1402
语义分割在自动驾驶汽车中起着至关重要的作用。融合RGB图像的丰富细节和热成像的光照鲁棒性有望提升RGB-T语义分割的性能。在多光谱特征融合中，目前的主要方法在RGB-T的相关性和互补性表征方面效果较差。为了生成鲁棒的跨光谱融合特征，我们提出了一种多光谱融合Transformer网络（MFTNet）。具体来说，我们首先设计了一个MFT模块，用于处理多光谱融合编码器中RGB-T的光谱内相关性和光谱间互补性
【SeAFusion：语义感知：分割+融合】
weixin_43690932的博客
04-11 7000
仅供自己参考
分而治之：用于 RGB-T 显著目标检测的 Confluent Triple-Flow 网络
m0_59899305的博客
03-10 2131
显著性目标检测（Saliency Object Detection，简称 SOD）是众多领域（如计算机视觉、计算机图形学和机器人学）中的一项基础研究任务，其目标是在图像中精确定位那些能够吸引人类视觉注意力的像素级目标或区域。近年来，显著性目标检测已成功应用于众多下游领域 [3]、[4]、[5]、[6]。特别是在基于 RGB 的显著性目标检测任务中 [7]、[8]，已经取得了重大进展。然而，尽管 RGB 模态提供了丰富的纹理和颜色信息，但它缺乏鲁棒性，并且很容易受到实际环境因素的影响。
多光谱（RGB-T）语义分割2019-RTFNet总结
zz937211040的博客
03-26 4322
RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes 一、Overview  2019年的一篇RGB-T语义分割论文，创新点在于提出了一个新的编码器-译码器模型。实验结果表明，本文提出的RTFNet在MFNet提出的数据集中取得了目前最好的分割效果。 二、 Additional knowledge ...
FuseSeg：基于RGB和Thermal数据融合的城市场景语义分割
莫大逗比嘟嘟
04-15 1559
FuseSeg: Semantic Segmentation of Urban Scenes BasedonRGB and Thermal Data Fusion
实验室项目（一）：RGB 与 thermal 多模态图像数据集的构建与处理（1）
2302_80102509的博客
02-22 707
因为我们的数据集采集需要三个不同时间段，就是需要不同的温度，对于室内的场景，我们确实能比较好的去拍摄相关的画面，但对于室外的场景，再拍了四五个失败的场景后，总结了一下几个问题，一是光线问题，因为对于室外的大场景来说（比如树或者楼房），最方便的切换温度的方法就是早中晚拍三次，但是早中晚的太阳是在三个角度的，所以，总会有地方背光。而我们的相机质量堪忧的一匹，两万多的相机，Thermal就占了两万，其他的无论是rgb，还是内置的嵌套程序，都是拉的不能再拉，所以，光线问题就成了大问题。
RTFNet：基于可见光/红外图像的城市自动驾驶道路场景语义分割
qq_33287871的博客
07-13 2923
论文下载：https://yuxiangsun.github.io/pub/RAL2019_rtfnet.pdf 代码下载：https://github.com/yuxiangsun/RT 简介： 语义分割是自动驾驶车辆的一项基本功能。随着深度学习技术的发展，近年来出现了许多有效的语义分割网络。然而，大多数相机用来获取可见光的RGB图像。在不满足的光照条件下，RGB图像的质量容易降低；例如，光线的暗度和亮度，这对仅使用RGB图像的网络是严峻的挑战。不同于可见光相机，**热成像相机是利用热辐射产生产生热图像.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3D感知巨头

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值