大家读完觉得有帮助记得关注和点赞!!!
摘要
低空空域的高度动态和安全关键特性,使得感知成为低空无线网络(LAWN)不可或缺的组成部分。尽管感知技术已在多种范式下得到广泛研究,但最先进的感知方案与LAWN的实际感知需求之间仍存在显著错配。为填补这一研究空白,本文从系统框架、核心技术及研究趋势三个维度,系统地综述了面向LAWN的感知技术。具体而言,我们首先分析了感知系统框架,涵盖了LAWN感知的概念、服务与任务、节点与目标以及场景。接着,我们从传播媒介、协作方式、方法论和模态四个角度对现有感知技术进行了比较分析,剖析了它们的优势与局限。然后,我们总结了可部署LAWN感知系统未来有前景的研究方向,涵盖了非协作与协作感知、模型驱动与数据驱动感知、以及模型与数据驱动的多模态感知。最后,我们展示了一个用于实时空中目标感知的模型与数据驱动多模态方法的案例研究。与现有关于LAWN或感知的综述相比,本文提供了更全面、更有针对性的、完全聚焦于LAWN感知的评述。
I. 引言
低空无线网络(LAWN)被广泛认为是一种新兴的网络范式,它将地面通信基础设施扩展到低空空域(地面以上3000米以下),形成一个三维的、服务感知的网络架构[1]。LAWN构建了一个统一、无缝、智能的地空一体化架构。其核心目标是通过通信、感知、计算、控制和智能体人工智能的联合优化,实现低空空域的数字化和智能化管理。
LAWN中的感知旨在提供全面的态势感知,包括目标实体感知和环境感知。在高度动态且安全至关重要的低空空域,通信、计算和控制与环境条件紧密耦合,感知远不止是一项辅助能力,而是LAWN的核心组成部分[2],为LAWN的运行提供了关键基础。LAWN中的感知涉及基本的感知服务,包括目标感知和环境感知,它们支撑着上层的感知赋能应用,如空域管理、通信覆盖优化、网络资源调度等。这些基本感知服务由诸如检测、估计、跟踪、识别和建图等感知任务来维持[3]。
LAWN包含三类节点:地面节点(例如基站、雷达站、路侧单元等)、空中节点(例如无人机、电动垂直起降飞行器、飞艇等)以及计算、控制与参考节点(例如云/边缘服务器、飞行控制单元、实时动态定位站等)。LAWN内的感知目标分为两类:空中目标(例如飞机、飞行动物、漂浮物等)和地面目标(例如机动车、行人、骑行者、树木等)。LAWN中的感知场景通常分为三种典型类型,即空对地(A2G)、空对空(A2A)和对空(G2A)。这些场景面临一系列共同的技术挑战:空中节点和目标的高速三维移动性,包括空中节点和目标的高动态三维移动性;光照不足和恶劣天气条件;目标的密集分布;来自小雷达截面目标的微弱回波;以及强烈的地面杂波和多径效应。
现有感知技术可根据四种标准进行分类(传播媒介、协作模式、建模方法和感知模态),每种标准对应两个不同的子类:射频/光学基、非协作/协作、模型驱动/数据驱动、单/多模态感知。具体来说,基于射频的感知能适应多变的光照和天气条件、较远的感知距离和高速目标,但会受到杂波和多径效应的影响。相比之下,基于光学的感知能提供精确的空间感知,并能抵抗杂波和多径效应,但容易受到光照不足和恶劣天气条件、长感知距离以及高速目标的影响。非协作感知能够实现轻量级的独立感知,但会受到遮挡、目标闪烁模糊和小RCS目标弱回波的影响。相比之下,协作感知能够实现多节点互补感知,但存在调度僵化、时频失准、高信令和计算开销以及可扩展性问题。模型驱动感知具有清晰的物理可解释性,但存在射频/光学建模不准确以及缺乏空中感知三维建模的问题。相比之下,数据驱动感知具有很强的环境适应性,但物理可解释性低且泛化能力不足。单模态感知能够实现轻量级部署,但存在固有的模态局限性。相比之下,多模态感知能够实现跨模态互补融合,但存在时空失准、跨模态特征不平衡以及计算开销过大等问题。
由于上述局限性,这些感知技术在部署到LAWN时可能会出现性能下降。因此,迫切需要对LAWN感知进行深入、定制化的研究。
在现有的关于通感一体化[4, 5, 6]和LAWN[7, 8]的综述中,已经简要涵盖了感知相关内容,然而,针对LAWN原生感知的研究空白在很大程度上仍未得到解决。首先,以往的综述阐述了通用通感一体化和LAWN的独立系统架构,但没有建立一个专门为LAWN定制的感知框架,来系统地阐述感知概念、支持服务、核心任务、网络节点、地面和空中目标以及典型操作场景。其次,一些综述简要讨论了基于射频/光学、协作/非协作、传统/人工智能增强以及单/多模态的感知技术,但没有全面分析它们的特点、优势和局限性。最后,一些综述概述了通用通感一体化或LAWN网络的未来研究方向,但很少有专注于面向LAWN的专业技术解决方案。
为解决这些问题,本文从系统框架、核心技术和研究趋势三个维度,系统地综述了面向LAWN的感知技术。与以往关于通用LAWN或通用感知的综述相比,本文专注于LAWN特有的感知。贡献总结如下:1. 我们首先分析了感知系统框架,涵盖了LAWN感知的基本概念、感知服务和任务、网络节点和感知目标以及典型场景。2. 我们从传播媒介、协作方式、方法和模态的角度对现有感知技术进行了比较分析,并阐述了它们固有的优点和技术瓶颈。3. 我们总结了可部署LAWN感知系统未来有前景的研究方向,涵盖了非协作/协作感知、模型驱动/数据驱动感知、以及模型与数据驱动的多模态感知。4. 我们展示了一个用于实时空中目标感知的模型与数据驱动多模态方法的案例研究。因此,与以往的综述相比,本文提供了更全面、更有针对性的、完全聚焦于LAWN感知的评述。
II. LAWN中的感知系统框架
在本节中,我们将介绍LAWN中的感知系统框架,包括感知概念、服务、任务、节点、目标和场景。
II-A 感知概念、服务和任务
LAWN中的感知旨在提供全面的态势感知,包括目标实体感知和环境感知,以支持LAWN的运行。它涉及基本的感知服务,如目标感知和环境感知,这些构成了其他感知相关服务的基础,例如空域管理(例如防撞和动态轨迹规划与控制)、通信覆盖优化、网络资源调度、异常目标预警、飞行安全评估、多节点协同机动等。这些基本感知服务由基本的感知任务支持,包括检测、估计、跟踪、预测、识别和建图[3]。
目标感知侧重于在指定的低空区域内保持对空中或地面目标的持续感知,支持其他LAWN服务,如空域管理、异常目标预警、多节点协同机动等。该服务依赖于目标检测(超过95%的检测精度,低于0.5%的虚警率)、目标定位(分米级精度)、目标跟踪(低于1%的跟踪丢失率)、目标轨迹预测(低于10毫秒)和目标识别(超过90%的多类识别准确率)。
环境感知侧重于描述影响低空操作的周围条件,如地形结构、地面建筑布局、静态和动态障碍物、气象变化和风场扰动,支持其他LAWN服务,如通信覆盖优化、网络资源调度、飞行安全评估等。该服务依赖于频谱估计(100 kHz级分辨率)、风速估计(估计误差低于0.5 m/s)、地形和障碍物的空间建图(米级分辨率)等。
II-B 节点与目标
如图1所示,LAWN由空中节点、地面节点和CCR节点组成。这些节点的总结见表I。空中节点是搭载多模态传感器的飞行器,包括RGB/红外相机、毫米波雷达、激光雷达、超声波测距传感器、惯性测量单元和高度计。它们具有三维移动性和可调的观测视角。地面节点是地面基础设施,如RGB/红外相机站、微波/毫米波雷达站、激光雷达站、基站、路侧单元站、气象传感器站、热成像站以及地面、屋顶或塔上的紧凑型监测站。相比之下,它们具有固定位置,不可避免地限制了它们的观测视角。
空中和地面节点都可以分为两种类型:资源受限节点和资源充足节点。资源受限的空中节点,如无人机和电动垂直起降飞行器,以及资源受限的地面节点,如紧凑型监测站,配备了低功耗紧凑型传感器模块和片上系统,实现短距离、低复杂度的独立感知。复杂的独立感知和协作感知必须卸载到边缘或云服务器。资源充足的空中节点,如飞艇、系留气球和直升机,以及地面节点,如基站、雷达站和路侧单元,配备了高性能传感器模块和FPGA/CPU,支持长距离、低/中/高复杂度的独立感知。协作感知必须卸载到边缘或云服务器。
CCR节点指计算节点、控制节点和参考节点,负责核心后端调度和服务支持。计算节点包括云和边缘服务器,承担信息处理、态势分析和航线规划。控制节点包括云和边缘服务器以及飞行控制单元,实现从全局调度到机载执行的分层管理。参考节点包括全球导航卫星系统、实时动态定位、时间和广播式自动相关监视参考站,为整个系统提供统一的定位、时间和空中态势基准。

图1:LAWN系统概览
表 I:LAWN中的节点与目标
|
节点类别 |
节点类型与部署位置 |
传感器 |
资源 |
|---|---|---|---|
|
空中节点 |
搭载多模态传感器的飞行器;机载,如无人机、电动垂直起降飞行器、直升机、轻于空气的平台(例如飞艇和气球) |
RGB/红外相机,毫米波雷达,激光雷达,惯性测量单元,超声波测距传感器,5G蜂窝模块,高度计 |
资源受限:低功耗紧凑型传感器模块和片上系统。资源充足:高性能传感器模块和FPGA/CPU |
|
地面节点 |
基站,微波雷达/毫米波雷达/路侧单元/RGB相机/红外相机站,紧凑型监测站;地面/屋顶/塔上 |
基站,微波/毫米波雷达,路侧单元,RGB/红外相机,气象传感器,热成像仪,激光雷达 |
- |
|
CCR节点 |
云/边缘服务器,飞行控制单元,全球导航卫星系统/实时动态定位/时间/广播式自动相关监视参考站;数据中心 |
全球导航卫星系统/实时动态定位 |
用于全局融合和校准的高计算性能 |
|
目标属性 |
行人 |
骑行者 |
轿车 |
卡车 |
无人机 |
电动垂直起降飞行器 |
飞艇 |
鸟类 |
|---|---|---|---|---|---|---|---|---|
|
材料 |
生物 |
生物/金属 |
金属 |
金属 |
塑料 |
金属/复合材料 |
合成材料/塑料 |
生物 |
|
RCS (m²) |
0.1–0.5 |
0.1–0.6 |
0.1–1 |
0.5–2 |
0.001–0.01 |
0.1–1 |
0.1–1 |
0.001–0.01 |
|
垂直速度 (m/s) |
0 |
0 |
0 |
0 |
5–10 |
0–8 |
0–5 |
5–15 |
|
水平速度 (m/s) |
1.5 |
4–8 |
10–20 |
8–15 |
10–30 |
40–70 |
0–5 |
10–20 |
LAWN中的目标包括空中目标和地面目标。代表性目标的总结见表I。空中目标主要包括授权和未授权的飞行器、飞行动物和漂浮物,具有灵活的三维移动性,不受地形影响。地面目标主要包括机动车(例如轿车和卡车)、行人、骑行者、建筑物和树木,以及其他静态和动态地面实体,具有受地形限制的有限的二维移动性。此外,空中和地面目标可能具有不同的大小和材料,并以不同密度的群体出现。
II-C 感知场景
LAWN中的感知场景大致分为三种类型,即空中节点感知地面目标、地面节点感知空中目标以及空中节点感知其他空中目标,分别称为A2G、G2A和A2A,如图1所示。这三种场景共享一系列共同的挑战。首先,由于空中节点和目标都具有灵活的三维移动性,所有三种场景中的感知都需要处理它们的动态运动。其次,由于RGB/红外相机和激光雷达模态在光照不足和恶劣天气条件下鲁棒性较差,因此三种场景下的感知性能仍然不稳定。第三,空中和地面目标的密集分布对三种场景下的多目标检测提出了巨大挑战。第四,由于大多数空中目标,如无人机、电动垂直起降飞行器、飞行生物和空中碎片,具有较小的RCS并产生微弱的射频信号回波,A2A和G2A感知面临显著困难。最后,近地环境具有严重的地面杂波、显著的多径效应和多样的地形障碍,这显著降低了A2G和G2A场景中基于射频的感知性能。
表 II:模型驱动与数据驱动感知的比较
|
方面 |
模型驱动感知 |
数据驱动感知 |
|---|---|---|
|
信号模型需求 |
需要显式的解析模型 |
可以使用隐式或未知模型 |
|
对模型失配的鲁棒性 |
对失配敏感 |
对环境变化更具适应性 |
|
数据需求 |
需要的训练数据有限 |
需要大量数据集 |
|
计算复杂度 |
中等且可预测 |
可能很高(训练阶段) |
|
可解释性 |
高(基于理论) |
通常有限(黑盒行为) |
|
泛化能力 |
需要针对特定场景调整 |
更好的跨场景适应性 |
|
典型方法 |
CFAR, MUSIC, MLE, 卡尔曼滤波 |
RNN, CNN, Transformer, GNN |
|
适用的LAWN场景 |
结构化和良好建模的环境 |
复杂、动态、异构的环境 |
表 III:LAWN中的感知模态
|
模态 |
输出 |
最大距离 |
优势 |
局限性 |
|---|---|---|---|---|
|
通感一体化/毫米波雷达 |
距离、角度、速度、微多普勒 |
0.2 - 2 km / 50 - 300 m |
低成本部署,可靠跟踪高速目标,对天气和光照鲁棒,中远距离感知 |
对杂波和多径效应敏感,对小RCS目标的弱回波不敏感,受遮挡影响 |
|
相机 |
纹理、形状、类别、通过推理得到的深度、通过跟踪得到的速度 |
20 - 100 m |
低成本部署,精确的空间感知,细粒度细节识别,丰富的表观线索 |
对光照和天气敏感,深度和速度间接获取,受运动模糊和遮挡影响 |
|
激光雷达 |
3D点云、深度、强度、大小和形状线索 |
50 - 300 m |
密集的3D结构,高精度定位,抗地面杂波和多径效应 |
功耗和计算量大,远距离稀疏,在雾、雨、雪中性能下降 |
III. 现有感知技术
在本节中,我们从传播媒介、协作方式、方法和模态四个方面回顾现有感知技术,并指出它们的优势和局限性。
III-A 基于射频与基于光学的感知
现有感知技术根据传播媒介分为基于射频和基于光学的感知。两者都已针对LAWN中的所有三种场景进行了研究。
III-A1 基于射频的感知
基于射频的感知通过分析接收到的射频信号的幅度、相位和多普勒频移来提取感知信息。它包括基于微波/毫米波雷达的感知[9]和通信辅助感知(或通感一体化[10])。其主要优势在于强大的穿透能力、较远的感知距离、对高速目标的可靠跟踪以及对变化光照条件的鲁棒性。然而,它存在小RCS、地面杂波和多径效应严重扭曲回波信号的问题,这会降低复杂场景中的检测和估计精度。
III-A2 基于光学的感知
基于光学的感知通过分析接收到的光信号的强度、纹理和空间特征来提取感知信息。它包括基于RGB/红外相机和基于激光雷达的感知。其主要优势在于精确的空间感知、细粒度的细节识别以及强大的抗地面杂波和多径效应能力。然而,它面临固有的缺点,包括有限的探测距离、对高速目标的不稳定跟踪、光照不足以及恶劣天气条件(如浓雾和大雪)会急剧衰减光信号,导致在复杂户外场景中感知连续性下降和环境适应性差。
III-B 非协作与协作感知
现有感知技术根据节点交互模式可分为非协作感知和协作感知。非协作感知已在所有三种LAWN感知场景中得到研究,而协作感知主要在A2G和A2A场景中探索。
III-B1 非协作感知
非协作感知仅依靠单个节点使用本地观测数据执行独立感知来提取感知信息[11, 12]。其主要优势在于系统复杂度低、部署灵活轻量,以及无需节点间交互的信令开销小。然而,仍存在多个固有限制。首先,非协作感知易受空间遮挡影响,导致感知覆盖不连续。其次,非协作感知会因闪烁效应引起严重的目标模糊。第三,非协作感知缺乏多站联合时频积分增益,从而降低了小RCS目标的检测性能。
III-B2 协作感知
协作感知通过利用多个分布式协作节点、本地观测和中间感知结果,在集中式或分散式架构中实现全面的联合感知[13]。其突出优势包括增强的观测多样性、对空间遮挡的强大鲁棒性,以及通过多节点互补感知补偿单视角观测限制,从而显著提升感知性能。尽管如此,它仍然存在关键的固有限制。首先,协作感知主要依赖临时或固定的协作机制,缺乏有效的调度和适应性。其次,协作感知中节点间时频同步不足会导致分布式节点间的时空失准,降低整体感知性能。第三,分布式节点之间或它们与中心节点之间的频繁信息交换会产生过多的信令开销,并加剧对有限通信资源的争用,引入额外的传输延迟。第四,分布式或中心节点处密集的计算工作负载会消耗大量计算资源并导致过度的计算延迟。第五,稀缺的通信、计算和能源资源的联合约束严重限制了协作感知的系统可扩展性。
III-C 模型驱动与数据驱动感知
现有感知技术根据处理方法可分为模型驱动感知和数据驱动感知。两者都已在所有三种LAWN场景中得到研究。在下文中,为便于说明,我们仅在单模态感知范围内讨论这两者。
III-C1 模型驱动感知
模型驱动感知使用解析物理信号模型提取感知信息[11, 12],涵盖基于射频和基于光学的感知范式。具体来说,代表性的基于射频的感知方法包括匹配滤波和基于CFAR的检测、最大似然和基于子空间的估计、基于微多普勒的识别以及基于卡尔曼和粒子滤波的跟踪,而典型的基于光学的感知方法包括图像阈值分割、边缘检测、光流跟踪、激光雷达点云几何拟合和聚类滤波算法。模型驱动感知的主要优势在于显式的物理可解释性,在理想的模型匹配传播条件下能产生稳定的感知性能,并且计算开销低。然而,模型驱动感知有几个局限性。首先,基于射频的感知通常忽略多径效应、自干扰和杂波,与真实的电磁传播特性不匹配。第二,基于射频的感知通常建立在针对大RCS地面目标的二维平面假设之上,缺乏对三维空域中小RCS空中目标的有效建模支持。第三,基于光学的感知对复杂的大气和光照扰动采用了过度简化的物理假设,无法精确重建真实世界的光学传输规律。
III-C2 数据驱动感知
数据驱动感知从海量的原始感知数据中提取感知信息,而不依赖显式的物理信号传播模型[14],涵盖基于射频和基于光学的数据驱动感知范式。具体来说,代表性的基于射频的方法包括基于CNN的目标检测、基于Transformer的参数估计、基于CNN的目标识别和基于RNN的目标跟踪。相比之下,典型的基于光学的方法包括基于CNN的语义分割、基于Transformer的目标检测、基于FlowNet的运动跟踪和基于PointCNN的目标聚类。其主要优势在于对实际复杂环境的强大适应性。然而,数据驱动感知作为一种黑盒学习范式,物理可解释性差,缺乏对感知结果的显式物理和数学推导支持。此外,由于数据稀缺、标签噪声和域分布漂移,其泛化能力有限,难以适应各种感知场景。
III-D 单模态与多模态感知
现有感知技术根据感知模态可分为单模态感知和多模态感知。与多模态感知相比,单模态感知在所有三种LAWN感知场景中都得到了广泛研究。
III-D1 单模态感知
单模态感知依赖单一的独立感知模态来提取感知信息。它包括基于微波/毫米波雷达的感知、基于通感一体化的感知、基于RGB/红外相机的感知和基于激光雷达的感知。其主要优势在于系统部署简单、成本低、计算开销小,只需要最少的硬件配置和数据处理能力来支持轻量级的基本感知。然而,基于射频的模态会受到由杂波和多径效应引起的严重回波失真,而光学模态在恶劣天气和光照条件下容易受到信号衰减的影响。因此,单模态感知受限于单个感知模态的固有缺陷,缺乏跨模态互补的感知增益。
III-D2 多模态感知
多模态感知通过融合多种互补的感知模态来提取全面的感知信息[15]。其突出优势在于优越的环境鲁棒性和整体感知能力,能够抵抗复杂现场场景下的回波失真、信号衰减和各种干扰。然而,其融合策略存在关键局限性。首先,主流的多模态融合流程采用简单的直接数据拼接,忽略了节点异质性和时变的网络动态,从而在异步多模态数据流中引发严重的时空失准。第二,现有的融合架构忽视了模态间固有的特征差异和信息密度不平衡,导致在联合推理过程中出现特征抑制和模态权重贡献偏斜。第三,大多数融合方法以巨大的计算开销为代价来优先保证感知精度,这超出了某些空中平台的机载计算和功率预算,导致过度的推理延迟并缩短可持续飞行续航时间。
IV. 未来研究方向
在本节中,我们概述了LAWN感知的未来研究方向,涵盖了非协作与协作感知、模型驱动与数据驱动感知、以及模型与数据驱动的多模态感知。
IV-A 非协作感知
为了解决上述非协作感知的缺点,包括严重的遮挡脆弱性、由目标闪烁引起的目标测量模糊性以及针对小RCS目标的感知性能差,提出了几个有前景的未来研究方向。首先,未来的工作可以研究抗遮挡的时序累积感知方案,利用连续的序列回波来恢复不完整的目标散射特征,提高抗遮挡性能。第二,未来的研究可以探索多帧特征解耦和闪烁抑制算法,以消除测量偏差并稳定感知精度。第三,未来的研究可以开发宽带高增益波束赋形和长时间相干积累策略,以逼近相干积累增益,提升小RCS目标的感知性能。
IV-B 协作感知
为了解决上述协作感知的瓶颈,包括僵化的调度、时频失准、过度的信令开销、密集的计算负担以及有限的系统可扩展性,提出了几个有前景的研究方向。首先,未来的工作可以研究自适应协作和动态调度,实现对时变网络拓扑和异构任务需求的无缝适应,同时充分挖掘协作感知的空间互补增益。第二,未来的研究可以探索鲁棒的高精度时频同步和时空对准方法,以减轻时钟漂移和节点间观测偏差,消除跨节点失准,进一步提高整体协作感知精度。第三,未来的研究可以开发轻量级的周期性交互协议,结合频谱感知的自适应传输策略,以减少冗余的节点间信令,缓解无线资源争用,并抑制分布式感知数据交换过程中的过度传输延迟。第四,未来的工作可以设计自适应任务分区和部分任务卸载,以平衡分布式和中心节点之间的计算和通信资源利用率,减少端到端感知延迟。第五,未来的研究可以构建分层集群协作架构,并在集群内进行本地融合,以在有限的通信、计算和能源预算下维持系统可扩展性。
IV-C 模型驱动感知
为了解决上述模型驱动感知中的局限性,例如在复杂传播环境下严重的射频模型失配、针对小RCS空中目标的不足的三维建模和专用算法设计,以及考虑大气和光照扰动的不准确的光学建模,提出了几个有前景的研究方向。首先,未来的工作可以构建能够充分表征复杂近地场景中自干扰、时变多径效应和非平稳地面杂波的射频信号传播模型,并开发环境自适应感知算法,以实现与实际情况相符的真实、可靠的感知。第二,未来的研究可以为小RCS空中目标开发针对性的三维空间建模和鲁棒的基于射频的感知算法,并结合长时间相干积累,以在复杂的三维空域中实现精确感知。第三,未来的研究可以构建高保真度的光学物理模型,以精确量化光照和大气干扰,并嵌入自适应参数校准模块以减少建模偏差,从而在复杂环境中维持可靠的光学感知性能。
IV-D 数据驱动感知
为了解决上述数据驱动感知中的缺点,包括物理可解释性低和泛化能力不足,提出了几个有前景的研究方向。首先,未来的工作可以研究嵌入物理控制方程和显式物理-数学先验的混合模型-数据驱动感知范式,以减轻物理上不可解释的黑盒限制,并提高针对数据稀缺和域分布漂移的泛化能力。第二,未来的研究可以探索通用的基础信号感知模型,配合轻量级的LoRA/适配器微调,以提取共享的多源信号特征,从而在有限标签下适应多种感知场景,并增强对标签噪声和跨感知域差异的鲁棒性。第三,未来的研究可以开发用于感知的物理信息元学习框架,以提取跨不同测量环境的不变物理元知识,实现对未见任务的快速零/少样本适应,并使模型输出与可解释的物理机制对齐,从而共同增强分布外泛化能力和物理可解释性。
IV-E 模型与数据驱动的多模态感知
为了解决上述多模态感知中的挑战,包括多模态时空失准、跨模态特征不平衡和过度的计算开销,提出了一个统一的模型与数据驱动多模态感知框架,并提出了几个有前景的研究方向。首先,未来的工作可以设计延迟感知的融合架构和运动补偿对准算法,以消除动态网络环境中异步多模态数据流的时空失配。第二,未来的工作可以开发嵌入可靠性评估模块的模态感知平衡融合机制,以避免特征抑制,并充分利用异构模态间的互补感知增益。第三,未来的研究可以探索轻量级紧凑融合模型和增量数据处理范式,以降低计算成本,并满足资源受限的空中感知节点上的实时延迟约束。
V. 案例研究:模型与数据驱动的多模态感知
为了展示模型与数据驱动多模态感知在LAWN中的实际潜力,我们展示了一个使用稀疏雷达-相机融合进行实时三维无人机检测与估计的真实世界案例研究。如图2所示,构建了一个地面部署的感知平台,通过集成毫米波雷达、RGB相机和RTK辅助的无人机跟踪系统,收集真实世界的多模态数据和参考数据。具体来说,雷达提供三维点云和速度测量,相机提供富含表观的视觉观测,RTK系统提供厘米级的无人机位置参考,用于标注和评估。收集的数据涵盖了不同的无人机类型、室外环境和光照条件,为在G2A感知场景中检测具有小RCS和灵活三维移动性的无人机目标提供了实际基础。
基于收集的数据,我们开发了一种稀疏雷达-相机融合方法,如图2所示。下面给出简要说明。从RGB帧中提取图像特征,而雷达点由轻量级雷达编码器编码。我们不构建密集的BEV表示,而是使用图像提议和雷达点来初始化目标查询。然后通过距离和速度感知的融合机制对其进行细化,其中雷达多普勒和空间距离线索有助于将稀疏雷达点与视觉目标查询关联起来。所提出的方法是模型与数据驱动多模态感知的一个典型例子。我们考虑了以下基线方法。对于纯图像三维检测,我们分别采用著名的BEVFormer和SparseBEV作为密集和稀疏BEV检测基线。我们还将我们的查询坐标初始化方法与射线中心查询初始化进行了比较。对于雷达-相机融合检测,我们选择了RaCFormer和RCM-Fusion,涵盖了不同的融合架构,并进一步将我们的查询更新模块与距离自适应雷达聚合策略进行了比较。
如表IV所示,稀疏雷达-相机融合方法在检测方面实现了83.20%的平均精度,在轨迹估计方面实现了0.317的绝对轨迹误差,推理延迟仅为17毫秒,在相同的微型模型设置下优于纯图像方法和现有的雷达-相机融合基线。这个案例研究表明,真实世界中互补的雷达-相机观测和稀疏融合设计对于在实际LAWN系统中实现精确、实时的无人机感知至关重要。我们还针对不同的无人机类型和光照条件验证了我们的设计。对于无人机类型,较大的M350 RTK实现了95.4%的平均精度,并且定位和偏航误差小于较小的Mavic 3E,这得益于其较大的RCS。在不同的光照条件下,所有指标在夜间都会下降,平均精度下降超过20%,绝对轨迹误差增加了两倍,凸显了低光照无人机检测的难度。

图2:用于无人机检测与估计的真实世界雷达-相机数据采集平台和稀疏雷达-相机融合方法。
表 IV:实时雷达-相机无人机感知的案例研究结果
|
方法 |
模态 |
mAP (%) ↑ |
ATE ↓ |
延迟 (ms) ↓ |
|---|---|---|---|---|
|
BEVFormer-tiny |
相机 |
70.10 |
0.468 |
21 |
|
SparseBEV-tiny |
相机 |
74.18 |
0.356 |
19 |
|
RCM-tiny |
雷达+相机 |
74.98 |
0.408 |
30 |
|
RaCFormer-tiny |
雷达+相机 |
76.32 |
0.333 |
32 |
|
SRCF-UAV-tiny |
雷达+相机 |
83.20 |
0.317 |
17 |
VI. 结论
本文全面概述了LAWN特有的感知技术。我们首先剖析了LAWN感知的核心框架,包括基本概念、感知服务和任务、网络节点和感知目标,以及典型的感知场景。然后,我们从传播媒介、协作模式、建模方法和感知模态的角度对现有感知技术进行了比较分析,并总结了它们固有的优点和技术瓶颈。接下来,我们概述了可部署LAWN感知系统未来有前景的研究方向,涵盖了非协作/协作感知、模型驱动/数据驱动感知以及集成的模型与数据驱动多模态感知。最后,我们展示了一个用于实时空中目标感知的模型与数据驱动多模态方法的案例研究。

2732

被折叠的 条评论
为什么被折叠?



