一种基于增强特征的低空协同感知方法
本发明属于智能交通与无线通信交叉,涉及一种基于增强特征的低空协同感知方法。
背景技术:
1、随着智能网联汽车(connected and automated vehicle, cav)的快速发展,基于车联网的协同感知(cooperative perception, cp)逐渐成为提升环境感知能力和行驶安全性的重要手段。通过多智能体之间共享感知信息,协同感知能够突破单车传感器视野受限的问题,提高对遮挡目标、远距离目标及复杂交通场景的感知能力。近年来,无人机(unmanned aerial vehicle, uav)凭借其高空俯视视角、灵活部署能力以及广域覆盖优势,被引入车路协同感知系统,形成uav辅助cav协同感知模式。然而,由于uav与cav在观测高度、感知范围以及视角方面存在显著差异,如何充分利用异构视角信息并兼顾通信开销,成为当前uav辅助感知领域面临的重要挑战。
2、首先,现有uav辅助感知方法通常将uav与cav之间的特征差异视为需要消除或弥补的不一致信息,并通过特征对齐、域适配或共享特征学习等方式实现跨视角信息融合。然而,这类方法往往以鸟瞰图(bird's-eye view, bev)特征相似性或一致性为优化目标,在减小视角差异的同时容易削弱不同观测视角所包含的共识信息,导致部分具有协同价值的差异化信息被消除或抑制,从而限制感知性能上限。
3、其次,uav与cav产生的高维bev特征通常包含大量冗余信息。现有感知系统大多采用固定压缩策略或统一通信机制传输感知特征,难以根据不同特征对感知任务的实际贡献进行有针对性的筛选。因此,在多智能体协同场景下容易产生较大的通信开销,不仅增加网络资源消耗,还可能引发传输延迟,影响感知系统的实时性与稳定性。
4、另外,现有uav辅助感知框架通常将感知特征提取、通信传输与特征融合作为相互独立的模块进行设计,缺乏面向感知系统的统一优化流程。感知层难以有效与通信层建立联系,导致系统整体效率受限,难以同时兼顾感知性能与通信开销。
5、针对上述问题,本发明提出一种基于增强特征的低空协同感知方法。首先,通过构建统一bev特征表示,实现uav与cav感知信息的统一表达;其次,设计面向异构视角感知的协同增强特征分解机制,以感知贡献度为依据对特征进行分解,在保留异构视角共识信息的同时抑制个体信息;进一步,构建协同价值驱动的双维度稀疏通信机制,仅传输具有较高协同价值的特征,抑制冗余信息,降低通信开销;最后,利用得到的稀疏协同增强特征开展异构视角增强特征的融合与感知,从而在提升感知性能的同时降低通信开销。
技术实现思路
1、本发明实施例提供一种基于增强特征的低空协同感知方法,用于解决现有uav辅助cav协同感知过程中存在的异构视角差异难以有效利用、通信开销大以及感知性能受限等问题。
2、为了解决上述技术问题,本发明实现过程如下:
3、第一方面,本发明实施例构建一种基于增强特征的低空协同感知框架。该框架以协同增强特征为核心,通过构建统一bev特征表示、协同增强特征分解机制、协同价值驱动的双维度稀疏通信机制以及跨视角融合与感知,实现协同增强特征学习与通信量优化之间的联合设计,使具有较高感知增益的信息得到有效保留和优先传输,从而在提升感知性能的同时降低通信开销。具体包括如下步骤:
4、s1:基于异构感知数据的bev特征构建方法;
5、s2:面向异构视角感知的协同增强特征分解机制;
6、s3:协同价值驱动的双维度稀疏通信机制;
7、s4:基于增强特征的跨视角融合与感知;
8、第二方面,本发明实施例在步骤s1中,分别获取uav与cav采集的环境感知数据,并利用特征编码网络提取对应的bev特征表示。随后,将不同智能体产生的bev特征映射至统一参考坐标系下构建统一bev特征表达空间。通过统一坐标系表示,不同智能体在空间位置上的观测结果能够建立对应关系,为后续跨视角特征分析、协同价值评估以及跨视角融合与感知提供基础支撑。
9、第三方面,本发明实施例在步骤s2中,提出一种面向异构视角感知的协同增强特征分解机制。针对uav与cav之间存在的视角差异问题,本发明在增强特征空间内构建语义层面的协同一致性约束,对统一bev特征进行解耦分解,获得协同增强特征(collaborativeenhanced feature, cef)和非协同增强特征(non-collaborative enhanced feature,ncef)。其中,cef表征与感知任务相关的共享语义信息,ncef表征由视角差异产生的个体特有信息。通过上述分解机制,实现感知相关信息与个体特有信息的有效分离,为后续降低通信开销和高质量融合提供依据。
10、第四方面,本发明实施例在步骤s3中,提出一种协同价值驱动的双维度稀疏通信机制。首先,基于cef和ncef构建通信价值评估结果,并依据通信价值对bev空间区域进行重要性排序;随后,选择通信价值较高的空间区域参与特征传输。由于cef分解过程已经完成特征维度层面的协同价值筛选,因此仅传输所选空间区域对应的稀疏cef,实现特征维度与空间区域维度的双维度稀疏化传输。通过建立感知价值与通信价值之间的关联关系,实现通信量与感知需求之间的动态匹配,在保证感知性能的同时降低通信量。
11、第五方面,本发明实施例在步骤s4中,接收来自uav与cav传输的稀疏cef,并基于不同观测视角特征信息构建全局环境特征表示。在特征融合过程中,综合利用uav俯视视角与cav近地视角所提供的环境信息,对来自不同智能体的稀疏cef进行特征融合,生成全局环境表征。随后,基于所述全局环境表征执行目标检测、目标识别或场景理解等感知任务,并输出对应的感知结果。
12、第六方面,本发明实施例采用渐进式训练策略对cef分解机制和双维度稀疏通信机制进行优化。在第一阶段,利用cav感知数据训练感知模型,建立基础协同感知能力;在第二阶段,引入uav感知数据,并基于协同增强特征分解约束、跨视角语义一致性约束以及通信稀疏约束,对cef分解模块和双维度稀疏通信模块进行联合优化,从而获得适用于跨视角感知的特征表示模型,并实现感知性能与通信量之间的协调优化。
1.一种基于增强特征的低空协同感知方法,用于解决无人机(unmanned aerialvehicle,uav)与智能网联汽车(connected and autonomous vehicle,cav)协同感知过程中因视角差异导致的特征利用率低、通信开销大以及感知性能受限的问题,包括以下步骤:
2.根据权利要求1所述的方案,其特征在于:在步骤s1中,cav和uav分别获取环境感知数据,并通过特征编码网络提取对应的bev特征,将所述bev特征映射至统一坐标系,得到后续步骤处理的统一bev特征表示。
3.根据权利要求1所述的方案,其特征在于:在步骤s2中,对输入的bev特征进行协同增强特征分解,得到协同增强特征(collaborative enhanced feature, cef)和非协同增强特征(non-collaborative enhanced feature, ncef);其中,所述cef用于表征不同智能体观测数据中与感知任务相关的共识语义信息,所述ncef用于表征由观测视角差异产生的个体特征信息;所述cef分解以感知贡献度为约束,对输入bev特征进行解耦,在保留不同智能体视角共识信息的同时,提取能够产生感知增益的特征信息,并实现与感知关联度较低特征信息的分离。
4.根据权利要求1所述的方案,其特征在于:在步骤s3中,利用所述cef表征空间区域的感知收益,利用所述ncef表征空间区域的冗余干扰程度,并基于二者构建通信价值图,对bev特征对应的空间区域进行筛选,最终仅传输被选中空间区域对应的稀疏cef,实现特征维度与空间区域的双维度稀疏通信。
5.根据权利要求1所述的方案,其特征在于:在步骤s4中,接收来自各cav和uav传输的稀疏cef,对所述稀疏cef进行跨智能体融合,生成全局环境表征;基于所述全局环境表征执行感知任务,并输出感知结果。
6.根据权利要求1所述的方案,其特征在于:所述方法采用渐进式训练方式进行模型优化;第一阶段利用cav感知数据训练基础协同感知模型;在此基础上,第二阶段将uav感知数据引入所述基础协同感知模型,并利用cef分解约束、跨视角语义一致性约束以及通信稀疏约束,对cef分解模块和双维度稀疏通信模块进行联合训练。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com