无人机多模态数据协同处理系统、方法及无人机与流程

摘要: 本申请涉及无人机,特别涉及一种无人机多模态数据协同处理系统、方法及无人机。背景技术:1、随着传感器小型化、边缘计算以及低空通信技术的快速发展,无人机系统已逐步从...
无人机多模态数据协同处理系统、方法及无人机与流程

本申请涉及无人机,特别涉及一种无人机多模态数据协同处理系统、方法及无人机。

背景技术:

1、随着传感器小型化、边缘计算以及低空通信技术的快速发展,无人机系统已逐步从单一的视频采集平台演进为具备环境感知、自主决策与多机协同能力的新型智能载体。当前,无人机已被广泛应用于城市低空监测、电力线路巡检、农业遥感、应急搜救、物流配送等诸多场景。在实际任务中,无人机通常同时搭载多种异构传感器,包括可见光摄像头、红外相机、激光雷达、全球导航卫星系统(global navigation satellite system,gnss)/惯性测量单元(inertial measurement unit,imu)组合导航系统等,以获取图像、点云、位置姿态等多模态感知数据,从而支撑目标检测、障碍物规避、路径规划与自主导航等核心功能。

2、然而,无人机在执行低空通感任务时面临复杂多变的环境条件与资源约束,其感知系统的可靠性和鲁棒性仍然存在诸多挑战,制约了无人机在复杂低空环境中的作业能力与智能化水平的进一步提升。

技术实现思路

1、本申请实施例提供了一种无人机多模态数据协同处理系统、方法及无人机,能够提升无人机在复杂低空环境中的作业能力与智能化水平。

2、根据本申请的第一方面,公开了一种无人机多模态数据协同处理系统,应用于无人机,所述系统包括:

3、多模态传感器组,用于采集多模态的环境数据;

4、健康监测模块,连接所述多模态传感器组,用于接收所述环境数据,对所述环境数据进行质量评估以检测各传感器是否存在异常,并输出各传感器对应的健康评分;

5、模式切换模块,连接所述健康监测模块,用于根据所述健康评分识别异常类型,并基于所述异常类型从当前感知模式切换至预设的多种感知模式中的目标感知模式;其中,所述多种感知模式分别以所述多模态传感器组中的不同传感器作为主导感知源;

6、感知处理模块,连接所述模式切换模块,用于在所述目标感知模式下对所述环境数据进行处理,生成感知结果;

7、置信度评估模块,连接所述感知处理模块,用于对所述感知结果计算置信度得分;

8、协同通信模块,连接所述置信度评估模块,用于当所述置信度得分低于预设分数阈值或本地算力不足时,向协同处理节点发送协同请求并接收回传数据,以辅助更新所述感知结果。

9、根据本申请的第二方面,公开了一种无人机多模态数据协同处理方法,应用于无人机,所述方法包括:

10、通过多模态传感器组采集多模态的环境数据;

11、通过健康监测模块接收所述环境数据,对所述环境数据进行质量评估以检测各传感器是否存在异常,并输出各传感器对应的健康评分;

12、通过模式切换模块根据所述健康评分识别异常类型,并基于所述异常类型从当前感知模式切换至预设的多种感知模式中的目标感知模式;其中,所述多种感知模式分别以所述多模态传感器组中的不同传感器作为主导感知源;

13、通过感知处理模块在所述目标感知模式下对所述环境数据进行处理,生成感知结果;

14、通过置信度评估模块对所述感知结果计算置信度得分;

15、当所述置信度得分低于预设分数阈值或本地算力不足时,通过协同通信模块向协同处理节点发送协同请求并接收回传数据,以辅助更新所述感知结果。

16、根据本申请的第三方面,公开了一种无人机,包括:

17、机身;

18、多模态传感器组,搭载于所述机身上,用于采集多模态的环境数据;

19、边缘计算装置,设置在所述机身内部或搭载于所述机身上,所述边缘计算装置包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第二方面所述的无人机多模态数据协同处理方法。

20、根据本申请的第四方面,公开了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现如第二方面所述的无人机多模态数据协同处理方法。

21、根据本申请的第五方面,公开了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第二方面所述的无人机多模态数据协同处理方法。

22、本申请实施例中,无人机通过其多模态数据协同处理系统中的健康监测模块对环境数据进行质量评估并输出健康评分,能够实现对各传感器异常状态的精细化识别;通过该系统中的模式切换模块根据健康评分识别异常类型并切换至以不同传感器作为主导感知源的目标感知模式,能够在传感器异常时自动选择适配的感知链路,保障感知任务的连续性;通过该系统中的置信度评估模块对感知结果计算置信度得分,能够量化感知结果的可靠程度;通过该系统中的协同通信模块在置信度得分低于预设分数阈值或本地算力不足时向协同处理节点发送协同请求并接收回传数据,能够借助外部节点的计算与感知资源提升感知精度和系统容错能力;由此,实现了无人机在复杂低空环境下的感知可靠性、自适应能力和任务连续性的有效提升。

1.一种无人机多模态数据协同处理系统,应用于无人机,其特征在于,所述系统包括:

2.根据权利要求1所述的系统,其特征在于,所述预设的多种感知模式包括:摄像头主导模式、激光雷达主导模式和位置补偿模式;其中,所述摄像头主导模式以所述多模态传感器组中的摄像头作为主导感知源;所述激光雷达主导模式以所述多模态传感器组中的激光雷达作为主导感知源;所述位置补偿模式以所述多模态传感器组中的全球导航卫星系统及惯性测量单元作为主导感知源;

3.根据权利要求1所述的系统,其特征在于,所述协同处理节点包括以下至少一种:邻近无人机、聚合节点、地面控制站;其中,所述聚合节点为与所述无人机之间满足单跳或低时延无线连接、且具备软标签聚合与模型蒸馏下发能力的计算节点。

4.根据权利要求3所述的系统,其特征在于,所述协同通信模块,具体用于:在所述置信度得分低于预设分数阈值或本地算力不足时,向所述邻近无人机发送协同请求;接收所述邻近无人机响应于所述协同请求执行协同推理后返回的协同推理结果;其中,所述协同请求包括以下至少一项:待协同的感知任务信息、本地模型生成的部分特征;

5.根据权利要求4所述的系统,其特征在于,所述协同通信模块,还用于:在向所述邻近无人机发送协同请求之前,向所述聚合节点发送资源申请;其中,所述聚合节点用于根据各邻近无人机的计算资源状态生成资源调度指令;

6.根据权利要求3所述的系统,其特征在于,所述协同通信模块,还用于:将本地模型生成的软标签上报至所述聚合节点,以供所述聚合节点聚合所述软标签生成教师模型,并将所述教师模型蒸馏为轻量模型;接收所述聚合节点回传的所述轻量模型;

7.根据权利要求3所述的系统,其特征在于,所述协同通信模块,还用于:在所述置信度得分高于所述预设分数阈值且本地计算资源满足实时处理需求的情况下,将所述感知结果上报至所述地面控制站。

8.根据权利要求1所述的系统,其特征在于,所述置信度评估模块,具体用于:根据所述感知结果关联的评估因子,对所述感知结果计算置信度得分;

9.根据权利要求1所述的系统,其特征在于,所述健康监测模块包括以下至少一种子模块:

10.根据权利要求9所述的系统,其特征在于,所述协同通信模块,还用于:在所述通信链路健康评分指示所述通信链路异常的情况下,启动本地缓存机制,将待发送的数据存入本地缓存;其中,所述通信链路异常包括:数据传输延迟超过预设延迟阈值或数据传输连续失败次数超过预设次数阈值;

11.根据权利要求1所述的系统,其特征在于,所述协同通信模块,还用于:在发送所述协同请求后,若在预设时长内未收到响应,则向备用协同处理节点重新发送所述协同请求;

12.一种无人机多模态数据协同处理方法,应用于无人机,其特征在于,所述方法包括:

13.一种无人机,其特征在于,包括: