基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法与流程

摘要: 本发明涉及无人机巡检及多模态感知调度的,尤其涉及一种基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法。背景技术:1、在输电线路无人机巡检中,无人机...
基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法与流程

本发明涉及无人机巡检及多模态感知调度的,尤其涉及一种基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法。

背景技术:

1、在输电线路无人机巡检中,无人机沿杆塔、导线及金具执行近距离巡检,机载可见光相机、红外热像仪和激光雷达分别形成设备外观图像、温度分布结果和空间结构检测结果;针对线夹过热、结构松动等疑似缺陷,不同感知模态的实际检出能力会随无人机与设备对象之间的距离、观测视角、光照、温度、雨雾、遮挡及传感器标定状态变化;现有巡检通常采用固定模态组合或多模态持续开启方式,导致高功耗传感器、机载推理任务及数据缓存持续占用电量、算力和存储;若依据单次检测结果频繁切换感知模态,又会增加传感器预热、标定、模型切换和时间同步开销。

2、cn109523011a公开了一种面向多无人机协同探测的多传感器自适应管理方法,通过贝叶斯网络获得多传感器协同感知概率,并以感知信息熵增量作为传感器资源动态调度依据;该方案侧重未知目标协同识别及传感器资源分配,未针对无人机巡检设备缺陷建立缺陷类别与可见光、红外及激光雷达之间的场景化诊断收益关系,也未将距离、视角、天气、标定质量及传感器启停成本共同纳入单机巡检模态调度。

3、cn112260131a公开了一种输电线路巡检多源数据高效采集方法及装置,通过无人机搭载红外图像和可见光图像集成传感器、激光雷达及位置姿态测量单元,同步采集红外图像、可见光图像和三维激光点云数据;该方案侧重一次航飞中的多源数据同步采集,其感知模态按照既定采集方式工作,未依据疑似缺陷确认程度动态调整感知模态,也未对功耗、机载算力、存储、切换、预热、标定和同步开销进行联合评价。

4、因此,现有技术仍存在场景变化与模态检出能力脱节、疑似异常出现后缺少逐级增加感知信息的状态转换关系、传感器反复启停造成额外资源消耗以及不同模态检测结果直接融合时可靠性不足的问题;需要在设备缺陷语义、场景化模态收益、机载资源约束、递进确认状态转换和多模态可靠性融合之间建立连续的技术处理关系,使机载传感器的启停与当前物理巡检条件和缺陷确认过程相匹配。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例,在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题,提出了本发明。

3、为解决上述技术问题,本发明提供如下技术方案:

4、一种基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,包括:根据设备对象、风险类型、缺陷候选和巡检时间窗构建语义任务图,依据所述语义任务图及巡检场景确定场景化诊断收益并形成语义模态收益矩阵;根据所述语义模态收益矩阵和感知模态运行成本确定模态集合净收益,在传感器功率、机载算力和巡检时间窗约束下,按照后一感知等级的感知模态集合包含前一感知等级的感知模态集合的关系生成模态调度序列;依据所述模态调度序列控制无人机机载传感器,针对各目标缺陷类别分别以当前已启用有效感知模态的融合置信度作为状态转换判定量,按状态转换门限执行初扫、复核、精扫和确认;对所述机载传感器的多模态感知结果按目标缺陷类别分别进行时间对齐和可靠性融合,得到异常类型、融合置信度和证据链,并依据所述异常类型、融合置信度、证据链及缺陷复核结果更新所述语义模态收益矩阵和状态转换门限。

5、本发明的有益效果:本发明通过设备缺陷语义与巡检场景共同修正各感知模态的诊断收益,形成随距离、视角、天气及标定状态变化的语义模态收益矩阵;结合功耗、机载算力、存储及切换开销,在资源与飞行安全条件下形成满足感知等级集合包含关系的递进模态调度序列,并针对不同目标缺陷类别分别执行状态转换和可靠性融合,减少非关联感知结果交叉参与缺陷确认造成的判断偏差;状态机在线判定与门限更新均采用融合置信度,使状态转换判据与后续统计更新一致,并通过确认回退、最高感知等级未确认处置及安全异常处置形成完整状态闭环,从而提高复杂巡检场景下的缺陷确认可靠性及无人机感知资源利用效率。

1.一种基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,包括:

2.根据权利要求1所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述构建语义任务图,包括:

3.根据权利要求2所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述感知模态包括可见光成像模态、红外热成像模态和激光雷达模态中的至少两种,所述确定场景化诊断收益并形成语义模态收益矩阵,包括:

4.根据权利要求3所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述确定模态集合净收益,包括:

5.根据权利要求4所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述生成模态调度序列,包括:

6.根据权利要求5所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述按状态转换门限执行初扫、复核、精扫和确认,包括:

7.根据权利要求6所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述模态调度序列的执行,包括:

8.根据权利要求7所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,所述时间对齐和可靠性融合,包括:

9.根据权利要求8所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于,还包括:

10.根据权利要求9所述的基于语义模态收益矩阵与递进确认状态机的无人机多模态感知调度方法,其特征在于: