无人机协同巡检方法、装置、设备及介质与流程

摘要: 本技术涉及无人机与人工智能的,尤其是涉及一种无人机协同巡检方法、装置、设备及介质。背景技术:1、随着无人机技术的普及,其在大型基础设施(如广域分布的风力发电场、...
无人机协同巡检方法、装置、设备及介质与流程

本技术涉及无人机与人工智能的,尤其是涉及一种无人机协同巡检方法、装置、设备及介质。

背景技术:

1、随着无人机技术的普及,其在大型基础设施(如广域分布的风力发电场、光伏电站等)的自动化巡检中扮演着越来越重要的角色。这些巡检区域面积广阔,常达数十至上百平方公里,单架无人机难以在一次飞行中完成全覆盖作业。因此,采用多架无人机协同作业以提升巡检效率,已成为行业发展的必然趋势。

2、在多无人机协同巡检的现有技术实践中,通常采用一种“先建图,后分析”的串行工作流程。具体而言,无人机首先在巡检区域飞行,利用同步定位与建图(slam)技术采集环境数据并构建三维地图。飞行任务结束后,技术人员将采集到的海量图像或点云数据导出,在地面工作站上进行离线分析,通过目标检测算法识别出其中的异常点(如光伏板热斑、风机叶片裂纹等)。最后,再将识别出的异常信息人工或半自动地标注到先前构建的地图上,形成最终的巡检报告。

3、然而,上述串行的工作模式存在若干固有缺陷。首先,最显著的问题是交付延迟。从完成现场飞行到最终生成带标注的巡检报告,中间的离线数据处理和人工标注环节通常需要数小时甚至数天时间,这使得巡检结果无法及时反馈给运维团队,错失了快速响应和决策的良机。

4、其次,多机协同建图的一致性难以保证。不同无人机在不同时间、不同光照和天气条件下采集数据,会导致其各自生成的局部地图存在偏差。将这些带有偏差的局部地图融合成一个统一、精确的环境地图,是现有技术中的一大挑战。传统的基于纯视觉特征的地图融合方法,容易因环境变化产生误匹配,导致最终地图中目标位置不准,影响异常定位的可靠性。

5、此外,现有技术通常只提供一次巡检的静态结果,即“当前什么地方存在异常”。但对于资产的长期健康管理而言,更重要的是了解异常的变化趋势,例如某个缺陷是本次新增的,还是由历史缺陷恶化而来,亦或是已经被修复。现有方法缺乏将本次巡检结果与历史数据进行自动化、精准化对比分析的能力,无法提供这种具有时间维度的动态洞察。因此,如何解决交付延迟、保证多机建图一致性并实现增量变化发现,是本领域亟待解决的技术问题。

技术实现思路

1、为了降低交付延迟、保证多机建图一致性并实现增量变化发现,本技术提供一种无人机协同巡检方法、装置、设备及介质。

2、本发明提供了一种无人机协同巡检方法,包括:在无人机的机载计算平台上,并发运行用于确定无人机位姿并构建环境地图的第一模型,以及用于在传感器数据中检测预定义目标特征的第二模型;通过调度器,在所述第一模型和第二模型之间动态分配计算资源;当所述第二模型在图像帧中检测到目标特征时,获取该图像帧对应时刻的无人机位姿;从与所述图像帧同步采集的传感器数据中,获取所述图像帧对应的深度信息;结合所述深度信息,将图像帧中的二维目标特征区域投影至三维空间,并通过无人机位姿变换到环境地图坐标系,确定目标特征的三维全局坐标;将包含所述三维全局坐标的结构化目标特征信息,实时附加到所述环境地图的相应位置,生成带标注的当前地图;获取与所述当前地图的巡检区域对应的历史地图;利用在所述当前地图与所述历史地图中共同识别出的稳定结构作为基准,对所述当前地图与所述历史地图进行空间对齐;在对齐后的地图上,对比所述历史地图中记录的目标特征在当前地图中的状态,并识别当前地图中新出现的目标特征,判定各目标特征的状态;基于所述状态判定结果,生成一份变化分析报告,该报告中对不同状态的目标特征进行区分显示。通过将建图与检测任务并发执行,本方法实现了目标特征的实时发现与空间标注,巡检结束即可生成带标注的地图,极大地缩短了报告交付周期。

3、可选地,所述动态分配计算资源包括:在检测到影响位姿估计的预设条件时,优先为所述第一模型分配计算资源;在未检测到所述预设条件时,为所述第二模型分配比所述第一模型更高比例的计算资源。这种智能调度策略确保了在无人机姿态剧烈变化等关键时刻,位姿估计的稳定性不受影响,同时在平稳飞行阶段最大化目标检测的性能。

4、进一步地,所述影响位姿估计的预设条件包括无人机进行快速转弯或环境光照发生剧烈变化。

5、在一种实施方式中,所述构建环境地图的步骤包括进行位姿图优化,所述方法还包括:利用所述第二模型,兼顾识别场景中稳定、易识别的稳定结构;在构建所述当前地图的过程中,将匹配的稳定结构作为高置信度的回环约束,并在所述位姿图优化中加入所述回环约束。由于稳定结构具有高度的视觉一致性和类别唯一性,将其作为回环约束能够显著提升多机、跨时地图融合的准确性和鲁棒性。

6、可选地,所述稳定结构包括风力发电机塔筒、输电塔或光伏支架节点。

7、进一步地,所述判定各目标特征的状态的步骤具体包括:将所述目标特征与所述历史地图中的对应信息进行比对,将其判定为新增、恶化、已修复或不变中的一种状态。

8、在一种实施方式中,所述变化分析报告是一份地理信息系统报告,其中按所述新增、恶化、已修复、不变四种状态对所述目标特征进行分层和高亮显示。这为运维人员提供了直观、清晰的决策依据。

9、本发明还提供了一种无人机机载巡检装置,包括:处理器,被配置为并发运行用于确定无人机位姿并构建环境地图的第一模型,以及用于在传感器数据中检测预定义目标特征的第二模型;调度器模块,被配置为在所述第一模型和第二模型之间动态分配计算资源;位姿获取模块,被配置为当所述第二模型在图像帧中检测到目标特征时,获取该图像帧对应时刻的无人机位姿;空间定位模块,被配置为从与所述图像帧同步采集的传感器数据中获取深度信息,并结合所述深度信息将图像帧中的二维目标特征区域投影至三维空间,并通过无人机位姿变换到环境地图坐标系,确定目标特征的三维全局坐标;地图标注模块,被配置为将包含所述三维全局坐标的结构化目标特征信息,实时附加到所述环境地图的相应位置,生成带标注的当前地图;历史地图获取模块,被配置为获取与所述当前地图的巡检区域对应的历史地图;地图对齐模块,被配置为利用在所述当前地图与所述历史地图中共同识别出的稳定结构作为基准,对所述当前地图与所述历史地图进行空间对齐;变化分析模块,被配置为在对齐后的地图上,对比所述历史地图中记录的目标特征在当前地图中的状态,并识别当前地图中新出现的目标特征,判定各目标特征的状态;报告生成模块,被配置为基于所述状态判定结果,生成一份变化分析报告,该报告中对不同状态的目标特征进行区分显示。

10、本发明还提供了一种电子设备,包括处理器,所述处理器与存储器耦合;所述处理器用于执行所述存储器中存储的计算机程序,以使得所述电子设备执行如前述任一项所述的方法。

11、本发明还提供了一种计算机可读存储介质,包括计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行如前述任一项所述的方法。

12、综上所述,本技术包括以下至少一种有益技术效果:

13、1. 实现了巡检结果的实时交付。通过构建建图-检测并发架构,在无人机飞行过程中即完成了目标特征的检测和三维空间标注,彻底打破了“先建图、后分析”的串行壁垒,使得带标注的巡检报告在飞行任务结束后即可生成,交付周期从数小时乃至数天缩短至分钟级。

14、2. 提升了多机协同建图的一致性和准确性。通过引入稳定结构作为高置信度的回环约束和历史地图对齐基准,有效克服了纯视觉或几何特征在光照、视角变化下易于误匹配的缺陷,显著提升了多无人机、跨时间地图融合的鲁棒性和全局一致性,确保了目标特征定位的精确度。

15、3. 实现了目标特征状态的自动化增量分析。通过将当前巡检地图与历史地图进行基于稳定结构的精准对齐和差分比对,本发明能够自动判定每个目标特征的状态是“新增”、“恶化”、“已修复”还是“不变”,从而揭示了目标特征随时间演变的动态趋势。这为资产的预测性维护和运维决策提供了前所未有的时间维度信息,极大地提升了巡检数据的应用价值。