一种基于多机协同的无人机智能巡检系统、方法及可读存储介质与流程

本发明涉及无人机智能巡检，尤其涉及一种基于多机协同的无人机智能巡检系统、方法及可读存储介质。

背景技术：

1、目前，水域巡查、森林防火、环保监测等场景普遍采用无人机智能巡检系统。与本技术最接近的现有技术通常采用"单机巡航+云端集中分析"的工作模式：单架无人机搭载可见光或红外相机沿预设航线飞行，通过图传模块将高清视频流实时回传至云端，由云端gpu服务器运行深度学习模型对视频流进行抽帧、解码及目标检测，最终在指控端展示分析结果并发出预警。在该模式下，无人机仅承担图像采集功能，全部数据处理压力集中于网络传输链路与云端。

2、然而，上述现有技术存在以下技术缺陷：其一，高清视频流数据量大，在野外或水域等复杂电磁环境下，无线链路易受遮挡与干扰，导致视频卡顿、丢帧，使云端分析出现断档或漏检；其二，视频编码、网络传输、云端解码与推理各环节依次耗时，从发现异常到产生预警往往存在数秒至数十秒的延迟；其三，单机连续航线作业时，一旦发生故障或信号失联，整段航线即出现监控真空，且在多机换防时区域切割处极易发生目标跨界漏识别。

3、因此，有必要研究一种基于多机协同的无人机智能巡检系统、方法及可读存储介质来应对现有技术的不足，以解决或减轻上述一个或多个问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于多机协同的无人机智能巡检系统、方法及可读存储介质，以解决现有技术中存在的以下技术问题：现有无人机巡检系统采用"单机巡航+云端集中分析"模式，高清视频流数据量大，在野外或水域等复杂电磁环境下无线链路易受干扰，导致视频卡顿、丢帧，云端分析出现断档或漏检；视频编码、网络传输、云端解码与推理各环节依次耗时，从发现异常到产生预警往往存在数秒至数十秒的延迟；若在无人机端侧搭载高性能算力单元以实现本地分析，则会显著增加机身负载与耗电量，压缩单次巡检续航时间，且受散热限制识别准确率下降；单机连续航线作业时，一旦发生故障或信号失联，整段航线即出现监控真空，且在多机换防时区域切割处极易发生目标跨界漏识别的技术问题。

2、一方面，本发明提供一种基于多机协同的无人机智能巡检系统，所述无人机智能巡检系统包括：云端处理中心及无人机协同集群，所述无人机协同集群包括至少两架各自搭载边缘ai算力单元的无人机节点；

3、其中，所述云端处理中心将目标区域划分为若干子区域并生成边界重叠子区域，约束所述边界重叠子区域的面积占比不超过预设面积占比阈值；

4、各所述无人机节点由所述边缘ai算力单元在端侧执行目标检测，仅回传包含目标类别、地理坐标及置信度的元数据报文，不回传原始视频流；

5、所述云端处理中心对多条元数据报文进行时空对齐，判定同一目标后执行置信度加权仲裁，保留最优记录。

6、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端处理中心结合单机电池标称容量、风速预测模型以及机载边缘ai算力单元的峰值功耗，反演计算出单机在保留安全冗余电量下的有效覆盖面积阈值slimit，依据无人机协同集群的无人机数量n将所述目标区域划分为n个主子区域，并约束每个主子区域的面积si不超过所述slimit，其中n为正整数；

7、所述云端处理中心沿相邻主子区域的公共边向两侧缓冲延伸生成边界重叠子区域，缓冲延伸的距离dbuffer满足dbuffer = k·(σrtk + σhover) + dfov，其中σrtk为rtk定位精度，σhover为无人机悬停精度，dfov为基于巡航高度与相机视场角计算的水平覆盖余量，k为安全系数。

8、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端处理中心还配置为：计算所述边界重叠子区域的总面积与所述目标区域总面积之比η，若η超过所述预设面积占比阈值，则启动迭代优化循环：首先按20%/η的比例线性缩减所述缓冲延伸距离dbuffer并重新生成缓冲多边形；若单纯缩减距离仍无法满足约束，则进一步调整主子区域划分粒度或将弯曲公共边拉直以减少缓冲区重叠面积；每次迭代均评估新方案是否同时满足η不超过所述预设面积占比阈值且所有主子区域面积si不超过slimit，迭代持续至找到满足全部约束的最优解；所述预设面积占比阈值为10%～30%。

9、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端处理中心对多条元数据报文进行时空对齐的方式为：基于时间窗阈值对同一时间窗内回传的数据进行时间对齐，并基于空间距离计算将地理坐标距离小于预设空间阈值的多条记录判定为同一目标；所述时间窗阈值为1秒～10秒，所述预设空间阈值为5米～50米。

10、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述元数据报文包含所述目标对应的关键帧缩略图；所述地理坐标为基于图像坐标转换得到的wgs-84地理坐标；各所述无人机节点还配置为：当所述边缘ai算力单元未检测到目标时，按设定时间间隔向所述云端处理中心发送心跳包，所述心跳包包含所述无人机节点的位置信息、剩余电量及运行状态。

11、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端处理中心还配置为：利用卡尔曼滤波算法对判定为同一目标的多条记录的地理坐标序列进行处理，补全所述目标在所述边界重叠子区域内跨无人机节点飞行时的运动轨迹。

12、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端处理中心还配置为：接收各所述无人机节点通过心跳包发送的剩余电量信息及cpu/npu占用率信息，当任一无人机节点的剩余电量低于预设电量阈值时，重新计算所述任一无人机节点的剩余未巡区域，将所述剩余未巡区域的任务动态拆分后分配给邻近电量充裕的无人机节点，并控制所述任一无人机节点返航；所述预设电量阈值为无人机节点满电量的10%～30%。

13、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，各所述无人机节点还配置为：当所述边缘ai算力单元的本地检测置信度低于预设置信度阈值时，向所述云端处理中心发送单帧图像，请求所述云端处理中心对所述单帧图像执行二次目标检测确认。

14、如上所述的方面和任一可能的实现方式，进一步提供一种基于多机协同的无人机智能巡检方法，采用所述的基于多机协同的无人机智能巡检系统，所述基于多机协同的无人机智能巡检方法包括以下步骤：

15、s1、云端处理中心结合单机电池标称容量、风速预测模型及机载边缘ai算力单元的峰值功耗反演计算有效覆盖面积阈值slimit，依据无人机数量n将目标区域划分为n个主子区域并约束各主子区域面积不超过slimit，沿相邻主子区域公共边自适应缓冲延伸生成边界重叠子区域，约束所述边界重叠子区域的面积占比不超过预设面积占比阈值，针对各子区域生成弓字形或螺旋形扫描航线并执行航线冲突检测，将各主子区域及边界重叠子区域的航线任务下发至对应的无人机节点，n为正整数；

16、s2、各所述无人机节点协同起飞，飞抵所分配的子区域上空，由机载边缘ai算力单元对采集图像在端侧执行目标检测推理，仅将包含目标类别、地理坐标及置信度的元数据报文回传至所述云端处理中心，不回传原始视频流；

17、s3、所述云端处理中心对回传的多条元数据报文进行时空对齐，判定同一目标后执行置信度加权仲裁，保留最优记录生成告警信息。

18、如上所述的方面和任一可能的实现方式，进一步提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法。

19、与现有技术相比，本发明可以获得包括以下技术效果：

20、1、通过在每架无人机节点上搭载边缘ai算力单元，使所述边缘ai算力单元经mipi或usb接口与机载相机直连并旁路图传编码芯片，在采集源头直接完成目标检测推理，仅向云端回传包含目标类别、地理坐标、置信度及关键帧缩略图的轻量级元数据报文，彻底摒弃了高达数兆比特每秒至数十兆比特每秒的原始视频流传输，将通信带宽需求压缩至百字节量级，从物理传输层面根除了因无线链路带宽受限导致的视频卡顿、丢帧与高延迟问题，使系统能够在野外复杂电磁环境下稳定工作，端到端识别预警延迟可压缩至2秒以内。

21、2、通过将目标区域依据无人机数量n划分为n个主子区域，并沿相邻主子区域公共边缓冲延伸生成边界重叠子区域，同时通过迭代优化约束边界重叠子区域总面积占比η不超过预设面积占比阈值，以极小的空间冗余精准填补了由无人机定位漂移和相机视场角偏差共同造成的区域交界盲区，实现了全域零漏检覆盖；同时，由于单机仅负责小范围子区域，待检目标在视场中占比增大、背景干扰减少，使得运行经int8量化压缩的轻量化目标检测模型在受限端侧算力条件下依然能够保持较高的目标召回率，突破了轻量化无人机无法进行高精度实时分析的行业瓶颈。

22、3、通过云端融合分析服务器基于时间窗对齐与空间距离计算对多源回传元数据进行去重判定，并采用置信度加权仲裁机制保留最优记录，滤除了边界重叠子区域多机交叉拍摄产生的重复报警，保证了报警的唯一性与准确性；进一步利用卡尔曼滤波算法补全目标跨机飞行时的运动轨迹，消除了因视角切换造成的目标位置"闪现"或"消失"现象，实现了从"单点感知"到"全局认知"的跃升。

23、4、通过云端实时监测各无人机节点的剩余电量，当任一节点电量低于预设电量阈值时触发动态任务再分配机制，将剩余未巡区域的任务拆分后分配给邻近电量充裕的节点，原节点提前返航，保证了单机低电量情况下巡检任务的连续不中断执行，显著增强了系统整体鲁棒性，避免了因单机故障导致的监控真空。

24、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。