一种无人机执行的端云协同低空动态巡检方法及系统与流程

本发明属于图像识别的，涉及了一种无人机执行的端云协同低空动态巡检方法及系统。

背景技术：

1、在工业与能源设施运维领域，无人机低空动态巡检通过采集目标区域的连续视频数据流，为设备状态评估提供了直观的影像依据。随着视频分辨率的提升与应用场景的复杂化，如何在受限的机载算力与网络环境下，快速、准确地分析视频流并指导无人机作业，成为巡检技术的研究重点。

2、中国专利cn120182873a公开了基于无人机巡检的视频流分析方法及系统。该方案通过无人机搭载的摄像装置采集原始视频流数据，对视频帧序列进行视频特征提取得到空间关联特征集合和时间动态特征集合；基于预设的异常检测模型对上述特征集合进行异常检测，生成异常分布特征集合；随后根据该集合与无人机的实时飞行参数生成动态路径优化指令，用于调整无人机的巡检路径以覆盖异常区域，并调用增量学习模块更新异常检测模型的参数。

3、上述现有技术在实际应用中仍存在改进空间。该方案在异常检测时直接依赖高维的时空融合特征图进行模型推理，若在无人机端侧执行，容易受限于有限的机载算力；若将高维特征或原始视频上传至云端处理，则面临通信带宽占用的限制。同时，其异常检测机制缺乏针对特征之间非线性交叉耦合关系的深度解析，在遭遇环境光照分布突变等全局标量变化时，容易将环境伪影误判为物理结构异常，进而引发无效的路径重勘测动作。

4、因此，如何在算力与带宽受限的端云协同架构下，低成本提取并传输多模态特征，同时有效抑制环境伪影干扰以实现精准的闭环巡检控制，是本领域亟待解决的技术问题。

技术实现思路

1、第一方面，本发明提供了一种无人机执行的端云协同低空动态巡检方法，包括以下步骤：

2、s1、获取连续视频数据流，从中提取连续视频帧序列并执行频域多尺度分解，得到多个独立特征通道；

3、s2、对多个独立特征通道执行维度同步与数据拼接，得到异构时空特征张量；

4、s3、对异构时空特征张量执行交叉域扰动突变监控与偏导数求解，得到跨模态重构雅可比矩阵；

5、s4、对跨模态重构雅可比矩阵执行代数要素提取与数据封装，生成结构化异常特征数据包，并执行上行传输操作；

6、s5、接收结构化异常特征数据包，执行逆向解析与矩阵重构得到基础度量张量，将基础度量张量注入预设的非欧流形几何空间图谱；

7、s6、对注入基础度量张量后的非欧流形几何空间图谱，执行标量缩放一致性校验与梯度下降求解，得到流形空间梯度下降轨迹；

8、s7、沿流形空间梯度下降轨迹执行收敛终点追踪与属性提取，生成认知诊断输出报告，并执行下发动作；

9、s8、根据接收的认知诊断输出报告执行阈值比对与路径规划，生成底层硬件控制指令，以驱动执行闭环优化巡检作业。

10、本发明进一步的方案，对连续视频数据流执行频域多尺度分解，得到多个独立特征通道，包括以下步骤：

11、对连续视频数据流执行截取操作，得到连续视频帧序列；

12、对连续视频帧序列执行多尺度小波变换，得到细节分量与近似分量；

13、对细节分量执行局部二值模式卷积，得到静态纹理特征通道；

14、对连续视频帧序列执行稠密光流运算，得到动态光流特征通道；

15、对近似分量执行边缘检测梯度计算，得到结构轮廓特征通道；

16、多个独立特征通道包括静态纹理特征通道、动态光流特征通道和结构轮廓特征通道。

17、本发明进一步的方案，对多个独立特征通道执行维度同步与数据拼接，得到异构时空特征张量，包括以下步骤：

18、利用静态纹理特征通道的基础时间戳锚点，对动态光流特征通道和结构轮廓特征通道执行时间对齐操作；

19、对动态光流特征通道执行空间对齐操作，并对结构轮廓特征通道执行投影映射操作；

20、将同步操作后的静态纹理特征通道、动态光流特征通道和结构轮廓特征通道，沿特征通道轴执行拼接，得到异构时空特征张量。

21、本发明进一步的方案，对异构时空特征张量执行交叉域扰动突变监控与偏导数求解，得到跨模态重构雅可比矩阵，包括以下步骤：

22、将异构时空特征张量输入解耦编码器模型，得到第一重构解码空间与第二重构解码空间；

23、计算第一重构解码空间与第二重构解码空间之间的隐变量重叠映射关系；

24、对隐变量重叠映射关系执行偏导数计算，得到偏导数序列；

25、基于偏导数序列组合矩阵元素数值，得到跨模态重构雅可比矩阵。

26、本发明进一步的方案，对跨模态重构雅可比矩阵执行代数要素提取与数据封装，生成结构化异常特征数据包，并执行上行传输操作，包括以下步骤：

27、对跨模态重构雅可比矩阵执行奇异值分解操作，得到奇异值序列与左右奇异向量矩阵集合；

28、将获取的实时卫星定位坐标与设备偏航角数值格式化，得到设备巡检元数据；

29、对奇异值序列、左右奇异向量矩阵集合与设备巡检元数据执行组合拼接与数据压缩，得到结构化异常特征数据包；

30、通过射频通信链路异步推送结构化异常特征数据包，并拦截产生的中间计算数据。

31、本发明进一步的方案，接收结构化异常特征数据包，执行逆向解析与矩阵重构得到基础度量张量，将基础度量张量注入预设的非欧流形几何空间图谱，包括以下步骤：

32、对结构化异常特征数据包执行数据切分，得到奇异值序列与左右奇异向量矩阵集合；

33、基于奇异值序列与左右奇异向量矩阵集合执行矩阵重构运算，得到基础度量张量；

34、计算基础度量张量中非对角线元素与对角线元素的数值比例，得到非线性几何空间扭曲度变量；

35、将基础度量张量作为底层空间测度系数注入预设的非欧流形几何空间图谱。

36、本发明进一步的方案，对注入基础度量张量后的非欧流形几何空间图谱，执行标量缩放一致性校验与梯度下降求解，得到流形空间梯度下降轨迹，包括以下步骤：

37、对基础度量张量执行奇异值分解操作，以计算得到基础度量张量的标量乘法一致性系数；

38、当标量乘法一致性系数大于预设的线性一致性同步阈值时，触发环境伪影抗噪拦截机制，冻结非欧流形几何空间图谱的节点扭曲更新与演化计算；

39、当标量乘法一致性系数小于或等于线性一致性同步阈值时，利用非线性几何空间扭曲度变量改变非欧流形几何空间图谱的底层拓扑曲率；

40、针对改变后的底层拓扑曲率执行梯度下降求解，得到流形空间梯度下降轨迹。

41、本发明进一步的方案，沿流形空间梯度下降轨迹执行收敛终点追踪与属性提取，生成认知诊断输出报告，并执行下发动作，包括以下步骤：

42、沿流形空间梯度下降轨迹的梯度下降方向遍历非欧流形几何空间图谱，锁定局部极小值收敛区域；

43、提取局部极小值收敛区域绑定的业务语义元组配置信息内部的底层设备物理故障标签；

44、计算流形空间梯度下降轨迹切线方向与局部极小值收敛区域中心点间的测地线偏置距离，并据此计算绝对诊断置信度分值；

45、组合打包底层设备物理故障标签与绝对诊断置信度分值，得到认知诊断输出报告，并执行下发动作。

46、本发明进一步的方案，根据接收的认知诊断输出报告执行阈值比对与路径规划，生成底层硬件控制指令，以驱动执行闭环优化巡检作业，包括以下步骤：

47、提取认知诊断输出报告中的绝对诊断置信度分值；

48、对比绝对诊断置信度分值与预设的作业动作触发阈值；

49、当绝对诊断置信度分值低于作业动作触发阈值时，提取局部极小值收敛区域包含的三维空间视角偏置补偿梯度参数；

50、根据三维空间视角偏置补偿梯度参数执行飞行路径规划，得到无人机环绕抵近重勘测飞行规划路径，并将无人机环绕抵近重勘测飞行规划路径编码为底层硬件控制指令。

51、第二方面，本发明提供了一种无人机执行的端云协同低空动态巡检系统，包括以下模块：

52、特征提取模块，获取连续视频数据流，从中提取连续视频帧序列并执行频域多尺度分解，得到多个独立特征通道；

53、特征融合模块，提取多个独立特征通道，并对多个独立特征通道执行维度同步与数据拼接，得到异构时空特征张量；

54、雅可比矩阵生成模块，针对异构时空特征张量执行交叉域扰动突变监控与偏导数求解，从而得到跨模态重构雅可比矩阵；

55、异常特征封装模块，对跨模态重构雅可比矩阵执行代数要素提取与数据封装，生成结构化异常特征数据包，并执行上行传输操作；

56、拓扑度量解析模块，接收结构化异常特征数据包，并执行逆向解析与矩阵重构得到基础度量张量，将基础度量张量注入预设的非欧流形几何空间图谱；

57、测地线求解模块，对注入基础度量张量后的非欧流形几何空间图谱，执行标量缩放一致性校验与梯度下降求解，得到流形空间梯度下降轨迹；

58、诊断报告生成模块，沿流形空间梯度下降轨迹执行收敛终点追踪与属性提取，生成认知诊断输出报告，并执行下发动作；

59、闭环控制模块，接收认知诊断输出报告，根据认知诊断输出报告执行阈值比对与路径规划，生成底层硬件控制指令，以驱动执行闭环优化巡检作业。

60、综上，本发明包括以下有益技术效果：

61、1.在端侧对连续视频数据流执行频域多尺度分解，获取静态纹理、动态光流与结构轮廓通道并拼接为异构时空特征张量。该手段将视频流解耦至特定物理模态的特征空间，降低了单一视觉特征的局限性，为后续分析提供了结构化的融合数据基础。

62、2.对异构时空特征张量在解码过程中的交叉域扰动突变进行偏导数求解，构建跨模态重构雅可比矩阵，并封装为结构化异常特征数据包。该过程将高维图像数据转化为表征模态耦合强度的低维数学特征，在保留核心异常拓扑关系的前提下，降低了端云上行传输数据量，适应了无人机弱网环境下的带宽限制。

63、3.在云端还原基础度量张量并注入非欧流形几何空间图谱，通过标量缩放一致性校验触发抗噪拦截机制，抑制了由全局光照等环境伪影引起的误报。同时，通过执行梯度下降求解得到流形空间梯度下降轨迹，将故障判定转化为几何收敛过程，结合测地线偏置距离计算绝对诊断置信度分值，为诊断结论提供了客观的量化评估标准。