一种基于视觉量测的无人机自主巡检方法和系统与流程

本发明涉及无人机电力巡检，具体涉及一种基于视觉量测的无人机自主巡检方法和系统。

背景技术：

1、当前架空输电线路无人机巡检普遍采用预设航线+gps导航的作业模式。该模式在工程应用中存在显著技术缺陷：作业前需人工测绘杆塔精确三维坐标并人工设计固定航点与飞行路径，无法在无先验坐标、无预设路径的条件下完成自主巡检，作业准备周期长，灵活性差；现有杆塔识别技术多为二维图像分类，不具备结构化拓扑表达能力，无法将部件空间位置、物理连接关系转化为可用于路径规划的结构化数据，感知结果仅能实现分类功能，未形成感知-决策的技术闭环；电网巡检标准为非结构化文本规范，需人工解读后转化为航点位置、拍摄角度等参数，巡检规则无法与前端视觉感知结果自动匹配对齐，业务规则体系与机器执行体系之间存在数字化断层；现有无人机视觉定位多采用通用视觉-惯性里程计方案，未针对杆塔场景引入结构先验约束，近距离巡检时易导致特征跟踪丢失与位姿漂移；现有巡检飞行控制为位置开环控制，不关注实际拍摄的构图质量与标准符合性，易因风扰、定位偏差导致拍摄画面偏离巡检规范。

技术实现思路

1、针对现有方法的不足以及实际应用的需求，一方面，本发明提供一种基于视觉量测的无人机自主巡检方法，包括以下步骤：

2、基于电力杆塔物理连接规则构建语义拓扑图，通过各向异性图卷积神经网络推理得到杆塔类型以及杆塔语义拓扑描述子；构建三级巡检标准知识图谱，将知识图谱编码为空间加权的巡检标准语义约束向量，并与所述杆塔语义拓扑描述子完成跨模态语义对齐；以实时杆塔语义拓扑图为数据图、标准杆塔拓扑图为模型图，通过注入拓扑顺序先验的概率图匹配完成巡检规则到部件的分配，结合故障优先级权重与塔身安全包络约束，生成多层级巡检语义路标图；引入从杆塔语义拓扑描述子提取的塔身平面参数作为伪测量约束，通过距离与观测质量调整约束权重，获得实时位姿流形向量；将实时位姿流形向量作为帧节点、视觉地标特征码本作为固定基准节点构建增量式全局位姿图，并采用分层增量式优化修正位姿漂移，获得全局一致性巡检位姿向量；结合所述多层级巡检语义路标图与全局一致性巡检位姿向量，提取目标部件的视觉伺服偏差并融入模型预测控制代价函数，在塔身安全包络面硬约束下生成巡检控制指令。

3、可选地，所述基于电力杆塔物理连接规则构建语义拓扑图，通过各向异性图卷积神经网络推理得到杆塔类型以及杆塔语义拓扑描述子，包括以下步骤：

4、基于无人机接近杆塔过程中的连续可见光图像，通过多视几何方法恢复相机位姿与杆塔稀疏三维点云，结合电力部件语义分割将二维语义标签投影至三维点集；将每类语义部件聚类为拓扑图节点，节点属性包含语义类别、三维质心、包围盒尺寸与主朝向单位向量，以电力杆塔标准物理连接规则为初始约束构建拓扑边，结合空间邻接关系修正边连接，生成带纵向连接、悬挂连接、并列连接、末端连接四类标签的语义拓扑图；通过方向感知图卷积神经网络对语义拓扑图进行推理，获得杆塔类型分类结果，拟合塔身中心轴线构建杆塔局部坐标系，将拓扑图所有节点的空间坐标与朝向转换至局部坐标系下，以塔身总高度为基准做尺度归一化，生成杆塔语义拓扑描述子。

5、可选地，所述构建三级巡检标准知识图谱，将知识图谱编码为空间加权的巡检标准语义约束向量，并与所述杆塔语义拓扑描述子完成跨模态语义对齐，包括以下步骤：

6、以杆塔语义拓扑描述子的部件语义类别清单为实体范围约束，从巡检标准文本中抽取巡检目标部件、巡检质量要求、量化拍摄参数三类结构化实体；以顶层为杆塔类型节点，中间层为部件类别节点，底层为质量要求与拍摄参数的规则参数节点构建三级层级知识图谱，节点间通过从属边、约束边、关联边连接，其中关联边与语义拓扑图的边类型一一对应；将每个部件对应的完整巡检规则编码为部件子语义向量，按电网历史故障统计设定的部件故障优先级赋予权重系数后，沿杆塔拓扑顺序拼接所有部件子向量并叠加塔型全局向量，生成巡检标准语义约束向量；通过拓扑一致性修正视角遮挡导致的匹配错位，经线性变换将标准约束向量映射至视觉特征空间，完成跨模态对齐。

7、可选地，所述以实时杆塔语义拓扑图为数据图、标准杆塔拓扑图为模型图，通过注入拓扑顺序先验的概率图匹配完成巡检规则到部件的分配，结合故障优先级权重与塔身安全包络约束，生成多层级巡检语义路标图，包括以下步骤：

8、将实时感知的杆塔语义拓扑图作为数据图，同类型标准杆塔拓扑图作为模型图，在概率图匹配中注入纵向顺序、横向排列两类拓扑先验概率，采用置信度传播算法求解全局最优节点对应关系，将巡检规则映射至实际杆塔部件；把每个待巡检部件抽象为任务节点，构建包含路径长度代价与优先级惩罚代价的多目标优化函数，基于高度单调、路径安全约束求解得到带执行顺序的全局任务航点序列；基于杆塔部件包围盒与法定安全距离构建塔身安全包络面，在部件周边半球空间采样候选视点，利用拍摄参数符合度、可视遮挡率、安全裕度、姿态平滑度评估视点质量，求解得到每个部件的最优拍摄视点位姿；构建任务层、航点层、辅助层三级节点体系，利用主执行边、任务映射边、应急旁路边、全局返航边四类拓扑边，生成带完整业务语义与安全约束的多层级巡检语义路标图。

9、可选地，所述引入从杆塔语义拓扑描述子提取的塔身平面参数作为伪测量约束，通过距离与观测质量调整约束权重，获得实时位姿流形向量，包括以下步骤：

10、从杆塔语义拓扑描述子中拟合塔身各立面的三维平面参数作为先验平面集；结合实时图像塔身语义掩码与当前帧初始位姿，解算观测平面参数，经法向量夹角匹配完成平面对应获得有效平面约束；构建法向量旋转残差与距离平移残差组成的塔身平面伪测量误差项，加入滑动窗口优化目标；采用列文伯格-马夸尔特算法执行联合非线性优化，经舒尔补消元压缩求解维度，获得实时位姿流形向量。

11、可选地，所述伪测量误差项的权重由距离因子与观测质量因子相乘得到；所述距离因子按当前相机到塔身平面的距离计算，所述观测质量因子按当前帧塔身掩码像素占比、边缘检测置信度综合计算。

12、可选地，提取所述视觉地标特征码本，包括以下步骤：

13、基于带语义三维点云，利用刚性部件点云进行三级筛选得到候选地标集合；将每个候选地标投影至多视角图像裁剪局部图像块，采用杆塔场景微调的超点网络提取特征描述子，形成各地标的多视角描述子集合；按杆塔拓扑结构将候选地标预分为塔身组、横担组、绝缘子组、金具组，各组内独立执行特征聚类获得所述视觉地标特征码本。

14、可选地，所述将实时位姿流形向量作为帧节点、视觉地标特征码本作为固定基准节点构建增量式全局位姿图，并采用分层增量式优化修正位姿漂移，获得全局一致性巡检位姿向量，包括以下步骤：

15、基于当前帧位姿与视锥体范围，通过视觉地标特征码本筛选候选地标，通过同组空间约束、跨组从属约束、整体拓扑约束三级校验剔除误匹配，满足数量阈值时判定有效闭环并求解相对位姿观测；构建包含帧位姿节点与固定地标节点的两类节点体系，基于约束边采用链式存储结构实现节点与边的纯增量式更新；通过渐进式优化策略修正位姿漂移，每层设置位姿调整量硬约束，获得全局一致性巡检位姿向量。

16、可选地，所述结合所述多层级巡检语义路标图与全局一致性巡检位姿向量，提取目标部件的视觉伺服偏差并融入模型预测控制代价函数，在塔身安全包络面硬约束下生成巡检控制指令，包括以下步骤：

17、结合所述多层级巡检语义路标图与全局一致性巡检位姿向量，根据气象、电量状态动态调度巡检任务；将巡检标准转化为视觉伺服偏差，融入模型预测控制代价函数，分阶段调整权重，在安全包络约束下生成平滑控制指令。

18、第二方面，为能够高效地执行本发明所提供的一种基于视觉量测的无人机自主巡检方法，本发明还提供了一种基于视觉量测的无人机自主巡检系统，包括：输入设备、输出设备、处理器、存储器，所述输入设备、输出设备、处理器、存储器相互连接，所述存储器存储有程序指令，所述程序指令用于基于视觉量测的无人机自主巡检方法。本发明的一种基于视觉量测的无人机自主巡检系统，结构紧凑、性能稳定，能够稳定地执行本发明提供的一种基于视觉量测的无人机自主巡检方法，进一步提升本发明整体适用性和实际应用能力。

19、本发明先构建结合物理连接规则的杆塔语义拓扑描述子，为后续规划与定位提供了实时感知的结构化基准，从而解决了无预设航线场景下无人机从任意视角接近时的杆塔类型自动识别与结构化表达问题。其次，通过构建三级巡检标准知识图谱并生成语义约束向量，将非结构化的巡检标准转化为机器可计算的量化约束，并与感知结果完成跨模态对齐，解决了业务规则与机器执行体系之间的数字化断层问题。接着，通过概率图匹配与故障优先级加权的规划，结合塔身安全包络约束，生成了带业务语义的多层级巡检路标图，实现了巡检路径的自动规划，摆脱了对预设航线的依赖。然后，通过引入塔身平面伪测量约束与构建地标码本的增量式全局位姿优化，显著提升了近距离巡检时的位姿稳定性与全局一致性，解决了杆塔场景重复纹理多导致的视觉里程计漂移问题。最后，通过将视觉伺服偏差融入模型预测控制，并以塔身安全包络面为硬约束，实现了巡检拍摄质量与飞行安全的闭环控制，解决了传统开环控制不关注实际拍摄构图质量的问题。