一种基于计算机视觉的无人机巡检路径规划方法与流程

本发明涉及无人机路径规划，具体为一种基于计算机视觉的无人机巡检路径规划方法。

背景技术：

1、无人机巡检路径规划在电力线路巡检、工业设施检测等领域有着广泛应用。传统的巡检路径规划多依赖预定义航点或基于几何地图的搜索算法，无人机按固定的航线和高度飞行，难以应对环境动态变化和语义信息丰富的场景。当巡检区域存在不同类别的障碍物、临时目标或结构复杂的设施时，固定路径无法自适应调整，可能导致漏检或碰撞风险。

2、现有的技术方案中，一种方式是利用激光雷达或视觉传感器构建环境的三维几何地图，再结合路径搜索算法在几何空间内规划路径。这类方法主要关注避障和路径长度优化，忽略了场景的语义信息，无法区分障碍物与兴趣目标，规划出的路径在覆盖关键巡检区域方面存在盲目性。另一种方式是采用基于学习的方法直接由传感器数据映射为控制量，但端到端的模型训练依赖大量标注样本，在稀疏回报的巡检任务中容易陷入局部最优，且缺乏对全局路径结构的显式推理，导致规划路径的连续性和可解释性不足。

3、将语义理解与路径规划进行耦合时，现有方案通常仅为地图赋予类别标签，仍未将语义信息有机融入动作决策过程，路径搜索时的启发式设计也较少考虑语义障碍在空间中的分布特性。因此，存在两个亟需解决的技术问题：一是在具有丰富语义的复杂环境中，如何根据当前感知到的语义地图自适应地生成具有全局意识的初始路径方向，而非仅依赖局部几何信息做出决策；二是在融合局部规划与全局地图时，如何利用三维语义点云中的障碍分布精细指引图搜索过程的启发式评价，避免路径被阻断在语义障碍密集区域，从而获得兼顾覆盖性与可行性的全局最优巡检路径。

技术实现思路

1、提供一种基于计算机视觉的无人机巡检路径规划方法，能够在语义复杂的环境中利用三维语义点云地图与深度强化学习产生具备全局感知的初始路径方向，并通过融合语义障碍密度的图优化搜索，生成兼顾安全性与巡检覆盖率的全局最优路径。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于计算机视觉的无人机巡检路径规划方法，通过构建三维语义点云地图并融合深度强化学习与视觉里程计，实现从局部到全局的巡检路径优化，提升复杂环境下路径的安全性与覆盖效率。

3、在本发明的方案中，通过无人机搭载的视觉传感器采集巡检区域的连续帧图像，对每帧图像提取多尺度视觉特征，构建包含语义标签和空间位置的三维语义点云地图。基于三维语义点云地图，利用预先训练的深度q网络模型对当前位姿下的动作空间进行评估，输出状态-动作值函数，选择最大q值的动作作为初始路径方向。根据初始路径方向，结合实时图像序列的视觉里程计数据，生成平滑的局部路径规划结果。将局部路径规划结果与全局地图进行融合，通过图优化算法得到全局最优巡检路径。该方法将语义感知、深度强化学习决策与图优化全局规划有机结合，使路径规划既能实时响应局部环境变化，又能满足巡检覆盖率和避障要求，提高无人机在复杂巡检任务中的自主性与鲁棒性。

4、作为本发明的一个优选技术方案，对每帧图像提取多尺度视觉特征时，将连续帧图像输入预先训练的轻量化卷积神经网络，在多个卷积层输出不同尺度的特征图；对每个特征图进行通道注意力加权处理，生成通道权重向量，将通道权重向量与对应特征图逐通道相乘，得到加权特征图；对不同尺度的加权特征图进行上采样至统一分辨率后拼接，形成多尺度融合特征张量。通过多尺度特征融合与通道注意力机制，能够有效增强对巡检场景中不同尺寸目标及细节结构的表征能力，提高后续语义点云构建的准确性。

5、进而，构建包含语义标签和空间位置的三维语义点云地图时，对每帧图像进行语义分割，获得像素级语义标签图；提取像素级语义标签图与多尺度融合特征张量之间的对应关系，结合无人机位姿信息通过三角化计算每个语义像素的三维坐标，得到原始语义点云；对原始语义点云进行体素滤波和离群点剔除，生成结构化三维语义点云地图。该过程将语义信息与空间几何信息统一在点云表示中，形成带有物体类别属性的三维环境模型，为路径决策提供更丰富的场景理解依据。

6、在利用深度q网络模型进行评估时，优选的，将当前位姿下的三维语义点云地图降采样后转换为二维俯视图特征图，输入深度q网络模型的特征编码器，生成状态特征向量；深度q网络模型的策略网络以状态特征向量为输入，输出离散动作空间中每个动作的q值；选择q值最大的动作作为当前时刻的初始路径方向。降采样与俯视图转换能有效压缩状态空间维度，提升网络推理速度，同时保留障碍物、兴趣点等关键空间与语义信息，使强化学习决策在计算效率和路径导向性之间取得平衡。

7、对于深度q网络模型的训练，可构建巡检环境仿真器，随机生成包含障碍物和兴趣点的场景；以三维语义点云地图为状态表示，以离散动作空间为输出，设定目标覆盖率和碰撞惩罚的奖励函数；通过经验回放机制采样历史转移样本，使用双q学习更新网络参数。该训练方式使模型能够在多样化仿真环境中学习到兼顾覆盖效率与安全避障的策略，迁移至真实巡检场景时具备良好的泛化能力。

8、在结合实时图像序列的视觉里程计数据方面，对实时图像序列中的相邻帧进行特征点匹配，通过本质矩阵分解估计相机的相对位姿变化；利用卡尔曼滤波器对相对位姿变化和惯性测量单元数据进行融合，得到连续帧间的位姿增量；将位姿增量累加至初始位姿，生成实时视觉里程计数据。融合视觉与惯性信息能有效抑制单纯视觉里程计在快速运动或纹理稀疏区域的漂移问题，提高位姿估计的稳定性和精确度，为局部路径规划提供可靠的位姿基础。

9、在上述基础上，生成平滑的局部路径规划结果时，以初始路径方向为参考，在预定义的局部窗口内生成候选路径点集；对每个候选路径点，以视觉里程计数据为输入，计算路径点处的曲率和方向变化代价；使用动态规划方法在候选路径点集中选择累计代价最小的路径序列，作为局部路径规划结果。通过最小化曲率与方向变化代价，可得到满足无人机运动学约束的平滑局部路径，减少飞行过程中的急转弯和能量消耗，提升巡检平稳性。

10、进一步地，将局部路径规划结果与全局地图进行融合时，建立全局地图的栅格化成本图，将局部路径规划结果中的路径点投影至栅格化成本图上；在栅格化成本图上定义能量函数，能量函数包含路径长度项、障碍物距离项和未覆盖区域惩罚项；通过梯度下降法优化路径点的位置，使能量函数最小化，得到优化后的局部路径段。能量函数综合多个优化目标，使局部路径段在保持较短总长度的同时远离障碍物并倾向于覆盖未巡检区域，兼顾路径效率、安全与任务完成度。

11、基于此，通过图优化算法得到全局最优巡检路径时，将优化后的局部路径段的端点作为图节点，各路径段作为边，构建全局路径图；在全局路径图中添加起点和终点节点，并连接所有未覆盖区域的最近节点；调用带有启发式函数的a算法对全局路径图进行搜索，输出从起点到终点的最短路径作为全局最优巡检路径。该图优化框架能够将局部路径段有效拼接为覆盖整个巡检区域的全局路径，并利用启发式搜索保证路径的全局最优性和计算实时性。

12、优选的，a算法的启发式函数为欧氏距离与语义障碍密度的加权和，语义障碍密度的计算方式为：在三维语义点云地图中统计当前节点到目标节点直线穿过的语义障碍体素数量；将语义障碍体素数量除以直线上的总体素数，得到归一化的语义障碍密度；将归一化的语义障碍密度乘以预设权重后与欧氏距离相加，生成启发式距离。引入语义障碍密度作为启发式代价的一部分，使路径搜索不仅考虑几何最短距离，还能提前避开障碍物高密度区域，进一步降低碰撞风险，提升巡检路径的安全性。

13、在上述技术方案中，本发明提供的技术效果和优点：

14、以三维语义点云地图作为状态表示，利用预先训练的深度q网络模型对当前位姿下的动作空间进行评估，输出状态-动作值函数并选择最大q值的动作作为初始路径方向。该方式将场景的语义标签与空间结构编码进状态特征，使模型能够在决策时辨别障碍物类别与兴趣区域，不再依赖几何距离的单一指标。深度q网络在训练阶段通过包含目标覆盖率和碰撞惩罚的奖励函数进行优化，使得初始路径方向在局部观测下仍能体现出对全局巡检目标的倾向，减少因贪婪避障造成的区域遗漏。相比于基于几何搜索或规则的方向选择方法，这种语义驱动的强化学习方向生成策略在复杂结构中展现出更强的适应能力，有效提升后续局部规划的效率。

15、将所述局部路径规划结果与全局地图进行融合时，在栅格化成本图上定义包含路径长度项、障碍物距离项和未覆盖区域惩罚项的能量函数，通过梯度下降优化路径点位置，并在全局路径图中调用带有启发式函数的a算法获取最短路径。该启发式函数由欧氏距离与语义障碍密度的加权和构成，语义障碍密度的计算是在三维语义点云地图中统计当前节点到目标节点直线穿过的语义障碍体素数量，并除以直线上的总体素数得到归一化密度。这一设计使得图搜索过程不仅考虑空间距离，还定量评估路径穿越语义障碍区域的代价，从而引导路径主动绕过障碍密度大的区域，降低局部路径调整的频次和碰撞概率。将局部优化后的路径段作为边构建全局图结构，a搜索综合语义障碍分布完成全局路径拼接，最终得到的巡检路径在保障连续平滑的同时，实现了对未覆盖区域的系统性访问，路径整体长度和碰撞风险均得到有效控制。