多无人机协同的海上风机叶片缺陷识别与数据融合方法与流程

本发明涉及计算机视觉图像分析领域，具体涉及多无人机协同的海上风机叶片缺陷识别与数据融合方法。

背景技术：

1、海上风机叶片长期处于恶劣海洋环境中，容易出现裂纹、剥落等表面缺陷，需定期进行巡检。目前常采用无人机搭载视觉传感器对叶片表面进行图像采集。单架无人机巡检耗时长且存在视野盲区，为提高巡检效率，现有技术引入多无人机协同巡检模式，由多架无人机从不同视角同步获取叶片图像。获取的多视角图像不可避免地存在重叠区域，需将不同视角的图像数据进行拼接融合处理，以重构完整的叶片表面缺陷分布状态。当前常规的数据融合操作主要基于二维像素坐标进行图像配准与叠加。

2、在具体的多视角图像融合实现过程中，现有技术通常在二维图像空间内提取特征点进行匹配，计算平面变换矩阵，将不同视角的图像或特征图映射至同一二维画布上。对于重叠区域的缺陷特征，现有做法通常采用加权平均或者直接覆盖的方式进行处理。这种方式默认不同视角的图像在二维平面上满足简单的线性变换关系，且重叠区域的特征响应具有一致性。实际操作中，直接对像素或特征层进行平面空间的刚性变换与叠加融合，将重叠区域的特征数值进行算术运算。

3、由于风机叶片具有复杂的三维曲面结构，且多无人机在动态海风环境中的拍摄位姿存在随机偏转，基于二维平面的特征匹配与融合忽略了叶片曲率对像素空间分布的物理影响，会产生严重的视角畸变。这种畸变导致不同视角下同一物理位置的缺陷特征在二维融合平面上产生空间位置错位。对存在空间错位的重叠区域特征进行平面刚性变换与直接叠加，会造成缺陷边缘模糊、细小特征丢失或产生虚假融合痕迹。现有技术未能将叶片三维几何形变约束引入视觉特征融合流程，导致多源视觉数据在曲面物理空间上无法实现准确关联，重叠区缺陷特征在融合过程中发生细节湮灭。

技术实现思路

1、本发明的目的在于提供多无人机协同的海上风机叶片缺陷识别与数据融合方法，可以解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、多无人机协同的海上风机叶片缺陷识别与数据融合方法，包括：提取多无人机采集的海上风机叶片图像序列中的视觉特征点，结合所述多无人机的位姿信息与海上风机叶片的三维曲面模型，将所述多无人机采集的多视角图像映射至统一的二维参数化展开平面上；基于所述二维参数化展开平面上的映射结果，计算多视角图像之间的视角像素映射矩阵；在特征级融合阶段，构建跨视角空间一致性约束的注意力融合网络，将所述多无人机中不同无人机提取的缺陷特征图按照所述视角像素映射矩阵进行空间对齐操作；引入空间一致性损失函数，基于所述空间一致性损失函数计算不同无人机在所述二维参数化展开平面重叠区域的特征语义冲突惩罚值；基于所述特征语义冲突惩罚值，通过所述跨视角空间一致性约束的注意力融合网络中的注意力权重对空间对齐操作后的多视角缺陷特征进行动态融合，生成海上风机叶片的全局缺陷特征图。

4、优选的，将所述多无人机采集的多视角图像映射至统一的二维参数化展开平面上，包括：获取所述海上风机叶片的三维曲面模型的主曲率方向，沿所述主曲率方向对所述三维曲面模型进行网格化剖分，建立所述三维曲面模型与所述二维参数化展开平面之间的等距映射关系；将所述多无人机的位姿信息投影至所述三维曲面模型上，确定所述多无人机的光心射线与所述三维曲面模型的交点坐标，基于所述交点坐标与所述等距映射关系，将所述多视角图像中的像素点重新采样至所述二维参数化展开平面的对应网格中，生成消除曲面几何畸变的参数化展开图像。

5、优选的，计算多视角图像之间的视角像素映射矩阵，包括：在所述二维参数化展开平面上提取多视角图像的尺度不变特征变换描述子，对相邻视角的尺度不变特征变换描述子进行双向匹配，获取初始匹配点对集合；基于所述三维曲面模型的表面连续性约束条件，计算所述初始匹配点对集合中各匹配点对在所述三维曲面模型上的测地线距离偏差，剔除测地线距离偏差超出预设阈值的误匹配点对，生成目标匹配点对集合；利用所述目标匹配点对集合，求解相邻视角之间的单应性变换矩阵，将所述单应性变换矩阵作为所述视角像素映射矩阵。

6、优选的，将所述多无人机中不同无人机提取的缺陷特征图按照所述视角像素映射矩阵进行空间对齐操作，包括：将所述视角像素映射矩阵转换为所述跨视角空间一致性约束的注意力融合网络中可变形卷积核的偏移量参数；将基准视角的缺陷特征图作为基准特征，将非基准视角的缺陷特征图作为待对齐特征，利用所述偏移量参数对所述待对齐特征进行卷积采样操作，使所述待对齐特征中的像素坐标根据所述偏移量参数在所述基准特征的坐标系内进行空间位移，生成与所述基准特征在空间几何上对齐的对齐缺陷特征图。

7、优选的，基于所述空间一致性损失函数计算不同无人机在所述二维参数化展开平面重叠区域的特征语义冲突惩罚值，包括：根据所述视角像素映射矩阵，提取不同无人机的缺陷特征图在所述二维参数化展开平面上的重叠区域掩膜；分别计算所述重叠区域掩膜内不同无人机的缺陷特征图的特征响应方差，以及不同无人机的缺陷特征图在所述重叠区域掩膜内的高阶统计矩差异；将所述特征响应方差与所述高阶统计矩差异进行加权求和，将加权求和的结果作为所述特征语义冲突惩罚值，所述空间一致性损失函数与所述特征语义冲突惩罚值呈正相关。

8、优选的，通过所述跨视角空间一致性约束的注意力融合网络中的注意力权重对空间对齐操作后的多视角缺陷特征进行动态融合，生成海上风机叶片的全局缺陷特征图，包括：基于所述特征语义冲突惩罚值，对空间对齐操作后的多视角缺陷特征进行反向传播梯度修正，更新所述跨视角空间一致性约束的注意力融合网络中的通道注意力向量与空间注意力向量；将空间对齐操作后的多视角缺陷特征分别与所述通道注意力向量和所述空间注意力向量相乘，生成加权特征图，将多无人机对应的加权特征图进行逐像素最大值融合，输出所述全局缺陷特征图。

9、优选的，建立所述三维曲面模型与所述二维参数化展开平面之间的等距映射关系，包括：对所述三维曲面模型进行三角面片化处理，计算相邻三角面片之间的二面角，基于所述二面角对所述三维曲面模型进行高斯映射展开，保持相邻三角面片的连接拓扑关系不变，将所述三维曲面模型的顶点坐标映射至所述二维参数化展开平面，形成二维网格拓扑；确定所述多无人机的光心射线与所述三维曲面模型的交点坐标，包括：基于所述多无人机的位姿信息构建相机透视投影模型，计算所述相机透视投影模型的投影射线与三角面片的交点，采用射线与三角形相交测试获取所述交点坐标。

10、优选的，利用所述目标匹配点对集合，求解相邻视角之间的单应性变换矩阵，包括：采用随机采样一致性策略从所述目标匹配点对集合中随机抽取四对非共线的匹配点，构建线性方程组求解候选单应性矩阵；将所述目标匹配点对集合中的全部匹配点代入所述候选单应性矩阵进行投影变换，计算投影坐标与真实坐标之间的重投影误差，统计重投影误差小于误差阈值的内点数量；迭代执行随机抽取与内点统计操作，直至获取内点数量最多的最优候选单应性矩阵，利用所述最优候选单应性矩阵的全部内点重新进行最小二乘拟合，输出所述单应性变换矩阵。

11、优选的，将所述视角像素映射矩阵转换为所述跨视角空间一致性约束的注意力融合网络中可变形卷积核的偏移量参数，包括：对所述视角像素映射矩阵进行奇异值分解，提取所述视角像素映射矩阵中的旋转分量与平移分量，将所述旋转分量与所述平移分量映射为所述可变形卷积核中每个采样点的二维坐标偏移量；利用所述偏移量参数对所述待对齐特征进行卷积采样操作，包括：根据所述二维坐标偏移量，在所述待对齐特征的特征图上进行双线性插值采样，将采样得到的特征值与所述可变形卷积核的权重系数进行点乘求和，完成非整数坐标位置的卷积特征提取。

12、优选的，分别计算所述重叠区域掩膜内不同无人机的缺陷特征图的特征响应方差，包括：在所述重叠区域掩膜内，沿通道维度计算不同无人机的缺陷特征图的激活均值，基于所述激活均值计算不同无人机的缺陷特征图之间的逐像素差值绝对值，将所述逐像素差值绝对值的平方和作为所述特征响应方差；计算不同无人机的缺陷特征图在所述重叠区域掩膜内的高阶统计矩差异，包括：提取所述重叠区域掩膜内缺陷特征图的三阶累积量与四阶累积量，计算不同无人机的三阶累积量差值与四阶累积量差值之和，作为所述高阶统计矩差异。

13、与现有技术相比，本发明的有益效果在于：

14、1.将多无人机采集的多视角图像映射至统一的二维参数化展开平面上，结合无人机位姿与三维曲面模型建立等距映射关系，计算视角像素映射矩阵，克服了二维图像直接拼接带来的视角畸变问题。利用尺度不变特征变换描述子双向匹配并结合三维曲面表面连续性约束的测地线距离偏差剔除误匹配，提高了视角像素映射矩阵在曲面空间中的准确性，实现了缺陷特征在曲面物理空间上的对齐，保留了缺陷的空间连续性与物理分布关系。

15、2.将视角像素映射矩阵转换为可变形卷积核的偏移量参数对待对齐特征进行卷积采样，实现了特征级空间对齐的非整数坐标精确插值。引入空间一致性损失函数，提取重叠区域掩膜内不同无人机缺陷特征图的特征响应方差与高阶统计矩差异并加权求和，获取特征语义冲突惩罚值，排除了重叠区域中因视角差异导致的语义冲突干扰，避免了缺陷边缘特征在融合时相互抵消或发生模糊。

16、3.基于特征语义冲突惩罚值对跨视角空间一致性约束的注意力融合网络进行反向传播梯度修正，更新通道注意力向量与空间注意力向量，将空间对齐后的多视角缺陷特征与注意力向量相乘生成加权特征图并进行逐像素最大值融合。该操作使得最终融合结果自适应地突出不同视角中响应质量高的缺陷表达，抑制低质量视角的干扰噪声，提升了全局缺陷特征图的表达鲁棒性。