一种风机叶片无人机巡检缺陷智能识别系统的制作方法

本技术属于风力发电设备运维，具体涉及一种风机叶片无人机巡检缺陷智能识别系统。

背景技术：

1、随着全球能源转型的深入推进，风力发电产业持续高速发展，我国风电装机容量连续多年位居全球首位。风力发电机叶片作为捕获风能的核心部件，长期运行于高盐雾、高湿度、强紫外线及交变载荷等恶劣环境中，极易产生裂纹、腐蚀、脱落、砂眼、雷击损伤等多种表面及内部缺陷。一旦叶片损伤未能及时发现和处理，可能导致叶片断裂等严重事故，造成巨大的经济损失和安全风险。

2、目前，风机叶片的缺陷检测主要依赖传统人工巡检方式，包括望远镜观测、吊绳攀爬观察及高空作业平台检测等手段。这些传统方法存在诸多固有弊端：一是效率低下，单台风机巡检往往需要数小时甚至更长时间；二是安全风险高，巡检人员需在高空或恶劣天气条件下作业，人身安全难以保障；三是检测主观性强，检测结果高度依赖巡检人员的经验和目视判断，漏检率较高；四是传统巡检通常需要风机停机才能进行，直接导致发电量损失。

3、近年来，无人机技术的快速发展为风机叶片巡检提供了新的技术路径。无人机搭载高清相机等传感器对叶片进行航拍，结合图像处理与机器学习算法进行缺陷识别，已成为叶片无损检测的重要手段。然而，现有基于无人机的叶片巡检系统仍存在以下技术不足：

4、其一，现有巡检航线规划方法大多需要风机停机或预先获取叶片的精确实时姿态信息，难以在风机正常运行（叶片持续旋转）条件下实现高质量的数据采集。部分系统虽然实现了不停机巡检，但其航线为固定模式，缺乏根据历史检测结果进行自适应优化的能力。

5、其二，现有系统多采用单一传感器（如仅可见光相机或仅红外热像仪）进行数据采集。单一模态的检测手段存在明显局限性：可见光图像难以识别叶片内部缺陷和早期隐性损伤，红外热成像对表面细小裂纹的分辨率不足，激光雷达点云数据缺乏纹理信息难以直接判断缺陷类型。单一模态检测方式的检测精度和可靠性有限。

6、其三，现有智能检测算法在无人机航拍场景下面临环境适应性弱、多类型缺陷检测性能不足等问题。无人机采集的图像受光照变化、拍摄角度、叶片运动模糊等因素影响较大，加之缺陷样本的类间不平衡（微小缺陷样本稀少），现有检测模型难以同时兼顾各类缺陷的识别精度。

7、其四，现有系统多为“采集-识别”的简单流水线，缺乏从数据采集、多模态融合检测到缺陷分级评估、运维决策生成再到航线迭代优化的完整数据闭环，难以实现巡检策略的持续自我改进。

技术实现思路

1、本技术提供一种风机叶片无人机巡检缺陷智能识别系统，旨在解决现有技术中巡检需停机、航线缺乏自适应优化、单一模态检测精度有限、缺乏完整数据闭环的问题。

2、一种风机叶片无人机巡检缺陷智能识别系统，包括：航线规划与自主导航模块、多源数据采集模块、数据预处理与特征增强模块、多模态融合检测模块、缺陷综合分析决策模块和数据交互与可视化模块；

3、所述航线规划与自主导航模块根据输入的风机结构参数生成以风机轮毂中心为球心、预设安全距离为半径的半球形巡检航线，并输出规划航线数据至所述多源数据采集模块；

4、所述多源数据采集模块搭载于无人机平台，根据接收到的规划航线数据，同步控制可见光图像采集、红外热成像采集和激光雷达点云采集的执行，并将采集到的多源数据输出至所述数据预处理与特征增强模块；

5、所述数据预处理与特征增强模块对接收到的多源数据进行去噪、对比度增强、多尺度细节增强和归一化处理，将处理后的可见光图像数据、红外热成像数据和激光雷达点云数据输出至所述多模态融合检测模块；

6、所述多模态融合检测模块分别对可见光图像数据进行缺陷目标检测、对红外热成像数据进行热异常检测、对激光雷达点云数据进行几何形变检测，再通过基于注意力机制的多模态特征融合对三种模态的检测结果进行时空对齐与置信度加权融合，根据融合后的特征综合判定缺陷的存在性、类型、严重程度及空间位置，并将综合缺陷检测结果输出至所述缺陷综合分析决策模块；

7、所述缺陷综合分析决策模块根据接收到的综合缺陷检测结果进行缺陷分类与分级，并根据叶片空间位置数据计算叶片与塔筒之间的最小夹角以评估扫塔风险，再综合缺陷分级结果和扫塔风险评估结果生成运维决策建议，将运维决策数据输出至所述数据交互与可视化模块；

8、所述数据交互与可视化模块对接收到的运维决策数据进行存储、三维可视化和报告生成，并将本次巡检的缺陷分布数据、检测精度数据及航线执行数据反馈至所述航线规划与自主导航模块，供其进行后续巡检航线的迭代优化。

9、可选地，所述航线规划与自主导航模块包括：风机参数输入子模块、半球形巡检航线生成子模块、动态避障子模块和航线优化子模块；

10、所述风机参数输入子模块接收并存储风机的结构参数与地理信息参数，传输至所述半球形巡检航线生成子模块；

11、所述半球形巡检航线生成子模块根据所述风机参数输入子模块提供的风机结构参数，以轮毂中心的空间坐标为原点建立风机局部坐标系，在半球面上均匀布设若干航迹点，并将航迹点序列转换为航线文件输出至无人机飞控系统；该子模块还根据叶片额定转速范围设定图像采集的曝光时序参数，使相机快门触发时刻与叶片通过预设采集区域的时间窗口相匹配；

12、所述动态避障子模块实时接收无人机机载避障传感器的多源感知数据，内置局部路径重规划单元，当判定当前规划航线的预设安全距离内存在障碍物时触发局部航线修正流程，待无人机绕过障碍物并回归原始航线后恢复沿原始规划航线继续执行巡检任务；

13、所述航线优化子模块接收来自所述数据交互与可视化模块反馈的历史巡检数据与缺陷分布信息，对历史巡检中检出的缺陷类型、缺陷空间位置、缺陷严重等级进行统计分析生成叶片表面的缺陷概率分布热力图，并根据该热力图在后继巡检的航线规划中动态调整航迹点的空间分布密度，优化后的航线参数更新至所述半球形巡检航线生成子模块的航线模板库中。

14、可选地，所述多源数据采集模块部署于无人机平台，包括：可见光图像采集子模块、红外热成像采集子模块、激光雷达点云采集子模块、采集控制子模块和数据缓存子模块；

15、所述采集控制子模块接收所述航线规划与自主导航模块输出的规划航线数据，根据航线中预设的采集点位、采集时刻和采集参数，同步控制所述可见光图像采集子模块、红外热成像采集子模块和激光雷达点云采集子模块执行数据采集；该子模块内置高精度时钟同步单元，通过全球导航卫星系统的秒脉冲信号作为统一的时钟基准，对各传感器的数据采集时刻进行同步授时，在无人机抵达预设采集点位时同时向三个传感器发送触发脉冲；

16、所述数据缓存子模块按照所述采集控制子模块提供的时间戳和空间位姿信息，将可见光图像帧、红外热成像帧和激光雷达点云帧按照统一的时间轴进行对齐和索引，形成以采集时刻为主键的多模态数据记录，每条记录包含同一时刻下叶片同一空间区域的可见光图像数据、红外热图像数据、三维点云数据以及对应的无人机位姿元数据；巡检任务完成后，该子模块将多模态数据包完整输出至所述数据预处理与特征增强模块。

17、可选地，所述数据预处理与特征增强模块包括：图像去噪子模块、对比度增强子模块、多尺度细节增强子模块和数据归一化子模块；

18、所述图像去噪子模块接收所述多源数据采集模块输出的可见光图像数据，采用非局部均值算法去除图像中的背景噪声，利用图像中存在的非局部自相似性冗余信息对每个像素点进行加权平均估计；

19、所述对比度增强子模块对去噪后的图像采用限制对比度自适应直方图均衡化算法，将图像划分为若干矩形区域，对各区域分别进行直方图均衡化后再进行平滑融合；

20、所述多尺度细节增强子模块对对比度增强后的图像构建多尺度特征金字塔，将各尺度下的细节特征图与原始特征图进行拼接融合，生成包含多尺度细节信息的增强特征图；

21、所述数据归一化子模块对增强后的可见光图像、红外热成像数据及激光雷达点云数据进行统一的归一化处理，将三种模态的数据转换为统一的张量格式后一并输出至所述多模态融合检测模块。

22、可选地，所述多模态融合检测模块包括：可见光目标检测子模块、红外异常检测子模块、点云几何分析子模块、多模态特征融合子模块和缺陷综合识别子模块；

23、所述可见光目标检测子模块采用改进型yolo检测网络对预处理后的可见光图像进行缺陷目标检测，在骨干网络中引入感受野注意力卷积替换部分传统卷积模块，动态调整不同感受野的权重，并在检测头部分采用引入调制因子的改进损失函数以缓解正负样本不平衡问题；

24、所述红外异常检测子模块对预处理后的红外热成像数据执行两级异常判定流程：第一级为全局自适应阈值检测，统计整幅红外图像的温度分布以全局异常温度阈值初步标记热异常候选区域；第二级为局部对比度验证，计算候选区域平均温度与周围正常区域平均温度的差值，当温差超过预设阈值时确认为有效热异常区域；

25、所述点云几何分析子模块对预处理后的激光雷达点云数据进行三维重建与几何分析，将当前巡检获取的叶片点云数据与历史点云数据或叶片设计模型进行配准和对比分析，计算各对应点之间的空间距离偏差以生成形变偏差分布图；

26、所述多模态特征融合子模块接收所述可见光目标检测子模块、红外异常检测子模块和点云几何分析子模块的输出结果，以无人机采集数据时的时间戳和空间位姿信息为依据将三种模态的检测结果转换至统一的风机局部坐标系下建立空间对应关系，再通过跨模态注意力机制对各模态特征进行自适应加权求和得到融合后的统一特征张量；

27、所述缺陷综合识别子模块根据所述多模态特征融合子模块输出的融合特征张量，通过内置的多任务分类与回归网络同时执行缺陷存在性二分类、缺陷类型多分类和缺陷严重等级回归，输出综合缺陷检测结果。

28、可选地，所述缺陷综合分析决策模块包括：缺陷分类与分级子模块、扫塔风险评估子模块和运维决策生成子模块；

29、所述缺陷分类与分级子模块接收所述多模态融合检测模块输出的综合缺陷检测结果，根据预设的缺陷分类标准将缺陷归类，并根据缺陷的尺寸、深度、位置参数结合叶片结构重要程度分区模型对缺陷进行严重等级划分；

30、所述扫塔风险评估子模块根据叶片空间位置数据及点云几何分析子模块提供的叶片几何信息计算叶片与塔筒的最小夹角，以预设的安全夹角阈值作为判定依据，当最小夹角大于安全阈值时判定为无扫塔风险，当最小夹角处于安全阈值与预警阈值之间时生成一级扫塔风险预警信号，当最小夹角小于预警阈值时生成二级扫塔风险预警信号；

31、所述运维决策生成子模块根据所述缺陷分类与分级子模块的缺陷分级结果和所述扫塔风险评估子模块的风险评估结果，基于风险优先级的维修决策模型综合计算每个缺陷的维修紧迫度指数，根据该指数将所有检出缺陷按优先级排序并生成对应的运维决策建议。

32、可选地，所述数据交互与可视化模块包括：数据存储子模块、三维可视化子模块、巡检报告生成子模块和数据反馈子模块；

33、所述数据存储子模块将所述缺陷综合分析决策模块输出的综合诊断报告、缺陷检测结果、运维决策数据存入数据库，为每个叶片建立独立的缺陷档案数据库表，按时间顺序记录每次巡检检出的全部缺陷信息及后续维修处理记录，形成完整追溯链；

34、所述三维可视化子模块基于风机三维模型，将缺陷检测结果在三维模型上进行空间定位标注，以可视化方式呈现缺陷的类型、位置和严重程度，并支持时序对比视图以在同一三维模型上叠加显示多次巡检的缺陷数据；

35、所述巡检报告生成子模块根据缺陷检测结果和运维决策数据自动生成图文并茂的巡检报告；

36、所述数据反馈子模块将本次巡检的缺陷分布统计数据、检测精度评价数据和航线执行数据反馈至所述航线规划与自主导航模块的航线优化子模块，由航线优化子模块基于反馈数据执行航迹点密度重分配、云台参数调整和航线平滑优化，实现采集-检测-决策-优化的数据闭环。

37、可选地，所述可见光图像采集子模块搭载高分辨率三轴增稳云台相机，集成广角相机与变焦相机双光路系统，其中广角相机用于叶片全貌的广域拍摄，变焦相机具备不低于20倍光学变焦能力用于对叶片局部区域的远距离细节特写采集；云台系统具备三轴机械增稳功能；

38、所述红外热成像采集子模块搭载非制冷型红外热成像仪，用于同步采集叶片表面的热成像数据，捕捉因缺陷引起的温度异常区域；

39、所述激光雷达点云采集子模块搭载激光雷达扫描仪，用于采集风机叶片及周围环境的三维点云数据，获取叶片的几何轮廓信息和空间姿态信息。

40、可选地，所述多尺度细节增强子模块对输入图像进行多级平均池化操作构建由细到粗的四个尺度层级的特征金字塔表示；针对每个池化层级，将上一层级的特征图通过上采样恢复至原始尺度后与原始尺度特征图进行逐元素差分运算，得到该尺度下的细节特征图；完成各尺度差分计算后通过通道维度将所有尺度下的细节特征图与原始特征图进行拼接融合，生成包含多尺度细节信息的增强特征图。

41、可选地，所述多模态特征融合子模块构建三输入的特征融合网络，通过三个并行的特征编码分支分别提取可见光检测结果、红外检测结果和点云几何分析结果的特征向量；引入跨模态注意力机制，以可见光模态的特征作为查询、以红外和点云模态的特征作为键和值，通过缩放点积注意力计算各模态特征之间的相关性权重，根据注意力权重对各模态特征进行自适应加权求和，得到融合后的统一特征张量，

42、相比现有技术，本技术至少具有以下有益效果：

43、本技术通过设置以风机轮毂中心为球心的半球形巡检航线，配合根据叶片额定转速范围设定的曝光时序参数，使无人机在风机正常运行、叶片持续旋转的条件下即可完成高质量的数据采集，无需对风机执行停机或偏航操作。相比现有需停机的巡检方式，本技术大幅减少了因巡检导致的发电量损失，提升了风电场运行的经济性。

44、本技术通过多源数据采集模块同步采集可见光图像、红外热成像和激光雷达点云三种模态的数据，并经由多模态融合检测模块的时空对齐与跨模态注意力机制进行置信度加权融合。相比现有单一模态检测方式，三种模态信息优势互补，可见光图像提供表面纹理细节、红外热成像捕捉温度异常、激光雷达点云反映几何形变，综合判定显著提升了缺陷检测的全面性和准确性，有效解决了单一模态检测难以兼顾各类缺陷的问题。

45、本技术通过数据交互与可视化模块的数据反馈子模块，将本次巡检的缺陷分布数据、检测精度评价数据和航线执行数据反馈至航线规划与自主导航模块的航线优化子模块。航线优化子模块据此执行航迹点密度重分配、云台参数调整和航线平滑优化，实现“采集-检测-决策-优化”的完整数据闭环。随着巡检次数的增加，航线规划的合理性和图像采集的有效性逐步提升，实现了数据驱动的智能化运维策略持续自我改进。

46、本技术通过缺陷综合分析决策模块内置叶片结构重要程度分区模型，依据缺陷所在结构分区的重要程度和缺陷尺寸参数进行综合严重等级划分，并结合扫塔风险评估结果基于维修紧迫度指数生成优先级排序的运维决策建议。相比现有系统仅输出检测结果的做法，本技术为运维人员提供了从缺陷发现到维修决策的完整决策依据，显著提升了运维管理的科学性和效率。