基于多模态的风机叶片缺陷检测方法、系统、设备及装置与流程

1.本发明涉及风力发电技术领域，尤其涉及一种基于多模态的风机叶片缺陷检测方法、系统、设备及装置。


背景技术：

2.风机叶片是风电机组获取风能的最关键的部件之一，由于长期处于台风、雷电、冰雪、盐雾等恶劣天气环境中，叶片载荷也随着转速的变化而变化。长此以往，风机叶片的表面和内部容易出现裂纹、砂眼、分层、脱粘等损伤。国内外发生过多起因风电叶片掉落造成的事故，造成巨大财产损失和人身安全威胁。因此通过一定的无损检测技术对运行中的风电叶片状态进行定期的检测和评估，在其遭受严重损害之前及时进行维护，具有十分重大的意义。
3.常用的风电叶片无损检测方案有目视法、声发射监测、光纤传感器监测、应变片监测、红外热成像等。
4.在实现本发明过程中，发明人发现现有技术中至少存在以下问题：目视法用高倍望远镜或者高倍摄像机直接拍摄运行中的风电叶片，观察其表面的缺陷。对检测人员的相关经验要求较高，工作量大。裂纹，砂眼等细小缺陷难以检测。
5.声发射监测利用物体内部状态发生改变时会自动发出瞬态弹性声波的原理实时监测物体缺陷。由于声波在传输过程中会发生衰减，尤其是在缺陷区域，声波频率更高，衰减也更大，且不同类型缺陷产生的声波差异很小，信号分析难度极大。
6.光纤传感器监测法是利用光纤形状随应力的变化而发生形变，从而引起其内部光传播特性的变换而实现对风电叶片内部应变的实时测量。光纤传感器需要预先安装在风电叶片内部，造价较高，叶片成型后无法进行修复和更换。
7.应变片监测法是采用在风电叶片表面粘贴应变片的方法实现对风电叶片运行过程中应力变化实时检测，然后分析采集到的应变值对叶片运行状态进行判断的。但应变片粘贴在风电叶片表面，因此容易受到破坏而脱落，且应变片之间通常需要用铜导线相连接，因此也容易受到电磁干扰。
8.红外热成像法是利用物体缺陷部分与其他部分的温度差异实现对风电叶片缺陷检测。该方法能反映风电叶片内部缺陷的模糊区域，无法识别外部缺陷极其类型。


技术实现要素：

9.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
10.有鉴于此，本发明的目的在于提出一种提高风机叶片缺陷识别准确率的检测方法、系统、设备及装置。
11.本发明的第一方面提供了一种多模态的风机叶片缺陷检测方法，包括：
12.获取风机叶片表面图像；
13.采集风机叶片的振动，得到风机叶片的运行时序振动数据；
14.将风机叶片的表面图像和风机叶片的振动数据输入到模型中，其中模型为使用多组数据通过多模态深度学习方法训练出来的，多组数据包括第一类数据和第二类数据，第一类数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置和类别的标签，第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识风机叶片振动数据中缺陷类别的标签；
15.获取模型的输出信息，其中，输出信息包括风机表面缺陷的位置和类别。
16.本发明提供的多模态的风机叶片缺陷检测方法，使用了风机叶片的表面图像和振动数据，将图像特征和振动特征整体融合，提升了对风机叶片缺陷位置和类别检测准确率，减少了人工检测的工作量，提高了检测效率。
17.根据本发明的一个实施例，所述多模态深度学习方法包括：
18.对风机叶片表面图像进行数据增强；
19.对风机叶片的振动数据进行数据增强。
20.根据本发明的一个实施例，所述多模态深度学习方法还包括：
21.使用深度全卷积网络从风机叶片的表面图像数据提取出图像特征层；
22.使用全卷积网络对风叶叶片的振动数据进行滤波，获得特征频率信号。
23.根据本发明的一个实施例，所述多模态深度学习方法还包括：
24.对图像的有效特征层进行多池化层、多尺寸特征层融合；
25.对融合后的图像有效特征层进行解耦。
26.根据本发明的一个实施例，所述多模态深度学习方法还包括：
27.使用双层双向lstm网络，对风机叶片的振动数据按振动信号时间先后顺序进行时序关联特征提取。
28.根据本发明的一个实施例，所述多模态深度学习方法还包括：
29.使用多层卷积结构对风机叶片表面图像处理后的有效特征和振动信号有效特征进行融合；
30.根据融合后的有效特征，对风机叶片表面缺陷的位置和类别进行预测。
31.本发明的第二方面提供一种多模态的风机叶片缺陷检测系统，包括：缺陷检测装置、摄像装置和振动采集装置，其中，
32.摄像装置，用于获取风机叶片表面图像；
33.振动采集装置，用于采集风机叶片的振动，得到风机叶片的运行时序振动数据；
34.缺陷检测装置，用于将风机叶片的表面图像和风机叶片的振动数据输入到模型中，其中模型为使用多组数据通过多模态深度学习方法训练出来的，多组数据包括第一类数据和第二类数据，第一类数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置和类别的标签，第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识风机叶片振动数据中缺陷类别的标签；
35.以及用于获取模型的输出信息，其中，输出信息包括风机表面缺陷的位置和类别。
36.本发明的第三方面提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述方法的步骤。
37.本发明的第四方面提供一种基于多模态的风机叶片缺陷检测装置，包括：
38.图像采集模块，用于获取风机叶片表面图像；
39.振动采集模块，用于采集风机叶片的振动，得到风机叶片的运行时序振动数据；
40.输入模块，用于将风机叶片的表面图像和风机叶片的振动数据输入到模型中；
41.模型，模型是使用多组数据通过多模态深度学习方法训练出来的，多组数据包括第一类数据和第二类数据，第一类数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置和类别的标签，第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识风机叶片振动数据中缺陷类别的标签；
42.输出模块，用于获取模型的输出信息，其中，输出信息包括风机表面缺陷的位置和类别。
43.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
44.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
45.图1是本发明一实施例提出的基于多模态的风机叶片缺陷检测方法的实现流程示意图。
46.图2是本发明一实施例提出的基于多模态的风机叶片缺陷检测系统的结构示意图。
47.图3是本发明一实施例提出的一种电子设备的结构示意图。
48.图4是本发明一实施例提出的基于多模态的风机叶片缺陷检测装置的结构示意图。
具体实施方式
49.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
50.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
51.图1示出了本发明一实施例基于多模态的风机叶片缺陷检测方法的实现流程，在图1所示实施例中，流程的执行主体为图1中的基于多模态的风机叶片缺陷检测方法。该方法的实现流程详述如下：
52.步骤s202，获取风机叶片表面图像。
53.在本实施例中，可以采用单台或多台摄像头周期性对风机叶片进行拍摄，得到风机叶片表面图像。风机叶片的制造材料有多种，当前广泛采用复合材料制造风机叶片。
54.步骤s204，采集风机叶片的振动，得到风机叶片的运行时序振动数据。
55.在本实施例中，可以高频加速度计对叶片振动信号采集。
56.步骤s206，将风机叶片的表面图像和风机叶片的振动数据输入到模型中，其中模
型为使用多组数据通过多模态深度学习方法训练出来的，多组数据包括第一类数据和第二类数据，第一类数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置和类别的标签，第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识风机叶片振动数据中缺陷类别的标签。
57.步骤s208，获取模型的输出信息，其中，输出信息包括风机表面缺陷的位置和类别。
58.本发明实施例提供的多模态的风机叶片缺陷检测方法，使用了风机叶片的表面图像和振动数据，将图像特征和振动特征整体融合，提升了对风机叶片缺陷位置和类别检测准确率，减少了人工检测的工作量，提高了检测效率。
59.模型的训练方法，可以根据实际需要来确定。也就是说，模型的训练方法有多种，无论采取何种训练方法，只要该训练方法是对风机叶片缺陷位置和类别进行判断的，都可以不再使用现有技术中的人工目视，都可以解决现有技术中的问题。
60.作为一种可能实现的方式，多模态深度学习方法包括以下步骤：
61.步骤s2061，对风机叶片表面图像进行数据增强，对风机叶片的振动数据进行数据增强。
62.在本实施例中，在多模态深度神经网络训练过程中，需要进行数据增强。例如，可以使用随机缩放、随机裁剪、随机排布方式，或使用gan(生成对抗)网络对拍摄样本进行图像增强，增加表面缺陷图像样本多样性；在振动信号中增加振动干扰项。如此，能够增加风机叶片表面缺陷图像样本多样性和振动噪声，提高识别鲁棒性。
63.步骤s2062，使用深度全卷积网络从风机叶片的表面图像数据提取出图像特征层。
64.在本实施例中，可以使用不同的深度全卷积网络分别对图像进行基础特征提取，进而从图像数据中提取不同尺寸不同深度的图像特征层。
65.步骤s2063，使用全卷积网络对风叶叶片的振动数据进行滤波，获得特征频率信号。
66.在本实施例中，可以使用全卷积网络可以对振动信号进行滤波，去掉环境噪声，保留特征频率信号。
67.步骤s2064，对图像的有效特征层进行多池化层、多尺寸特征层融合。
68.在本实施例中，池化层的最主要作用就是压缩图像。通过多池化层、多尺寸特征层融，能够提高小目标、多目标的检测率。
69.步骤s2065,对融合后图像有效特征层进行解耦。
70.在本实施例中，解耦的目的是对不同的预测目标提供充足的特征。
71.步骤s2066，使用双层双向lstm(long short term mermory network，长短期记忆)网络，对风机叶片的振动数据按振动信号时间先后顺序进行时序关联特征提取。
72.本实施例中，常规的递归神经网络并不能很好地解决长时依赖问题，而使用lstm网络能够可以很好地解决这个问题。
73.步骤s2067，使用多层卷积结构对风机叶片表面图像处理后的有效特征和振动信号有效特征进行融合。
74.本实施例中，本步骤综合利用多个模态的数据(风机叶片表面图像和振动数据)，通过互补，消除歧义和不确定性，得到更加准确的判断结果。
75.步骤s2068，根据融合后的有效特征，对风机叶片表面缺陷的位置和类别进行预测。
76.本实施例中，本步骤对缺陷位置损失函数使用ciou(complete interp over union，完全交并比)函数，对类别损失函数使用交叉熵损失函数。
77.基于上述目的，本发明实施例的第二个方面，提出了一种基于多模态的风机叶片缺陷检测系统，图2是本发明一实施例提出的基于多模态的风机叶片缺陷检测系统的结构示意图。为了便于说明，仅仅示出了与本实施例相关的部分。参照图2，本实施例提供的基于多模态的风机叶片缺陷检测系统3包括：缺陷检测装置31、摄像装置32和振动采集装置33，其中，
78.摄像装置31，用于获取风机叶片表面图像；
79.振动采集装置32，用于采集风机叶片的振动，得到风机叶片的运行时序振动数据；
80.缺陷检测装置33，用于将风机叶片的表面图像和风机叶片的振动数据输入到模型中，其中模型为使用多组数据通过多模态深度学习方法训练出来的，多组数据包括第一类数据和第二类数据，第一类数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置和类别的标签，第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识风机叶片振动数据中缺陷类别的标签；以及用于获取模型的输出信息，其中，输出信息包括风机表面缺陷的位置和类别。
81.需要说明的是，本发明实施例提供的上述系统的各个装置，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
82.基于上述目的，本发明实施例的第三个方面，提出了一种电子设备。图3是本发明一实施例提出电子设备的结构示意图。参照图3，本实施例的电子设备4包括存储器41、处理器40以及存储在存储器41中并可在处理器40上运行的计算机程序，处理器执行计算机程序时实现如上述各个方法实施例中的步骤。
83.电子设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
84.本发明实施例的第四个方面，提出了一种基于多模态的风机叶片缺陷检测装置。图4是本发明一实施例提出的基于多模态的风机叶片缺陷检测装置的结构示意图。参照图4，本实施例的基于多模态的风机叶片缺陷检测装置8包括：
85.图像采集模块81，用于获取风机叶片表面图像；
86.振动采集模块82，用于采集风机叶片的振动，得到风机叶片的运行时序振动数据；
87.输入模块83，用于将风机叶片的表面图像和风机叶片的振动数据输入到模型中；
88.模型84，模型是使用多组数据通过多模态深度学习方法训练出来的，多组数据包括第一类数据和第二类数据，第一类数据中的每一组数据均包括风机叶片表面图像和用来标识风机叶片表面图像上缺陷位置和类别的标签，第二类数据中的每一组数据均包括风机叶片的振动数据和用来标识风机叶片振动数据中缺陷类别的标签；
89.输出模块85，用于获取模型的输出信息，其中，输出信息包括风机表面缺陷的位置和类别。
90.此外，典型地，本发明实施例公开所述的装置、设备等可为各种电子终端设备，例
如手机、个人数字助理(pda)、平板电脑(pad)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。
91.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
92.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
93.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
94.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
95.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
96.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。