海上风机叶片吊装智能控制系统及其方法与流程

1.本发明涉及海上风机叶片的智能吊装的领域，且更为具体地，涉及一种海上风机叶片吊装智能控制系统及其方法。


背景技术：

2.风能资源的开发利用是我国调整电力结构的重要环保的能源建设方式，近年来得到了社会各界的普遍关注。为提高风电的产能，风场往往位于风速较大的海域，但叶片因其自身几何形状复杂、刚度较低、质量较轻，只能在风速低于12m/s时才能吊装，这将采用昂贵吊装设备(安装船、起吊机)和增加船员的吊装等待时间，导致吊装成本的增加。
3.因此，在海上风场建设过程中如何降低叶片安装对风速的限制以及提高安装效率是研究人员与工程人员普遍关注的问题。因此，期望一种海上风机叶片吊装智能控制方案，以在保证叶片安装准确性和安全性的同时提高安装的效率。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种海上风机叶片吊装智能控制系统及其方法，其采用基于深度学习的卷积神经网络模型来作为特征提取器，通过各个时间下的风力变化特征以及风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，以重心数据的变化作为参考，来智能地对于所述卷扬机的缆风绳的控制力进行调控，进而在保证所述风机叶片安装准确性和安全性的同时进一步提高了安装的效率。
5.根据本技术的一个方面，提供了一种海上风机叶片吊装智能控制系统，其包括：
6.吊装数据采集模块，用于获取预定时间段内的叶片吊装监控视频，所述预定时间段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值；
7.缆风绳数据结构化模块，用于将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵；
8.缆风绳数据编码模块，用于将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵；
9.关键帧提取模块，用于从所述叶片吊装监控视频提取多个关键帧；
10.重心数据提取模块，用于分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量；
11.第一多尺度邻域特征提取模块，用于将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量；
12.第二多尺度邻域特征提取模块，用于将所述预定时间段内多个预定时间点的风力
数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量；
13.校正模块，用于基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵；
14.响应控制模块，用于将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量；
15.响应性估计模块，用于计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵；以及
16.吊装控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。
17.在上述海上风机叶片吊装智能控制系统中，所述缆风绳数据编码模块，包括：浅层特征矩阵提取单元，用于从所述第一卷积神经网络的第m层提取浅层特征矩阵，m是偶数；深层特征矩阵提取单元，用于从所述第一卷积神经网络的第n层提取深层特征矩阵，其中，n为偶数，且n大于m的2倍；以及，特征矩阵融合单元，用于融合所述浅层特征矩阵和所述深层特征矩阵以生成所述张紧力关联特征矩阵。
18.在上述海上风机叶片吊装智能控制系统中，所述关键帧提取模块，进一步用于以预定采样频率从所述叶片吊装监控视频提取所述多个关键帧。
19.在上述海上风机叶片吊装智能控制系统中，所述第一多尺度邻域特征提取模块，包括：第一尺度重心编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第一尺度重心特征向量；第二尺度重心编码单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第二尺度重心特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，重心尺度融合单元，用于将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心变化特征向量。
20.在上述海上风机叶片吊装智能控制系统中，所述第二多尺度邻域特征提取模块，包括：风力输入向量构造单元，用于将所述预定时间段内多个预定时间点的风力数据排列为输入向量以获得风力时序输入向量；第一尺度风力编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述风力时序输入向量进行一维卷积编码以得到第一尺度风力时序特征向量；第二尺度风力编码单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述风力时序输入向量进行一维卷积编码以得到第二尺度风力时序特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，风力尺度融合单元，用于将所述第一尺度风力时序特征向量和所述第二尺度风力时序特征向量进行级联以得到所述风力时序特征向量。
21.在上述海上风机叶片吊装智能控制系统中，所述校正模块，进一步用于：基于所述张紧力关联特征矩阵的转置矩阵，以如下公式对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到所述校正后张紧力关联特征矩阵；
22.其中，所述公式为：
23.24.其中m表示所述张紧力关联特征矩阵，cov1()和cov2()均为单个卷积层，用于将二维位置坐标映射为一维数值，pm表示矩阵m的(x,y)坐标矩阵，
⊙
表示按位置点乘。
25.在上述海上风机叶片吊装智能控制系统中，所述响应性估计模块，进一步用于：以如下公式计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到所述分类特征矩阵；
26.其中，所述公式为：
[0027]v1
＝m*v2[0028]
其中v1表示所述响应控制特征向量，v2表示所述重心变化特征向量，m表示所述分类特征矩阵。
[0029]
在上述海上风机叶片吊装智能控制系统中，所述吊装控制结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征矩阵投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
[0030]
根据本技术的另一方面，一种海上风机叶片吊装智能控制方法，其包括：
[0031]
获取预定时间段内的叶片吊装监控视频，所述预定时间段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值；
[0032]
将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵；
[0033]
将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵；
[0034]
从所述叶片吊装监控视频提取多个关键帧；
[0035]
分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量；
[0036]
将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量；
[0037]
将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量；
[0038]
基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵；
[0039]
将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量；
[0040]
计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵；以及
[0041]
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。
[0042]
在上述海上风机叶片吊装智能控制方法中，将所述张紧力关联输入矩阵通过相邻
层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵，包括：从所述第一卷积神经网络的第m层提取浅层特征矩阵，m是偶数；从所述第一卷积神经网络的第n层提取深层特征矩阵，其中，n为偶数，且n大于m的2倍；以及，融合所述浅层特征矩阵和所述深层特征矩阵以生成所述张紧力关联特征矩阵。
[0043]
在上述海上风机叶片吊装智能控制方法中，从所述叶片吊装监控视频提取多个关键帧，包括：以预定采样频率从所述叶片吊装监控视频提取所述多个关键帧。
[0044]
在上述海上风机叶片吊装智能控制方法中，将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第一尺度重心特征向量；使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第二尺度重心特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心变化特征向量。
[0045]
在上述海上风机叶片吊装智能控制方法中，将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量，包括：将所述预定时间段内多个预定时间点的风力数据排列为输入向量以获得风力时序输入向量；使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述风力时序输入向量进行一维卷积编码以得到第一尺度风力时序特征向量；使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述风力时序输入向量进行一维卷积编码以得到第二尺度风力时序特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，将所述第一尺度风力时序特征向量和所述第二尺度风力时序特征向量进行级联以得到所述风力时序特征向量。
[0046]
在上述海上风机叶片吊装智能控制方法中，基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵，包括：基于所述张紧力关联特征矩阵的转置矩阵，以如下公式对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到所述校正后张紧力关联特征矩阵；
[0047]
其中，所述公式为：
[0048][0049]
其中m表示所述张紧力关联特征矩阵，cov1()和cov2()均为单个卷积层，用于将二维位置坐标映射为一维数值，pm表示矩阵m的(x,y)坐标矩阵，
⊙
表示按位置点乘。
[0050]
在上述海上风机叶片吊装智能控制方法中，计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵，包括：以如下公式计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到所述分类特征矩阵；
[0051]
其中，所述公式为：
[0052]v1
＝m*v2[0053]
其中v1表示所述响应控制特征向量，v2表示所述重心变化特征向量，m表示所述分类特征矩阵。
[0054]
在上述海上风机叶片吊装智能控制方法中，将所述分类特征矩阵通过分类器以得到分类结果，包括：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征矩阵投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
[0055]
与现有技术相比，本技术提供的海上风机叶片吊装智能控制系统及其方法，其采用基于深度学习的卷积神经网络模型来作为特征提取器，通过各个时间下的风力变化特征以及风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，以重心数据的变化作为参考，来智能地对于所述卷扬机的缆风绳的控制力进行调控，进而在保证所述风机叶片安装准确性和安全性的同时进一步提高了安装的效率。
附图说明
[0056]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0057]
图1为根据本技术实施例的海上风机叶片吊装智能控制系统的应用场景图。
[0058]
图2为根据本技术实施例的海上风机叶片吊装智能控制系统的框图。
[0059]
图3为根据本技术实施例的海上风机叶片吊装智能控制系统的第一多尺度邻域特征提取模块的框图。
[0060]
图4为根据本技术实施例的海上风机叶片吊装智能控制方法的流程图。
[0061]
图5为根据本技术实施例的海上风机叶片吊装智能控制方法的架构示意图。
具体实施方式
[0062]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0063]
场景概述
[0064]
如前所述，风能资源的开发利用是我国调整电力结构的重要环保的能源建设方式，近年来得到了社会各界的普遍关注。为提高风电的产能，风场往往位于风速较大的海域，但叶片因其自身几何形状复杂、刚度较低、质量较轻，只能在风速低于12m/s时才能吊装，这将采用昂贵吊装设备(安装船、起吊机)和增加船员的吊装等待时间，导致吊装成本的增加。
[0065]
因此，在海上风场建设过程中如何降低叶片安装对风速的限制以及提高安装效率是研究人员与工程人员普遍关注的问题。因此，期望一种海上风机叶片吊装智能控制方案，以在保证叶片安装准确性和安全性的同时提高安装的效率。
[0066]
在现有的叶片安装方式中，如图1所示，叶片通过夹具与吊索相连，并由卷扬机进行提升，夹具的夹点对称于叶片的重心布置；由绞机控制的两根缆风绳通过对其控制力的
实时调整来减少风荷导致的叶片摆动，确保叶片按照预定路线和姿势进行提升。
[0067]
基于此，本技术发明人发现对于绞机控制的两根缆风绳的智能控制是降低叶片安装对风速的限制以及提高所述叶片安装准确性和有效性的关键因素，因此，在本技术的技术方案中，期望通过各个时间下的风力变化特征以及所述风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，并以重心数据的变化作为参考，来智能地控制卷扬机的缆风绳的控制力，进而在保证叶片安装准确性和安全性的同时进一步提高了安装的效率。
[0068]
具体地，在本技术的技术方案中，首先，通过风速计来获取预定时间段内多个预定时间点的风力数据，以及通过分别部署于第一缆风绳和第二缆风绳的张力测量仪来获取所述预定时间段内多个预定时间点的所述第一缆风绳的张紧力值和所述第二缆风绳的张紧力值。并且，考虑到在基于各个时间下的风力变化特征来对于两个所述缆风绳的张紧力进行实时动态地调控时，还需要实时地监控风机叶片的安装效果，以及监测重心的位置来以所述重心数据的变化作为参考，因此，还需要通过相机获取所述预定时间段内的叶片吊装监控视频。
[0069]
然后，应可以理解，由于所述第一缆风绳和所述第二缆风绳之间需要相互协同来进行风机叶片的安装，因此所述第一缆风绳和所述第二缆风绳之间存在着特殊的关联特征，若想对于这种特殊的隐含关联特征进行深层挖掘来进行后续缆风绳的控制力调控，进一步将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积，以整合所述两个缆风绳的张紧力的关联信息，从而得到张紧力关联输入矩阵。然后，将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络中进行处理，以提取出所述两个缆风绳的张紧力的高维隐含关联特征，从而得到张紧力关联特征矩阵。应可以理解，特别地，这里，所述第一卷积神经网络的相邻卷积层使用互为转置的卷积核，从而在训练时能够同时更新网络参数的更新和适合特定数据结构的网络参数结构的搜索，进而能够提高关联特征挖掘的充分性，提高分类的准确性。
[0070]
对于所述预定时间段内的叶片吊装监控视频，由于所述叶片吊装监控视频的数据信息较为复杂，且存在着许多干扰无用信息，因此，为了提高对于所述监控视频中的所述风机叶片安装的准确性，进一步以预定采样频率从所述叶片吊装监控视频提取所述多个关键帧。
[0071]
然后，为了将风力与卷扬机的控制视为整体，以重点数据的变化作为参考来智能地控制卷扬机的缆风绳的控制力调整，再分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量。
[0072]
应可以理解，卷积神经网络最初是应用在图像领域中的模型，但其局部特征提取的思想同样可以应用到时序数据分析中。例如一个卷积核大小为3的时序卷积结构，对于时序数据输入，卷积核以滑动窗口的形式沿时间维度移动，并输出每个时序片段内数据的加权和。每个卷积单元堆叠了多个卷积核从而输出多维特征。大卷积核会从大尺度时序邻域内提取特征，其中邻域内每项数值产生的影响更小，从而减弱输入数据的波动，减轻其中噪点对输出特征的影响。但大尺度卷积核减弱了数值变化的差异，容易导致平滑过度的问题，
使得输出特征失去判别能力。与之相对的，小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰。因此，考虑到不同尺度卷积的特点，组合使用不同大小的卷积单元提取不同时序尺度的特征。然后采用特征拼接的方式完成特征融合，从而得到多尺度邻域特征。
[0073]
具体地，在本技术的技术方案中，进一步使用多尺度邻域特征提取模块的具有不同尺度的一维卷积核的卷积层分别对所述重心数据输入向量进行一维卷积编码，再将得到的对应于两个所述不同尺度的一维卷积核的特征向量进行级联以得到所述重心变化特征向量。特别地，通过这种方式，提取到了在时序维度上的所述风机叶片的重心变化特征的多尺度邻域关联，也就是，所述风机叶片的重心动态变化隐含特征信息，进而使得输出的特征既包含了平滑后的特征，也保存了原始输入的特征，避免信息丢失，也提高了后续分类的准确性。
[0074]
同样地，对于所述预定时间段内多个预定时间点的风力数据，在将其按照时间维度排列为风力输入向量后，也将所述风力输入向量通过所述多尺度邻域特征提取模块以得到风力时序特征向量。这样，能够提取出所述风力数据在时序维度上的动态变化特征，也能够使得输出的特征既包含了平滑后的特征，也保存了原始输入的特征，避免了信息丢失，也提高了后续分类的准确性。
[0075]
这里，将所述重心数据的时间序列通过多尺度邻域特征提取模块得到的重心变化特征向量可以表达跨时序大尺度的关联特征，但是，所述相邻层使用互为转置的卷积核的第一卷积神经网络虽然能够关注数据的特定结构，由于卷积核的大小限制，仍然无法关注大尺度下的张紧力关联特征。
[0076]
因此，优选地，进一步对张紧力关联特征矩阵，例如，记为m，进行基于位置提议的局部语义推理，具体为：
[0077][0078]
其中m表示所述张紧力关联特征矩阵，cov1()和cov2()均为单个卷积层，用于将二维位置坐标映射为一维数值，pm表示矩阵m的(x,y)坐标矩阵，
⊙
表示按位置点乘。
[0079]
也就是，该基于位置提议的局部语义推理可以使用位置信息作为提议，通过卷积层的局部感知场对局部场景语义进行衍生推理，以在全面融合所捕获的局部语义的同时进一步衍生更大尺度的语义，从而实现语义信息的小尺度向大尺度的迁移，和大尺度语义信息的推理预测。这样，就可以提高所述响应控制特征向量的大尺度关联语义表达能力，从而提高分类特征矩阵的分类性能，以提高分类的准确性。
[0080]
进一步地，将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘，以将所述风力时序特征向量映射到所述校正后张紧力关联特征矩阵的高维空间中，从而得到响应控制特征向量。应可以理解，这样，能够将风力与卷扬机的控制视为整体，来得到所述风力变化引起的张紧力变化的响应性控制特征，进而进行后续的重心变化的响应控制来保证所述风机叶片的安装效果。
[0081]
然后，应可以理解，由于所述响应性控制在高维特征空间中可以看作是所述重心变化的响应性特征，因此，为了以重心数据的变化特征作为参考来进行缆风绳的控制力调
整，进一步计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以融合这两者的特征信息，从而得到分类特征矩阵。进一步地，再将所述分类特征矩阵通过分类器中进行分类以得到用于表示当前时间点的所述第一缆风绳的控制力应增大或应减小，以及，所述第二缆风绳的控制力应增大或应减小的分类结果。进而，基于所述分类结果来对于所述第一缆风绳的控制力和所述第二缆风绳的控制力进行调控。
[0082]
基于此，本技术提出了一种海上风机叶片吊装智能控制系统，其包括：吊装数据采集模块，用于获取预定时间段内的叶片吊装监控视频，所述预定时间段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值；缆风绳数据结构化模块，用于将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵；缆风绳数据编码模块，用于将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵；关键帧提取模块，用于从所述叶片吊装监控视频提取多个关键帧；重心数据提取模块，用于分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量；第一多尺度邻域特征提取模块，用于将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量；第二多尺度邻域特征提取模块，用于将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量；校正模块，用于基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵；响应控制模块，用于将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量；响应性估计模块，用于计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵；以及，吊装控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。
[0083]
图1图示了根据本技术实施例的海上风机叶片吊装智能控制系统的应用场景图。如图1所示，在该应用场景中，首先，通过风速计(例如，如图1中所示意的a)获取预定时间段内多个预定时间点的风力数据，以及通过分别部署于第一缆风绳(例如，如图1中所示意的r1)和第二缆风绳(例如，如图1中所示意的r2)的张力测量仪(例如，如图1中所示意的t1和t2)来获取所述预定时间段内多个预定时间点的所述第一缆风绳的张紧力值和所述第二缆风绳的张紧力值，并且通过相机(例如，如图1中所示意的c)获取所述预定时间段内的叶片(例如，如图1中所示意的b)吊装监控视频。然后，将获得的所述预定时间段内多个预定时间点的风力数据以及第一缆风绳的张紧力值和第二缆风绳的张紧力值，以及所述预定时间段内的叶片吊装监控视频输入至部署有海上风机叶片吊装智能控制算法的服务器中(例如，如图1中所示意的云服务器s)，其中，所述服务器能够以海上风机叶片吊装智能控制算法对所述所述预定时间段内多个预定时间点的风力数据以及第一缆风绳的张紧力值和第二缆风绳的张紧力值，以及所述预定时间段内的叶片吊装监控视频进行处理，以生成用于表示当前时间点的所述第一缆风绳的控制力应增大或应减小，以及，所述第二缆风绳的控制力应增大或应减小的分类结果。
[0084]
在该应用场景中，所述风机叶片通过夹具(例如，如图1中所示意的f)与吊索(例如，如图1中所示意的g)相连，并由卷扬机(例如，如图1中所示意的w)进行提升，夹具的夹点对称于叶片的重心布置；由绞机(例如，如图1中所示意的h)控制的两根缆风绳通过对其控制力的实时调整来减少风荷导致的叶片摆动，确保叶片按照预定路线和姿势进行提升。
[0085]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0086]
示例性系统
[0087]
图2图示了根据本技术实施例的海上风机叶片吊装智能控制系统的框图。如图2所示，根据本技术实施例的海上风机叶片吊装智能控制系统200，包括：吊装数据采集模块210，用于获取预定时间段内的叶片吊装监控视频，所述预定时间段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值；缆风绳数据结构化模块220，用于将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵；缆风绳数据编码模块230，用于将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵；关键帧提取模块240，用于从所述叶片吊装监控视频提取多个关键帧；重心数据提取模块250，用于分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量；第一多尺度邻域特征提取模块260，用于将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量；第二多尺度邻域特征提取模块270，用于将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量；校正模块280，用于基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵；响应控制模块290，用于将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量；响应性估计模块300，用于计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵；以及，吊装控制结果生成模块310，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。
[0088]
具体地，在本技术实施例中，所述吊装数据采集模块210，用于获取预定时间段内的叶片吊装监控视频，所述预定时间段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值。如前所述，由于对于绞机控制的两根缆风绳的智能控制是降低叶片安装对风速的限制以及提高所述叶片安装准确性和有效性的关键因素，因此，在本技术的技术方案中，期望通过各个时间下的风力变化特征以及所述风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，以重心数据的变化作为参考，来智能地控制所述卷扬机的缆风绳的控制力，进而在保证所述风机叶片安装准确性和安全性的同时进一步提高了安装的效率。
[0089]
也就是，具体地，在本技术的技术方案中，首先，通过风速计来获取预定时间段内多个预定时间点的风力数据，以及通过分别部署于第一缆风绳和第二缆风绳的张力测量仪
来获取所述预定时间段内多个预定时间点的所述第一缆风绳的张紧力值和所述第二缆风绳的张紧力值。并且，考虑到在基于各个时间下的风力变化特征来对于两个所述缆风绳的张紧力进行实时动态地调控时，还需要实时地监控风机叶片的安装效果，以及监测重心的位置来以所述重心数据的变化作为参考，因此，还需要通过相机获取所述预定时间段内的叶片吊装监控视频。
[0090]
具体地，在本技术实施例中，所述缆风绳数据结构化模块220和所述缆风绳数据编码模块230，用于将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵，并将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵。应可以理解，由于所述第一缆风绳和所述第二缆风绳之间需要相互协同来进行风机叶片的安装，因此所述第一缆风绳和所述第二缆风绳之间存在着特殊的关联特征，若想对于这种特殊的隐含关联特征进行深层挖掘来进行后续缆风绳的控制力调控，在本技术的技术方案中，进一步将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积，以整合所述两个缆风绳的张紧力的关联信息，从而得到张紧力关联输入矩阵。
[0091]
然后，将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络中进行处理，以提取出所述两个缆风绳的张紧力的高维隐含关联特征，从而得到张紧力关联特征矩阵。应可以理解，特别地，这里，所述第一卷积神经网络的相邻卷积层使用互为转置的卷积核，从而在训练时能够同时更新网络参数的更新和适合特定数据结构的网络参数结构的搜索，进而能够提高关联特征挖掘的充分性，提高分类的准确性。
[0092]
更具体地，在本技术实施例中，所述缆风绳数据编码模块，包括：浅层特征矩阵提取单元，用于从所述第一卷积神经网络的第m层提取浅层特征矩阵，m是偶数；深层特征矩阵提取单元，用于从所述第一卷积神经网络的第n层提取深层特征矩阵，其中，n为偶数，且n大于m的2倍；以及，特征矩阵融合单元，用于融合所述浅层特征矩阵和所述深层特征矩阵以生成所述张紧力关联特征矩阵。
[0093]
具体地，在本技术实施例中，所述关键帧提取模块240和所述重心数据提取模块250，用于从所述叶片吊装监控视频提取多个关键帧，并分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量。也就是，在本技术的技术方案中，对于所述预定时间段内的叶片吊装监控视频，由于所述叶片吊装监控视频的数据信息较为复杂，且存在着许多干扰无用信息，因此，为了提高对于所述监控视频中的所述风机叶片安装的准确性，进一步以预定采样频率从所述叶片吊装监控视频提取所述多个关键帧。然后，为了将风力与卷扬机的控制视为整体，以重点数据的变化作为参考来智能地控制卷扬机的缆风绳的控制力调整，再分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量。
[0094]
具体地，在本技术实施例中，所述第一多尺度邻域特征提取模块260，用于将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量。应可以理解，卷积神经网络最初是应用在图像领域中的模型，但其局部特征提取的思想同样可以应用到
时序数据分析中。例如一个卷积核大小为3的时序卷积结构，对于时序数据输入，卷积核以滑动窗口的形式沿时间维度移动，并输出每个时序片段内数据的加权和。每个卷积单元堆叠了多个卷积核从而输出多维特征。大卷积核会从大尺度时序邻域内提取特征，其中邻域内每项数值产生的影响更小，从而减弱输入数据的波动，减轻其中噪点对输出特征的影响。但大尺度卷积核减弱了数值变化的差异，容易导致平滑过度的问题，使得输出特征失去判别能力。与之相对的，小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰。因此，考虑到不同尺度卷积的特点，组合使用不同大小的卷积单元提取不同时序尺度的特征。然后采用特征拼接的方式完成特征融合，从而得到多尺度邻域特征。
[0095]
具体地，在本技术的技术方案中，进一步使用多尺度邻域特征提取模块的具有不同尺度的一维卷积核的卷积层分别对所述重心数据输入向量进行一维卷积编码，再将得到的对应于两个所述不同尺度的一维卷积核的特征向量进行级联以得到所述重心变化特征向量。特别地，通过这种方式，提取到了在时序维度上的所述风机叶片的重心变化特征的多尺度邻域关联，也就是，所述风机叶片的重心动态变化隐含特征信息，进而使得输出的特征既包含了平滑后的特征，也保存了原始输入的特征，避免信息丢失，也提高了后续分类的准确性。
[0096]
更具体地，在本技术实施例中，所述第一多尺度邻域特征提取模块，包括：第一尺度重心编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第一尺度重心特征向量；第二尺度重心编码单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第二尺度重心特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，重心尺度融合单元，用于将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心变化特征向量。
[0097]
图3图示了根据本技术实施例的海上风机叶片吊装智能控制系统中第一多尺度邻域特征提取模块的框图。如图3所示，所述第一多尺度邻域特征提取模块260，包括：第一尺度重心编码单元261，用于使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第一尺度重心特征向量；第二尺度重心编码单元262，用于使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述重心数据输入向量进行一维卷积编码以得到第二尺度重心特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，重心尺度融合单元263，用于将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心变化特征向量。
[0098]
具体地，在本技术实施例中，所述第二多尺度邻域特征提取模块270，用于将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量。也就是，在本技术的技术方案中，同样地，对于所述预定时间段内多个预定时间点的风力数据，在将其按照时间维度排列为风力输入向量后，也将所述风力输入向量通过所述多尺度邻域特征提取模块以得到风力时序特征向量。这样，能够提取出所述风力数据在时序维度上的动态变化特征，也能够使得输出的特征既包含了平滑后的特征，也保存了原始输入的特征，避免了信息丢失，也提高了后续分类的准确性。
[0099]
更具体地，在本技术实施例中，所述第二多尺度邻域特征提取模块，包括：风力输入向量构造单元，用于将所述预定时间段内多个预定时间点的风力数据排列为输入向量以获得风力时序输入向量；第一尺度风力编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以第一一维卷积核对所述风力时序输入向量进行一维卷积编码以得到第一尺度风力时序特征向量；第二尺度风力编码单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以第二一维卷积核对所述风力时序输入向量进行一维卷积编码以得到第二尺度风力时序特征向量，其中，所述第一一维卷积核的尺寸与所述第二一维卷积核的尺寸不同；以及，风力尺度融合单元，用于将所述第一尺度风力时序特征向量和所述第二尺度风力时序特征向量进行级联以得到所述风力时序特征向量。
[0100]
具体地，在本技术实施例中，所述校正模块280，用于基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵。应可以理解，在本技术的技术方案中，将所述重心数据的时间序列通过多尺度邻域特征提取模块得到的重心变化特征向量可以表达跨时序大尺度的关联特征，但是，所述相邻层使用互为转置的卷积核的第一卷积神经网络虽然能够关注数据的特定结构，由于卷积核的大小限制，仍然无法关注大尺度下的张紧力关联特征。因此，优选地，在本技术的技术方案中，进一步对所述张紧力关联特征矩阵，例如，进行基于位置提议的局部语义推理。
[0101]
也就是，该所述基于位置提议的局部语义推理可以使用位置信息作为提议，通过卷积层的局部感知场对局部场景语义进行衍生推理，以在全面融合所捕获的局部语义的同时进一步衍生更大尺度的语义，从而实现语义信息的小尺度向大尺度的迁移，和大尺度语义信息的推理预测。这样，就可以提高所述响应控制特征向量的大尺度关联语义表达能力，从而提高分类特征矩阵的分类性能，以提高分类的准确性。
[0102]
更具体地，在本技术实施例中，所述校正模块，进一步用于：基于所述张紧力关联特征矩阵的转置矩阵，以如下公式对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到所述校正后张紧力关联特征矩阵；
[0103]
其中，所述公式为：
[0104][0105]
其中m表示所述张紧力关联特征矩阵，cov1()和cov2()均为单个卷积层，用于将二维位置坐标映射为一维数值，pm表示矩阵m的(x,y)坐标矩阵，
⊙
表示按位置点乘。
[0106]
具体地，在本技术实施例中，所述响应控制模块290，用于将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量。也就是，在本技术的技术方案中，进一步地，再将所述张紧力关联特征矩阵与所述风力时序特征向量进行相乘，以将所述风力时序特征向量映射到所述校正后张紧力关联特征矩阵的高维空间中，从而得到响应控制特征向量。应可以理解，这样，能够将风力与卷扬机的控制视为整体，来得到所述风力变化引起的张紧力变化的响应性控制特征，进而进行后续的重心变化的响应控制来保证所述风机叶片的安装效果。
[0107]
具体地，在本技术实施例中，所述响应性估计模块300和所述吊装控制结果生成模
块310，用于计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵，并将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。应可以理解，由于所述响应性控制在高维特征空间中可以看作是所述重心变化的响应性特征，因此，在本技术的技术方案中，为了以重心数据的变化特征作为参考来进行缆风绳的控制力调整，进一步计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以融合这两者的特征信息，从而得到分类特征矩阵。进一步地，再将所述分类特征矩阵通过分类器中进行分类以得到用于表示当前时间点的所述第一缆风绳的控制力应增大或应减小，以及，所述第二缆风绳的控制力应增大或应减小的分类结果。进而，基于所述分类结果来对于所述第一缆风绳的控制力和所述第二缆风绳的控制力进行调控。在一个具体示例中，所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征矩阵投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
[0108]
更具体地，在本技术的实施例中，所述响应性估计模块，进一步用于：以如下公式计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到所述分类特征矩阵；
[0109]
其中，所述公式为：
[0110]v1
＝m*v2[0111]
其中v1表示所述响应控制特征向量，v2表示所述重心变化特征向量，m表示所述分类特征矩阵。
[0112]
综上，基于本技术实施例的所述海上风机叶片吊装智能控制系统200被阐明，其采用基于深度学习的卷积神经网络模型来作为特征提取器，通过各个时间下的风力变化特征以及风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，以重心数据的变化作为参考，来智能地对于所述卷扬机的缆风绳的控制力进行调控，进而在保证所述风机叶片安装准确性和安全性的同时进一步提高了安装的效率。
[0113]
如上所述，根据本技术实施例的海上风机叶片吊装智能控制系统200可以实现在各种终端设备中，例如海上风机叶片吊装智能控制算法的服务器等。在一个示例中，根据本技术实施例的海上风机叶片吊装智能控制系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该海上风机叶片吊装智能控制系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该海上风机叶片吊装智能控制系统200同样可以是该终端设备的众多硬件模块之一。
[0114]
替换地，在另一示例中，该海上风机叶片吊装智能控制系统200与该终端设备也可以是分立的设备，并且该海上风机叶片吊装智能控制系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0115]
示例性方法
[0116]
图3图示了海上风机叶片吊装智能控制方法的流程图。如图3所示，根据本技术实施例的海上风机叶片吊装智能控制方法，包括步骤：s110，获取预定时间段内的叶片吊装监
控视频，所述预定时间段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值；s120，将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵；s130，将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵；s140，从所述叶片吊装监控视频提取多个关键帧；s150，分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量；s160，将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量；s170，将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量；s180，基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵；s190，将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量；s200，计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵；以及，s210，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。
[0117]
图4图示了根据本技术实施例的海上风机叶片吊装智能控制方法的架构示意图。如图4所示，在所述海上风机叶片吊装智能控制方法的网络架构中，首先，将获得的所述预定时间段内多个预定时间点的第一缆风绳的张紧力值(例如，如图4中所示意的p1)和第二缆风绳的张紧力值(例如，如图4中所示意的p2)分别排列为第一张紧力输入向量(例如，如图4中所示意的v1)和第二张紧力输入向量(例如，如图4中所示意的v2)后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵(例如，如图4中所示意的m)；接着，将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络(例如，如图4中所示意的cnn1)以得到张紧力关联特征矩阵(例如，如图4中所示意的mf1)；然后，从获得的所述叶片吊装监控视频(例如，如图4中所示意的q1)提取多个关键帧(例如，如图4中所示意的q2)；接着，分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量(例如，如图4中所示意的v)；然后，将所述重心数据输入向量通过多尺度邻域特征提取模块(例如，如图4中所示意的ms)以得到重心变化特征向量(例如，如图4中所示意的vf1)；接着，将获得的所述预定时间段内多个预定时间点的风力数据(例如，如图4中所示意的k)通过所述多尺度邻域特征提取模块以得到风力时序特征向量(例如，如图4中所示意的vf2)；然后，基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵(例如，如图4中所示意的mf2)；接着，将所述校正后张紧力关联特征矩阵与所述风力时序特征向量进行相乘以得到响应控制特征向量(例如，如图4中所示意的vf)；然后，计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵(例如，如图4中所示意的mf)；以及，最后，将所述分类特征矩阵通过分类器(例如，如图4中所示意的分类器)以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。
[0118]
更具体地，在步骤s110中，获取预定时间段内的叶片吊装监控视频，所述预定时间
段内多个预定时间点的风力数据，以及，所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值。应可以理解，由于对于绞机控制的两根缆风绳的智能控制是降低叶片安装对风速的限制以及提高所述叶片安装准确性和有效性的关键因素，因此，在本技术的技术方案中，期望通过各个时间下的风力变化特征以及所述风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，以重心数据的变化作为参考，来智能地控制所述卷扬机的缆风绳的控制力，进而在保证所述风机叶片安装准确性和安全性的同时进一步提高了安装的效率。
[0119]
也就是，具体地，在本技术的技术方案中，首先，通过风速计来获取预定时间段内多个预定时间点的风力数据，以及通过分别部署于第一缆风绳和第二缆风绳的张力测量仪来获取所述预定时间段内多个预定时间点的所述第一缆风绳的张紧力值和所述第二缆风绳的张紧力值。并且，考虑到在基于各个时间下的风力变化特征来对于两个所述缆风绳的张紧力进行实时动态地调控时，还需要实时地监控风机叶片的安装效果，以及监测重心的位置来以所述重心数据的变化作为参考，因此，还需要通过相机获取所述预定时间段内的叶片吊装监控视频。
[0120]
更具体地，在步骤s120和步骤s130中，将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积以得到张紧力关联输入矩阵，并将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络以得到张紧力关联特征矩阵。应可以理解，由于所述第一缆风绳和所述第二缆风绳之间需要相互协同来进行风机叶片的安装，因此所述第一缆风绳和所述第二缆风绳之间存在着特殊的关联特征，若想对于这种特殊的隐含关联特征进行深层挖掘来进行后续缆风绳的控制力调控，在本技术的技术方案中，进一步将所述预定时间段内多个预定时间点的第一缆风绳的张紧力值和第二缆风绳的张紧力值分别排列为第一张紧力输入向量和第二张紧力输入向量后，计算所述第一张紧力输入向量的转置向量与所述第二张紧力输入向量之间的乘积，以整合所述两个缆风绳的张紧力的关联信息，从而得到张紧力关联输入矩阵。
[0121]
然后，将所述张紧力关联输入矩阵通过相邻层使用互为转置的卷积核的第一卷积神经网络中进行处理，以提取出所述两个缆风绳的张紧力的高维隐含关联特征，从而得到张紧力关联特征矩阵。应可以理解，特别地，这里，所述第一卷积神经网络的相邻卷积层使用互为转置的卷积核，从而在训练时能够同时更新网络参数的更新和适合特定数据结构的网络参数结构的搜索，进而能够提高关联特征挖掘的充分性，提高分类的准确性。
[0122]
更具体地，在步骤s140和步骤s150中，从所述叶片吊装监控视频提取多个关键帧，并分别从所述多个关键帧的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量。也就是，在本技术的技术方案中，对于所述预定时间段内的叶片吊装监控视频，由于所述叶片吊装监控视频的数据信息较为复杂，且存在着许多干扰无用信息，因此，为了提高对于所述监控视频中的所述风机叶片安装的准确性，进一步以预定采样频率从所述叶片吊装监控视频提取所述多个关键帧。然后，为了将风力与卷扬机的控制视为整体，以重点数据的变化作为参考来智能地控制卷扬机的缆风绳的控制力调整，再分别从所述多个关键帧
的各个关键帧中提取被吊装叶片的重心数据以得到重心数据输入向量。
[0123]
更具体地，在步骤s160中，将所述重心数据输入向量通过多尺度邻域特征提取模块以得到重心变化特征向量。应可以理解，卷积神经网络最初是应用在图像领域中的模型，但其局部特征提取的思想同样可以应用到时序数据分析中。例如一个卷积核大小为3的时序卷积结构，对于时序数据输入，卷积核以滑动窗口的形式沿时间维度移动，并输出每个时序片段内数据的加权和。每个卷积单元堆叠了多个卷积核从而输出多维特征。大卷积核会从大尺度时序邻域内提取特征，其中邻域内每项数值产生的影响更小，从而减弱输入数据的波动，减轻其中噪点对输出特征的影响。但大尺度卷积核减弱了数值变化的差异，容易导致平滑过度的问题，使得输出特征失去判别能力。与之相对的，小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰。因此，考虑到不同尺度卷积的特点，组合使用不同大小的卷积单元提取不同时序尺度的特征。然后采用特征拼接的方式完成特征融合，从而得到多尺度邻域特征。
[0124]
具体地，在本技术的技术方案中，进一步使用多尺度邻域特征提取模块的具有不同尺度的一维卷积核的卷积层分别对所述重心数据输入向量进行一维卷积编码，再将得到的对应于两个所述不同尺度的一维卷积核的特征向量进行级联以得到所述重心变化特征向量。特别地，通过这种方式，提取到了在时序维度上的所述风机叶片的重心变化特征的多尺度邻域关联，也就是，所述风机叶片的重心动态变化隐含特征信息，进而使得输出的特征既包含了平滑后的特征，也保存了原始输入的特征，避免信息丢失，也提高了后续分类的准确性。
[0125]
更具体地，在步骤s170中，将所述预定时间段内多个预定时间点的风力数据通过所述多尺度邻域特征提取模块以得到风力时序特征向量。也就是，在本技术的技术方案中，同样地，对于所述预定时间段内多个预定时间点的风力数据，在将其按照时间维度排列为风力输入向量后，也将所述风力输入向量通过所述多尺度邻域特征提取模块以得到风力时序特征向量。这样，能够提取出所述风力数据在时序维度上的动态变化特征，也能够使得输出的特征既包含了平滑后的特征，也保存了原始输入的特征，避免了信息丢失，也提高了后续分类的准确性。
[0126]
更具体地，在步骤s180中，基于所述张紧力关联特征矩阵的转置矩阵，对所述张紧力关联特征矩阵中各个位置的特征值进行校正以得到校正后张紧力关联特征矩阵。应可以理解，在本技术的技术方案中，将所述重心数据的时间序列通过多尺度邻域特征提取模块得到的重心变化特征向量可以表达跨时序大尺度的关联特征，但是，所述相邻层使用互为转置的卷积核的第一卷积神经网络虽然能够关注数据的特定结构，由于卷积核的大小限制，仍然无法关注大尺度下的张紧力关联特征。因此，优选地，在本技术的技术方案中，进一步对所述张紧力关联特征矩阵，例如，进行基于位置提议的局部语义推理。
[0127]
也就是，该所述基于位置提议的局部语义推理可以使用位置信息作为提议，通过卷积层的局部感知场对局部场景语义进行衍生推理，以在全面融合所捕获的局部语义的同时进一步衍生更大尺度的语义，从而实现语义信息的小尺度向大尺度的迁移，和大尺度语义信息的推理预测。这样，就可以提高所述响应控制特征向量的大尺度关联语义表达能力，从而提高分类特征矩阵的分类性能，以提高分类的准确性。
[0128]
更具体地，在步骤s190中，将所述校正后张紧力关联特征矩阵与所述风力时序特
征向量进行相乘以得到响应控制特征向量。也就是，在本技术的技术方案中，进一步地，再将所述张紧力关联特征矩阵与所述风力时序特征向量进行相乘，以将所述风力时序特征向量映射到所述校正后张紧力关联特征矩阵的高维空间中，从而得到响应控制特征向量。应可以理解，这样，能够将风力与卷扬机的控制视为整体，来得到所述风力变化引起的张紧力变化的响应性控制特征，进而进行后续的重心变化的响应控制来保证所述风机叶片的安装效果。
[0129]
更具体地，在步骤s200和步骤s210中，计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以得到分类特征矩阵，并将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的第一缆风绳的控制力应增大或应减小，以及，第二缆风绳的控制力应增大或应减小。应可以理解，由于所述响应性控制在高维特征空间中可以看作是所述重心变化的响应性特征，因此，在本技术的技术方案中，为了以重心数据的变化特征作为参考来进行缆风绳的控制力调整，进一步计算所述响应控制特征向量相对于所述重心变化特征向量的响应性估计以融合这两者的特征信息，从而得到分类特征矩阵。进一步地，再将所述分类特征矩阵通过分类器中进行分类以得到用于表示当前时间点的所述第一缆风绳的控制力应增大或应减小，以及，所述第二缆风绳的控制力应增大或应减小的分类结果。进而，基于所述分类结果来对于所述第一缆风绳的控制力和所述第二缆风绳的控制力进行调控。
[0130]
综上，基于本技术实施例的所述海上风机叶片吊装智能控制方法被阐明，其采用基于深度学习的卷积神经网络模型来作为特征提取器，通过各个时间下的风力变化特征以及风机叶片的重心变化特征来动态地对于两个缆风绳的张紧力进行实时调控，并且在此过程中，选择通过将风力与卷扬机的控制视为整体，以重心数据的变化作为参考，来智能地对于所述卷扬机的缆风绳的控制力进行调控，进而在保证所述风机叶片安装准确性和安全性的同时进一步提高了安装的效率。
[0131]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0132]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0133]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0134]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0135]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。