一种基于局部近平面的风电叶片图像匹配方法及系统

1.本发明涉及图像匹配技术领域，特别是涉及一种基于局部近平面的风电叶片图像匹配方法。


背景技术：

2.近年来，风电发展水平逐渐成为国家竞争力的标志，其中我国风电装机总量连续几年位居全球第一。迅猛增长的需求对风电设备提出了更高的要求，需要设计效率更高、容量更大的风力发电机，叶片尺寸也便随之增大。充分了解并有效监测叶片在运行状态下的振动及变形等动态响应特性，对于优化风电机系统的能量输出，保证系统的安全可靠运行，提高系统的使用寿命至关重要。
3.目前，国内外对于风力发电机叶片运动特性的研究方法主要可以分为两类：接触式测量方法以及非接触式测量方法，非接触式测量方法中较常用的是视觉测量方法，视觉测量方法与接触式测量相比，具有非接触、多目标点同时测量、高精度、测量范围广、可获得待测点的全面信息等优点。现有视觉图像匹配算法研究主要包含两类：灰度匹配算法和特征匹配算法，而工业摄影测量中一般借助高反光性能的人工标志点，采用基于特征的图像匹配方法来完成高精度匹配工作，比较常见的有极线约束、单应性变换、仿射变换等匹配方法。
4.现有的基于特征点的视觉测量图像匹配方法存在以下图像匹配问题：叶片运行过程中的垂直于旋转平面的振动，加剧了叶片表面人工标志普通点的非平面性，仿射变换、单应性变换等一些传统的平面图像匹配方法不再直接适用，使得风电叶片图像匹配过程中有局限性的问题。


技术实现要素：

5.本发明的目的是提供一种基于局部近平面的风电叶片图像匹配方法及系统，旨在解决由于叶片运行过程中叶片表面人工标志普通点的非平面性导致的现有的平面图像匹配方法在风电叶片图像匹配中不能直接适用的问题。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于局部近平面的风电叶片图像匹配方法，包括：
8.确定左相机叶片像点图中的各待匹配点，所述待匹配点为标志点在左相机叶片像点图中的像点；
9.确定各所述待匹配点在右相机叶片像点图中对应的候选匹配点集，每一所述候选匹配点集包括若干候选匹配点；
10.在所述左相机叶片像点图中确定第一局部近平面区域，所述第一局部近平面区域为以所述待匹配点为中心的近平面区域；
11.在所述右相机叶片像点图中确定若干第二局部近平面区域，所述第二局部近平面区域为以所述待匹配点对应的一候选匹配点为中心的近平面区域；
12.根据每组近平面内的标志点确定所述每组近平面对应的单应性矩阵，所述每组近平面由所述第一局部近平面区域和一所述第二局部近平面区域构成；
13.根据每组近平面对应的单应性矩阵，确定每组近平面对应的候选匹配点相应的理论匹配点；
14.根据所述候选匹配点和所述候选匹配点对应的理论匹配点之间的距离偏差，确定所述待匹配点的最终匹配点。
15.可选的，所述确定各所述待匹配点在右相机叶片像点图中对应的候选匹配点集，具体包括：
16.根据左相机叶片像点图中各所述待匹配点，采用极线约束筛选出各所述待匹配点在右相机叶片像点图中对应的候选匹配点集。
17.可选的，所述第一局部近平面区域或所述第二局部近平面区域的确定方法包括：
18.确定搜索像面，所述搜索像面为以所述待匹配点或所述候选匹配点为中心，以大于设定值的半径为初始搜索半径的圆面；
19.确定所述搜索像面内标志点的数量；
20.当所述标志点的数量大于第一阈值小于第二阈值时，停止搜索；否则，以设定步长缩减半径，重新确定搜索像面，并跳转至确定所述搜索像面内标志点的数量步骤。
21.可选的，所述根据每组近平面内的标志点确定每组近平面对应的单应性矩阵，具体包括：
22.假定所述每组近平面对应三维空间中的同一近平面，采用ransac算法估计各组近平面对应的单应性矩阵。
23.可选的，所述标志点为人工标志普通点。
24.本发明还提供了一种基于局部近平面的风电叶片图像匹配系统，包括：
25.待匹配点确定模块，用于确定左相机叶片像点图中的各待匹配点，所述待匹配点为标记点在左相机叶片像点图中的像点；
26.候选匹配点集确定模块，用于确定各所述待匹配点在右相机叶片像点图中对应的候选匹配点集，每一所述候选匹配点集中包括若干候选匹配点；
27.局部近平面区域确定模块，用于在所述左相机叶片像点图中确定第一局部近平面区域，所述第一局部近平面区域为以所述待匹配点为中心的近平面区域；还用于在所述右相机叶片像点图中确定若干第二局部近平面区域，所述第二局部近平面区域为以所述待匹配点对应的一候选匹配点为中心的近平面区域；
28.单应性矩阵确定模块，用于根据每组近平面内的标志点确定所述每组近平面对应的单应性矩阵；所述每组近平面由所述第一局部近平面区域和一所述第二局部近平面区域构成；
29.理论匹配点确定模块，用于根据每组近平面对应的单应性矩阵，确定每组近平面对应的候选匹配点相应的理论匹配点；
30.最终匹配点确定模块，用于根据所述候选匹配点和所述候选匹配点对应的理论匹配点之间的距离偏差，确定所述待匹配点的最终匹配点。
31.可选的，所述候选匹配点集确定模块，具体包括：
32.候选匹配点集确定单元，用于根据左相机叶片像点图中各所述待匹配点，采用极
线约束筛选出各所述待匹配点在相机叶片像点图中对应的候选匹配点集。
33.可选的，所述局部近平面区域确定模块，具体包括：
34.局部近平面区域确定单元，用于确定搜索像面，所述搜索像面为以所述待匹配点或所述候选匹配点为中心，以大于设定值的半径为初始搜索半径的圆面；确定所述搜索像面内标志点的数量；当所述标志点的数量大于第一阈值小于第二阈值时，停止搜索；否则，以设定步长缩减半径，重新确定搜索像面，并跳转至确定所述搜索像面内标志点的数量步骤。
35.可选的，所述单应性矩阵确定模块，具体包括：
36.单应性矩阵确定单元，用于假定每组近平面对应三维空间中的同一近平面，采用ransac算法估计各组近平面的单应性矩阵。
37.可选的，所述标志点为人工标志普通点。
38.根据本发明提供的具体实施例，公开了以下技术效果：本发明实施例首先确定左相机叶片像点图中的各待匹配点，所述待匹配点为标志点在左相机叶片像点图中的像点，然后确定各所述待匹配点在右相机叶片像点图中对应的候选匹配点集，每一所述候选匹配点集包括若干候选匹配点，之后在所述左相机叶片像点图中确定第一局部近平面区域，所述第一局部近平面区域为以所述待匹配点为中心的近平面区域，在所述右相机叶片像点图中确定若干第二局部近平面区域，所述第二局部近平面区域为以所述待匹配点对应的一候选匹配点为中心的近平面区域，由所述第一局部近平面区域和一所述第二局部近平面区域构成一组近平面，根据每组近平面内的标志点确定所述每组近平面对应的单应性矩阵，根据每组近平面对应的单应性矩阵，确定每组近平面对应的候选匹配点相应的理论匹配点，然后根据所述候选匹配点和所述候选匹配点对应的理论匹配点之间的距离偏差，确定所述待匹配点的最终匹配点。本发明采用的基于局部近平面的风电叶片图像匹配方法可以在风电叶片图像匹配中直接适用，提高了风电叶片匹配的匹配率和准确匹配率。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例1基于局部近平面的风电叶片图像匹配方法的流程示意图；
41.图2为本发明实施例1基于局部近平面的风电叶片图像匹配算法的流程图，图2中普通点即为人工标志普通点；
42.图3为本发明实施例1风电叶片实际测量场景示意图；
43.图4为本发明实施例1叶片表面人工标志普通点分布示意图；
44.图5为本发明实施例2提供的基于局部近平面的风电叶片图像匹配系统的流程示意图；
45.其中，1为左相机，2为右相机，3为风电叶片，4为叶片固定装置，5为人工标志普通点，6为编码点。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.本发明的目的是提供一种基于局部近平面的风电叶片图像匹配方法及系统。现有技术中，叶片在运行过程中叶片表面人工标志普通点的非平面性导致现有的平面图像匹配方法在风电叶片匹配中无法直接适用。为解决这一问题，本发明实施例提供了以下技术方案。
48.实施例1
49.本实施例提供了一种基于局部近平面的风电叶片图像匹配方法，参见图1和图2，该方法包括以下步骤：
50.步骤101：确定左相机叶片像点图中的各待匹配点，所述待匹配点为标志点在左相机叶片像点图中的像点。
51.步骤102：确定各所述待匹配点在右相机叶片像点图中对应的候选匹配点集，每一所述候选匹配点集包括若干候选匹配点。
52.上述候选匹配点集的确定方法可以如下：
53.在本实施例中，如图3、4所示，在叶片表面布置标志点，在叶片周围布置编码点，相机包括左右两个相机，通过左右相机对叶片进行拍摄，获得左右相机叶片像点图。之后，确定左相机叶片像点图中的各待匹配点，其中待匹配点为普通标志点在左相机叶片像点图中的像点。编码点的匹配关系已知，根据编码点的匹配关系采用归一化八点法估计基础矩阵f。
54.然后，根据左相机叶片像点图中各所述待匹配点，采用极线约束筛选出各所述待匹配点在右相机叶片像点图中对应的候选匹配点集。设q为左相机叶片像点图中一待匹配点的齐次坐标，q'为所述待匹配点在右相机叶片像点图上对应的候选匹配点的齐次坐标，上述根据已知匹配关系的编码点求得的基础矩阵f为一个3
×
3且秩为2的矩阵，则有：
55.q'
t fq＝0
ꢀꢀꢀ
(1)
56.由式(1)解析可得：
57.lr＝fq
ꢀꢀꢀ
(2)
58.l
l
＝f
t
q'
ꢀꢀꢀ
(3)
59.其中，lr为左像面中像点对应在右像面的极线，l
l
为右像面中像点对应在左像面的极线，根据式(2)、(3)可以分别确定左像面中待匹配点对应在右像面的极线lr以及右像面中待匹配点对应在左像面的极线l
l
，然后可以确定待匹配点对应的候选匹配点。
60.极线约束在摄影测量中具有广泛适用性，考虑以左相机叶片像点图中的点为基准，通过式(2)确定左相机叶片像点图中每个待匹配点在右相机叶片像点图中的极线。理论上，左相机叶片像点图中某一待匹配点在右相机叶片像点图中所对应的匹配点会出现在该待匹配点所对应的极线上，但实际匹配受到多种因素影响，如像点提取精度和f矩阵的准确性等，与该待匹配点相匹配的点往往只是出现在极线附近。对于这种情况，可以结合实际测量场景，设定合适的候选匹配点到极线的距离阈值来确定左相机叶片像点图中每个待匹配
点在右相机叶片像点图中所对应的候选匹配点集，最终通过局部单应性确定准确匹配点。
61.在本实施例中，当所述匹配点到所述极线lr的距离小于设定的距离阈值时，则将所述匹配点存储到所述待匹配点对应的候选匹配点集中。
62.步骤103：在所述左相机叶片像点图中确定第一局部近平面区域，所述第一局部近平面区域为以所述待匹配点为中心的近平面区域；在所述右相机叶片像点图中确定若干第二局部近平面区域，所述第二局部近平面区域为以所述待匹配点对应的一候选匹配点为中心的近平面区域。
63.本发明的思路是：在极线约束预筛选基础上，分别以左相机叶片像点图中当前待匹配点及其在右相机叶片像点图中所对应的候选匹配点为中心抽取对应于三维场景中局部近平面区域的二维像面点集合，为之后ransac求解局部近平面单应性矩阵模型提供初始数据集。抽取策略为：给定像面中某一点的中心坐标、一个足够大的初始搜索半径、合适的半径缩减步长和最终所求近平面包含的点的数量阈值(由空间标志点的分布进行估计)，然后以该点为中心，搜索该点周围满足当前搜索半径的像点，如果抽取到的点的数量满足设定的近平面点数量阈值，则停止搜索并存储相应点数据，如果不满足，则以给定的半径缩减步长来缩减搜索半径，并重复上述搜索过程，直至以某一半径进行搜索时得到的像点(“得到的像点”是指处在以当前中心点和搜索半径所绘制的圆周之内的所有人工标志普通点的像点)的数量满足给定阈值，则将该平面中的点进行存储。鉴于后续要使用局部单应性完成最终验证，因此此处需要剔除搜索过程中的中心点，避免其参与单应性矩阵模型求解。抽取第一局部近平面区域或第二局部近平面区域的具体操作步骤可以如下：
64.确定搜索像面，所述搜索像面为以所述待匹配点或所述候选匹配点为中心，以大于设定值的半径为初始搜索半径的圆面；
65.确定所述搜索像面内标志点的数量；
66.当所述标志点的数量大于第一阈值小于第二阈值时，停止搜索；否则，以设定步长缩减半径，重新确定搜索像面，并跳转至确定所述搜索像面内标志点的数量步骤。
67.步骤104：根据每组近平面内的标志点确定所述每组近平面对应的单应性矩阵，所述每组近平面由所述第一局部近平面区域和一所述第二局部近平面区域构成。
68.ransac(random sample consensus)即随机抽样一致，它能够从一组包含“局外点”的观测数据集中，通过一定次数的迭代估计出一个适用于“局内点”的数学模型，其中“局内点”表示满足该数学模型的点，“局内点”以外的点则称为“局外点”。
69.在得到当前待匹配点及其候选匹配点集所在近平面区域的像点数据后，需要估计左相机叶片像点图中待匹配点所在近平面与右相机叶片像点图中哪个候选匹配点所在近平面是实际三维场景中的同一个近平面。将当前待匹配点所在近平面的像点数据与其各个候选匹配点所在近平面的像点数据分别进行组合，假定每组都对应三维空间中的同一近平面，采用ransac算法依次估计各组近平面的单应性矩阵。为了确保有效样本的准确使用，通过排列组合方式处理单次抽取到的像点数据。针对每一组近平面点数据，保留迭代过程中局内点最多的单应性矩阵模型作为该组近平面的最佳单应性矩阵。
70.在当前点匹配过程中，通过ransac算法得到各组局部近平面所对应的单应性矩阵模型h后，由于并非每个h矩阵都表征空间中的某一近平面，因此需要从中确定一个对应实际三维场景中局部近平面的单应性矩阵，并在此基础上求解当前待匹配点的最终匹配点。
采取如下策略：首先通过上述ransac算法所估计的各组近平面的单应性矩阵h，分别采用单应性变换求解当前待匹配点在另一幅像面中的理论匹配点，其中每个理论匹配点都分别与其中一个候选匹配点相对应，之后依次计算各候选匹配点与相对应的理论匹配点的距离偏差，最后结合各偏差和合理的误差阈值获取正确的h矩阵以及当前点的最终匹配点。具体可采用如下步骤：
71.步骤105：根据每组近平面对应的单应性矩阵，确定每组近平面对应的候选匹配点相应的理论匹配点。即采用下式计算上述理论匹配点：
72.x2＝hx1ꢀꢀꢀ
(4)
73.其中，x1为一所述待匹配点的齐次坐标，x2为所述待匹配点对应的候选匹配点集中的理论匹配点的齐次坐标，h为近平面对应的单应性矩阵，根据上式(4)可以确定每组近平面对应的候选匹配点相应的理论匹配点。
74.步骤106：根据所述候选匹配点和所述候选匹配点对应的理论匹配点之间的距离偏差，确定所述待匹配点的最终匹配点。具体如下：
75.计算各候选匹配点与其对应的理论匹配点之间的距离偏差，选取偏差最小的候选匹配点作为上述待匹配点的最终匹配点。
76.下面对上述图像匹配方法的匹配率和匹配准确率进行验证：
77.在本实施例实验过程中，选用长160cm，宽5.5cm～22cm(尖端宽度～尾端宽度)的风电叶片3作为测量对象，采用两台型号为progise ge4900的工业相机完成图像采集工作，其中，图像传感器尺寸为36.0mm
×
24.0mm，分辨率为4872
×
3248像素，像元尺寸为7.40um
×
7.40um。两个消费级镜头均为nikkor 20mm f/1.4g，并配备led闪光灯为相机提供照明。首先在风电叶片3表面相应位置布置110个人工标志普通点5，直径均为3mm，人工标志普通点分布如图4所示。之后，将风电叶片3安装在叶片固定装置4上，并在风电叶片3周围布置15组编码点6，编码点分布如图3所示。调整双相机位置，并将双相机架设在适当高度进行俯拍。在实验过程中，人为对叶片施加激励，使叶片产生上下振动，采集不同时刻的叶片像点图像，随机选取风电叶片上下摆动过程中所拍摄的5组像点数据，对于每组像点数据分别采用本发明实施例所述的图像匹配方法和极线约束匹配方法进行匹配实验，结果如表1所示。
78.表1
[0079][0080]
表1中“普通标志像点总数”记录了左右相机所拍图像实际识别到的像点数，而公共像点数则为最终“应匹配像点数”。此处以匹配率和匹配准确率来对比和评价两种匹配方法，其中“匹配率”为“实际匹配像点数”与“应匹配像点数”之比，“匹配准确率”为“准确匹配像点数”与“实际匹配像点数”之比。
[0081]
实验结果表明，针对风电叶片不同姿态，本发明采用的基于局部近平面的风电叶片图像匹配方法的匹配率和匹配准确率都明显优于单纯的极线约束匹配方法。
[0082]
实施例2
[0083]
本实施例提供了一种基于局部近平面的风电叶片图像匹配系统，参见图5，该系统包括：
[0084]
待匹配点确定模块501，用于确定左相机叶片像点图中的各待匹配点，所述待匹配点为普通标志点在左相机叶片像点图中的像点；
[0085]
候选匹配点集确定模块502，用于确定各待匹配点在右相机叶片像点图中对应的候选匹配点集，每一所述候选匹配点集包括若干候选待匹配点；所述候选匹配点集确定模块，具体包括：
[0086]
候选匹配点集确定单元，用于根据左相机叶片像点图中各所述待匹配点，采用极线约束筛选出各所述待匹配点在右相机叶片像点图中对应的候选匹配点集。
[0087]
局部近平面区域确定模块503，用于确定在所述左相机叶片像点图中确定第一局部近平面区域，所述第一局部近平面区域为以所述待匹配点为中心的近平面区域；还用于确定在所述右相机叶片像点图中确定若干第二局部近平面区域，所述第二局部近平面区域为以所述待匹配点对应的一候选匹配点为中心的近平面区域；所述局部近平面区域确定模块，具体包括：
[0088]
局部近平面区域确定单元，用于确定搜索像面，所述搜索像面为以所述待匹配点或所述候选匹配点为中心，以大于设定值的半径为初始搜索半径的圆面；确定所述搜索像面内标志点的数量；当所述标志点的数量大于第一阈值小于第二阈值时，停止搜索；否则，以设定步长缩减半径，重新确定搜索像面，并跳转至确定所述搜索像面内标志点的数量步骤。
[0089]
单应性矩阵确定模块504，用于根据每组近平面内的标志点确定每组近平面对应的单应性矩阵，所述每组近平面由所述第一局部近平面区域和一所述第二局部近平面区域构成；所述单应性矩阵确定模块，具体包括：
[0090]
单应性矩阵确定单元，用于假定每组近平面对应三维空间中的同一近平面，采用ransac算法估计各组近平面的单应性矩阵。
[0091]
理论匹配点确定模块505，用于根据每组近平面对应的单应性矩阵确定每组近平面对应的候选匹配点相应的理论匹配点；
[0092]
最终匹配点确定模块506，用于根据所述候选匹配点和所述候选匹配点对应的理论匹配点之间的距离偏差，确定所述待匹配点的最终匹配点。
[0093]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0094]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。