工件圆孔特征检测方法和工件圆孔特征检测装置与流程

1.本发明涉及工件检测技术领域，尤其是涉及一种工件圆孔特征检测方法和工件圆孔特征检测装置。


背景技术：

2.在工业视觉领域中，对于高精度的目标检测仍面对许多挑战。由于模板匹配既不需要大量的训练集和训练时间，同时也能处理少纹理的目标，因此，在目标检测上，模板匹配算法发挥十分重要的作用。
3.相关技术中，一种为基于特征点的模板匹配算法，但是该算法为了增加鲁棒性常常无法到达实时的检测效果。一种为基于物体轮廓特征的模板匹配算法，该算法使用倒角距离来度量模板图片轮廓和待测物体轮廓的差异，但是，该算法对物体的遮挡极为敏感。另外，通常采用的模板匹配算法对光照变化、噪声等也极为敏感，同时当存在多个模板时也会使得算法的时长增加。另外一种为针对无纹理物体的基于梯度响应的实时检测方法，该方法采用梯度方向特征的二进制表示，同时运用现代计算机的高速缓存并行，这种基于形状的匹配算法能够实时对多类别、少纹理的物体检测，但是该方法无法准确估计物体的尺度，同时算法匹配精度也有待提高。此外，对于模板匹配算法，具体操作为：首先对识别物体进行各个姿态的拍照，对拍摄的图片进行模板训练，并将训练后的模板存入数据库中；在识别阶段，将测试的图片与数据库中的模板逐一比对，选取相似性最大的模板匹配位置作为物体在图像上的真实坐标，但是，这种方法耗时较长，且匹配坐标无法达到亚像素级别精度。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种工件圆孔特征检测方法，采用该方法可以实现对工件圆孔的检测，且可以提高检测精度。
5.本发明第二方面实施例提供一种工件圆孔特征检测装置。
6.本发明第三方面实施例提供一种计算机存储介质。
7.本发明第四方面实施例提供一种工件圆孔特征检测系统。
8.为了解决上述问题，本发明第一方面实施例的工件圆孔特征检测方法，包括：获取相机标定参数和标准工件的cad(computer aided design，计算机辅助设计)模型信息；根据所述相机标定参数和所述cad模型信息生成模板图像数据，其中，所述模板图像数据为所述标准工件中圆孔的图像数据；对所述模板图像数据进行特征提取，以获得模板特征点信息；获取待检测工件的实际图像数据，其中，所述实际图像数据为所述待检测工件中目标圆孔的图像数据；对所述实际图像数据进行特征提取，以获得实际特征点信息；将所述模板特征点信息与所述实际特征点信息进行匹配，以获取目标模板特征点信息；以所述实际特征点信息为基准，对所述目标模板特征点信息进行迭代优化对齐算法处理，获得处理后的目标模板特征点信息；根据所述处理后的目标模板特征点信息确定所述目标圆孔的特征值。
9.根据本发明实施例的工件圆孔特征检测方法，通过相机标定参数和标准工件的cad模型信息即可生成模板图像数据，相较于传统模板匹配算法，本发明实施例参考cad模型信息即三维数据信息来生成模板图像数据，既便于灵活拓展在任意形状下标准工件的检测，又可以提高检测精准性及降低对光照的敏感性，此外，本发明实施例还采用迭代优化对齐算法对与实际特征点信息相匹配的目标模板特征点信息进行位置微调，既可以使匹配的目标圆孔的特征值达到亚像素精度，也无需再考虑图像数据旋转，提高检测速度和检测的稳定性，实现实时检测的效果。
10.在一些实施例中，所述根据所述相机标定参数和cad模型信息生成模板图像数据，包括：以所述相机标定参数对所述cad模型信息进行多角度投影，获取初始模板图像数据；根据预设半径范围对所述初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据；将所述不同尺度下的初始图像数据作为最终的模板图像数据。
11.在一些实施例中，所述模板特征点信息包括特征点坐标、特征点梯度值和特征点梯度方向。
12.在一些实施例中，根据预设半径范围对所述初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据，包括：根据所述cad模型信息获取所述目标圆孔的标准半径；根据所述标准半径和预设缩放区间确定所述预设半径范围；在所述预设半径范围内，根据预设步长对所述初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据。
13.在一些实施例中，对所述实际图像数据进行特征提取，包括：对所述实际图像数据进行图像预处理，以获得预处理后的实际图像数据；通过样条差值法对所述处理后的实际图像数据进行放大处理，以获得放大后的实际图像数据；对所述放大后的实际图像数据进行特征提取。
14.在一些实施例中，将所述模板特征点信息与所述实际特征点信息进行匹配，以获取目标模板特征点信息，包括：通过模板搜索匹配方法将所述模板特征点信息与所述实际特征点信息进行匹配，以获取目标模板特征点信息。
15.在一些实施例中，所述目标圆孔的特征值包括所述目标圆孔的半径、中心坐标和所述目标圆孔所在平面的法向。
16.本发明第二方面实施例提供一种工件圆孔特征检测装置，包括：第一获取模块，用于获取相机标定参数和标准工件的cad模型信息；模板生成模块，用于根据所述相机标定参数和所述cad模型信息生成模板图像数据，其中，所述模板图像数据为所述标准工件中圆孔的图像数据；第一特征提取模块，用于对所述模板图像数据进行特征提取，以获得模板特征点信息；第二获取模块，用于获取待检测工件的实际图像数据，其中，所述实际图像数据为所述待检测工件中目标圆孔的图像数据；第二特征提取模块，用于对所述实际图像数据进行特征提取，以获得实际特征点信息；匹配模块，用于将所述模板特征点信息与所述实际特征点信息进行匹配，以获取目标模板特征点信息；处理模块，用于以所述实际特征点信息为基准，对所述目标模板特征点信息进行迭代优化对齐算法处理，获得处理后的目标模板特征点信息；确定模块，用于根据所述处理后的目标模板特征点信息确定所述目标圆孔的特征值。
17.根据本发明实施例的工件圆孔特征检测装置，通过相机标定参数和标准工件的
cad模型信息即可生成模板图像数据，相较于模板匹配算法，本发明实施例参考cad模型信息即三维数据信息来生成模板图像数据，既便于灵活拓展在任意形状下标准工件的检测，又可以提高检测精准性及降低对光照的敏感性，此外，本发明实施例还采用迭代优化对齐算法对与实际特征点信息相匹配的目标模板特征点信息进行位置微调，既可以使匹配的目标圆孔的特征值达到亚像素精度，也无需再考虑图像数据旋转，提高检测速度和检测的稳定性，实现实时检测的效果。
18.本发明第三方面实施例提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述实施例所述的工件圆孔特征检测方法。
19.本发明第四方面实施例提供一种工件圆孔特征检测系统，包括：图像采集模块，用于采集待检测工件的实际图像数据；上述实施例所述的工件圆孔特征检测装置，所述工件圆孔特征检测装置与所述图像采集模块连接。
20.根据本发明实施例的工件圆孔特征检测系统，通过采用上述实施例提供的工件圆孔特征检测装置，可以实现对工件圆孔的检测，且可以提高检测精度及降低对光照的敏感性。
21.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
22.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
23.图1是根据本发明一个实施例的工件圆孔特征检测方法的流程图；
24.图2是根据本发明一个实施例的梯度方向划分示意图；
25.图3中(a)
‑
(c)是根据本发明一个实施例的特征点的梯度方向向邻域扩散的示意图；
26.图4中(d)
‑
(i)是根据本发明一个实施例的初始模板图像数据的示意图；
27.图5是根据本发明一个实施例的工件圆孔特征检测装置的结构框图；
28.图6是根据本发明一个实施例的工件圆孔特征检测系统的结构框图。
29.附图标记：
30.工件圆孔特征检测装置10；工件圆孔特征检测系统20；
31.第一获取模块1；模板生成模块2；第一特征提取模块3；第二获取模块4；第二特征提取模块5；匹配模块6；处理模块7；确定模块8；图像采集模块9。
具体实施方式
32.下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
33.为了解决上述问题，本发明第一方面实施例提出一种工件圆孔特征检测方法，采用该方法可以实现对工件圆孔的检测，且可以提高检测精度及降低对光照的敏感性。
34.下面参考图1描述本发明实施例的工件圆孔特征检测方法，如图1所示，该工件圆孔特征检测方法至少包括步骤s1
‑
步骤s8。
35.步骤s1，获取相机标定参数和标准工件的cad模型信息。
36.其中，相机标定参数包括相机的内参数如焦距、像素大小和相机的外参数如相机的位置、旋转方向等。标准工件的cad模型信息包括标准工件中每个点的坐标信息、标准工件的朝向信息以及标准工件中圆孔的标准半径、圆孔孔心标准中心坐标和圆孔所在平面的标准法向等。
37.在实施例中，可以理解的是，在对待检测工件进行识别时，模板图像数据与待检测工件的实际图像数据应当为同一相机采集获得，以此来满足工件圆孔特征检测的匹配度，因此，本发明实施例在实际将相机标定完成之后，可以将对应的相机标定参数输入相关的计算机处理设备，计算机处理设备以此相机标定参数来进行后续模板图像数据的生成。以及，在对待检测工件实际生产时，会预先设置对应的标准工件的cad模型信息，也就是说以标准工件的cad模型信息来生产待检测工件，由此，可以将标准工件的cad模型信息输入相关的计算机处理设备。从而，计算机处理设备根据用户输入的信息，可以获取需要的相机标定参数和标准工件的cad模型信息。
38.步骤s2，根据相机标定参数和cad模型信息生成模板图像数据，其中，模板图像数据为标准工件中圆孔的图像数据。
39.在实施例中，现有的模板匹配算法需经过图像采集、模板训练以及模板匹配等步骤才可实现对工件圆孔特征的检测，而不同于现有的模板匹配算法，本发明实施例在获取模板图像数据时无需再进行图像采集和模板训练的过程，而是直接以相机标定参数和标准工件的cad模型信息来自动生成模板图像数据，也就是，以标准工件的cad模型信息作为实际工件，以相机标定参数代表实际标定后的相机，由此来模拟相机拍摄标准工件的操作，并对模拟拍摄操作后的图像数据进行处理，从而模拟拍摄操作后的图像数据和对模拟拍摄操作后的图像数据处理后的图像数据即为生成的模板图像数据。同时，相较于现有的模板匹配算法中的模板为采集的二维图像数据训练获得，本发明实施例参考标准工件的cad模型信息即三维数据信息来生成模板图像数据，由此，在模板图像数据生成过程中，可以灵活拓展标准工件在任意形状下的模板图像数据，从而既使得生成的模板图像数据更加丰富，利于提高后续检测的灵活性，又利于提高后续检测识别的精准性及降低对光照的敏感性。
40.步骤s3，对模板图像数据进行特征提取，以获得模板特征点信息。
41.其中，模板特征点信息可以理解为模板图像数据中最能反映标准工件上圆孔特征的点的信息，如以模板图像数据中最小边缘点作为一个特征点，则该最小边缘点的信息为模板特征点信息。
42.在实施例中，考虑存储模板图像数据所需的存储空间较大，且模板图像数据不能直接参与相似性度量的计算，因此，本发明实施例通过对模板图像数据进行特征提取，以对提取后的模板特征点信息进行保存，如可以以yml格式进行保存，由此来减少存储空间的占用。
43.在实施例中，可以理解的是，在步骤s2中，根据相机标定参数和cad模型信息生成的模板图像数据的数量很多，因此，在对模板图像数据进行特征提取时，需对每个模板图像数据分别进行特征提取，以获得每个模板图像数据所对应的模板特征点信息。
44.其中，在对每个模板图像数据分别进行特征提取，可以对每个模板图像数据可以采用金字塔结构，也就是对每个模板图像数据进行等比例缩放，以获得对应每个模板图像
数据等比例缩放后的模板图像数据，每个原始的模板图像数据和对应的等比例缩放后的模板图像数据组成金字塔结构，进而对每个原始的模板图像数据和对应的等比例缩放后的模板图像数据均进行特征提取，将每个原始的模板图像数据中提取的模板特征点信息和对应的等比例缩放后的模板图像数据中提取的模板特征点信息作为该原始的模板图像数据最终提取的模板图像模板特征点信息。
45.在一些实施例中，模板特征点信息包括特征点坐标、特征点梯度值和特征点梯度方向。
46.步骤s4，获取待检测工件的实际图像数据，其中，实际图像数据为待检测工件中目标圆孔的图像数据。
47.在实施例中，在对待检测工件进行识别时，可以采用标定后的相机拍摄待检测工件，并将拍摄的实际图像数据传送给相关的计算机处理设备。
48.步骤s5，对实际图像数据进行特征提取，以获得实际特征点信息，以便于将实际特征点信息与前期获得的模板特征点信息进行匹配。
49.在实施例中，实际特征点信息可以包括特征点坐标、特征点梯度值和特征点梯度方向。
50.步骤s6，将模板特征点信息与实际特征点信息进行匹配，以获取目标模板特征点信息。
51.其中，目标模板特征点信息可以理解为所有模板特征点信息中与实际特征点信息相似性最高的模板特征点信息。
52.在实施例中，特征点信息可以为图像梯度方向描述符，将所有模板特征点信息对应的图像梯度方向描述符与实际特征点信息对应的图像梯度方向描述符进行一一匹配，以获取目标模板特征点信息。
53.具体地，对模板特征点信息与实际特征点信息进行匹配时以图像的边缘梯度信息作为特征匹配，其匹配步骤包括相似性度量、梯度方向量化、方向扩散、处理预响应图和线性存储。
54.其中，相似性度量为在匹配过程中，针对模板特征点方向和实际图像边缘点方向之间的余弦值计算相似性。在计算过程中采用了一种高效地相似性度量的计算方式，对于待测对象即实际特征点信息上的每个梯度方向，在相关梯度位置的邻域中搜索输入模板图像数据对应的模板特征点信息中最相似的方向，计算公式如下。
[0055][0056][0057]
其中，ori(i，t)为实际图像数据i中特征点t的方向角，ori(t，r)为模板图像数据t中特征点r的方向角，p为模板图像数据中模板特征点信息的集合，c为模板图像数据t在实际图像数据i上的当前匹配位置，r(c r)为实际图像数据在c r处的大小为模板图像数据的领域区域。
[0058]
进而，对梯度方向量化，可以采用sobel算子计算图像的边缘，同时计算边缘的梯度方向和梯度复制，并对每个边缘点的梯度幅值采用非极大值抑制处理。通过上述算法将
梯度方向量化成n0个相等的区域，并使用2进制编码。
[0059]
例如，参考图2所示，将0
°‑
180
°
划分为5个等分区域，当量化的方向指向某个区间时，对应位置设为1，其他位置设为0，如当量化的梯度位于第三区间即72
°‑
108
°
的区间，其二进制表示为00100。再例如，也可以将0
°‑
180
°
划分为16个等分区域，使用两个字节(长度为16的二进制串)来表示梯度的方向，修改之后的相似性函数的取值是0
‑
8，同时由于采用两个字节来存储累加和，所以模板特征点个数最大可以取值为[65535/8]＝8191个，由此，对于孔径较大的圆孔，通过适当设置更大的特征点个数，可以使得匹配达到更精确和更鲁棒的圆孔特征检测效果。
[0060]
进一步地，对于方向扩散，为使得梯度的量化对噪声更加鲁棒，在计算时会将每个特征点的梯度方向分配至周边的其他位置，例如图3(a)中的每个特征点的梯度方向分配至图3(b)所示的周边3
×
3邻域内的其他位置。以及，为使得后续的计算更加高效，可以采用二进制串来表示扩散之后的梯度图像，对于每一个位置，若本身的梯度方向和邻域扩散的梯度方向出现，则二进制串的对应位置为1，如图3(c)所示为图3(b)采用二进制串的方式形成的二进制化图像即扩散图像。
[0061]
进一步地，对于预处理响应图，当梯度化方向个数为n0时，预先计算出各个方向在实际图像数据上的预响应值，以形成n0个预响应图。在进行匹配时，只需依据特征点的梯度方向查找对应的预响应图，从而既可以获得在实际图像数据上的相似性值，又以离线计算的方式进一步提高匹配效率。具体地，首先计算n0个方向与全部的梯度组合方向的相似性值，以形成一个查找表，进而将扩散图像中每个边缘点与n0个梯度反向计算相似性值，以形成n0个预响应图。
[0062]
举例说明，假设n0为8时，相似性度量的值只有0、0.3、0.7、0.9和1五种情况，其中，相似性函数计算公式如下。
[0063]
ε(i，t，t)＝max
t∈t
|cos(ori(t，r)
‑
ori(i，t))|
[0064]
最后，对于线性存储，为使计算机处理设备读取内存信息的缓存命中率(cache hit rate)，在计算时将预响应图的数值以一种cache(高速缓冲存储器)读取更友好的方式进行重新存储，并以t为步距读取预响应图的数值，完成线性存储，提高匹配效率。
[0065]
此外，在匹配时可以采用图像金字塔的搜索策略，例如，以采用两层图像金字塔为例，顶层图像金字塔的分辨率为原图像分辨率的1/2，在顶层使用步长为4的搜索策略；底层图像金字塔为原图像，在底层使用步长为2的搜索策略。在具体搜索中，先在顶层搜索出最佳匹配的初步位置，然后在底层图像中使用更小的步长在初步位置的领域内搜索更加准确的匹配位置。由此，可以使得匹配达到更精确和更鲁棒的圆孔特征检测效果。
[0066]
在实施例中，在对模板特征点信息与实际特征点信息进行匹配时，可以引入openmp并行加速的多处理器程序设计方法，由此采用多线程的处理方式，可以提高算法的运行效率，尤其适用于同时检测多个圆孔的情况。
[0067]
步骤s7，以实际特征点信息为基准，对目标模板特征点信息进行迭代优化对齐算法处理，获得处理后的目标模板特征点信息。
[0068]
在实施例中，迭代优化对齐算法是一种点集对点集配准方法，具体为，存在两个点集：源点集和目标点集，在计算时，目标点集不变，源点集经过旋转和平移甚至加上尺度变换，使得变换后的源点集尽量和目标点集重合，此变换过程即为点集配准。两个点集的对
应，输出通常为一刚性变换矩阵：代表旋转和平移，它应用于源数据集，结果是完全与目标数据集匹配。由此，本发明实施例中将目标模板特征点信息作为源点集，将实际特征点信息作为目标点集，采用点到面的迭代优化对齐算法即最小化目标模板特征点信息上的点到实际特征点信息上对应点切平面距离的平方和，由此经迭代优化对齐算法来对目标模板特征点信息进行位置微调，从而可以使匹配的目标圆孔的特征值达到亚像素精度，甚至可以达到检测误差小于0.01mm，同时在此过程中也无需再考虑图像数据旋转参数，提高检测速度和检测的稳定性，实现实时检测的效果。
[0069]
步骤s8，根据处理后的目标模板特征点信息确定目标圆孔的特征值，也就是说，处理后的目标模板特征点信息与实际特征点信息对应相同，所以处理后的目标模板特征点信息中圆孔的特征值即为实际特征点信息中目标圆孔的特征值。
[0070]
在一些实施例中，目标圆孔的特征值包括目标圆孔的半径、中心坐标和目标圆孔所在平面的法向。由此，处理后的目标模板特征点信息中的半径即为待检测工件中目标圆孔的半径，以及处理后的目标模板特征点信息中圆孔的中心坐标即为待检测工件中目标圆孔的中心坐标。
[0071]
根据本发明实施例的工件圆孔特征检测方法，通过相机标定参数和标准工件的cad模型信息即可生成模板图像数据，相较于传统模板匹配算法，本发明实施例参考cad模型信息即三维数据信息来生成模板图像数据，既便于灵活拓展在任意形状下标准工件的检测，又可以提高检测精准性及降低对光照的敏感性，此外，本发明实施例还采用迭代优化对齐算法对与实际特征点信息相匹配的目标模板特征点信息进行位置微调，既可以使匹配的目标圆孔的特征值达到亚像素精度，也无需再考虑图像数据旋转，提高检测速度和检测的稳定性，实现实时检测的效果。
[0072]
在一些实施例中，以相机标定参数对cad模型信息进行多角度投影，获取初始模板图像数据，也就是获取cad模型信息在相机不同视角下的模板图片，以作为初始模板图像数据，如图4中(d)
‑
(i)分别代表不同视角下的初始模板图像数据，例如，对于cad模型中的每个孔，以该圆孔cad中心坐标为中心，该圆孔的cad模型半径为半径，以圆孔所在平面的cad法向为旋转轴，每间隔0.01度采集一个点，环形360度，共采集36000个稠密的点，将36000个稠密的点利用相机标定参数投影至观测该圆孔相机的像平面即可形成模板的边界信息，最后采用漫水填充算法即可得到初始模板图像数据；进而，考虑在实际生产时工件上圆孔的实际半径与cad模型中所对应的圆孔的半径存在一定的差异，因此，本发明实施例根据预设半径范围对初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据；最终，将不同尺度下的初始图像数据作为最终的模板图像数据，由此，本发明实施例在考虑相机的不同视角和实际生产误差的情况下生成最终的模板图像数据，利于提高后续对待检测工件检测的精准度。
[0073]
在一些实施例中，根据cad模型信息获取目标圆孔的标准半径，其中，在生产工件时符合工件上圆孔制作要求的半径即为标准半径；进而，根据标准半径和预设缩放区间确定预设半径范围，其中，预设缩放区间可以理解为对于实际生产的工件所允许的误差缩放区间，其可以根据实际情况进行设定，对此不作限制；在预设半径范围内，根据预设步长对初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据。由此，基于多尺度下的初始模板图像数据，在后续对工件进行识别时，可以实现任意尺度的刚性工件的识
别，提高检测的灵活性。
[0074]
举例说明，假设预设缩放区间为0.95
‑
1.05，标准半径为5cm，则可确定预设半径范围为5cm*0.95
‑
5cm*1.05，即4.75cm
‑
5.25cm，进而，在预设半径范围为4.75cm
‑
5.25cm内，以预设步长0.002对初始模板图像数据进行尺度缩放，也就是，分别获取半径为4.75cm、4.752cm、4.754cm、4.756cm
……
5.25cm所对应的初始模板图像数据，由此即可获得不同尺度下的初始模板图像数据。
[0075]
在一些实施例中，对实际图像数据进行图像预处理，如对实际图像数据先进行线性对比度增强，以增加图像边缘对比，再利用高斯滤波和拉普拉斯算子对实际图像数据进行平滑去噪和锐化处理，以减少图像噪声信息并保存图像的边缘信息，由此，经上述图像预处理过程来获得预处理后的实际图像数据，可以提高检测效果；进而，对预处理后的实际图像数据进行图像截取处理，以获得截取后的实际图像数据，也就是将实际图像数据中非目标圆孔的图像数据部分去除，以提高检测精度；进而，通过样条差值法对处理后的实际图像数据进行放大处理，以获得放大后的实际图像数据，以便于后续检测，尤其对于较小的目标圆孔的检测；对放大后的实际图像数据进行特征提取。由此，通过将实际图像数据经上述处理过程后再进行特征提取，利于提高检测的精准性。
[0076]
在实施例中，在进行图像预处理时，可以采用canny边缘算法提取边缘信息。
[0077]
在一些实施例中，通过模板搜索匹配方法将模板特征点信息与实际特征点信息进行匹配，以获取目标模板特征点信息。其中，模板搜索匹配方法采用彩色图像的梯度信息作为模板匹配的依据，由此可以使得对圆孔中心坐标达到像素级精度，此外该方法也可以实现在几千个模板在图片上滑窗搜索，达到实时检测的效果。
[0078]
在实施例中，在匹配过程中可以改善滑动窗口打分机制，以使得匹配达到更精确和更鲁棒的圆孔特征检测效果，例如，当模板图像数据和实际图像数据中对应特征点的梯度方向一致时，该特征点得分为4；当模板图像数据和实际图像数据中对应特征点相差为1时，该特征点得分为1，以此打分机制，最后计算全部特征点的得分和，并归一化0
‑
100的区间。
[0079]
对于目标圆孔的中心坐标的计算进行说明，例如，假设提取之后的模板特征点在模板图像数据中沿x方向上的最小x坐标为tl
x
，沿y方向上的最小y坐标为tl
y
，则对模板图像数据进行图像截取处理时，采用的截取矩阵为：其中，通过对模板图像数据进行图像截取处理可以去除该模板图像数据中的无效区域，使得在匹配时滑窗空间更大。
[0080]
进而，在完成对实际特征点信息的匹配后，在未对截取后的实际图像数据进行放大处理的情况下，假设模板图像数据中左上角位置位于实际图像数据中的像素点坐标为[match.x，match.y]
t
，且经迭代优化对齐算法后获得的刚性变换矩阵为transformation，则目标圆孔的中心坐标p
center
：
[0081][0082]
其中，(cx，cy)为目标模板特征点信息中圆孔的中心坐标，也就是cad模型中圆孔
的圆心投影在模板图像数据中的像素坐标。
[0083]
此外，在对截取后的实际图像数据即感兴趣图像数据进行放大处理的情况下，假设截取后的实际图像数据放大倍数为n，则最终获得目标圆孔在实际图像数据中的中心坐标为[p
center
.x/n roi.x，p
center
.y/n roi.y]
t
，其中，(roi.x，roi.y)为感兴趣图像数据中左上角位置位于实际图像数据中的像素点坐标。
[0084]
需要说明的是，由于在对待检测工件进行实际拍摄时，所拍摄的图像数据中包含待检测工件上的多个圆孔，为避免对每个圆孔的检测造成干扰，因此对实际图像数据进行图像截取处理，以获得针对每个圆孔的感兴趣图像数据即截取后的实际图像数据，从而以感兴趣图像数据与模板图像数据进行匹配，提高检测的精准性。
[0085]
总之，根据本发明实施例的工件圆孔特征检测方法，通过相机标定参数和标准工件的cad模型信息来获得模板图像数据，即以三维视觉技术与相机标定技术进行结合，在匹配时也无需考虑旋转参数，相较于现有的模板匹配算法，既可以同时检测目标圆孔在实际图像数据中的中心坐标和几何半径，又可以提高检测的实时性、精准性、鲁棒性和灵活性。
[0086]
本发明第二方面实施例提供一种工件圆孔特征检测装置，如图3所示，该工件圆孔特征检测装置10包括第一获取模块1、模板生成模块2、第一特征提取模块3、第二获取模块4、第二特征提取模块5、匹配模块6、处理模块7和确定模块8。
[0087]
其中，第一获取模块1用于获取相机标定参数和标准工件的cad模型信息；模板生成模块2用于根据相机标定参数和cad模型信息生成模板图像数据，其中，模板图像数据为标准工件中圆孔的图像数据；第一特征提取模块3用于对模板图像数据进行特征提取，以获得模板特征点信息；第二获取模块4用于获取待检测工件的实际图像数据，其中，实际图像数据为待检测工件中目标圆孔的图像数据；第二特征提取模块5用于对实际图像数据进行特征提取，以获得实际特征点信息；匹配模块6用于将模板特征点信息与实际特征点信息进行匹配，以获取目标模板特征点信息；处理模块7用于以实际特征点信息为基准，对目标模板特征点信息进行迭代优化对齐算法处理，获得处理后的目标模板特征点信息；确定模块8用于根据处理后的目标模板特征点信息确定目标圆孔的特征值。
[0088]
需要说明的是，本发明实施例的工件圆孔特征检测装置10的具体实现方式与本发明上述任意实施例的工件圆孔特征检测方法的具体实现方式类似，具体请参见关于方法部分的描述，为了减少冗余，此处不再赘述。
[0089]
根据本发明实施例的工件圆孔特征检测装置10，通过相机标定参数和标准工件的cad模型信息即可生成模板图像数据，相较于传统模板匹配算法，本发明实施例参考cad模型信息即三维数据信息来生成模板图像数据，既便于灵活拓展在任意形状下标准工件的检测，又可以提高检测精准性及降低对光照的敏感性，此外，本发明实施例还采用迭代优化对齐算法对与实际特征点信息相匹配的目标模板特征点信息进行位置微调，既可以使匹配的目标圆孔的特征值达到亚像素精度，也无需再考虑图像数据旋转，提高检测速度和检测的稳定性，实现实时检测的效果。
[0090]
在一些实施例中，模板生成模块2还用于，以相机标定参数对cad模型信息进行多角度投影，获取初始模板图像数据；根据预设半径范围对初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据；将初始模板图像数据和不同尺度下的初始图像数据作为最终的模板图像数据。
[0091]
在一些实施例中，模板生成模块2还用于，根据cad模型信息获取目标圆孔的标准半径；根据标准半径和预设缩放区间确定预设半径范围；在预设半径范围内，根据预设步长对初始模板图像数据进行尺度缩放，以获取不同尺度下的初始模板图像数据。
[0092]
在一些实施例中，第二特征提取模块5还用于对实际图像数据进行图像预处理，以获得预处理后的实际图像数据；通过样条差值法对处理后的实际图像数据进行放大处理，以获得放大后的实际图像数据；对放大后的实际图像数据进行特征提取。
[0093]
在一些实施例中，匹配模块6还用于，通过模板搜索匹配方法将所述模板特征点信息与所述实际特征点信息进行匹配，以获取目标模板特征点信息。
[0094]
本发明第三方面实施例提供一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述实施例提供的工件圆孔特征检测方法。
[0095]
本发明第四方面实施例提供一种工件圆孔特征检测系统，如图4所示，该工件圆孔特征检测系统20包括图像采集模块9和上述实施例提供的工件圆孔特征检测装置10。
[0096]
其中，图像采集模块9用于采集待检测工件的实际图像数据，工件圆孔特征检测装置10与图像采集模块9连接。
[0097]
需要说明的是，本发明实施例的基于深度学习的工件圆孔特征检测系统20的具体实现方式与本发明上述任意实施例的工件圆孔特征检测装置10的具体实现方式类似，具体请参见关于工件圆孔特征检测装置10部分的描述，为了减少冗余，此处不再赘述。
[0098]
在一些实施例中，图像采集模块9包括多个ccd(charge coupled device，电荷耦合器件)相机。
[0099]
根据本发明实施例的工件圆孔特征检测系统20，通过采用上述实施例提供的工件圆孔特征检测装置10，可以实现对工件圆孔的检测，且可以提高检测精度。
[0100]
在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0101]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0102]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述
实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0103]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0104]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0105]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
[0106]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
[0107]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。