一种周期图像的初始定位方法与流程

1.本技术涉及机器视觉处理技术领域，具体而言，涉及一种周期图像的初始定位方法。


背景技术：

2.当前很多工业现场的生产线上通过机器视觉检测系统进行图像处理，在这些生产线上，机器视觉检测系统扫描得到的图像是周期图像，即是沿生产线运行方向以一定的周期重复出现的连续图像。面向此类周期图像实现产品表面检测的视觉检测系统，现有技术一般采用图像比对的方法，能够成功应用这一方法的前提是事先要为视觉检测系统提供精准的初始定位，才使得将实时扫描图像与基准图像进行比对成为可能。
3.所谓初始定位就是为作为基准的模板图提供生产线上的第一个周期的位置，使模板图上的点与实际产品的周期图像上的点一一对应，初始定位的必要性在于初始定位是整个机器视觉检测系统开启检测的先决条件，也是决定图像对比结果是否有效的关键一环。
4.对于周期图像来说，对于图像中的每一个具体的坐标区域，只存在唯一一个最小周期，作为基准的模板图则是取最小周期或最小周期的整数倍的连续图像，该类视觉工业现场的机器视觉检测系统的运行原理本质就是在初始定位准确的前提下的图像对比。
5.在初始定位过程中，还需要将图像对比中涉及的定位核具体信息进行确认并和实际生产采图匹配，定位核可以理解为某一特征点或某几的特征点的集合，用于定位作为基准的模板图和实际生产采图的连续周期，以计算其他实际生产采图中未作为定位核的特征点的位置信息图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，即两个边缘的交点。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。
6.由于在实际生产中很多产品属于软性材料，例如纸张或塑料薄膜，而不是刚体，因此上述周期图像中，基准图像和生产线上移动固定版周长度倍数尺寸图像相互之间并不是完全精确一致，相互之间总是存在着由于抖动而造成的图像差异。在这种情况下，定位信息越精准，图像比对的结果愈加精准，反之，定位信息越模糊，图像比对的结果的准确度愈差。
7.模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。现有技术所使用的定位方法通常采用以opencv库中的模板匹配为核心的定位方法，其存在的问题包括：现有的以模板匹配为核心的定位方法存在较为繁琐的定位结果验证步骤，在一定程度上增加了资源消耗，且现有方法的运行时间较长，不利于图像的快速处理。


技术实现要素：

8.本技术实施例的目的在于提供一种周期图像的初始定位方法，用以解决现有技术中存在的改造成本高以及资源浪费的问题。
9.本发明提供了一种周期图像的初始定位方法，包括以下步骤：
10.s1，采集生产线的图像，并将其拼接成生产线上重复出现的图案所对应的一个最小完整周期图像，将拼接后的图像作为基准的模板图，在作为基准的模板图中圈定定位核并获取新的周期图像；
11.s2，对新的周期图像和作为基准的模板图进行模板匹配操作，得到模板匹配后得到的结果图，对结果图进行处理后获取最佳匹配点；
12.s3，获取作为基准的模板图中定位核的图像信息和位置信息；
13.s4，结合定位核的位置信息和版周实际高度获取定位核的区域坐标，并对其进行扩展，得到扩展后的定位核区域；
14.s5，基于扩展后的定位核区域和作为基准的模板图中定位核的图像信息进行模板匹配，获取最佳匹配点的坐标信息；
15.s6，判断s5获取的最佳匹配点坐标信息是否符合预设标准，若符合则进入s7，否则重新进行新的模板匹配处理，重新获取最佳匹配点的坐标信息；
16.s7，根据定位核的位置信息在新的周期图像中获取周期定位核以及周期定位核图像，并结合最佳匹配点坐标信息验证周期定位核图像是否在预估的定位核区域内，若最佳匹配点在预估的定位核区域内则继续执行后续步骤，否则判断该周期图像不能完成初始定位并退出流程上报错误；
17.s8，基于最佳匹配点坐标和基准定位核得到定位信息在实际采图中的位置信息。
18.进一步的，所述s1中，作为基准的模板图的长度应与预先手动输入的版周长度相同，版周长度为周期图像的一个或整数个周期的图像高度，版周长度由技术人员根据实际生产线的图像状况进行预先输入，图像高度的方向与生产线的运行方向一致。
19.进一步的，所述s2中获取最佳匹配点还包括以下步骤：
20.s2-1，对模板匹配后得到的结果图进行盒形滤波；
21.s2-2，取模板匹配后得到的结果图中的最大值的0.8倍作为基准，对结果图进行二值化操作，得到黑白图像；
22.s2-3，对黑白图像进行盒型滤波，得到黑白图像的滤波图；
23.s2-4，对黑白图像的滤波图进行二值化处理，得到二值化图像；
24.s2-5，对二值化图像进行blob分析，得到二值化图像中各连通区域的图像学信息，从该信息集合中获取其中面积最大的连通区域轮廓的坐标作为最佳匹配点。
25.进一步的，定位核的图像信息为s1中定位核圈定的范围在作为基准的模板图中截取的图像部分，将s1中圈定的定位核称为基准定位核，将其在作为基准的模板图对应的图像称为基准定位核图像；
26.定位核的位置信息是指s1中定位核圈定的范围在作为基准的模板图中所对应的坐标信息和图像尺寸。
27.进一步的，所述s4中，获取定位核的区域坐标还包括：将定位核的位置信息和所述s2-5中获取的版周实际高度相加。
28.进一步的，所述s5还包括以下步骤：
29.s5-1，对扩展后的定位核区域在实际生产采图中圈出的图像和作为基准的模板图标定的定位核图像进行模板匹配，获得模板匹配结果图；
30.s5-2，对模板匹配结果图进行盒形滤波，得到盒形滤波结果图中的最大值boxmax；
31.s5-3，以0.9倍的boxmax为阈值对盒形滤波结果图进行二值化操作，并对二值化结果进行blob分析，得到blob结果集合；
32.s5-4，根据blob结果集合中的结果个数，获取基准的模板图标定的定位核在实际生产采图的定位核的实际位置；
33.s5-5，再次对定位核在实际生产采图中的外扩区域和作为基准的模板图标定的定位核图像进行模板匹配，得到的结果图中灰度数值最大点的坐标信息即为最佳匹配点的坐标信息。
34.进一步的，所述s6还包括以下步骤：
35.s6-1，预设标准为最佳匹配点坐标是否在s5中提及的定位核在实际生产采图中的外扩区域图像范围内，即判断s5获取的最佳匹配点横坐标和纵坐标是否均满足大于等于0且小于外扩区域图像横纵坐标的上限，若满足，则认为s5获取的最佳匹配点坐标信息符合标准，此时直接进入s7；若最佳匹配点的横纵坐标值小于0或大于图像横纵坐标上限，则表示不符合标准，此时进入s6-2；
36.s6-2，获取s2中模板匹配后得到的模板匹配结果图；
37.s6-3，对模板匹配结果图进行盒形滤波，得到盒形滤波结果图；
38.s6-4，获取盒形滤波结果图中的最大值gauboxmax，对盒形滤波结果图进行阈值为0.9倍gauboxmax的二值化处理后，对二值化结果图进行blob分析，得到blob分析结果；
39.s6-5，将s6-4得到的blob分析结果与s5中的二值化阈值为最大值boxmax的0.95倍的二值化图像的blob分析结果集合进行比较并计算两集合距离，若距离小于32像素点，则认为该结果有效，此时将s6-3得到的blob结果集合中的坐标信息作为初始定位需要的匹配信息，即最佳匹配点坐标信息；
40.s6-6，判断s6-5得到的最佳匹配点坐标信息是否符合预设标准，若此时仍不符合，则判断为图像无法进行初始定位，结束全部流程，若符合则进入s7。
41.进一步的，所述s7中，获取周期定位核以及周期定位核图像还包括：根据s3中提及的定位核位置信息在s1提及的由两个最小完整周期图上下拼接而成新的周期图像中截取图像，将该定位核称为周期定位核，将该图像称为周期定位核图像。
42.本发明的有益效果为：本发明提出的初始定位方法能够以较小的计算开销检测出生产线连续周期图像的初始定位，且初始定位的位置信息更为快速可靠，解决了以往方法由于耗时过长的问题，实现了本发明给出的检测方法具有更快的运算速度，从而提高软件运行效率。
附图说明
43.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他相关的附图。
44.图1为本发明提出的周期图像初始定位方法的整体流程示意图。
具体实施方式
45.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
46.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
48.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
49.如图1所示，图1为本发明提出的一种周期图像的初始定位方法的整体流程示意图，本发明所提出的初始定位方法适用于生产线上出现的图案为有规律的周期性图案的情况，该方法包括如下步骤：
50.s1，采集生产线的图像，并将其拼接成生产线上重复出现的图案所对应的一个最小完整周期图像，将拼接后的图像作为基准的模板图，在作为基准的模板图中圈定定位核；
51.具体的，作为基准的模板图的长度应与预先手动输入的版周长度相同，版周长度为周期图像的一个或整数个周期的图像高度，版周长度由技术人员根据实际生产线的图像状况进行预先输入，图像高度的方向与生产线的运行方向一致。
52.获取作为基准的模板图之后，还需在作为基准的模板图中手动或自动圈定像素20
×
20大小的区域用于后续定位，所圈定的区域称为定位核。其中，所圈定的定位核需要满足所圈定的区域在作为基准的模板图中为唯一的图像，即不能将存在重复图像的部分划为定位核。
53.为了保证后续模板匹配时的准确度，又兼顾计算速度，本发明中选择两个与版周长度大小相同的图像并将其拼接成为新的周期图像，即在生产前后保持一致的理想环境下，新的周期图像为两个或二的整数倍个周期图像上下拼接而成。
54.进一步优选的，为了提高运算效率，本发明还可以使用cv::resize()函数将采集的周期图像按一定比例缩小后再进行拼接。
55.s2，对s1中提及的新的周期图像和作为基准的模板图进行模板匹配操作，得到模板匹配后得到的结果图，对结果图进行处理后获取最佳匹配点；
56.具体的，模板匹配操作能够获得一张灰度图，在理想情况下该灰度图灰度值最高点即为最佳匹配点，得到的灰度图在后续步骤称为模板匹配后得到的结果图；
57.其中，由于存在各种影响难以达到理想情况，因此需要消除实际生产中采图存在的图像噪声及其他可能出现的影响印刷效果和采图效果的状况，获取最佳匹配点还需包括
以下步骤：
58.s2-1，对模板匹配后得到的结果图进行盒形滤波；
59.其中，本发明中为了防止有个别受噪声影响的错误灰度值突变点出现，需要对模板匹配之后得出的结果图进行{1,61}的盒型滤波。
60.s2-2，取模板匹配后得到的结果图中的灰度最大值的0.8倍作为基准对图像进行二值化操作，得到黑白图像；
61.具体的，模板匹配后得到的结果图中灰度高的点一般分布比较集中，以最大值的0.8倍作为基准为基准可有效地区分出高灰度区域的位置，由于实际生产中产生的图像噪声一般不会大于最大值的0.8倍，因此本发明中取最大值0.8倍为基准，从而有效屏蔽图像噪声，对结果图进行二值化操作，得到黑白图像；
62.s2-3，对黑白图像进行盒型滤波，得到黑白图像的滤波图；
63.其中，本发明中对二值化操作后得到的黑白图像进行{1,61}的盒形滤波。
64.s2-4，对黑白图像的滤波图进行二值化处理，得到二值化图像；
65.其中，本发明对黑白图像的滤波图以64的阈值进行二值化操作。
66.s2-5，对二值化图像进行blob分析，得到二值化图像中各连通区域的图像学信息，从该信息集合中获取其中面积最大的连通区域轮廓的坐标作为最佳匹配点。
67.进一步的，由于s1中拼接而成新的周期图像是由两个最小模板图长度的图像组成的，所以可获取上下两个匹配点，通过上下两个匹配点的纵坐标相减能够获取生产线上连续图像的最小周期的实际高度，该实际高度即为版周实际高度，便于后续定位核信息的处理。
68.s3，获取作为基准的模板图中定位核的图像信息和位置信息；
69.其中，定位核的图像信息为s1中定位核圈定的范围在作为基准的模板图中截取的图像部分，本发明中将s1中圈定的定位核称为基准定位核，将其在作为基准的模板图对应的图像称为基准定位核图像；
70.定位核的位置信息是指s1中定位核圈定的范围在作为基准的模板图中所对应的坐标信息和图像尺寸。
71.s4，结合定位核的位置信息和版周实际高度获取定位核的区域坐标，并对其进行扩展，得到扩展后的定位核区域；
72.具体的，将定位核的位置信息和s2-5中获取的版周实际高度相加，获取定位核区域坐标。
73.由于实际采集或生产环境中会由于材料材质或生产机器的某些特定原因使得采集到的图像较作为基准的模板图有一定范围的偏差，即实际生产中常说的抖动现象，因此一般生产线采图中实际定位核所在区域和作为基准的模板图标定的定位核区域不能完全一一对应。为了解决上述问题，本实施例将作为基准的模板图标定的定位核区域对应在实际生产采图的区域的宽高进行扩大。
74.具体的，对定位核区域进行扩展包括扩展定位核区域的宽度和高度，本实施例中优选将定位核区域的左右宽度和上下高度外扩16个像素点长度，即将原定位核左上角坐标(x_lt,y_lt)扩展为(x_lt-16，y_lt-16)，将原定位核左下角坐标(x_lt,y_rd)转变为(x_lt-16,y_rd 16)，将原定位核右上角坐标(x_rd,y_lt)转变为(x_rd 16,y_lt-16)，将原定
位核右下角坐标(x_rd,y_rd)转变为(x_rd 16,y_rd 16)；得到新的矩形区域作为新的定位核区域。
75.进一步优选的，根据实际问题处理中抖动现象的严重程度，本领域技术人员可以对外扩的像素点的长度进行增减，如增加外扩的像素点长度。
76.s5，基于扩展后的定位核区域和作为基准的模板图中定位核的图像信息进行模板匹配，获取最佳匹配点的坐标信息；
77.具体的，s5还包括以下步骤：
78.s5-1，对扩展后的定位核区域在实际生产采集图中圈出的图像和作为基准的模板图标定的定位核图像进行模板匹配，获得模板匹配结果图；
79.s5-2，对模板匹配结果图进行盒形滤波，得到盒形滤波结果图中的最大值boxmax；
80.具体的，本发明中进行卷积核为{9,9}的盒形滤波，
81.当boxmax小于0.2的时候认为为匹配分数过低，此时认为传入的图像不符合算法继续运行的要求，认为传入该算法的图像并不能进行初始定位，该算法结束流程；
82.当boxmax大于0.2时继续执行后续操作。
83.s5-3，以0.9倍的boxmax为阈值对盒形滤波结果图进行二值化操作，并对二值化结果进行blob分析，得到blob结果集合；
84.s5-4，根据blob结果集合中的结果个数，获取基准的模板图标定的定位核在实际生产采图的定位核的实际位置；
85.若blob结果集合中只有一个结果，则该结果所对应的坐标就是作为基准的模板图标定的定位核在实际生产采图的定位核的实际位置；
86.若blob结果集合中的结果数大于一个，则重新选取上述s5-3的二值化操作中的二值化阈值，将二值化阈值改为最大值boxmax的0.95倍，重新对二值化图像进行blob分析(步骤s5-4)，若重新blob分析的结果集合的结果数仍大于一个，则认为该图像或预先在作为基准的模板图中标定的定位核不能有效地进行初始定位，该算法应跳出流程并报错；
87.当blob结果集合为空时，则认为该图像无法找到最佳匹配点，传入该算法的图像并不能进行初始定位，该算法应跳出报错；
88.当blob结果集合不为空时，则认为传入该算法的图像可进行初始定位但是在上述s4中获取的定位核在实际生产采图中的外扩区域需要调整，此时将定位核在实际生产采图中的外扩区域在宽度上增加一半原定位核宽度加上16个像素点的大小；
89.s5-5，再次对定位核在实际生产采图中的外扩区域和作为基准的模板图标定的定位核图像进行模板匹配，得到的结果图中灰度数值最大点的坐标信息即为最佳匹配点的坐标信息。
90.s6：判断s5获取的最佳匹配点坐标信息是否符合预设标准，若符合则进入s7，否则重新进行新的模板匹配处理，重新获取最佳匹配点的坐标信息；
91.具体的，s6还包括如下步骤：
92.s6-1，预设标准为最佳匹配点坐标是否在s5中提及的定位核在实际生产采图中的外扩区域图像范围内，即判断s5获取的最佳匹配点横坐标和纵坐标是否均满足大于等于0且小于外扩区域图像横纵坐标的上限，若满足，则认为s5获取的最佳匹配点坐标信息符合标准，此时直接进入s7；若最佳匹配点的横纵坐标值小于0或大于图像横纵坐标上限，则表
示不符合标准，此时进入s6-2；
93.s6-2，获取s2中模板匹配后得到的模板匹配结果图；
94.s6-3，对模板匹配结果图进行盒形滤波，得到盒形滤波结果图；
95.其中，s6-3中进行的是卷积核为{5,5}盒形滤波。
96.s6-4，获取盒形滤波结果图中的最大值gauboxmax，对盒形滤波结果图进行阈值为0.9倍gauboxmax的二值化处理后，对二值化结果图进行blob分析，得到blob分析结果；
97.s6-5，将s6-4得到的blob分析结果与s5中的二值化阈值为最大值boxmax的0.95倍的二值化图像的blob分析结果集合进行比较并计算两集合距离，若距离小于32像素点，则认为该结果有效，此时将s6-3得到的blob结果集合中的坐标信息作为初始定位需要的匹配信息，即最佳匹配点坐标信息。
98.s6-6，判断s6-5得到的最佳匹配点坐标信息是否符合预设标准，若此时仍不符合，则判断为图像无法进行初始定位，结束全部流程，若符合则进入s7。
99.s7，根据定位核的位置信息在新的周期图像中获取周期定位核以及周期定位核图像，并结合最佳匹配点坐标信息验证周期定位核图像是否在预估的定位核区域内，若最佳匹配点在预估的定位核区域内则认为该周期图像可以进行初始定位继续执行后续步骤，反之则认为该周期图像不能完成初始定位并退出流程，上报错误；
100.具体的，根据s3中提及的定位核位置信息在s1提及的由两个最小完整周期图上下拼接而成新的周期图像中截取图像，将该定位核称为周期定位核，将该图像称为周期定位核图像；
101.其中，预估的定位核区域是指算法认为周期图像的每个周期在某一坐标范围内的图像应该始终保持一致，预估的定位核区域可以通过s3中提及的定位核位置信息来预估，s3中的基准定位核图像在后续生产线上的周期图像上出现同样图像的相对位置。
102.s8，基于最佳匹配点坐标和基准定位核得到定位信息在实际采图中的位置信息。
103.具体的，根据最佳匹配点坐标信息，最佳匹配点坐标即为基准定位核在生产线上的周期图像中对应的位置，再根据基准定位核在作为基准的模板图中的位置和计算出的基准定位核在生产线上的周期图像中对应的位置的坐标差值，基准定位核在基准图像纵向起始点(即纵坐标最小点)加上坐标差值即为基准图像纵向起始点在生产线上周期图像中的对应纵向位置坐标，从而完成初始定位。
104.最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。