一种印刷膜缺陷视觉检测方法和系统与流程

1.本发明涉及机器视觉的技术领域，特别是涉及一种大幅面印刷膜缺陷视觉检测方法和系统。


背景技术：

2.交叉防水膜在我国在建筑、室外广告、logo等行业被广泛应用。而这类膜的特点是幅面大，柔性好。
3.这类大幅面柔性膜在印刷生产过程中会产生破孔、拉丝、折痕、漏印字符、拖墨、晶点、漏印硅油等问题，会在一定程度上影响成品质量。
4.针对这类膜，目前行业内多数采用人工离线抽检，检测效率低，存在滞后性，且需要作业人员长时间高度集中精力，易发生缺陷漏检，造成批量缺陷，严重影响产品质量。产品质量无法数据化，没有记录和分析，客户使用时发现问题产品，需要去现场处理客诉。采用在线检测系统已逐步成为一种趋势，以达到改善质量、降低成本、赢得竞争优势。
5.而一般的基于机器视觉的印刷检测技术都是针对小幅面的印刷品检测，很难针对这种大幅面的柔性印刷膜进行有效的缺陷检测。


技术实现要素：

6.因此，针对上述技术问题，本发明提出了一种大幅面印刷膜缺陷视觉检测方法和系统。
7.为了实现上述目的，本发明实施例提供的技术方案如下：
8.根据本发明的第一个方面，提供了一种大幅面印刷膜缺陷视觉检测方法，包括：步骤s1：使用两个线阵ccd相机分别对印刷薄膜左半部分和右半部分进行拍摄成像；步骤s2：提取左右两幅图像重叠区域的特征点，使用随机抽样一致算法(random sample consensus,ransac)寻找两幅图像中对应的特征点对，计算所述特征点对的行坐标的差值的平均值，作为左右两幅图像的行偏移值，对两幅图像在行方向进行对齐；步骤s3：选择一幅经过所述对齐后无缺陷的图像作为基准图像，绘制包含印刷模式的极小矩形感兴趣区域(roi)，创建基于halcon的形状模板；步骤s4：计算印刷模式的版周长度，生成印刷模式的基准模板图像，作为印刷模式的定位模板；步骤s5：选择合适的高度，将基准模板图像分割为若干幅小的图像，提取每幅小的图像中的轮廓创建基于组件的匹配模型，用来作为纵向变形的矫正模型；步骤s6：使用基准模板图像创建基于halcon的偏差模型(variation model)；步骤s7：实时检测时对采集到的两幅待检测图像，分别使用上述方法进行对齐、模式定位和纵向的变形矫正，然后使用上述基于halcon的偏差模型对待检测图像进行检测，可以准确检测出待检测(印刷膜)图像中的缺陷。
9.根据本发明的第二个方面，提供了一种印刷膜缺陷视觉检测系统，包括：成像模块，用于分别对印刷膜左半部分和右半部分进行拍摄成像；
10.对齐模块，用于提取左右两幅图像重叠区域的特征点，寻找两幅图像中对应的特
征点对，计算所述特征点对的行坐标的差，并计算所述差的平均值，将所述平均值作为左右两幅图像的行偏移值，对两幅图像在行方向进行对齐；
11.halcon模板模块，用于选择一幅经过所述对齐后无缺陷的图像作为基准图像，绘制包含印刷模式的极小矩形感兴趣区域，创建基于halcon的形状模板；
12.定位模板模块，用于计算印刷模式的版周长度，生成印刷模式的基准模板图像，作为印刷模式的定位模板；
13.矫正模型模块，用于将基准模板图像分割为若干幅小图像，提取每幅小图像中的轮廓创建基于组件的匹配模型，作为纵向变形的矫正模型；
14.偏差模型模块，用于使用基准模板图像创建基于halcon的偏差模型；
15.缺陷检测模块，用于在实时检测时对采集到的两幅待检测图像，分别使用步骤s2到步骤s5进行对齐、模式定位和纵向的变形矫正，然后使用所述基于halcon的偏差模型对待检测图像进行检测，以检测出待检测图像中的缺陷。
16.本发明具有以下优点：
17.本发明实施例提出了一种大幅面印刷膜缺陷视觉检测方法和系统，利用两个线阵ccd相机对大幅面印刷膜进行拍摄成像，并进行实时在线缺陷检测，在满足高速生产性能的同时能够有效检测出印刷膜上的缺陷，从而能够及时发现生产缺陷，剔除缺陷产品，改进生产工艺，极大的保证了印刷膜的生产质量。
附图说明
18.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
19.图1为本发明实施例提供的一种大幅面印刷膜缺陷视觉检测方法的流程示意图；
20.图2为双线阵ccd相机分别对印刷薄膜左半部分和右半部分进行拍摄成像的图像采集装置示意图；
21.图3为harris角点检测算法提取的特征点，其中，图3(a)为左图的特征点，图3(b)为右图的特征点；
22.图4为随机抽样一致算法(random sample consensus,ransac)寻找到的两幅图像中对应的特征点对；
23.图5为对齐之前的拼接图像；
24.图6为对齐之后的拼接图像；
25.图7为绘制roi并生成包围印刷模式的最小矩形roi的示意图；
26.图8为创建形状模板的基准模板图像；
27.图9为基于组件匹配的矫正模型；
28.图10为基于halcon的偏差模型，其中图10(a)为基准图像，图10(b)为偏差图像；
29.图11为晶点缺陷，其中，图11(a)为晶点缺陷，图11(b)为晶点缺陷的局部放大图。
30.图12示出根据本技术实施例的印刷膜缺陷视觉检测系统的构成图。
31.图13示出了本技术一实施例所提供的一种电子设备的结构示意图；
32.图14示出了本技术一实施例所提供的一种存储介质的示意图。
具体实施方式
33.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
34.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
35.halcon是德国mvtec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境。它节约了产品成本，缩短了软件开发周期。halcon灵活的架构便于机器视觉，医学图像和图像分析应用的快速开发。在欧洲以及日本的工业界已经是公认具有最佳效能的机器视觉软件。
36.本发明实施例公开了一种大幅面印刷膜缺陷视觉检测方法。该大幅面印刷膜缺陷视觉检测方法使用两个线阵ccd相机分别对印刷薄膜左半部分和右半部分进行拍摄成像；提取左右两幅图像重叠区域的特征点，使用随机抽样一致算法(random sample consensus,ransac)寻找两幅图像中对应的特征点对，计算所述特征点对的行坐标的差，并计算其平均值，将所述平均值作为左右两幅图像的行偏移值，对两幅图像在行方向进行对齐；选择一幅经过所述方法对齐后无缺陷的图像作为基准图像，绘制包含印刷文字和图案模式的极小矩形感兴趣区域(roi)，创建基于halcon的形状模板；计算印刷模式的版周长度，生成印刷模式的基准模板图像，作为印刷模式的定位模板；选择合适的高度，将基准模板图像分割为若干幅小的图像，提取每幅小的图像中的轮廓创建基于组件的匹配模型，用来作为纵向变形的矫正模型；使用基准模板图像创建基于halcon的偏差模型(variation model)；实时检测时对采集到的两幅待检测图像，分别使用上述方法进行对齐、模式定位和纵向的变形矫正，然后使用上述基于halcon的偏差模型对待检测图像进行检测，可以准确检测出待检测(印刷膜)图像中的缺陷。
37.如图1所示，一种大幅面印刷膜缺陷视觉检测方法的流程示意图。在该实施例中，基于halcon的大幅面印刷膜视觉检测方法包括7个步骤，每个步骤的具体内容如下所示。
38.步骤s1：使用两个线阵ccd相机分别对印刷薄膜左半部分和右半部分进行拍摄成像，如图2所示；
39.步骤s2：提取左右两幅图像的重叠区域的harris角点作为两幅图像的特征点，使用随机抽样一致算法(random sample consensus,ransac)寻找两幅图像中对应的特征点对，计算所述特征点对的行坐标的差值的平均值，作为左右两幅图像的行偏移值，对两幅图像在行方向进行对齐；
40.根据以下公式计算所述行偏移值offset
row
：
41.offset
row
＝(σ(r
r
‑
r
l
))/n
42.其中r
l
和r
r
分别为左右两幅图像的对应特征点对的行坐标，n为对应的特征点对的个数；
43.使用所述行偏移值offset
row
对左右两幅图像在行方向进行对齐。
44.图3是通过harris角点检测算法提取到的左右两幅图像的特征点，图3(a)显示的是左图的特征点，即左图中临近中间空白缝隙的各种字迹；图3(b)显示的是右图的特征点，即右图中临近中间空白缝隙的各种字迹。
45.图4是通过随机抽样一致算法(random sample consensus,ransac)寻找两幅图像中对应的特征点对，点对之间用线段相连接。
46.图5和图6分别是对齐之前的图像和对齐之后的拼接图像。
47.步骤s3：选择一幅经过所述对齐后无缺陷的图像作为基准图像，绘制包含印刷模式的极小矩形感兴趣区域(roi)，创建基于halcon的形状模板，如图7的方框内图形所示；
48.步骤s4：计算印刷模式的版周长度，生成印刷模式的基准模板图像，作为印刷模式的定位模板,生成的印刷模式的基准模板图像如图8；具体的，
49.使用所述基于halcon的形状模板在对齐后的大图中寻找匹配的印刷文字和图案模式，计算相邻的印刷文字和图案模式的行距离，作为印刷模式的版周长度，生成印刷模式的基准模板图像，作为印刷模式的定位模板。
50.步骤s5：选择合适的高度，将基准模板图像分割为若干幅小的图像，提取每幅小的图像中的轮廓创建基于组件的匹配模型，用来作为纵向变形的矫正模型，如图9所示；
51.步骤s6：使用基准模板图像创建基于halcon的偏差模型(variation model)，本实施例中的偏差模型如图10所示；
52.步骤s7：实时检测时对实时采集的两幅图像分别使用步骤s2中所述的对齐方法进行图像对齐，使用步骤s4中的模板进行印刷模式定位，并生成一幅待检测的印刷模式图像，使用步骤s5中的模型对待检测的模式图像进行纵向的变形矫正，使用步骤s6中的基于halcon的偏差模型对待检测的模式图像进行缺陷检测。
53.图11展示了本实施例的一个检测结果，印刷膜的缺陷类型为晶点，用矩形框进行了标注。
54.申请实施例提供了一种印刷膜缺陷视觉检测系统，该系统用于执行上述实施例所述的印刷膜缺陷视觉检测方法，如图12所示，该系统包括：
55.成像模块501，用于分别对印刷膜左半部分和右半部分进行拍摄成像；
56.对齐模块502，用于提取左右两幅图像重叠区域的特征点，寻找两幅图像中对应的特征点对，计算所述特征点对的行坐标的差，并计算所述差的平均值，将所述平均值作为左右两幅图像的行偏移值，对两幅图像在行方向进行对齐；
57.halcon模板模块503，用于选择一幅经过所述对齐后无缺陷的图像作为基准图像，绘制包含印刷模式的极小矩形感兴趣区域，创建基于halcon的形状模板；
58.定位模板模块504，用于计算印刷模式的版周长度，生成印刷模式的基准模板图像，作为印刷模式的定位模板；
59.矫正模型模块505，用于将基准模板图像分割为若干幅小图像，提取每幅小图像中的轮廓创建基于组件的匹配模型，作为纵向变形的矫正模型；
60.偏差模型模块506，用于使用基准模板图像创建基于halcon的偏差模型；
61.缺陷检测模块507，用于在实时检测时对采集到的两幅待检测图像，分别使用步骤s2到步骤s5进行对齐、模式定位和纵向的变形矫正，然后使用所述基于halcon的偏差模型对待检测图像进行检测，以检测出待检测图像中的缺陷。
62.本技术的上述实施例提供的印刷膜缺陷视觉检测系统与本技术实施例提供的印刷膜缺陷视觉检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
63.本技术实施方式还提供一种与前述实施方式所提供的印刷膜缺陷视觉检测方法对应的电子设备，以执行上印刷膜缺陷视觉检测方法。本技术实施例不做限定。
64.请参考图13，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图13所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的印刷膜缺陷视觉检测方法。
65.其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
66.总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述印刷膜缺陷视觉检测方法可以应用于处理器200中，或者由处理器200实现。
67.处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
68.本技术实施例提供的电子设备与本技术实施例提供的印刷膜缺陷视觉检测方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
69.本技术实施方式还提供一种与前述实施方式所提供的印刷膜缺陷视觉检测方法对应的计算机可读存储介质，请参考图14，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的印刷膜缺陷视觉检测方法。
70.需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
71.本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的印刷膜缺陷视觉检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的
方法相同的有益效果。
72.需要说明的是：
73.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
74.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
75.类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
76.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
77.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
78.本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
79.应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，
不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
80.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。