一种基于电子样稿的柔印首件检测方法

1.本发明涉及纺织工业检测领域，更具体地，涉及一种基于电子样稿的柔印首件检测方法。


背景技术：

2.柔性印刷是指使用柔性版通过网纹辊传递油墨的印刷方式。目前柔性印刷使用的水性油墨和uv油墨，都不含有毒性较强的苯、酯和酮，也不含对人体有害的重金属。柔性印刷的墨层厚度大约只有凹版印刷的一半，单位面积的油墨消耗量远小于凹版印刷的油墨消耗。此外，柔性印刷属于轻压力印刷，设备能耗低，制版过程对环境的危害小，超百万印次的耐印力减少了长版订单停机换版带来的材料损耗。因此，柔性印刷成为业界公认的绿色印刷方式之一。
3.由于显著的环保特性，柔性印刷在美国包装印刷市场中的占比达到70％以上，在西欧国家的占比大约为50％。20世纪80年代，随着快餐食品和化妆品等领域越来越多的外资企业进入中国，柔性印刷也被引入国内并逐步发展。目前，我国的柔性印刷在瓦楞纸箱、标签、无菌液体包装、纸杯纸袋、餐巾纸等领域已有相当广泛的应用，并逐渐占据主导地位。在软包装印刷和书刊印刷领域，柔性印刷也开始占据一席之地，表现出强劲的增长势头和发展潜力。对于企业厂家来说，产品质量是企业发展和竞争的基石，提高印刷质量对于柔印行业十分重要。
4.在柔印标签的批量生产前，工人每次换班、换产以及设备装调后，都必须经历柔印首检工艺，即印刷的第一件或前几件柔印产品都必须与电子样稿比对检查，以尽早发现印刷质量问题。柔印标签工艺流程如图1所示。当前柔印首检采用人工三检制：自检、互检和专检。可是，柔印标签上的印刷内容涉及世界各地语言(超过5000多种文字)，且印刷字符内容众多，平均每个标签超过200多个字符。这导致人工质检劳动强度大，耗时耗力，极易漏检，从而导致柔印标签成批超差、返修、报废，引起严重的经济损失。因此，高精度的柔印首件自动检测方法对于柔印工艺具有重要的现实意义。
5.虽然机器视觉已被广泛应用于织物印刷内容检测，但是以往研究更多以印刷正品为模板，检查批量印刷过程中所产生的印刷缺陷，针对柔印首件无法提供正品图像的特性。
6.现有技术技术中公开了一种基于机器视觉的柔印标签印刷首稿检测系统及其实现方法的专利，该方法建立柔印标签的pdf模板，使用二值化处理以确定待测柔印首件的内容区域；采集待测物体在直线运动过程中的被测图像；使用surf算法和ransac算法将采集到的图像进行拼接处理；然后使用近似最近邻的快速词典查找法，对特征点对排序后选取若干组特征点对计算其变换矩阵，对拼接处理后的被测图像进行映射变换，从而得到首件图像；最后使用灰度模板匹配的方法微调电子样稿的字符位置，计算电子样稿与待测首件图像二值图之间的差值，由距离图确定缺陷位置；但电子样稿与柔印首件内容粗细不一、灰度特性差异大，且包含大量重复纹理，surf算法提取的特征无法准确描述，必然出现大量误匹配情况，进而导致极高的漏检率与误检率。


技术实现要素：

7.本发明提供一种精度较高的基于电子样稿的柔印首件检测方法。
8.为了达到上述技术效果，本发明的技术方案如下：
9.一种基于电子样稿的柔印首件检测方法，包括以下步骤：
10.s1：提取电子样稿和柔印首件的超点得到二者的关键点位置和视觉特征描述子，并完成电子样稿和柔印首件的粗匹配；；
11.s2：对完成步骤s1中粗匹配的电子样稿和柔印首件进行精匹配；
12.s3：对完成步骤s2中精匹配的柔印首件进行缺陷检测。
13.进一步地，采用superpoint自监督网络提取电子样稿和柔印首件的超点，其中，所述superpoint自监督网络的训练过程是：
14.s11：基础检测器预训练，由于电子样稿和柔印首件的虚拟几何形状的角点是已知的，将其直接作为标注的数据集去训练基础检测器，因此，以vgg16作为基础检测器，训练网络参数提取几何形状角点；
15.s12：兴趣点标注，采用步骤s11中预训练的基础检测网络分别提取柔印首件和电子样稿的角点，进行兴趣点标注；
16.s13：对步骤s12中的柔印首件和电子样稿分别进行n次单应性变换，并通过基础检测器分别标注变换后各图像的兴趣点；随机取次图像，每次由抽取的两种不同姿态的兴趣点构建损失函数，以其中一种姿态的兴趣点自标注作为真值，另一种姿态作为观察结果，构建出兴趣点损失函数和描述子损失函数，训练目标需使得匹配点距离小，非匹配点距离大，联合训练后得到superpoint检测网络并完成superpoint检测。
17.进一步地，由于电子样稿和柔印首件之间存在大量重复的内容信息会造成大量的匹配冗余，使用引入注意力机制的gnn网络并结合分配优化求解方式来解决匹配冗余，gnn网络采用端到端的训练方式经过以下步骤完成匹配：
18.1)、输入电子样稿和柔印首件分别对应的第i个视觉特征描述子和以及坐标位置和
19.2)、gnn网络首先使用keypoint编码器分别将关键点位置和以及视觉描述符和映射到图中的节点信息，然后使用自我和交叉注意力作为边将图层的节点信息聚合得到超特征和
20.3)、最终根据超特征计算得分矩阵，经过sinkhorn算法迭代优化输出行列归一化的分配矩阵。将分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对进行仿射变换，完成电子样稿和柔印首件的粗匹配。
21.进一步地，所述步骤s2的具体过程是：
22.电子样稿内容清晰、黑白分明，采用固定阈值提取电子样稿的不同文字或图案的子内容块fs，设子内容块的中心点坐标为(xs，ys)，尺寸为(ws，hs)，以fs为模板图，在柔印首件图像r中对应的区域内进行ncc搜索匹配，设变量δ为搜索扩展基数，每个搜索点(x，y)对应的ncc计算如下：
[0023][0024]
其中，f(x m，y n)为电子样稿f像素点(x m，y n)的灰度值，r(m，n)为柔印首件图像r像素点(m，n)的灰度值，得到(2δ 1)
×
(2δ 1)的ncc(x，y)相似度矩阵，ncc(x，y)最大值对应的像素点记为：
[0025]
p(x
max
，y
max
)＝argmax[ncc(x，y)]
ꢀꢀꢀ
(5)
[0026]
根据p(x
max
，y
max
)与中心点坐标(xs，ys)求得偏移量δp；
[0027]
δp＝(x
max-xs，y
max-ys)
ꢀꢀꢀ
(6)
[0028]
将子内容块fs平移δp，所有子块按照公式(1)-(6)操作即可完成柔印首件与电子样稿之间的精匹配。
[0029]
进一步地，采用128作为固定阈值提取电子样稿的不同文字或图案的子内容块fs。
[0030]
进一步地，所述步骤s3包括约束聚类：将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题，即：
[0031][0032][0033][0034]
t∈[min(c1，c2)，max(c1，c2)](10)
[0035]
其中，f和r分别为“粗-精”匹配后的电子样稿和柔印首件图像，求解满足(7)的聚类图像r
t
即为柔印首件的最佳分割结果，为了减少优化算法的求解时间，采用k均值聚类法得到聚类中心c1，c2，完成柔印首件图像分割的初始化，并且将(c1 c2)/2作为遗传算法初始化的种子之一，采用遗传算法求解优化问题(7)。
[0036]
进一步地，所述步骤s3还包括缺陷检测：
[0037]
柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象，约束聚类分割难以抑制这种误差，影响后续缺陷检测，因此提出距离变换法进行缺陷评估，定义边缘距离函数为：
[0038][0039]
其中，为阈值化后的电子样稿中第i个目标的第j个边缘点像素坐标，设其该目标最小外接矩形区域为δf，则为约束聚类后的柔印首件对应δf区域内轮廓点集合e中的某边缘像素点，采用以下策略评估：
[0040][0041]
其中，td为阈值参数设置为1.0，采用(12)对电子样稿的所有目标边缘点进行逐点评估对应的柔印首件，当匹配距离大于设定的缺陷评估阈值参数td时，将其标记为缺陷，否则属于印刷正品，即完成柔印首件的缺陷检测。
[0042]
与现有技术相比，本发明技术方案的有益效果是：
[0043]
(1)采用“粗-精”匹配方法避免了单独使用全局匹配算法在匹配弱纹理或者重复纹理的区域时表现不佳的问题；粗匹配融合superpoint与gnn方法，由于注意力机制参照人比对两幅图像的思想，聚合自注意力与交叉注意力，使得匹配精度远超暴力匹配和快速最近邻搜索算法；同时，精匹配完成了局部区域内容的微调，可以实现电子样稿与柔印首件两者的完全匹配，进而实现像素级的检测精度，细微缺陷也能够检出；
[0044]
(2)提出约束聚类与缺陷评估进行缺陷检测，不仅解决了标签首件透底现象导致难以分割的难题，并同时规避了油墨局部扩散导致毛刺引发误检过杀的情况；保证了算法的检测精度和速度，使得在实际生产过程中，能够满足生产速度要求的前提下提高了检测的准确性；
[0045]
(3)本文方法能够在合理的时间内完成首件检测，在确保漏检率为0％的基础上，误检率可控制在1.6％，缺陷检测的平均dice系数高达0.924，且检测时间仅为2.774s/pcs，与传统算法在同一数量级，满足实际工程的需求；因此，本文方法在柔印首件缺陷检测领域是目前现有的织物缺陷检测方法中最优的方式。
附图说明
[0046]
图1为本发明方法流程图；
[0047]
图2为本发明方法具体处理过程图；
[0048]
图3为superpoint训练过程示意图。
具体实施方式
[0049]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0050]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0051]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0052]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0053]
实施例1
[0054]
如图1所示，一种基于电子样稿的柔印首件检测方法，包括以下步骤：
[0055]
s1：提取电子样稿和柔印首件的超点得到二者的关键点位置和视觉特征描述子，并完成电子样稿和柔印首件的粗匹配；；
[0056]
s2：对完成步骤s1中粗匹配的电子样稿和柔印首件进行精匹配；
[0057]
s3：对完成步骤s2中精匹配的柔印首件进行缺陷检测。
[0058]
采用superpoint自监督网络提取电子样稿和柔印首件的超点，其中，所述
superpoint自监督网络的训练过程是：
[0059]
s11：基础检测器预训练，由于电子样稿和柔印首件的虚拟几何形状的角点是已知的，将其直接作为标注的数据集去训练基础检测器，因此，以vgg16作为基础检测器，训练网络参数提取几何形状角点；
[0060]
s12：兴趣点标注，采用步骤s11中预训练的基础检测网络分别提取柔印首件和电子样稿的角点，进行兴趣点标注；
[0061]
s13：对步骤s12中的柔印首件和电子样稿分别进行n次单应性变换，并通过基础检测器分别标注变换后各图像的兴趣点；随机取次图像，每次由抽取的两种不同姿态的兴趣点构建损失函数，以其中一种姿态的兴趣点自标注作为真值，另一种姿态作为观察结果，构建出兴趣点损失函数和描述子损失函数，训练目标需使得匹配点距离小，非匹配点距离大，联合训练后得到superpoint检测网络并完成superpoint检测。
[0062]
由于电子样稿和柔印首件之间存在大量重复的内容信息会造成大量的匹配冗余，使用引入注意力机制的gnn网络并结合分配优化求解方式来解决匹配冗余，gnn网络采用端到端的训练方式经过以下步骤完成匹配：
[0063]
1)、输入电子样稿和柔印首件分别对应的第1个视觉特征描述子和以及坐标位置和
[0064]
2)、gnn网络首先使用keypoint编码器分别将关键点位置和以及视觉描述符和映射到图中的节点信息，然后使用自我和交叉注意力作为边将图层的节点信息聚合得到超特征和
[0065]
3)、最终根据超特征计算得分矩阵，经过sinkhorn算法迭代优化输出行列归一化的分配矩阵。将分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对进行仿射变换，完成电子样稿和柔印首件的粗匹配。
[0066]
实施例2
[0067]
如图1-2所示，一种基于电子样稿的柔印首件检测方法，包括以下步骤：
[0068]
s1：提取电子样稿和柔印首件的超点得到二者的关键点位置和视觉特征描述子，并完成电子样稿和柔印首件的粗匹配；；
[0069]
s2：对完成步骤s1中粗匹配的电子样稿和柔印首件进行精匹配；
[0070]
s3：对完成步骤s2中精匹配的柔印首件进行缺陷检测。
[0071]
采用superpoint自监督网络提取电子样稿和柔印首件的超点，其中，所述superpoint自监督网络的训练过程是：
[0072]
s11：基础检测器预训练，由于电子样稿和柔印首件的虚拟几何形状的角点是已知的，将其直接作为标注的数据集去训练基础检测器，因此，以vgg16作为基础检测器，训练网络参数提取几何形状角点；
[0073]
s12：兴趣点标注，采用步骤s11中预训练的基础检测网络分别提取柔印首件和电子样稿的角点，进行兴趣点标注；
[0074]
s13：对步骤s12中的柔印首件和电子样稿分别进行n次单应性变换，并通过基础检测器分别标注变换后各图像的兴趣点；随机取次图像，每次由抽取的两种不同姿态的兴趣点构建损失函数，以其中一种姿态的兴趣点自标注作为真值，另一种姿态作为观察结果，
构建出兴趣点损失函数和描述子损失函数，训练目标需使得匹配点距离小，非匹配点距离大，联合训练后得到superpoint检测网络并完成superpoint检测。
[0075]
由于电子样稿和柔印首件之间存在大量重复的内容信息会造成大量的匹配冗余，使用引入注意力机制的gnn网络并结合分配优化求解方式来解决匹配冗余，gnn网络采用端到端的训练方式经过以下步骤完成匹配：
[0076]
1)、输入电子样稿和柔印首件分别对应的第1个视觉特征描述子和以及坐标位置和
[0077]
2)、gnn网络首先使用keypoint编码器分别将关键点位置和以及视觉描述符和映射到图中的节点信息，然后使用自我和交叉注意力作为边将图层的节点信息聚合得到超特征和
[0078]
3)、最终根据超特征计算得分矩阵，经过sinkhorn算法迭代优化输出行列归一化的分配矩阵。将分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对进行仿射变换，完成电子样稿和柔印首件的粗匹配。
[0079]
步骤s2的具体过程是：
[0080]
电子样稿内容清晰、黑白分明，采用固定阈值(固定阈值为128)提取电子样稿的不同文字或图案的子内容块fs，设子内容块的中心点坐标为(xs，ys)，尺寸为(ws，hs)，以fs为模板图，在柔印首件图像r中对应的区域内进行ncc搜索匹配，设变量δ为搜索扩展基数，每个搜索点(x，y)对应的ncc计算如下：
[0081][0082]
其中，f(x m，y n)为电子样稿f像素点(x m，y n)的灰度值，r(m，n)为柔印首件图像r像素点(m，n)的灰度值，得到(2δ 1)
×
(2δ 1)的ncc(x，y)相似度矩阵，ncc(x，y)最大值对应的像素点记为：
[0083]
p(x
max
，y
max
)＝argmax[ncc(x，y)]
ꢀꢀꢀ
(5)
[0084]
根据p(x
max
，y
max
)与中心点坐标(xs，ys)求得偏移量δp；
[0085]
δp＝(x
max-xs，y
max-ys)
ꢀꢀꢀ
(6)
[0086]
将子内容块fs平移δp，所有子块按照公式(1)-(6)操作即可完成柔印首件与电子样稿之间的精匹配。
[0087]
步骤s3包括约束聚类：将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题，即：
[0088]
[0089][0090][0091]
t∈[min(c1，c2)，max(c1，c2)]
ꢀꢀꢀ
(10)
[0092]
其中，f和r分别为“粗-精”匹配后的电子样稿和柔印首件图像，求解满足(7)的聚类图像r
t
即为柔印首件的最佳分割结果，为了减少优化算法的求解时间，采用k均值聚类法得到聚类中心c1，c2，完成柔印首件图像分割的初始化，并且将(c1 c2)/2作为遗传算法初始化的种子之一，采用遗传算法求解优化问题(7)。
[0093]
步骤s3还包括缺陷检测：
[0094]
柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象，约束聚类分割难以抑制这种误差，影响后续缺陷检测，因此提出距离变换法进行缺陷评估，定义边缘距离函数为：
[0095][0096]
其中，为阈值化后的电子样稿中第i个目标的第j个边缘点像素坐标，设其该目标最小外接矩形区域为δf，则为约束聚类后的柔印首件对应δf区域内轮廓点集合e中的某边缘像素点，采用以下策略评估：
[0097][0098]
其中，td为阈值参数设置为1.0，采用(12)对电子样稿的所有目标边缘点进行逐点评估对应的柔印首件，当匹配距离大于设定的缺陷评估阈值参数td时，将其标记为缺陷，否则属于印刷正品，即完成柔印首件的缺陷检测。
[0099]
实施例3
[0100]
如图1-2所示，本专利提出了一种基于电子样稿的柔印首件检测方法，，用于解决柔印标签的缺陷检测问题，具体步骤如下所示：
[0101]
(1)粗匹配
[0102]
由于电子样稿与柔印首件内容粗细不一、灰度特性差异大，传统方法提取的特征无法准确描述电子样稿和柔印首件。而superpoint采用深度学习网络、以位姿计算损失函数，所以能够更好地表征两幅图像之间的共性特征。因此，采用superpoint自监督网络提取电子样稿和柔印首件的超点。为了提高泛化能力，在训练阶段对图片进行了随机的缩放和旋转，以进行数据增强。superpoint自监督网络训练共分为三个步骤(如图3所示)：
[0103]
a、基础检测器预训练。由于电子样稿和柔印首件的虚拟几何形状的角点是已知的，将其直接作为标注的数据集去训练基础检测器。以vgg16作为基础检测器，训练网络参数提取几何形状角点。
[0104]
b、兴趣点标注。采用步骤a中预训练的基础检测网络分别提取柔印首件和电子样稿的角点，进行兴趣点标注。
[0105]
c、superpoint检测：
[0106]
①
为了增强网络的泛化能力，对步骤b中的柔印首件和电子样稿分别进行n次单应
性变换，并通过基础检测器分别标注变换后各图像的兴趣点。
[0107]
②
联合训练。随机取次图像，每次由抽取的两种不同姿态的兴趣点构建损失函数，以其中一种姿态的兴趣点自标注作为真值，另一种姿态作为观察结果，构建出兴趣点损失函数和描述子损失函数，训练目标需使得匹配点距离小，非匹配点距离大。联合训练后得到superpoint检测网络。
[0108]
由于电子样稿和柔印首件之间存在大量重复的内容信息，而传统匹配方法仅依据各组特征描述子的相似度进行匹配，因此可能造成大量的匹配冗余。使用引入注意力机制的gnn网络并结合分配优化求解方式可以解决复杂的特征匹配问题。gnn网络采用端到端的训练方式经过以下步骤完成匹配：
[0109]
①
输入电子样稿和柔印首件分别对应的第i个视觉特征描述子和以及坐标位置和
[0110]
②
gnn网络首先使用keypoint编码器分别将关键点位置和以及视觉描述符和映射到图中的节点信息，然后使用自我和交叉注意力作为边将图层的节点信息聚合得到超特征和
[0111]
③
最终根据超特征计算得分矩阵，经过sinkhorn算法迭代优化输出行列归一化的分配矩阵。将分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对进行仿射变换，完成电子样稿和柔印首件的粗匹配。
[0112]
(2)精匹配
[0113]
粗匹配后的电子样稿与柔印首件图像已基本对齐。但由于柔印过程中版材会发生局部相对偏移，导致柔印首件内容与电子样稿始终存在局部偏差，造成全局仿射变换或透视变换难以实现内容完全对齐。
[0114]
电子样稿内容清晰、黑白分明，采用固定阈值(固定阈值为128)提取电子样稿的不同文字或图案的子内容块fs，设子内容块的中心点坐标为(xs，ys)，尺寸为(ws，hs)，以fs为模板图，在柔印首件图像r中对应的区域内进行ncc搜索匹配，设变量δ为搜索扩展基数，每个搜索点(x，y)对应的ncc计算如下：
[0115][0116]
x∈[x
s-δ：xs δ]，y∈[y
s-δ：ys δ]
ꢀꢀꢀ
(2)
[0117][0118][0119]
其中，f(x m，y n)为电子样稿f像素点(x m，y n)的灰度值，r(m，n)为柔印首件图像r像素点(m，n)的灰度值，得到(2δ 1)
×
(2δ 1)的ncc(x，y)相似度矩阵，ncc(x，y)最大值对应的像素点记为：
[0120]
p(x
max
，y
max
)＝argmax[ncc(x，y)]
ꢀꢀꢀ
(5)
[0121]
根据p(x
max
，y
max
)与中心点坐标(xs，ys)求得偏移量δp；
[0122]
δp＝(x
max-xs，y
max-ys)
ꢀꢀꢀ
(6)
[0123]
将子内容块fs平移δp，所有子块按照公式(1)-(6)操作即可完成柔印首件与电子样稿之间的精匹配。
[0124]
(3)缺陷检测
[0125]
①
约束聚类
[0126]
织物版材的色彩、厚度不一会产生透底现象，导致柔印首件内容分割可能存在错误，因此以微调后的电子样稿阈值化结果为约束条件，提出一种约束聚类方法精准提取柔印首件内容。将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题，即：
[0127][0128][0129][0130]
t∈[min(c1，c2)，max(c1，c2)]
ꢀꢀꢀ
(10)
[0131]
其中，f和r分别为“粗-精”匹配后的电子样稿和柔印首件图像，求解满足(7)的聚类图像r
t
即为柔印首件的最佳分割结果，为了减少优化算法的求解时间，采用k均值聚类法得到聚类中心c1，c2，完成柔印首件图像分割的初始化，并且将(c1 c2)/2作为遗传算法初始化的种子之一，采用遗传算法求解优化问题(7)。
[0132]
②
缺陷评估
[0133]
柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象，约束聚类分割难以抑制这种误差，影响后续缺陷检测，因此提出距离变换法进行缺陷评估。定义边缘距离函数为：
[0134][0135]
其中，为阈值化后的电子样稿中第i个目标的第j个边缘点像素坐标，设其该目标最小外接矩形区域为δf，则为约束聚类后的柔印首件对应δf区域内轮廓点集合e中的某边缘像素点，采用以下策略评估：
[0136][0137]
其中，td为阈值参数。由于柔印首件与电子样稿内容存在微小粗细偏差，且企业实际生产要求疵点超过0.3平方毫米就预警，因此设置td为1.0，采用(12)对电子样稿的所有目标边缘点进行逐点评估对应的柔印首件，当匹配距离大于设定的缺陷评估阈值参数td时，将其标记为缺陷，否则属于印刷正品，即可完成柔印首件的缺陷检测。
[0138]
相同或相似的标号对应相同或相似的部件；
[0139]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0140]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求
的保护范围之内。