一种基于电子样稿的柔印首件检测方法

技术特征：
1.一种基于电子样稿的柔印首件检测方法，其特征在于，包括以下步骤：s1：提取电子样稿和柔印首件的超点得到二者的关键点位置和视觉特征描述子，并完成电子样稿和柔印首件的粗匹配；s2：对完成步骤s1中粗匹配的电子样稿和柔印首件进行精匹配；s3：对完成步骤s2中精匹配的柔印首件进行缺陷检测。2.根据权利要求1所述的基于电子样稿的柔印首件检测方法，其特征在于，所述步骤s1中，采用superpoint自监督网络提取电子样稿和柔印首件的超点。3.根据权利要求2所述的基于电子样稿的柔印首件检测方法，其特征在于，所述superpoint自监督网络的训练过程是：s11：以vgg16作为基础检测器，训练网络参数提取几何形状角点；s12：兴趣点标注，采用步骤s11中预训练的基础检测网络分别提取柔印首件和电子样稿的角点，进行兴趣点标注；s13：对步骤s12中的柔印首件和电子样稿分别进行n次单应性变换，并通过基础检测器分别标注变换后各图像的兴趣点；随机取次图像，每次由抽取的两种不同姿态的兴趣点构建损失函数，以其中一种姿态的兴趣点自标注作为真值，另一种姿态作为观察结果，构建出兴趣点损失函数和描述子损失函数，训练目标需使得匹配点距离小，非匹配点距离大，联合训练后得到superpoint检测网络并完成superpoint检测。4.根据权利要求3所述的基于电子样稿的柔印首件检测方法，其特征在于，由于电子样稿和柔印首件的虚拟几何形状的角点是已知的，将其直接作为标注的数据集去训练基础检测器。5.根据权利要求4所述的基于电子样稿的柔印首件检测方法，其特征在于，由于电子样稿和柔印首件之间存在大量重复的内容信息会造成大量的匹配冗余，使用引入注意力机制的gnn网络并结合分配优化求解方式来解决匹配冗余，gnn网络采用端到端的训练方式经过以下步骤完成匹配：1)、输入电子样稿和柔印首件分别对应的第i个视觉特征描述子和以及坐标位置和2)、gnn网络首先使用keypoint编码器分别将关键点位置和以及视觉描述符和映射到图中的节点信息，然后使用自我和交叉注意力作为边将图层的节点信息聚合得到超特征f
lf
和f
lr
；3)、最终根据超特征计算得分矩阵，经过sinkhorn算法迭代优化输出行列归一化的分配矩阵。将分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对进行仿射变换，完成电子样稿和柔印首件的粗匹配。6.根据权利要求5所述的基于电子样稿的柔印首件检测方法，其特征在于，所述步骤s2的具体过程是：电子样稿内容清晰、黑白分明，采用固定阈值提取电子样稿的不同文字或图案的子内容块f
s
，设子内容块的中心点坐标为(x
s
,y
s
)，尺寸为(w
s
,h
s
)，以f
s
为模板图，在柔印首件图像r中对应的区域内进行ncc搜索匹配，设变量δ为搜索扩展基数，每个搜索点(x,y)对应的
ncc计算如下：x∈[x
s-δ:x
s
δ],y∈[y
s-δ:y
s
δ]
ꢀꢀꢀ
(2)(2)其中，f(x m,y n)为电子样稿f像素点(x m,y n)的灰度值，r(m,n)为柔印首件图像r像素点(m,n)的灰度值，得到(2δ 1)
×
(2δ 1)的ncc(x,y)相似度矩阵，ncc(x,y)最大值对应的像素点记为：p(x
max
,y
max
)＝argmax[ncc(x,y)]
ꢀꢀꢀ
(5)根据p(x
max
,y
max
)与中心点坐标(x
s
,y
s
)求得偏移量δp；δp＝(x
max-x
s
,y
max-y
s
)
ꢀꢀꢀ
(6)将子内容块f
s
平移δp，所有子块按照公式(1)-(6)操作即可完成柔印首件与电子样稿之间的精匹配。7.根据权利要求6所述的基于电子样稿的柔印首件检测方法，其特征在于，采用128作为固定阈值提取电子样稿的不同文字或图案的子内容块f
s
。8.根据权利要求7所述的基于电子样稿的柔印首件检测方法，其特征在于，所述步骤s3包括约束聚类：将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题，即：即：即：t∈[min(c1,c2),max(c1,c2)]
ꢀꢀꢀ
(10)其中，f和r分别为“粗-精”匹配后的电子样稿和柔印首件图像，求解满足(7)的聚类图像r
t
即为柔印首件的最佳分割结果，为了减少优化算法的求解时间，采用k均值聚类法得到聚类中心c1,c2，完成柔印首件图像分割的初始化，并且将(c1 c2)/2作为遗传算法初始化的种子之一，采用遗传算法求解优化问题(7)。9.根据权利要求8所述的基于电子样稿的柔印首件检测方法，其特征在于，所述步骤s3还包括缺陷检测：柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象，约束聚类分割难以抑制这种误差，影响后续缺陷检测，因此提出距离变换法进行缺陷评估，定义边缘距离函数为：
其中，为阈值化后的电子样稿中第i个目标的第j个边缘点像素坐标，设其该目标最小外接矩形区域为δ
f
，则为约束聚类后的柔印首件对应δ
f
区域内轮廓点集合e中的某边缘像素点，采用以下策略评估：其中，t
d
为阈值参数，采用(12)对电子样稿的所有目标边缘点进行逐点评估对应的柔印首件，当匹配距离大于设定的缺陷评估阈值参数t
d
时，将其标记为缺陷，否则属于印刷正品，即完成柔印首件的缺陷检测。10.根据权利要求9所述的基于电子样稿的柔印首件检测方法，其特征在于，所述t
d
设置为1.0。

技术总结
本发明提供一种基于电子样稿的柔印首件检测方法，该方法采用“粗-精”匹配方法避免了单独使用全局匹配算法在匹配弱纹理或者重复纹理的区域时表现不佳的问题；粗匹配融合SuperPoint与GNN方法，由于注意力机制参照人比对两幅图像的思想，聚合自注意力与交叉注意力，使得匹配精度远超暴力匹配和快速最近邻搜索算法；精匹配完成了局部区域内容的微调，实现电子样稿与柔印首件两者的完全匹配，进而实现像素级的检测精度；将电子样稿分割结果作为约束条件的聚类算法，将柔印首件分割问题转换为与电子样稿二值图差异最小的优化问题，并采用遗传算法加速求解优化算法的时间，实现了首件图像的有效分割，提高了算法的速率与精度。提高了算法的速率与精度。提高了算法的速率与精度。


技术研发人员：蔡念 燕舒乐 龙进良 肖盼 王晗
受保护的技术使用者：广东工业大学
技术研发日：2022.03.21
技术公布日：2022/6/10