一种食品包装印刷标识检验方法及系统与流程

本技术属于食品包装领域，尤其涉及一种食品包装印刷标识检验方法及系统。

背景技术：

1、随着食品工业的快速发展，食品包装不仅承担着保护食品安全的基础功能，其印刷标识，如生产日期、保质期、产品批号及品牌商标等，也是向消费者传递关键信息的重要载体。在现代高速包装印刷生产线上，受印刷设备振动、包装材料张力波动、环境光照变化以及油墨分布不均等因素影响，印刷标识容易出现漏印、断笔、模糊、偏色和重影等质量缺陷。为保障食品包装的合规性与视觉品质，采用机器视觉技术对印刷标识进行缺陷检验已成为行业常用手段。现有视觉检测方法多基于模板匹配策略，即将实时采集的待检标识图像与预设标准标识图像进行对齐和特征比对。然而，食品包装材料多为柔性材质，在生产传输和图像采集过程中容易发生平移、旋转、缩放甚至局部几何畸变。若对齐过程不够精准，残留形变会在比对过程中形成对齐残差，使常规算法难以区分真实印刷缺陷与正常材料形变。同时，传统方法在图像对齐过程中采用常规多尺度下采样时，容易模糊标识边缘并丢失关键笔画走向等结构化信息，导致大尺度粗对齐精度不足；而在逐步精细化对齐阶段，单一相似性度量又难以适应不同类型的几何畸变，使得生成的校正图像仍可能存在位置或结构偏差。

2、现有缺陷检测系统已开始利用深度学习模型提取高维图像特征，以增强对光照变化和噪声干扰的适应能力，但在实际应用中仍存在不足。传统深度神经网络在进行特征提取和差异度量时，通常采用固定网络结构和静态判定标准，未充分结合待检图像在对齐过程中所经历的几何变换强度。在高程度几何畸变的工业场景中，对齐残差往往难以完全避免。若系统缺乏对畸变状态的感知能力，固定阈值判定容易将材料拉伸或传输偏移引起的轻微对齐误差误判为印刷缺陷；若为了降低误报率而盲目放宽阈值，又可能导致细微断笔、缺墨等真实缺陷被漏检。因此，如何在多尺度对齐过程中保持印刷标识的核心结构特征，实现高精度几何校正，并使特征提取网络和判定机制能够自适应图像几何畸变程度，在实际生产环境下兼顾缺陷检验的低误检率与高召回率，是当前食品包装印刷标识缺陷检验领域亟待解决的技术问题。

技术实现思路

1、根据本发明的第一方面，提出一种食品包装印刷标识检验方法，用于使特征提取网络与判定机制具备对图像几何畸变程度的适应能力，在实际生产环境下兼顾缺陷检验的低误检率与高召回率，包括如下步骤：

2、获取标准标识图像和待检标识图像，基于所述标准标识图像计算印刷标识的固有笔画走向先验模型，利用双边引导滤波下采样构建图像金字塔，其中引导图基于所述固有笔画走向先验模型生成保持与关键结构走向一致的边缘，在所述图像金字塔的顶层计算所述标准标识图像和所述待检标识图像在cielab色彩空间中的结构化色彩梯度直方图特征进行粗对齐得到初始变换矩阵；

3、从所述图像金字塔的次顶层至底层逐层精对齐，以顶层粗对齐得到的所述初始变换矩阵或相邻较低分辨率层更新得到的变换矩阵经尺度转换后作为当前层的初值，优化由相位相关性与结构相似性度量加权的能量函数更新变换矩阵，权重根据畸变程度及对齐残差分配，得到最终变换矩阵，利用所述最终变换矩阵对所述待检标识图像进行几何变换生成校正待检标识图像；

4、将所述标准标识图像和所述校正待检标识图像输入孪生卷积网络提取深度特征，将所述最终变换矩阵分解输入调制网络生成增益和偏置，调整所述孪生卷积网络卷积层的特征图，计算深度特征间的余弦距离，当所述余弦距离大于判定阈值时判定存在缺陷，所述判定阈值基于所述最终变换矩阵的整体畸变程度调整。

5、可选地，所述基于所述标准标识图像计算印刷标识的固有笔画走向先验模型，包括：

6、提取所述标准标识图像的形态学骨架；

7、在所述形态学骨架对应的骨架像素位置处，基于所述标准标识图像计算梯度方向直方图；

8、选取频次最高的前n个梯度方向的正交方向作为印刷标识的固有笔画走向，构建所述固有笔画走向先验模型。

9、可选地，所述利用双边引导滤波下采样构建图像金字塔，其中引导图基于所述固有笔画走向先验模型生成保持与关键结构走向一致的边缘，包括：

10、计算图像的结构张量并求解特征值及对应特征向量，提取小特征值对应的特征向量作为局部笔画延伸方向，根据所述固有笔画走向先验模型为所述局部笔画延伸方向与印刷标识的固有笔画走向一致的结构张量分配高权重，生成梯度结构突出性图作为引导图；

11、利用所述引导图对待处理图像进行双边滤波，并按固定比例进行下采样得到各层金字塔图像。

12、可选地，所述在所述图像金字塔的顶层计算所述标准标识图像和所述待检标识图像在cielab色彩空间中的结构化色彩梯度直方图特征进行粗对齐得到初始变换矩阵，包括：

13、将图像转换至cielab色彩空间，提取图像的关键点，计算各通道的像素梯度幅值和方向；

14、根据所述固有笔画走向先验模型对所述关键点邻域内的梯度方向进行非均匀离散映射，生成所述关键点的局部结构化色彩梯度直方图特征；

15、通过计算所述局部结构化色彩梯度直方图特征的交叉相关性匹配空间对应关键点，利用最小二乘法计算初始变换矩阵。

16、可选地，所述从所述图像金字塔的次顶层至底层逐层精对齐，以顶层粗对齐得到的所述初始变换矩阵或相邻较低分辨率层更新得到的变换矩阵经尺度转换后作为当前层的初值，优化由相位相关性与结构相似性度量加权的能量函数更新变换矩阵，权重根据畸变程度及对齐残差分配，得到最终变换矩阵，包括：

17、计算局部图像块的相位相关性度量与结构相似性度量；

18、若所述局部图像块的对齐残差高于预设残差阈值，则增加所述相位相关性度量的权重比例；

19、采用无梯度优化算法求解使能量函数最大化的变换矩阵参数。

20、可选地，所述将所述最终变换矩阵分解输入调制网络生成增益和偏置，调整所述孪生卷积网络卷积层的特征图，包括：

21、将所述最终变换矩阵分解为平移参数、旋转角度、缩放因子和剪切参数；

22、将分解后的参数归一化后输入包含全连接层的调制网络，输出与所述孪生卷积网络特定卷积层通道数匹配的增益向量和偏置向量，对所述卷积层的特征图进行通道级的仿射变换。

23、可选地，所述计算深度特征间的余弦距离，当所述余弦距离大于判定阈值时判定存在缺陷，所述判定阈值基于所述最终变换矩阵的整体畸变程度调整，包括：

24、提取所述最终变换矩阵中去除平移参数后的仿射变换子矩阵，计算所述仿射变换子矩阵与单位矩阵之间的归一化范数误差，并结合校正后的图像对齐残差作为整体畸变程度；

25、以预设基础阈值为基准，当所述整体畸变程度增大时，按比例放宽所述判定阈值；

26、当所述整体畸变程度减小时，相应收紧所述判定阈值。

27、根据本发明的第二方面，提出一种食品包装印刷标识检验系统，包括如下模块：

28、构建模块，用于获取标准标识图像和待检标识图像，基于所述标准标识图像计算印刷标识的固有笔画走向先验模型，利用双边引导滤波下采样构建图像金字塔，其中引导图基于所述固有笔画走向先验模型生成保持与关键结构走向一致的边缘，在所述图像金字塔的顶层计算所述标准标识图像和所述待检标识图像在cielab色彩空间中的结构化色彩梯度直方图特征进行粗对齐得到初始变换矩阵；

29、生成模块，用于从所述图像金字塔的次顶层至底层逐层精对齐，以顶层粗对齐得到的所述初始变换矩阵或相邻较低分辨率层更新得到的变换矩阵经尺度转换后作为当前层的初值，优化由相位相关性与结构相似性度量加权的能量函数更新变换矩阵，权重根据畸变程度及对齐残差分配，得到最终变换矩阵，利用所述最终变换矩阵对所述待检标识图像进行几何变换生成校正待检标识图像；

30、判定模块，用于将所述标准标识图像和所述校正待检标识图像输入孪生卷积网络提取深度特征，将所述最终变换矩阵分解输入调制网络生成增益和偏置，调整所述孪生卷积网络卷积层的特征图，计算深度特征间的余弦距离，当所述余弦距离大于判定阈值时判定存在缺陷，所述判定阈值基于所述最终变换矩阵的整体畸变程度调整。

31、优选地，所述基于所述标准标识图像计算印刷标识的固有笔画走向先验模型，包括：

32、提取所述标准标识图像的形态学骨架；

33、在所述形态学骨架对应的骨架像素位置处，基于所述标准标识图像计算梯度方向直方图；

34、选取频次最高的前n个梯度方向的正交方向作为印刷标识的固有笔画走向，构建所述固有笔画走向先验模型。

35、优选地，所述利用双边引导滤波下采样构建图像金字塔，其中引导图基于所述固有笔画走向先验模型生成保持与关键结构走向一致的边缘，包括：

36、计算图像的结构张量并求解特征值及对应特征向量，提取小特征值对应的特征向量作为局部笔画延伸方向，根据所述固有笔画走向先验模型为所述局部笔画延伸方向与印刷标识的固有笔画走向一致的结构张量分配高权重，生成梯度结构突出性图作为引导图；

37、利用所述引导图对待处理图像进行双边滤波，并按固定比例进行下采样得到各层金字塔图像。

38、优选地，所述在所述图像金字塔的顶层计算所述标准标识图像和所述待检标识图像在cielab色彩空间中的结构化色彩梯度直方图特征进行粗对齐得到初始变换矩阵，包括：

39、将图像转换至cielab色彩空间，提取图像的关键点，计算各通道的像素梯度幅值和方向；

40、根据所述固有笔画走向先验模型对所述关键点邻域内的梯度方向进行非均匀离散映射，生成所述关键点的局部结构化色彩梯度直方图特征；

41、通过计算所述局部结构化色彩梯度直方图特征的交叉相关性匹配空间对应关键点，利用最小二乘法计算初始变换矩阵。

42、优选地，所述从所述图像金字塔的次顶层至底层逐层精对齐，以顶层粗对齐得到的所述初始变换矩阵或相邻较低分辨率层更新得到的变换矩阵经尺度转换后作为当前层的初值，优化由相位相关性与结构相似性度量加权的能量函数更新变换矩阵，权重根据畸变程度及对齐残差分配，得到最终变换矩阵，包括：

43、计算局部图像块的相位相关性度量与结构相似性度量；

44、若所述局部图像块的对齐残差高于预设残差阈值，则增加所述相位相关性度量的权重比例；

45、采用无梯度优化算法求解使能量函数最大化的变换矩阵参数。

46、优选地，所述将所述最终变换矩阵分解输入调制网络生成增益和偏置，调整所述孪生卷积网络卷积层的特征图，包括：

47、将所述最终变换矩阵分解为平移参数、旋转角度、缩放因子和剪切参数；

48、将分解后的参数归一化后输入包含全连接层的调制网络，输出与所述孪生卷积网络特定卷积层通道数匹配的增益向量和偏置向量，对所述卷积层的特征图进行通道级的仿射变换。

49、优选地，所述计算深度特征间的余弦距离，当所述余弦距离大于判定阈值时判定存在缺陷，所述判定阈值基于所述最终变换矩阵的整体畸变程度调整，包括：

50、提取所述最终变换矩阵中去除平移参数后的仿射变换子矩阵，计算所述仿射变换子矩阵与单位矩阵之间的归一化范数误差，并结合校正后的图像对齐残差作为整体畸变程度；

51、以预设基础阈值为基准，当所述整体畸变程度增大时，按比例放宽所述判定阈值；

52、当所述整体畸变程度减小时，相应收紧所述判定阈值。

53、本发明通过构建基于固有笔画走向先验模型的双边引导滤波图像金字塔，在多尺度下采样过程中保持印刷标识的关键边缘和主导笔画结构，减少结构信息丢失与边缘模糊；在金字塔顶层结合cielab色彩空间和结构化色彩梯度直方图特征进行粗对齐，降低光照变化和色彩偏差对匹配结果的影响，为后续精对齐提供可靠的初始变换矩阵；在逐层精对齐过程中，利用相位相关性与结构相似性度量加权的能量函数进行变换参数优化，并根据畸变程度和对齐残差自适应分配权重，提高对平移、旋转、缩放及剪切等形变的校正能力；同时，将几何变换矩阵分解后输入调制网络，对孪生卷积网络的特征提取过程进行调节，使空间变换信息参与特征补偿，降低几何畸变及插值残差造成的特征偏移；并根据图像整体畸变程度动态设定判定阈值，减少正常形变引起的误检，提升食品包装印刷标识缺陷检验的准确性、稳定性和适应性。