一种玻璃瓶烫金工艺的质量检测方法与流程

1.本技术涉及玻璃瓶加工领域，具体涉及一种玻璃瓶烫金工艺的质量检测方法。


背景技术：

2.玻璃瓶容器具有无毒、无味、透明、美观、阻隔性好、原材料成本低等优点，广泛应用于食品、化工等领域。在玻璃瓶的生产加工过程中，为了体现图案的质感，会对玻璃瓶进行烫金加工，如香水，植物精油，酒瓶等玻璃包装经常使用烫金工艺。由于玻璃瓶本身的材质表面因素、烫金纸的质量因素、烫金机器因素的影响，烫金图案可能会出现缺陷，所以需要对烫金玻璃瓶进行视觉识别，检测烫金工艺的质量。目前大多数厂家的玻璃瓶烫金工艺质量检测技术是由专业的人员通过肉眼和放大镜进行检测。
3.传统的人工检测方法检测速度慢，精度低，主观性强，易疲劳，检测信息难以收集记录，成本高。识别玻璃瓶上烫金图案有两方面的阻碍：一方面是，一般的玻璃瓶是透明的而且反光的，甚至可以看到另一面的瓶身图像，严重影响识别效果，无法进行简单的模板匹配来识别质量缺陷。另一方面是，烫金图案本身具有反光性，周围的环境光会影响图像采集的效果，反射出的颜色可能和瓶身融为一体，容易误识别为质量缺陷。因此需要引入计算机视觉和人工智能技术克服这些阻碍来提升效率。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种玻璃瓶烫金工艺的质量检测方法，所采用的技术方案具体如下：本发明的一种玻璃瓶烫金工艺的质量检测方法，包括以下步骤：获取玻璃瓶正面和背面在不同光照影响下的时间变化图像集合；基于烫金图案各向异性反射和玻璃瓶的透光性，分析时间变化图像集合，提取特征，得到烫金反射异常图，确定疑似缺陷区域图；构建并训练gbb-gan神经网络，将时间变化图像、烫金反射异常图以及疑似缺陷区域图作为gbb-gan神经网络的输入，输出正面图像；将正面图像与标准烫金图做差，得到缺陷二值图，基于二值图对烫金质量进行评估。
5.优选地，所述烫金反射异常图的获取过程为：构建酒瓶三维表面；计算三维表面的每个像素点的颜色变化序列的异常度；提取高频噪声信息，在频域图上删除低频部分，然后通过逆离散傅里叶变换，将频域图变为时域上的离散函数，得到只保留高频噪声信息的序列，低频信息反应烫金图案的轮廓，高频信息反应烫金图案的纹理；求该序列的样本熵，作为该像素点的异常度；对每个像素点进行这样的操作，将原图像上的像素值替换为异常度，得到烫金反射异常图。
6.优选地，所述疑似缺陷区域图的获取过程为：计算每个像素点的混乱程度；获取酒瓶的直径，设定阈值，如果一个像素点的混乱程度大于，那么将该像素点分为非烫金图案区域的像素点；对每个像素点进行这样的操作，将像素点分为两类，所有烫金图案区域的像素点组合得到疑似缺陷区域图。
7.优选地，所述混乱程度为：每个像素点的两深度差值的绝对值：，为声波深度值，d为激光深度值；计算每个像素点周围的深度差值的混乱程度：对于一个像素点，在其位置建立极坐标系，选取共八个方向，在角度i上选取最近的三个像素点，然后求的均值：其中，表示取最小值。
8.本发明的有益效果为：本发明采用gbb-gan神经网络，相较于现有技术有益效果在于结合玻璃瓶瓶身透光，烫金区域不透光，会反光等特点，输入到生成对抗网络中，生成纯正面图像，然后用常规的模板匹配计算即可得到直观准确的烫金工艺质量检测结果。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
10.图1是本发明的一种玻璃瓶烫金工艺的质量检测方法的流程图；图2是本发明的图像采集装置的示意图；图3是本发明获取正面图像的流程示意图；附图标记：1-rgb相机模组，2-光源，3-滑轨，4-待检测的烫金玻璃瓶。
具体实施方式
11.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
12.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
13.本发明针对的是在烫金之后，出厂之前并且未装酒之前，检测运输和后续加工过程中烫金图案可能产生的缺陷，其中的酒瓶是透明或者半透明的，不限定形状。
14.需要说明的是，烫金是指在低温丝印油墨在尚未表干时，用烫金纸在200度的高温下压烫产品，它是借助一定的压力和温度，运用装在烫印机上的模版，使玻璃瓶和烫印箔在短时间内互相受压，将金属箔或颜料箔按烫印模版的图文转印到玻璃瓶的表面。
15.本发明的检测对象为酒瓶的瓶身上烫金工艺；当然瓶口和瓶底的烫金质量检测属于本方法的一种特殊场景，也可由本方法实现。本发明的方法不限定酒瓶的形状，其常规的烫金工艺只能在平面或者曲面上进行，因此烫金图案一般不是凹凸起伏的，而是平整的，对烫金图像进行质量评估。
16.其中，烫金图像的质量缺陷有两大类，一类是烫金图案爆金，即烫金表面出现龟裂状条纹，条纹呈不规则分布，大多呈现裂纹状；另一类是压烫时的错误，造成烫金图案缺失或者错位。两种异常都可以视为烫金图案的缺失或者多余，直接用模板匹配的方式即可发现质量缺陷的位置。
17.然而，由于烫金图案的各向异性反射，材质的光泽感标准并不是固定值，同一生产线的玻璃瓶的烫金区域，可能在同一种光源且同一角度下呈现不同的反光效果和颜色分布，这也是符合生产标准的。烫金区域的反光会影响颜色的识别结果，无论从哪个方向打光，都会有一些凸起的边缘区域有强烈的反光，如果和背景颜色一致，则有可能带来错误的识别结果。
18.需要说明的是，各向异性反射（anisotropic reflection）在rgb图像上体现为：一个像素点，在不同的角度观察，显示出的rgb值差异较大，或者固定视角，但改变光源角度，显示出的rgb值差异较大。
19.对于某些高档次产品，客户会对产品上商标或品牌logo标志进行烫金加工，其主要以金、银两色为主，本发明以检测金色的烫金图案为例，对其进行质量缺陷检测。
20.具体地，本发明提出的一种玻璃瓶烫金工艺的质量检测方法的实施例，请参阅图1所示，包括以下步骤：步骤s1：获取玻璃瓶正面和背面在不同光照影响下的时间变化图像集合。
21.本实施例中，获取烫金箔的制版文件，转化为rgb图，将烫金区域设为金色，背景区域设为白色，以此作为标准烫金图a。
22.本实施例中对烫金玻璃瓶图像进行采集使用的是图像采集装置，如图2所示，包括rgb相机模组1，光源2，外侧的圆环为相机模组的滑轨3（也可以布置多个光源轮流点亮来替代滑动的效果），待检测的烫金玻璃瓶4。
23.其中图像采集装置中设置了两组rgb相机模组，分别检测玻璃瓶的对应的两面，本实施例中本实施例只选择上方的相机分析即可。
24.本实施例中，每个rgb相机模组包括一个intel realsense r200深度相机和一个hc-sr04超声波雷达。深度相机能够获取图像中每个像素点的rgbd值（d为深度值），但其获取的深度值是激光深度值，而玻璃瓶具有透光性，因此利用超声波雷达获取玻璃瓶的声波深度值，但是超声波雷达的精度比较低，后续需要进一步的处理，激光深度值的作用接下来会进行阐述。
25.在rgb相机同一平面中，放置半圆形的滑动轨道，上面有一个工业级光源，它可以
在半圆形滑轨上滑动，并且保持对准圆形轨道的圆心，调整滑动的速度，使光源旋转一圈耗时为4秒，即半圈为2秒，相机模组对玻璃瓶瓶身进行拍摄，得到各个角度光源下的图像，设置在这2秒内，拍摄了60张图像，即每个像素点在这2秒内有60个像素值。
26.然后合并60张rgb图像变为“时间变化图像b”，每个像素点的值不再是一个包含rgb值的向量，而是一个时间变化矩阵，n=60，因为d和s不随光源的位置变化而变化，因此用一个值来表示即可，0是为了保证矩阵的格式完整，一副时间变化图像是由每个像素点的时间变化矩阵组成的张量。
27.本实施例中对获取的时间变化图像集合中的每个图像提取roi（感兴趣）区域，以此忽略与烫金图案无关的区域，提升检测效率。只需要在对同一批酒瓶划分同样的roi，可由人工划分，优选的，求酒瓶的最小外接矩形作为roi区域，后续的操作均是对一个图像的roi区域进行的。
28.步骤s2：基于烫金图案各向异性反射和玻璃瓶的透光性，分析时间变化图像集合，提取特征，得到烫金反射异常图，确定疑似缺陷区域图。
29.本实施例中，为了应对玻璃瓶上烫金图案的各项异性反射，获取了不同光源下图像中的每个像素点的rgb值；但是由于玻璃瓶材质的透光性，导致烫金图案的背景随机性很强，与周围的物体和环境光照有关，因此难以进行简单的图像分割，本实施例中的图像分割的方法为：首先，构建酒瓶三维表面。
30.将像素点的声波深度值变化视为一个连续函数，是像素点在图像上的坐标，由于超声波雷达的精度限制，得到三维图像是过度不平滑，利用声波深度值，得到模糊三维表面图，使用卡尔曼滤波进行滤波，还原酒瓶表面较为光滑的特点，原声波深度值替换为，最终得到酒瓶三维表面图。
31.其次，计算每个像素点的颜色变化序列的异常度。
32.对于每个像素点，使用hsv色彩模型，将时间变化矩阵中所有三个为一组的rgb值转化为对应的hsv值，h是色调，s是饱和度，v是明度，我们这里主要考虑各向异性反射引起的明度变化，因此加权求和得到调和变化值：其中，是比例权重，经验值取；将随着光源角度变化而变化的视为一个离散函数，；对进行离散傅里叶变换，得到颜色变化序列频域图。
33.然后，提取高频噪声信息，在频域图上删除低频部分，然后通过逆离散傅里叶变换，将频域图变为时域上的离散函数，得到只保留高频噪声信息的序列，低频信息反应
烫金图案的轮廓，高频信息反应烫金图案的纹理，一般的烫金图案是没有细纹理的，如果有，那么很有可能就是缺陷。
34.最后，求该序列的样本熵，作为该像素点的异常度。对每个像素点进行这样的操作，将原图像上的像素值替换为异常度，得到烫金反射异常图。
35.本实施例中，确定疑似缺陷区域图的过程为：利用激光深度值，烫金图案区域的激光深度值可以正常反射，非烫金图案区域的激光深度值较为凌乱，有一部分的激光通过最近的酒瓶表面反射到接收器中，有一部分穿透过酒瓶表面然后在对面的酒瓶内部面反射回来，有一部分甚至直接穿透整个酒瓶。
36.越靠近酒瓶边缘，评价算法越是需要考虑反射回来的激光很少。因为在酒瓶边缘区域的激光都向两边折射了，所以深度值为上限值，和背景区域的一致，因此这里考虑进声波深度值，以此避免遗失酒瓶边界信息。
37.具体地，先分析每个像素点的混乱程度，求得每个像素点的两深度差值的绝对值：，之后，评估一个像素点周围的深度差值的混乱程度：对于一个像素点，在其位置建立极坐标系，选取共八个方向，在角度i上各自选取最近的三个像素点，然后求的均值：其中，表示取最小值。
38.获取酒瓶的直径，设定阈值，如果一个像素点的混乱程度大于，那么将该像素点分为非烫金图案区域的像素点；对每个像素点进行这样的操作，将像素点分为两类，所有烫金图案区域的像素点组合得到疑似缺陷区域图。
39.需要说明的是，上述评估方式较为宽松，只要有一个方向是深度差值变化差异不大于阈值的，就视为烫金图案区域，相当于对实际的烫金图案进行扩展，以指示烫金图案可能存在的区域，因为这是考虑到了激光也是一种光，基于光的波粒二象性，加上玻璃材质的表面干扰，激光穿越烫金图案的边缘也难以反射回来，因此疑似区域图的烫金图案面积会大于实际的面积。
40.至此，得到烫金反射异常图以及疑似缺陷区域图，作为神经网络引入先验特征，使得生成图像更有针对性。
41.步骤s3：构建并训练gbb-gan神经网络，将时间变化图像、烫金反射异常图以及疑似缺陷区域图作为gbb-gan神经网络的输入，输出正面图像，如图3所示。
42.本实施例中，构建玻璃瓶烫金检测神经网络，gbb-gan(glass bottle bronzing generative adversarial network)，其基础网络结构是cyclegan，采用该神经网络的作用是在两种类型图像之间进行风格转换，而不需要对应关系，本方法中体现为有透明玻璃的背景和纯色背景之间的转换。
43.生成对抗网络的核心理念是生成器和判别器的对抗，生成器的功能是根据输入的图像和数据生成新的图像；判别器的功能是判断生成图像是不是我们想要的，即为真还是
为假，并将误差反向传播，优化生成器的参数。生成器刚开始的生成过程是无序的，随着训练的进行，生成器生成的图像越来越符合我们的要求，直到判别器无法判断真假，或者说为真为假的概率都是0.5，达到了纳什均衡，此时博弈完成。
44.本实施例中对gbb-gan的训练数据的获取过程为：获取带有各种缺陷和正常的烫金玻璃瓶，采集烫金玻璃瓶的图像，安排大数据标注专家用特定的像素值标注出缺陷区域，然后在标准烫金图上裁减掉缺陷区域，即可得到目标生成图像，80%作为训练集，20%作为测试集，使用均方差损失函数，优化器使用adam，经过训练最终得到生成效果良好的gbb-gan网络。
45.本实施例中，在使用神经网络时只需要gbb-gan的生成器，将时间变化图像及其特征输入到gbb-gan的生成器中，得到正面图像c；该正面图像排除了烫金图案各向异性反射和玻璃瓶的透光性的干扰，能够直观呈现烫金图案的缺陷，便于后续的模板匹配。
46.步骤s4：将正面图像与标准烫金图做差，得到缺陷二值图，基于二值图对烫金质量进行评估。
47.本实施例中，将获取的正面图像与标准烫金图案做差，即两个图案对应像素点的rgbds值相减，得到差值图，然后使用大津阈值法转化为二值图像，有缺陷的地方像素值为白色，无缺陷的地方像素值为黑色；如果玻璃瓶有缺陷，系统自动通知光电传感器，并且在检测图像中显示缺陷处，机械手立即做出响应，实施抓取缺陷玻璃瓶。
48.需要说明的是，整个模型较为复杂，流水线上放置的系统不承担神经网络的训练任务，仅用来运行训练完成的模型，因此测试过程的显存占用量反映了真实的车载计算平台配置需求，本文算法在测试过程中占用显存相比于原来的图像处理算法和cycgan网络增加不明显，因此能够运行于一般的玻璃瓶生产流水线。
49.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。