基于TOF技术的条盒香烟缺包检测方法与流程

基于tof技术的条盒香烟缺包检测方法
技术领域
1.本发明涉及检测技术领域，具体而言，涉及基于tof技术的条盒香烟缺包检测方法。


背景技术：

2.目前，存在缺陷的产品一旦流入市场，在损害消费者利益的同时，也损坏了企业的信誉和形象，因此，企业对自己产品质量的把控也越来越严；在各个行业中，包装内部产品缺包被公认为是最严重的质量问题之一。在卷烟生产过程中，条盒香烟包装是一道重要的工序，由于包装机及人为因素等，经常会发现包装后的条盒香烟内有缺包现象，造成严重的质量问题。
3.各家卷烟企业对“条盒缺包”问题非常重视，为了彻底杜绝此问题，在包装机上不同位置分别安装了或者同时安装了各种不同检测方式的缺包检测装置，其中包括称重式、光电式、射线式、负压式、涡流式、视觉式等，但从现场使用情况来看，都存在着不同程度的缺陷，无法彻底解决条盒香烟的缺包问题。


技术实现要素：

4.为了弥补以上不足，本发明提供了基于tof技术的条盒香烟缺包检测方法，用于检测条盒香烟包装过程中是否存在小包缺失以及烟包错位、破损等；当检测到存在小包缺失、错位、破损时向包装机组控制系统发送剔除信号，由包装机组控制系统在相应位置将缺陷条盒剔除。
5.本发明是这样实现的：
6.本发明实施例提供的基于tof技术的条盒香烟缺包检测方法，步骤如下：
7.s1：提供计算机、光源发射器和图像传感器，其中，光源发射器与图像传感器采用对称分布安装；堆叠烟包距离发生变化时，激光线在图像传感器上成像的位置会对应不同，如果存在缺包，激光线成像的亮度会明显低于没有缺包时的成像亮度；
8.s2：获取拍摄景物的距离，传感器发出经调制的激光线，激光线遇到物体后反射到传感器处，传感器通过计算光线发射和反射时间差或相位差，就可换算出被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来；
9.s3：初步判断烟包异常，获取步骤s1中所述的计算机判断激光线在图像传感器上成像的亮度是否低于设定阈值，当低于设定阈值则认为存在缺包情况，当高于阈值则根据激光线在图像传感器的上的位置计算出传感器到达烟包的对应距离，来判断烟包是否倾斜、错位；
10.s4：获取一维灰度图像，将每个像素对应的烟包距离转化为0～ 255的灰度值并绘制到图像模板上，获取步骤s2中换算出被拍摄景物的距离，图像传感器每采集一帧图像会产生一条垂直的对应一维灰度图像；
11.s5：获取二维灰度图像，通过对水平运动的堆叠烟包进行等间隔多次采样，最终可得到一张对应的二维灰度图像，图像上的每个像素的灰度值对应到达待检烟包端面的距离；
12.s6：再次判断烟包异常，通过步骤s5获取的二维灰度图，计算机通过图像处理技术对扫描产生的二维灰度图像依次进行兴趣区域提取、二值化、查找轮廓及像素计数等处理，最后计算出堆叠烟包端面距离超过设定阈值的像素数；结合s3中判断结果，当该像素数所占堆叠烟包总像素数百分比超过设定值时则认为该堆叠烟包存在缺包、错位、破损的异常情况。
13.在本发明提供的一种实施列中，该装置安装于美容器之前的传输通道一侧，采用tof相机采集堆叠烟包的侧面图像，通过图像的深度信息来判断是否缺包以及烟包错位、破损。
14.在本发明提供的一种实施列中，采用激光光源照射待检测堆叠烟包端面，被照射区域亮度会明显高于其它区域，为后续图像采集及处理提供基础。
15.在本发明提供的一种实施列中，激光光源和图像传感器对称分布，堆叠烟包距离发生变化时，激光线在图像传感器上成像的位置会对应不同，如果存在缺包时，激光线成像的亮度会明显低于没有缺包的图像亮度。
16.在本发明提供的一种实施列中，通过调制光源发射时间和传感器曝光时间来间接计算光的传播时间和目标距离。
17.在本发明提供的一种实施列中，光源是由调制电路所驱动的一个或多个光源发射器所组成，光源发射器所发出的光线的波长还必需落在感应器中过滤器的光谱宽度的范围内。
18.在本发明提供的一种实施列中，将每个像素对应的距离转换为 0～255的灰度值并绘制到图像模板上；转换公式如下：并绘制到图像模板上；转换公式如下：
19.其中，gray
i
为第i行图像数据转换后的对应灰度值，d
i
为第i行图像数据查表得到的堆叠烟包端面距离，10为堆叠烟包端面距离最大值，单位为mm。
20.在本发明提供的一种实施列中，将烟包之外的区域像素灰度值设为255；二值化是为了将烟包端面距离超过设定阈值的像素数与其它像素分离，将烟包端面距离超过设定阈值的像素灰度值设为0，其它像素灰度值设为255；判断待检堆叠烟包位置是否存在缺包或错位的公式为：
21.其中，s
cur
为堆叠烟包端面距离超过设定阈值的像素总数，s
total
为烟包的像素总数，p
max
为允许的缺陷区域百分比；当堆叠烟包端面距离超过设定阈值的像素数与堆叠烟包的像素总数比值低于p
max
时判断当前堆叠烟包为合格，即烟包不存在缺失或者错位，否则判断当前堆叠烟包位置存在缺失或错位的情况。
22.本发明的有益效果是：本发明中采用激光光源照射待检堆叠烟包的端面，反射到图像传感器上成像的位置发生变化，计算机根据激光光源在图像传感器上成像的亮度可判断是否存在缺包的情况。通过图像处理技术对扫描产生的二维灰度图像进行处理，计算出
堆叠烟包端面距离超过设定阈值的像素数，最终判断该堆叠烟包是否存在缺包、错位、破损情况。本发明解决了传统机器视觉检测方式对于烟包错位、堆叠烟包前后不齐无法准确检测的不足。
附图说明
23.为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
24.图1为本发明实施方式提供的光路示意图；
25.图2为本发明实施方式提供的高速面阵图像传感器所采集烟包端面图像的效果图；
26.图3为本发明实施方式提供的图像传感器一帧图像对应的一维灰度图像效果；
27.图4为本发明实施方式提供的对存在缺包的二维灰度图像进行图像处理的效果图；
28.图5为本发明实施方式提供的对存在错位的二维灰度图像进行图像处理的效果图。
具体实施方式
29.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
30.因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
31.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
32.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
33.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
34.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
35.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
36.实施例
37.请参阅图1
‑
5，本发明提供一种技术方案：
38.本发明实施例提供的基于tof技术的条盒香烟缺包检测方法，步骤如下：
39.s1：提供计算机、光源发射器和图像传感器，其中，光源发射器与图像传感器采用对称分布安装；堆叠烟包距离发生变化时，激光线在图像传感器上成像的位置会对应不同，如果存在缺包，激光线成像的亮度会明显低于没有缺包时的成像亮度；
40.s2：获取拍摄景物的距离，传感器发出经调制的激光线(或脉冲红外光)，激光线遇到物体后反射到传感器处，传感器通过计算光线发射和反射时间差或相位差，就可换算出被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来；
41.s3：初步判断烟包异常，获取步骤s1中所述的计算机判断激光线在图像传感器上成像的亮度是否低于设定阈值，当低于设定阈值则认为存在缺包情况，当高于阈值则根据激光线在图像传感器的上的位置计算出传感器到达烟包的对应距离，来判断烟包是否倾斜、错位；
42.s4：获取一维灰度图像，将每个像素对应的烟包距离转化为0～ 255的灰度值并绘制到图像模板上，获取步骤s2中换算出被拍摄景物的距离，图像传感器每采集一帧图像会产生一条垂直的对应一维灰度图像；
43.s5：获取二维灰度图像，通过对水平运动的堆叠烟包进行等间隔多次采样，最终可得到一张对应的二维灰度图像，图像上的每个像素的灰度值对应到达待检烟包端面的距离；
44.s6：再次判断烟包异常，通过步骤s5获取的二维灰度图，计算机通过图像处理技术对扫描产生的二维灰度图像依次进行兴趣区域提取、二值化、查找轮廓及像素计数等处理，最后计算出堆叠烟包端面距离超过设定阈值的像素数；结合s3中判断结果，当该像素数所占堆叠烟包总像素数百分比超过设定值时则认为该堆叠烟包存在缺包、错位、破损的异常情况；
45.采用激光光源照射待检测堆叠烟包的端面，通过高速面阵图像传感器采集图像并传送给计算机；计算机通过激光线在堆叠烟包端面上成像的亮度判断是否存在烟包缺失及错位、破损的情况，通过图像处理技术计算出堆叠烟包端面距离超过设定阈值的像素总数，
最终确定是否存在缺包或错位的情况。本发明可实现对待检测堆叠烟包端面进行全覆盖检测，本发明解决了传统机器视觉检测方式对于烟包错位、堆叠烟包前后不齐无法准确检测的不足，具有广泛的应用空间。
46.在其他一些实施列中，该装置安装于美容器之前的传输通道一侧，采用tof相机采集堆叠烟包的侧面图像，通过图像的深度信息来判断是否缺包以及烟包错位、破损。
47.如图1所示，在具体实施列中，采用激光光源照射待检测堆叠烟包端面，被照射区域亮度会明显高于其它区域，为后续图像采集及处理提供基础，激光光源和图像传感器对称分布，堆叠烟包距离发生变化时，激光线在图像传感器上成像的位置会对应不同，如果存在缺包时，激光线成像的亮度会明显低于没有缺包的图像亮度。
48.需要说明的是，由于光的高速，很难直接精度测量光从发射到接收的时间，因此一种常用的方式是通过调制光源发射时间和传感器曝光时间来间接计算光的传播时间和目标距离，光源是由调制电路所驱动的一个或多个光源发射器所组成，光源发射器所发出的光线的波长还必需落在感应器中过滤器的光谱宽度的范围内。
49.如图2所示，在具体实施列中，可见被激光线照射区域的亮度明显高于其它区域，堆叠烟包端面距离越远，激光线在图像中的水平位置越靠近右侧。通过标定的方式提前获得激光线在图像中的水平位置与堆叠烟包端面位置的对应关系并将其存入表格供后续使用。计算机根据激光线在图像传感器的上的位置通过查表的方式计算出对应的堆叠烟包端面的距离，再将每个像素对应的距离转换为0～255的灰度值并绘制到图像模板上；转换公式如下：式如下：
50.其中，gray
i
为第i行图像数据转换后的对应灰度值，d
i
为第i行图像数据查表得到的堆叠烟包端面距离，10为堆叠烟包端面距离最大值，单位为mm；
51.如图3所示，图像传感器每采集一帧图像会产生一条垂直的对应一维灰度图像，图像传感器一帧图像对应的一维灰度图像效果。
52.在一些实施列中，如图4、图5分别是计算机对存在缺包及错位烟包二维灰度图像进行图像处理的效果图，依次进行兴趣区域提取、二值化、查找轮廓及像素计数等处理。兴趣区域提取是为了将烟包区域从二维灰度图像中分割，将烟包之外的区域像素灰度值设为255；二值化是为了将烟包端面距离超过设定阈值的像素数与其它像素分离，将烟包端面距离超过设定阈值的像素灰度值设为0，其它像素灰度值设为255；判断待检堆叠烟包位置是否存在缺包或错位的公式为：
[0053][0054]
其中，s
cur
为堆叠烟包端面距离超过设定阈值的像素总数，s
total
为烟包的像素总数，p
max
为允许的缺陷区域百分比；当堆叠烟包端面距离超过设定阈值的像素数与堆叠烟包的像素总数比值低于p
max
时判断当前堆叠烟包为合格，即烟包不存在缺失或者错位，否则判断当前堆叠烟包位置存在缺失或错位的情况。
[0055]
需要说明的是，其中采用的调制模块、关联模块、adc模块、图像传感器以及激光发射器具体的型号规格需根据该装置的实际规格等进行选型确定，具体选型计算方法采用本
领域现有技术，故不再详细赘述。
[0056]
采用的调制模块、关联模块、adc模块、图像传感器以及激光发射等设备的供电及其原理对本领域技术人员来说是清楚的，在此不予详细说明。
[0057]
该基于tof技术的条盒香烟缺包检测方法的工作原理：本发明中采用激光光源照射待检堆叠烟包的端面，反射到图像传感器上成像的位置发生变化，计算机根据激光光源在图像传感器上成像的亮度可判断是否存在缺包的情况。通过图像处理技术对扫描产生的二维灰度图像进行处理，计算出堆叠烟包端面距离超过设定阈值的像素数，最终判断该堆叠烟包是否存在缺包、错位、破损情况。本发明解决了传统机器视觉检测方式对于烟包错位、堆叠烟包前后不齐无法准确检测的不足；该方法不仅可用于检测条盒烟包内是否存在缺包的情况，同时也可以对烟包堆叠错位及烟包端面破损等进行检测，具有广泛的应用空间；
[0058]
其中采用的激光源、高速面阵图像传感器技术都为成熟技术，使用到的图像处理算法在各种商用或开源的机器视觉函数库中都有包含，开发人员可直接调用，整体技术可行性较强。
[0059]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0060]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0061]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器 (ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0062]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0063]
需要说明的是，当元件被称为“固定于”、“设置于”、“固设于”或“安设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。进一步地，当一个元件被认为是“固定连接”另一个元件，二者可以是可拆卸连接方式的固定，也可以不可拆卸连接的固定，如套接、卡接、一体成型固定、焊接等，在现有技术中可以实现，在此不再累赘。当元件与另一个元件相互垂直或近似垂直是指二者的理想状态是垂直，但是因制造及装配的影响，可以存在一定的垂直误差。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0064]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0065]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0066]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。