用于光学检查饮料处理系统中的容器的方法和设备与流程

1.本发明涉及一种分别具有根据权利要求1和10的通用条款的特征的用于光学检查饮料处理系统中的容器的方法和设备。


背景技术：

2.通常，这样的方法和设备用于检查容器，例如，用于检查容器是否有污染物和/或瑕疵。为此，容器被运输机作为容器质量流运输，并由被布置在饮料处理系统中的检查单元捕捉为相机图像。然后，由第一评估单元使用常规图像处理方法检查相机图像是否存在瑕疵。一旦检测到瑕疵，诸如容器中的污染物或缺陷，则容器将被清洁或回收。
3.例如，用于容器的光学检查的这样的方法和设备用于空容器或已经填充有产品的容器的侧壁、基部和/或填充液位检查。还可设想，用于饮料处理系统中的容器的光学检查的这样的方法和设备用于在饮料处理系统中的处理期间检测处理瑕疵。例如，容器在运输期间是否掉落或堵塞正在形成。
4.de 10 2014 216188 a1公开了一种用于容器的光学检查方法和光学检查设备。
5.通常，通过使用变换操作、点操作、邻域操作、滤波器操作、直方图操作、阈值操作、亮度操作和/或对比操作的常规操作的图像处理方法来评估相机图像，由此直接检测相机图像中具有污染物和/或瑕疵的图像区域。
6.这里的缺点在于，常规操作的图像处理方法通常必须由专家针对由饮料处理系统应对的不同类型的容器设置，这是费时和昂贵的。
7.此外，基于人工智能的图像处理方法(例如，神经网络，特别是深度神经网络)正越来越多地用于评估相机图像。
8.缺点在于，这样的神经或深度神经网络必须用包括1000-10000或甚至更多个标记图像的训练数据集来训练，在每个标记图像中，例如，标记了瑕疵。标记通常由图像处理专家和/或饮料处理系统制造商处受过训练的工作人员完成。这也是费时和昂贵的。


技术实现要素：

9.因此，本发明的目标在于，提供一种用于光学检查饮料处理系统中的容器的方法和设备，其中，图像处理方法的设置耗时较少且成本较低。
10.为了解决这一问题目标，本发明提供了一种具有权利要求1的特征的用于光学检查饮料处理系统中的容器的方法。有利实施例在从属权利要求中限定。
11.通过将瑕疵容器的相机图像分类为瑕疵图像，并将瑕疵与瑕疵图像相应地相关联为瑕疵标记，并将相机图像中的具有被发现是良好的容器的相机图像分类为无瑕疵图像，可以在常规操作的图像处理方法的基础上提供大量的瑕疵图像和无瑕疵图像。这可以例如在具有容器类型的饮料处理系统中完成，为此已经设置了常规操作的图像处理方法并因而特别可靠地工作。随后，从瑕疵图像、瑕疵标记和无瑕疵图像编译指定训练数据集，并且指定训练数据集用于在现场训练利用基于在人工智能操作的图像处理方法的第二评估单元。
因此，可以最大可能程度地自动提供指定训练数据集，使得方法特别时间高效并因而具有成本效益。
12.光学检查方法可以在容器制造过程、清洁过程、填充过程和/或封闭过程之前进行或之后进行，或被分配给以上过程。例如，该方法可以用于包括检查单元的满瓶或空瓶检查机器中。
13.容器可以被设计成保持饮料、食品产品、卫生产品、糊剂、化学、生物和/或药物产品。容器可以为瓶的形式，特别是塑料瓶或玻璃瓶。特别地，塑料瓶可以为pet、pen、hd-pe或pp瓶。也可设想容器为用于制造塑料瓶的预制件。同样地，容器可以是可生物降解的容器或瓶，主要成分由可再生原料组成，诸如甘蔗，小麦或玉米。容器可以设有封闭件，例如，冠盖塞、螺旋盖、撕开盖等。同样地，容器可以作为空容器存在，优选地没有封闭件。
14.可设想到，该方法可以用于检查容器的侧壁、基部、口部、内容物和/或填充液位。瑕疵可以为污染物，诸如异物、产品残留物、标签的残留物和/或类似物。瑕疵也可以是缺陷，诸如容器的损坏，特别是裂缝和/或碎玻璃。同样可设想到，它是有缺陷地生产出的材料点的情况，诸如局部材料变薄和/或增厚。还可设想到，该方法用于检查返回的可回收的容器和/或监视作为容器质量流的容器的运输和/或监视容器在饮料处理系统中的处理，例如，检测在运输机上已经跌倒的容器或检测卡住。
15.容器可以作为容器质量流(优选地作为单通道容器质量流)通过运输机运输到检查单元。然而，也可设想多通道容器质量流。运输机可以包括转台和/或线性输送机。例如，也可设想运输机可以包括输送带，在输送带上，容器以直立姿态被运输到检查单元的检查区域。也可设想在运输期间接收一个或多个容器的接收元件。容器也可以在例如照明设备照明容器底部并且相机通过容器口部检查底部时由侧向皮带保持而运输。
16.检查单元可以被配置为光学检查单元，特别是带有照明设备和/或带有相机以透射和/或照明容器。在照明设备中，可以用至少一个光源产生光，例如，用灯泡、荧光发光管和/或用至少一个led产生光，以便对发光表面打背光。优选地，光可以用led矩阵产生，并在发光表面的方向上发光。发光表面可以形成为比容器的相机视野更大。同样地，可设想发光表面仅照明容器的相机视野的一部分。发光表面可以部分地或者完全漫射地发光。优选地，发光表面可以包括漫射板，利用漫射板将来自所述至少一个光源的光朝向相机二维地漫散射。可设想，光由照明设备产生，随后照射通过和/或反射离开容器，然后被相机检测到。
17.使用镜头和图像传感器，相机可以分别捕捉容器(精确地是一个容器或几个容器)的部分区域，以及可选地从其透射或反射的光。图像传感器可以是例如cmos或ccd传感器。可设想，相机借助于数据接口将相机图像传送到第一和/或第二评估单元。
18.容器可以各自从一个或多个图像视角被捕捉在相机图像中。相机可以针对相机图像的每个像素检测光的偏振性质、强度性质、颜色性质和/或相位性质。
19.第一和/或第二评估单元可以用信号处理器和/或用cpu(中央处理单元)和/或gpu(图形处理单元)和/或用tpu(张量处理单元)和/或用vpu(视觉处理单元)处理相机图像。还可设想，第一和/或第二评估单元包括存储器单元、一个或多个数据接口，例如，网络接口、显示单元和/或输入单元。常规操作的图像处理方法和/或基于人工智能操作的图像处理方法可以在第一和/或第二评估单元(作为计算机程序产品)中(特别是在相应的存储器单元中)实现。
[0020]“常规操作的图像处理方法”在这里可以意味着常规操作的图像处理方法不是基于人工智能的。特别地，这可能意味着常规操作的图像处理方法不包括使用神经网络的过程步骤，特别是使用深度神经网络的过程步骤。还可设想，这意味着常规操作的图像处理方法用变换、点、邻域、滤波器、直方图、阈值、亮度和/或对比操作来评估相机图像，以便使用它们来直接检测包括瑕疵的相机图像中的图像区域。
[0021]“瑕疵容器”可以指示包括瑕疵的容器。这里的“瑕疵标记”可以指示提供具有分配的瑕疵描述的瑕疵图像列表。同样地，“瑕疵标记”可以指示瑕疵标记被输入到对应瑕疵图像的元数据中。更一般地，“瑕疵标记”可以表示瑕疵图像示出瑕疵的任何指示器。同样地，“瑕疵标记”可能意味着瑕疵图像中瑕疵的瑕疵坐标，诸如污染物的坐标。术语“被发现是良好的容器”可以指示没有瑕疵或具有可容忍的偏差的容器。
[0022]
这里的“基于人工智能操作的图像处理方法”可以意味着，基于人工智能操作的图像处理方法包括具有神经网络、特别是具有深度神经网络的至少一个方法步骤。例如，基于人工智能操作的图像处理方法可以是具有至少一个卷积层和具有池化层的所谓卷积神经网络。
[0023]“现场”可以意指第二评估单元由饮料处理系统的操作者用训练数据集在现场或就地训练，特别是在饮料处理系统处现场训练。
[0024]
可设想到，在第一步骤中，在饮料处理系统的制造商处用通用训练数据集，训练利用基于人工智能操作的图像处理方法的第二评估单元，之后，在第二步骤中，用指定训练数据集在现场训练利用基于人工智能操作的图像处理方法的第二评估单元。以这种方式，第二评估单元可以首先用饮料处理系统的制造商处可用的数据进行训练，然后在饮料处理系统中进行现场进一步训练。因此，训练可以获得特别广泛的数据。第二评估单元的制造商还可以指饮料处理系统、检查单元和/或第一评估单元的制造商。“通用训练数据集”可以表示具有第二评估单元的制造商已知的容器类型的瑕疵图像、瑕疵标记和/或无瑕疵图像的编译。相反，指定训练数据集可以是饮料处理系统的操作者已知容器类型的瑕疵图像、瑕疵标记和无瑕疵容器。
[0025]
可设想到，第二评估单元的训练以比检查单元对容器的捕捉和/或第一评估单元对相机图像的检查更低的优先级执行，以便在检查期间使用计算机系统的未使用的资源。因而，可以在容器的检查期间执行训练而不影响相机图像的获取和/或在第一评估单元的检查期间使用的资源的获取。因此，计算机系统因而可以特别有效地使用。计算机系统可以是机器控制器或pc。术语“更低的优先级”可以表示计算机系统的处理优先级。
[0026]
可设想到，在验证数据集的基础上确定第二评估单元的识别性能，如果识别性能超过预定阈值，则第二评估单元使用基于人工智能操作的图像处理方法检查相机图像的瑕疵。结果，可能在达到预定阈值时自动地从由第一评估单元进行的检查切换到第二评估单元的检查。检查数据集可以包含未被包括在指定训练数据集和/或通用训练数据集中的进一步的瑕疵图像、瑕疵标记和/或无瑕疵图像。因此，可以验证基于人工智能的图像处理方法对于未针对通用和/或指定训练数据集检查的容器也可靠地操作。
[0027]
可设想到，相机图像由第二评估单元而不是第一评估单元检查。以这种方式，资源可以特别高效地用于第二评估单元。
[0028]
可替选地，可设想到，相机图像另外由与第二评估单元并行的第一评估单元检查，
以便借助于常规操作的图像处理方法检测对于基于人工智能操作的图像处理方法仍未知的瑕疵。这使得可能另外确定未知瑕疵并提高评估的可靠性。“对于基于人工智能工作的图像处理方法仍未知的瑕疵”可以意指针对指定训练数据集未被分类和编译为瑕疵图像和/或分配的瑕疵标记的瑕疵。第一评估单元的评估灵敏度可以被降低或被设置成默认参数以防止误拒绝。
[0029]
相机图像中的具有未知瑕疵的容器的相机图像可以被分类为进一步的瑕疵图像，并且未知瑕疵可以相应地作为进一步的瑕疵标记分配给进一步的瑕疵图像，其中，进一步的瑕疵图像和进一步的瑕疵标记可以被编译为进一步的指定训练数据集，并且其中，第二评估单元可以使用进一步的指定训练数据集在现场利用基于人工智能操作的图像处理方法进行训练。以这种方式，可以进一步增加使用基于人工智能操作的图像处理方法的第二评估单元的识别性能。可设想，第一评估单元和第二评估单元对相机图像的并行检查、对具有未知瑕疵的容器的相机图像的分类、进一步的指定训练数据集的编译以及基于人工智能操作的图像处理方法的进一步训练都在现场进一步迭代地执行，特别是直到为第二评估单元确定的进一步识别性能超过预定的进一步阈值为止。
[0030]
可设想到，瑕疵容器被分拣出容器流。这允许瑕疵容器从进一步的处理步骤中排除并被回收或处置。
[0031]
此外，为了解决上述目标，本发明提供了一种具有权利要求10的特征的用于光学检查饮料处理系统中的容器的设备。本发明的有利实施例在从属权利要求中限定。
[0032]
设备可以被配置成执行根据权利要求1至9中的任一项所述的方法。特别地，设备可以经适当修改单独地或以任何组合包括上文关于权利要求1至9所述的特征。
[0033]
通过配置分类单元，以便将相机图像中的有瑕疵容器的相机图像分类为瑕疵图像，并将瑕疵相应地作为瑕疵标记分配给瑕疵图像，并将相机图像中的具有被发现为良好的容器的相机图像分类为无瑕疵图像，可以基于常规操作的图像处理方法提供大量的瑕疵图像和无瑕疵图像。这可以例如在具有容器类型的饮料处理系统中完成，为此已经设置了常规操作的图像处理方法并因而特别可靠地操作。由于分类单元被配置成将瑕疵图像、瑕疵标记和无瑕疵图像编译为指定训练数据集，指定训练数据集可以被提供用于尽可能自动地训练第二评估单元，这意味着该方法特别时间高效因而成本有效。
[0034]
第二评估单元可以被配置成使用基于人工智能的图像处理方法检查相机图像的瑕疵。结果，当超过上述预定阈值时，然后可能从第一评估单元自动切换到第二评估单元，以便由第二评估单元使用基于人工智能的图像处理方法检查相机图像的瑕疵。然而，也可设想，第一评估单元和第二评估单元彼此并行地检查相机图像以增加总体识别率。
[0035]
设备可以被布置在饮料处理系统中。因此，第二评估单元由此在饮料处理系统处现场用基于人工智能的图像处理方法进行训练。因而，“现场”可以意指通过使用训练数据集在饮料制造商处现场训练第二评估单元。
[0036]
设备可以包括具有第一评估单元和第二评估单元的计算机系统。因而，第一评估单元和第二评估单元可以被实现为计算机程序产品。还可设想，计算机系统包括分类单元。由此，分类单元也可以实现为计算机程序产品。计算机系统可以包括信号处理器和/或cpu(中央处理单元)和/或gpu(图形处理单元)和/或tpu(张量处理单元)和/或vpu(视觉处理单元)。还可设想，计算机系统包括存储器单元、一个或多个数据接口、网络接口、显示单元和/
或输入单元。
[0037]
检查单元、第一评估单元、第二评估单元和/或分类单元可以经由数字数据链路互连，特别是传输相机图像、瑕疵图像、瑕疵标记、无瑕疵图像、指定训练数据集和/或通用训练数据集。
附图说明
[0038]
下面参考附图中所示的实施例更详细地解释本发明的进一步特征和优点。在附图中：
[0039]
图1示出了根据本发明的用于光学检查饮料处理系统中的容器的设备的实施例的顶视图；并且
[0040]
图2a至图2b示出了根据本发明的实施例的流程图，其表示用于光学检查饮料处理系统中的容器的方法。
具体实施方式
[0041]
在图1中，示出了根据本发明的用于光学检查饮料处理系统a中的容器2的设备1的实施例的顶视图。设备1被配置成用于执行在下文所述的图2a至图2b中的方法100。
[0042]
显然，容器2首先通过进口星形轮9转移到填充器6，在填充器6中用可流动产品填充容器2。填充器6包括例如转台(这里未示出)，转台带有被布置在其上的填充元件，通过填充元件在运输期间用可流动产品填充容器2。随后，容器2经由中间星形轮10转移到封口机7，在封口机7处为其提供封闭件，例如软木塞、冠盖塞或螺旋盖。这保护了容器2中的自由流动产品不受环境影响，并且防止其泄漏出容器2。
[0043]
随后，容器2经由排出星形轮11转移到运输机3，运输机3将容器2作为容器质量流运输到检查单元4。运输机在这里例如被设计为在其上以直立姿态运输容器2的输送带。被布置在其上的检查单元4包括照明设备42和相机41，通过相机41在透射光中捕捉容器2。例如，照明设备42具有漫射发光盘，漫射发光盘用多个led来打背光并且因而形成从相机41看到的用于容器2的照明图像背景。然后，相机41将容器2捕捉为相机图像，相机图像被作为数字信号转发到计算机系统5。
[0044]
可替选地或附加地，可以设想，容器2在反射光中用另一照明设备捕捉。
[0045]
此外，示出了计算机系统5具有第一评估单元51、第二评估单元52和分类单元53。例如，计算机系统5包括cpu、存储器单元、输入单元、输出单元以及网络接口。因而，第一评估单元51、第二评估单元52和分类单元53被实现为计算机系统5中的计算机程序产品。
[0046]
第一评估单元51被配置成使用常规操作的图像处理方法检查相机图像的瑕疵，例如，检查填充液位和/或污染物。
[0047]
此外，分类单元53被配置成将相机图像中的表示瑕疵容器的相机图像分类为瑕疵图像，将瑕疵相应地分配给瑕疵图像作为瑕疵标记，并将相机图像中的具有被发现是良好的容器的相机图像分类为无瑕疵图像。另外，分类单元53被配置成将瑕疵图像、瑕疵标记和无瑕疵图像编译为指定训练数据集。
[0048]
第二评估单元52被配置成执行基于人工智能的图像处理方法，并用所述指定训练数据集对其进行现场训练。
[0049]
在检查期间，第一评估单元51首先捕捉容器2的相机图像，并借助分类单元53对相机图像进行分类，以便可从其中编译指定训练数据集。随后，第二评估单元52然后在饮料处理系统a中用指定训练数据集现场训练。
[0050]
随后，检查可以然后可替选地或另外在第二评估单元52的帮助下执行。因而，第二评估单元52被配置成使用基于人工智能的图像处理方法检查相机图像的瑕疵。
[0051]
无瑕疵的容器2随后被馈送到进一步的处理步骤，例如馈送到堆垛机。相反，瑕疵容器通过分流机从容器质量流中分流出来，然后再循环或处置。
[0052]
下面参考图2a至图2b更详细地描述第一评估单元51、第二评估单元52和分类单元53的操作。
[0053]
图2a至图2b示出了根据本发明的实施例的流程图，其表示用于光学检查饮料处理系统a中的容器2的方法100。仅作为示例，参考上文参考图1所述的用于光学检查的设备1描述方法100。
[0054]
首先，在步骤101中，容器2被运输机3作为容器质量流进行运输。这例如借助于输送带或转台来完成。
[0055]
在随后的步骤102中，容器2被布置在饮料处理系统中的检查单元4捕捉为相机图像。在该过程中，容器2例如被照明单元42透射照明，并被相机41捕捉为透射光中的相机图像。然而，也可设想，容器2另外或可替选地在入射光中被照明并且由相机41捕捉为相机图像。
[0056]
在步骤103中，然后由第一评估单元51使用常规操作的图像处理方法检查相机图像的瑕疵。这里的“常规操作的图像处理方法”是指没有人工智能的方法，例如，通过借助滤波器和阈值操作来评估相机图像以便检测瑕疵，诸如有瑕疵的填充液位和/或污染物。为此，例如，使用边缘滤波器以便从相机图像中滤除液体产品的表面。
[0057]
随后，在步骤104中，相机图像中的带有瑕疵容器2的相机图像然后被分类为瑕疵图像，并且相应地将瑕疵作为瑕疵标记分配给瑕疵图像。例如，填充液位和/或缺陷指示器可以作为瑕疵标记输入到瑕疵图像中，特别是其元数据中。
[0058]
此外，在步骤105中，分类单元53将相机图像中的具有被发现是良好的容器2的相机图像分类为无瑕疵图像。
[0059]
因而，瑕疵图像、瑕疵标记和无瑕疵图像随后被编译为指定训练数据集(步骤106)。
[0060]
例如，使用分类单元53来执行这些步骤104-106。
[0061]
然后，在步骤108中，第二评估单元52使用指定训练数据集用基于人工智能的图像处理方法进行现场训练。例如，用指定训练数据集训练第二评估单元的深度神经网络。
[0062]
如步骤107中所示，另外可设想，利用基于人工智能操作的图像处理方法的第二评估单元52在饮料处理系统的制造商处用其中可用的通用训练数据集预先训练。结果，可以导入饮料处理系统制造商处已经知道的容器类型和瑕疵图像，以便提前训练基于人工智能操作的图像处理方法，然后在饮料处理系统a中通过指定训练数据集现场训练。结果，在饮料处理系统处存在的指定类型的容器上进一步训练基于人工智能的图像处理方法。
[0063]
另外，在步骤109中，基于验证数据集确定第二评估单元52的识别性能。为此，验证数据集可以包括在通用训练数据集或指定训练数据集中均不存在的另外瑕疵图像、瑕疵标
记和无瑕疵图像。因此，可以确定第二评估单元是否可靠地操作。
[0064]
当在步骤110中识别性能超过预定阈值时，在步骤111中可由第二评估单元52使用基于人工智能的图像处理方法检查相机图像的瑕疵。这可以可替选地或除了第一评估单元51的评估之外完成。
[0065]
通过可替选地由第二评估单元执行评估，可能通过人工智能确保可靠的识别性能，而无需由专家对经典图像处理方法进行耗时的参数化。
[0066]
另一方面，如果另外由第一评估单元51与第二评估单元52并行地检查相机图像，则可能通过使用常规操作的图像处理方法来检测对于基于人工智能操作的图像处理方法仍未知的瑕疵。这使得可能提高评估的可靠性。由此，第一评估单元51的评估灵敏度可以被降低或设置为标准参数，以便防止误拒绝。可设想，将相机图像中的代表具有未知瑕疵的容器2的相机图像分类为进一步的瑕疵图像，并将未知瑕疵作为进一步的瑕疵标记相应地分配给进一步的瑕疵图像，其中，进一步的瑕疵图像和进一步的瑕疵标记被编译为进一步的指定训练数据集，并且其中，第二评估单元52通过使用进一步的指定训练数据集进一步利用基于人工智能操作的图像处理方法现场训练。结果，可以进一步提高利用基于人工智能操作的图像处理方法的第二评估单元52的识别性能。
[0067]
另一方面，如果在步骤110中识别性能不超过预定阈值，则根据步骤110的相机图像仍由第一评估单元51使用在常规智能基础上操作的图像处理方法检查瑕疵。在这种情况下，分类单元53可以进一步根据步骤104和105对相机图像进行分类并将进一步的瑕疵图像、瑕疵标记和无瑕疵图像添加到指定训练数据集或产生另一指定训练数据集。然后，这可根据步骤108用于进一步训练第二评估单元52，直到步骤110中的识别性能超过预定阈值。
[0068]
还可设想，以比在步骤102中用检查单元4捕捉容器和/或在步骤103中用第一评估单元51检查相机图像更低的优先级执行步骤108中的第二评估单元52的训练，以便在检查期间使用计算机系统5的未使用的资源。
[0069]
通过将具有缺陷容器2的相机图像分类为瑕疵图像，并相应地将缺陷作为瑕疵标记分配给瑕疵图像，并将具有被发现是良好的容器2的相机图像分类为无瑕疵图像，可以基于常规操作的图像处理方法提供大量的瑕疵图像和无瑕疵图像。这可以例如在具有容器类型的饮料处理系统a中完成，为此已经设置了常规操作的图像处理方法并因而特别可靠地操作。随后，从瑕疵图像、瑕疵标记和无瑕疵图像编译指定训练数据集，并且第二评估单元52因而用基于人工智能操作的图像处理方法现场训练。因此，可以最大程度地自动提供指定训练数据集，由此，方法100以特别时间有效并因而成本有效的方式操作。
[0070]
应理解，在上述实施例中提到的特征不限于这些特征组合，而是也可以单独地或以任何其它特征组合来实现。