用于识别在容器物料流中倒下的和/或损坏的容器的方法和装置与流程

1.本发明涉及一种具有权利要求1或14的前序部分的特征的用于识别在容器物料流中倒下的和/或损坏的容器的方法和装置。


背景技术：

2.在饮料加工设备中通常的是，在各个容器处理机之间的容器作为容器物料流在输送机上以直立的方式被输送。在此可能偶尔发生的是，个别的容器在输送期间倒下，并且因此不能再通过随后的容器处理机按规定地进行加工或者引起堵塞。因此，必须识别在容器物料流中倒下的容器，以便随后将其移除。也可以考虑，识别容器物料流中损坏的容器并且将其从容器物料流中移除。
3.de 201 10 686 u1公开了一种用于借助布置在其上的传感器来识别位于多轨输送机上的器具的装置。使用非接触式工作的超声波传感器作为传感器。
4.us 2017/0267462 a1公开了一种用于在传输带处进行干预的装置和方法。在此，利用传感器监控传输带，传感器例如构成为超声波传感器或激光传感器。平放的产品可以用抓取工具移除。
5.此外，在ep 2 295 156 a2中提出一种具有用于识别倒下的物品的装置的传输装置和用于对其进行控制的方法，其中利用激光扫描器光学地检测在限定的区域内的被传输的物体或物品。
6.wo 2008/116546 a2公开了一种用来监控、控制和优化用于食品、尤其是用于饮料瓶的灌装设备的方法。为了控制或监控该设备，提出了一种具有热成像相机的光电识别系统，其中在所配属的数据处理设备中应用图像分析和/或对象识别的方法。
7.已知的方法和装置的缺点是，它们是必须分别匹配于不同应用情况的单独的解决方案。例如，这通过匹配于应用情况的传感器和/或图像处理的专门的编程来实现。此外，它们通常必须精确地匹配于容器参数并且依赖于环境条件。


技术实现要素：

8.因此本发明的目的在于，提供一种用于识别在容器物料流中倒下的和/或损坏的容器的方法和装置，使得能够更简单且更灵活地替换。
9.为了实现所提出的目的，本发明提供了一种具有权利要求1的特征的用于识别在容器物料流中倒下的和/或损坏的容器的方法。本发明的有利实施方式在从属权利要求中给出。
10.由于至少一个相机检测容器物料流作为图像数据流并且图像数据流由具有深度神经网络的图像处理单元来评估，因此评估借助深度神经网络的事先学习的经验值进行，从而识别直立的和倒下的和/或损坏的容器。由于可以利用很多不同的容器类型和/或环境条件的图像对深度神经网络进行训练，因此在具体应用情况下不再需要调整图像数据流的
评估。因此，根据本发明的方法可以特别灵活地和简单地应用。此外，神经网络在此集中地针对多个不同的饮料加工设备和/或容器类型进行训练和维护。因此，根据本发明的方法不必在客户所在地麻烦地在使用专业知识的情况下在饮料加工设备投入运行或改装时进行配置。此外，利用深度神经网络进行的评估是特别可靠的。由此，该方法可以在无人值守的运行中、尤其在没有人员的夜间运行中特别可靠地被使用。此外，该方法提供了主动式的事故和人员保护的优点，因为不必由操作人员手动地将倒下的和/或损坏的容器从容器物料流中移除。这一点尤其适用，这是因为物料容器流中的容器彼此之间被施加动压，并且操作人员为了移除容器而进行的干预由于容器流的突然减少载荷而引起了事故风险，例如破碎危险以及切割风险。
11.用于识别倒下的和/或损坏的容器的方法可以在饮料加工设备中被使用。该方法可以配置在容器制造工艺、清洁工艺、填充工艺、封闭工艺和/或包装工艺之前或之后。尤其地，该方法可以被使用在从第一容器处理工艺到随后的第二容器处理工艺的输送中。
12.容器可以被设置用于容纳饮料，食品，卫生用品，膏，化学产品，生物产品和/或医药产品。容器可以被构造成瓶子，尤其是塑料瓶、玻璃瓶或(金属)罐。塑料瓶尤其可以是pet瓶、pen瓶、hd-pe瓶或pp瓶。同样，其也可以是可生物降解的容器或瓶子，其主要成分由再生原料，如甘蔗、小麦或玉米制成。可以考虑，容器设有封闭件。
[0013]“直立的容器”在此可以是指利用被设置用于输送的支承面直立在输送机上的容器。例如，支承面可以是瓶底的环形表面区域。“倒下的容器”在此可以是指利用不同于被设置用于输送的支承面的容器侧、例如利用侧表面放置在输送机上的容器。
[0014]
例如可以考虑，输送机包括传输带，容器在传输带上以直立的方式被输送到相机的检测区域中。
[0015]
输送机可以被构造为物料输送机(massentransporteur)，容器利用该物料输送机以多列的方式被输送。容器可以在物料输送机上以直立的方式被输送。因此，物料输送机可以并排地输送至少1.5个容器，优选地横向于输送方向并排地输送至少两个或更多个容器。“至少1.5个容器”在此可以是指，容器错开地和/或以至少两个彼此交叠的列被输送。多列输送可以是指在多个单独的容器列中并排的输送或者无序的输送。物料输送机可以包括传输带和两个侧向地布置在其上的栏杆，栏杆以横向于输送方向的至少1.5个容器的输送宽度间隔开。由此，容器在多列输送时利用栏杆在传输带上被引导。然而，栏杆也可以以至少两个容器或更多个容器间隔开。还可以考虑，物料输送机在两个栏杆之间包括至少一个导轨，容器利用导轨以多个单独的列被引导。传输带可以包括至少一个柔性带、履带链(gliederbandkette)和/或物料链板(massenmattenkette)。还可以考虑，传输带包括多个并排的履带链，其被单独地驱动和/或操控。由此，可以更好地掌控多列输送，或者更好地分配、增加或降低在物料输送中产生的积聚压力。传输带可以围绕两个辊循环地被支承和/或驱动。优选地，物料输送机可以包括驱动传输带的一个或多个驱动器，尤其是电动机。
[0016]
至少一个相机可以包括镜头和图像传感器，以便光电地检测容器物料流。例如，图像传感器可以包括cmos传感器或ccd传感器。可以考虑，图像传感器包括行传感器或面传感器。至少一个相机可以通过数据接口与图像处理单元连接，以便传递图像数据流。数据接口可以包括模拟或数字数据接口。
[0017]
图像处理单元可以利用信号处理器和/或利用cpu来处理图像数据流。也可以考
虑，图像处理单元为此包括存储器单元，一个或多个数据接口、例如网络接口，显示单元和/或输入单元。图像处理单元可以将图像数据流分成单独的图像，其分别单独地利用深度神经网络进行评估。也可以考虑，图像处理单元利用图像处理算法、尤其是过滤等来评估图像数据流。
[0018]
深度神经网络可以包括输入层、输出层和至少两个位于其间的隐藏层。输出层可以通过至少两个隐藏层与输入层连接。可以将图像数据流、尤其是图像数据流的图像供应给输入层。利用输出层可以输出信号，以便针对每个容器给出其是否直立或其是否倒下和/或其是否损坏的概率。此外，利用输出层可以输出相应的容器位于输送机上的哪个位置的信号。也可以考虑，利用输出层输出容器分别如何定向的信号。输入层、至少两个隐藏层和/或输出层可以分别包括神经节点和/或可以通过神经连接彼此连接。
[0019]
深度神经网络可以利用具有直立的和倒下的和/或损坏的容器的图像的训练数据组来训练，使得深度神经网络借助训练数据组来开发模型，以便将容器物料流的直立的的容器和倒下的和/或损坏的容器彼此区分开。由此，深度神经网络可以利用大量不同的情况来训练，使得评估尽可能地与容器类型和/或环境影响无关。例如，训练数据组可以包括具有不同的大小、取向或位置的容器的图像。训练数据组的图像可以利用至少一个相机拍摄。可以考虑，这在测试设备中或者直接在饮料加工设备的使用者所在地进行。也可以考虑，在饮料加工设备的制造商处设立具有直立的和倒下的和/或损坏的容器的图像的数据库，以便由此将这些图像与训练数据组一起使用。
[0020]
可以考虑，训练数据组包括来自饮料制造商的饮料加工设备的容器物料流的图像，并且将该训练数据组传递给饮料加工设备的制造商(例如通过互联网)，并且然后在制造商处利用训练数据组训练深度神经网络。由此，深度神经网络可以集中地由专家训练和/或检验。
[0021]
训练数据组可以包括具有不同的容器类型的直立的容器和倒下和/或损坏的容器的图像。由此，深度神经网络可以特别好地针对不同的容器类型进行训练。
[0022]
还可以考虑，训练数据组的图像中的至少一个图像包括不同容器类型的组合。由此，也可以特别可靠地识别和定位容器物料流中不同种类的容器类型。
[0023]
训练数据组可以包括具有不同环境条件、尤其是照明条件的、直立的容器和倒下的和/或损坏的容器的图像。由此，倒下的和/或损坏的容器可以与环境条件无关地特别好地被识别。可以考虑，训练数据组包括具有不同的太阳位置、照明强度等的图像。
[0024]
在训练数据组的图像中和/或在图像的元数据中可以尤其是通过至少一个围绕框(有界框)标注直立的容器和/或倒下的和/或损坏的容器。由此，可以向深度神经网络提供关于直立的容器和/或倒下的和/或损坏的容器的特别多的信息。此外利用围绕框可以实现，在训练数据组中包含描述直立的容器和/或倒下的和/或损坏的容器的定向和方位的信息。
[0025]
训练数据组的图像可以被自动地复制，以便创建具有直立的容器和倒下的和/或损坏的容器的附加组合的其他图像。由此，可以显著降低在创建训练数据组时的耗费。可以考虑，在复制时创建分别具有直立的容器或倒下的和/或损坏的容器的图像片段。图像片段可以来自原始数据组。可以考虑，在复制时将图像片段单独地旋转和/或放大。也可以考虑，在复制期间在图像片段中改变至少一个曝光参数。随后可以将图像片段重新合并成训练数
据组的图像。由此可以通过少量原始图像提供训练数据组的非常多的不同的图像。曝光参数可以是指图像片段的亮度和/或对比度。
[0026]
在由深度神经网络识别和定位之后，尤其是利用抓臂或利用筛选器(weiche)，可以将倒下的和/或损坏的容器与容器物料流的以直立的方式输送的容器自动分开。由此，可以在不中断容器物料流的情况下将倒下的和/或损坏的容器从输送机移除。抓臂例如可以是具有抓取工具的机器人。
[0027]
可以考虑，连续地检测图像数据流并且借助滑动时间窗口(schiebefenster)将该图像数据流划分成单独的图像，其中随后利用深度神经网络来评估单独的图像。由此可以特别简单地提供图像数据流以通过深度神经网络进行处理。在这种情况下可以考虑，相机构造为行相机，利用行相机连续地检测容器物料流。滑动时间窗口在此可以是指滑动时间窗口算法。换言之，滑动时间窗口可以是图像数据流的图像区域，其持续地以固定的步幅移动。
[0028]
此外，为了实现所提出的目的，本发明提供一种具有权利要求14的特征的用于识别在容器物料流中倒下的和/或损坏的容器的装置。本发明的有利的实施方式在从属权利要求中给出。
[0029]
由于至少一个相机检测容器物料流作为图像数据流并且图像处理单元包括用于评估图像数据流的深度神经网络，因此评估借助深度神经网络的事先学习的经验值进行，从而识别直立的和倒下的和/或损坏的容器。由于可以利用很多不同的容器类型和/或环境条件的图像对深度神经网络进行训练，因此在具体应用情况下不再需要调整图像数据流的评估。因此，根据本发明的方法可以特别灵活地且简单地应用。此外，利用深度神经网络进行的评估是特别可靠的。由此，该方法可以在无人值守的运行中、尤其在没有人员的夜间运行中特别可靠地使用。此外，该装置提供了主动式的事故和人身保护的优点，因为不必由操作人员手动地将倒下的和/或损坏的容器从容器物料流中移除。这一点尤其适用，这是因为物料容器流中的容器彼此之间被施加动压，并且操作人员为了移除容器而进行的干预由于容器流的突然减少载荷而引起了事故风险，例如破碎危险以及切割危险。
[0030]
用于识别在容器物料流中倒下的和/或损坏的容器的装置可以布置在饮料加工设备中。可以考虑，至少一个容器处理机布置在输送机的上游和/或下游。换句话说，输送机可以将两个容器处理机彼此连接。
[0031]
装置能够包括之前关于方法描述的、尤其根据权利要求1至13中任一项所述的、单独的或者根据本发明的精神任意组合的特征。
[0032]
图像处理单元可以包括具有机器指令的存储介质，当机器指令由图像处理单元执行时，机器指令利用深度神经网络评估图像数据流。换言之，图像处理单元可以包括深度神经网络。可以考虑，存储介质包括机器指令，利用该机器指令可以至少部分地执行之前所描述的方法。尤其地，机器指令可以执行该方法的利用图像处理单元和/或利用深度神经网络执行的那些部分。
附图说明
[0033]
下面借助在附图中示出的实施例详细阐述本发明的其他特征和优点。
[0034]
其中：
[0035]
图1以俯视图示出了根据本发明的用于识别在容器物料流中倒下的容器的装置的实施例；
[0036]
图2示出了由图1中的相机输出的图像数据流的两个示例性图像；
[0037]
图3以流程图示出了根据本发明的用于识别倒下的容器的方法的实施例；
[0038]
图4示出了图3中的用于训练深度神经网络的方法的子部分的实施例；以及
[0039]
图5示出了图3中的用于利用深度神经网络评估图像数据流的方法的子部分的实施例。
具体实施方式
[0040]
在图1中以俯视图示出了根据本发明的用于识别在容器物料流m中倒下的容器3的装置1的实施例。可以看到输送机5，输送机在此示例性地构造为传输带并且容器物料流的容器2、3在该输送机上沿方向r被输送。输送机5主要被构造用于以直立的方式输送容器2。然而也可以看到一些倒下的容器3，这些容器例如由于振动或在引导容器时倒下。也可以考虑，装置替代地或附加地被构造成识别损坏的容器。因为倒下的和/或损坏的容器3在随后的容器处理机之前没有按规定被加工或者可能引起堵塞，所以必须识别它们并且将它们从输送机5移除。
[0041]
还可以看出，输送机5被构造为物料输送机，容器2利用物料输送机以多列的方式被输送。在该实施例中，容器2被无序地并排输送。为此，输送机5横向于方向r(输送方向)在两侧包括两个未详细示出的栏杆，容器2借助栏杆侧向地被引导。此外，输送机5包括由驱动器驱动的传输带，例如履带链和/或物料链板。在这种物料输送机上，倒下的容器3对其他容器2的流动具有特别的干扰作用，并且因此必须被识别。这尤其适用于容器到达位于容器流下游的容器处理机之前。
[0042]
为此，相机6布置在输送机5处，相机从斜上方检测直立的容器2和倒下的容器3。相机6的布置在此仅示例性地示出。也可以考虑，设有多个相机，该相机从斜上方沿相同的方向或沿相反的方向观察。也可以考虑，布置成直接从上方垂直于输送机5的输送表面。
[0043]
相机6因此检测容器物料流m作为图像数据流，并且借助数据接口8将该图像数据流传递至图像处理单元7，以便利用神经网络71评估图像数据流。
[0044]
图像处理单元7为此包括具有机器指令的存储介质，该机器指令在其利用图像处理单元7被执行时利用深度神经网络71评估图像数据流。
[0045]
神经网络71被配置用于识别和定位倒下的容器3。基于评估，倒下的容器3然后可以利用这里未示出的筛选器或借助抓臂从输送机5移除。
[0046]
在图2中示出了由图1中的相机6输出的图像数据流的两个示例性的图像11和12。
[0047]
可以考虑，相机6包括面传感器，利用该面传感器分别在某个时刻面式地检测图像11、12。替代地可以考虑，相机6包括行传感器，利用行传感器连续地检测图像数据流并且借助滑动时间窗口将图像数据流划分成各个图像11、12，其中各个图像11、12随后利用深度神经网络71来评估。
[0048]
此外，在图像11、12中可以识别出，在通过深度神经网络71进行评估之后，直立的容器2分别利用围绕框21来标注。此外，倒下的容器3也利用另一围绕框31来标注，该围绕框一方面标记倒下的容器并且另一方面给出其方位和定向。由此，基于该信息可以将倒下的
容器3在输送机5上的精确位置作为信号输出，或者倒下的容器3直至在此未示出的筛选器通过信号技术被跟踪并且被自动地分拣出来。
[0049]
在图3中以流程图示出了根据本发明的用于识别倒下的容器3的方法100的实施例。可以看出，在步骤110中，首先利用具有直立的和倒下的容器的图像的训练数据组来训练深度神经网络，使得深度神经网络借助训练数据组开发模型。借助该模型，深度神经网络然后可以在运行中识别什么是直立的容器以及什么是倒下的容器。
[0050]
借助倒下的容器3更详细地描述该方法100。可以考虑，方法100替代地或附加地用于识别损坏的容器。相应地，在训练数据组中训练在此未详细示出的损坏的容器。这些容器可能具有变形以及表示为破碎的容器。
[0051]
可以从一套大于1000、优选大于5000并且特别优选大于10000个图像中获得训练数据组。
[0052]
在步骤120中，容器物料流的容器2在输送机5上以直立的方式被输送。在此可能偶尔发生，容器2中的一个倒下并且然后作为倒下的容器3位于输送机5上。
[0053]
为了识别倒下的容器3，首先利用至少一个相机6检测容器物料流m作为图像数据流(步骤130)，该图像数据流随后由具有深度神经网络71的图像处理单元7来评估(步骤140)。
[0054]
在识别和定位之后，例如利用抓臂或利用筛选器，将倒下的容器3与容器物料流的以直立的方式输送的容器2自动分开(步骤150)。
[0055]
在图4中以流程图更详细地示出了图3中的用于训练深度神经网络110的方法100的子部分110的实施例。
[0056]
首先在步骤111中，检测不同容器类型的和/或不同照明条件的图像。例如可以考虑，这在测试设备上进行，或者将不同饮料加工设备的容器物料流m的图像收集在数据库中。
[0057]
随后，在步骤112中将图像缩放至标准尺寸。因此，图像可以被统一地评估。
[0058]
在步骤113中，将倒下的和直立的容器3、2标记和分类。这可以手动地、半自动地或自动地进行。例如，这可以手动地由操作人员在屏幕处实现或者利用计算方面特别密集的图像处理算法来实现。标记例如可以是围绕框，而分类可以是容器类型或容器大小。
[0059]
随后在步骤114中，自动地复制图像，以便创建具有直立的和倒下的容器2、3的附加组合的其他图像。在此，首先创建分别具有直立的或倒下的容器2、3的图像片段，然后为了复制而单独地旋转和/或放大该图像片段。也可以考虑，在复制期间改变图像片段的曝光参数。随后，图像片段可以以很多不同的组合被合并成其他图像，然后在步骤115中由该其他图像创建训练数据组。
[0060]
在随后的步骤116中，借助深度神经网络71自动地提取特征。在此，例如使用训练数据组的多级过滤方法。可以考虑，在此使用边缘过滤器等，以便提取每个单独的容器2、3的外边界。
[0061]
特征的提取在此通常可以是指用于识别和/或定位在训练数据组的图像中倒下的容器3相对于直立的容器2的区别特征的方法。作为利用深度神经网络71的自动提取的替代方案，这也可以由操作人员手动地进行。例如，所提取的特征可以包括容器封闭件、直立的或倒下的容器2、3的轮廓、容器标签和/或光反射。所提取的特征可以分别包括特征分类、2d
和/或3d坐标。
[0062]
随后，在步骤117中，利用训练数据组来训练深度神经网络71。在此，为深度神经网络71迭代地预先给定具有倒下的和直立的容器2、3的所提取的特征以及所属的标记和分类的训练数据组的图像。由此在步骤118中，深度神经网络71开发用其可以识别倒下的和直立的容器2、3的模型。
[0063]
在随后的步骤119中，然后可以借助训练数据组在未预先给定标记和分类的情况下验证模型。在此比较，深度神经网络71是否实际上在训练数据组中识别之前预先给定的标记和分类。同样地，对此可以考虑具有倒下的和直立的容器3、2的并未对深度神经网络71进行训练的其他图像。
[0064]
在图5中以流程图更详细地示出了图3中的用于利用深度神经网络71评估图像数据流的方法100的子步骤140。
[0065]
可以看出，图1中的图像数据流的图像首先被缩放。由此，评估不依赖于相机的实际配置进行工作。
[0066]
随后在步骤142中提取特征。这以与在参照图4的步骤116中所描述的相同的方式和方法进行。
[0067]
随后在步骤143中，深度神经网络识别相应容器2、3的定向和方位，并且给出该容器2、3在输送机5上以平放或直立的方式被输送的概率。
[0068]
随后在步骤144中，该信息可视化并且根据图2在屏幕处被输出。由此，操作人员可以检查识别是否按规定运行。
[0069]
此外在步骤145中，在容器3倒下的情况下输出信号，以便例如利用筛选器或抓臂将该容器从输送机5移除。
[0070]
通过利用至少一个相机6检测容器物料流m作为图像数据流并且图像数据流由具有深度神经网络71的图像处理单元7来评估，图像数据流的图像可以借助深度神经网络71的事先学习的经验值被评估，以便分别对直立的和倒下的容器2、3进行分类。由于可以利用很多不同的容器类型和/或环境条件的图像对深度神经网络71进行训练，因此在具体应用情况下不再需要调整图像数据流的评估。因此，根据本发明的方法可以特别灵活地且简单地应用。
[0071]
不言而喻，在之前描述的实施例中提到的特征并不限于这种组合，而是能单独地或以任意的其他组合的方式实现。