用于堆料分选的神经网络的制作方法

1.本发明涉及分选领域。更具体地，本发明涉及由卷积神经网络(cnn)辅助的堆料分选。


背景技术：

2.分选是一个热门的研究领域，涉及回收、采矿或食品加工等领域。对于实施回收，分选技术用于将垃圾混合物分选到正确的回收箱中。随着技术的发展，这种分选可能会比以前更准确、更快。
3.存在使用机器学习系统对单个物体流进行分选的技术，如us2018/243800aa中所示。机器学习系统允许准确识别正在分选的物体。然而，这种技术的速度很慢，因为它们一次只能处理一个物体流。材料表征和分段技术的其他示例可在us 2019/130560 a1和matthieu grard等作于2018年的“object segmentation in depth maps with one user click and a synthetically trained fully convolutional network”中找到。
4.当前的分选器分离个体的颗粒。它们需要仔细准备进料，以便检测和测量个体颗粒，喷射通常通过压缩空气的吹射来实现。因此，目前的分选器容量非常低(对于较大的颗粒，高达300吨/小时，对于较小的颗粒，低得多)，这使得它们无法用于更高吨位的预浓缩或所谓的堆料分选。堆料分选所需的分选速度和吞吐量与待分选物体的大小直接相关。一般来说，较大和较小物体的分选速度和吞吐量差异很大，很大程度上取决于特定的应用，应用可包括食品、纸张、木材、塑料和矿物分选应用。
5.为了使分选适用于所有预浓缩，应将其应用于批量物体，如装载的卡车托盘或满载的传送带上。
6.因此，在这方面需要改进。


技术实现要素：

7.因此，本发明致力于解决上述问题中的至少一些，并消除或至少减轻现有技术系统的一些缺点。现在，通过所附独立权利要求中阐述的新技术实现了根据本发明的该目的；优选实施例在相关从属权利要求中定义。
8.本发明的另一个目的是提供一种能够分选堆料中的物体的分选系统。根据第一方面，本发明的上述和其他目的全部或部分地通过用于分选堆料中的物体的堆料分选系统实现。该系统包括：至少一个辐射源，其被布置成辐射所述物体；至少一个光学传感器，其被布置成捕获物体的反射辐射，并获取反射辐射作为多光谱或超光谱数据；处理电路，其被配置为通过将多光谱或超光谱数据输入到具有至少两个卷积层的卷积神经网络(cnn)中来分析物体的反射辐射，以便在多光谱或超光谱数据中检测和分类物体和/或语义分段多光谱或超光谱数据；以及机械分选器，其被配置为使用所述处理电路的分析结果来分选物体。
9.这对可以识别和相应地处理之前的问题是有益的，例如物体相互重叠叠放，从而阻挡传感器数据。与用于堆料分选的已知分选系统相比，具有至少两个卷积层的cnn可以有
利地被训练从而以改进的方式处理这种类型的多光谱或超光谱数据。利用cnn的检测、分类和/或语义分段允许对重叠的物体执行物体处理，与传统处理方法相比，这可能会提高分选器每小时的吞吐量。
10.在一个实施例中，至少一个光学传感器包括布置成扫描物体的近红外扫描仪，其中多光谱或超光谱数据包括扫描数据。
11.nir扫描仪的好处在于，可以从测量的物体的nir吸收中提取许多独特的信息。
12.在一个实施例中，至少一个光学传感器包括图像传感器，图像传感器被布置成捕获物体的图像数据，其中多光谱或超光谱数据包括图像数据。
13.图像传感器的优点在于，存在用于图像数据的许多图像处理算法，例如物体识别或图像分段。此外，cnn通常非常适合分析图像数据。
14.在一个实施例中，至少一个光学传感器包括被布置成扫描物体的超光谱相机，其中多光谱或超光谱数据包括扫描数据。
15.超光谱相机的好处在于，它是一种收集大量数据以供cnn使用的有效方法。
16.在一个实施例中，至少一个光学传感器包括被布置成测量物体的三维数据的激光三角仪，其中多光谱或超光谱数据包括三维数据，其中三维数据的测量可包括激光高度强度扫描。
17.激光三角仪的好处在于，它允许进行精确的3d测量，这有利于cnn的分析。
18.在一个实施例中，该系统还包括电磁检测器，其被布置成测量物体的电磁特性，其中，处理电路进一步配置为通过将测量的电磁特性输入到cnn来分析电磁特性，以便在多光谱或超光谱数据中检测和分类物体和/或对多光谱或超光谱数据进行语义分段。
19.电磁检测器的好处在于，利用电磁特性对某些类型的物体(如金属和绝缘体)进行更精确的分类。
20.在一个实施例中，至少一个光学传感器包括激光扫描仪，该激光扫描仪具有旋转多边形镜，该旋转多边形镜被布置成测量物体的激光散射和/或防散射特性；其中，多光谱或超光谱数据包括激光散射和/或防散射特性。
21.激光扫描仪的好处在于，可以从测量的物体的激光散射和/或防散射特性中提取许多独特的信息。旋转多边形反射镜允许在没有定目标的情况下在不同方向上测量多个物体和散射特性。
22.在一个实施例中，至少一个光学传感器包括脉冲led发射器，其被布置成测量物体的光防散射特性；其中，多光谱或超光谱数据包括光防散射特性。
23.led发射器的好处在于，它们几乎不需要维护和校准，产生的热量也相对较少。从测量的物体的光防散射特性中可以提取出许多独特的信息。
24.在一个实施例中，至少一个光学传感器包括x射线相机，其被布置成测量物体的x射线透射；其中，多光谱或超光谱数据分别包括物体的x射线透射。
25.x射线相机的好处在于可以一次测量不同的特性。物体对x射线辐射的介电常数可能表明它们的原子密度和/或厚度。x射线荧光的结果是关于元素存在及其浓度的信息。
26.在一个实施例中，该系统还包括传送带，使用传送带沿至少一个光学传感器的检测范围将物体传送到机械分选器。
27.传送带的好处在于，它允许物体稳定、快速和可预测的运动。传送带的替代选择是
滑道。
28.在一个实施例中，机械分选器进一步被配置为将物体分离成至少两个流和/或从堆料(bulk)中喷射出不想要的物体。
29.物体的分离的益处在于，可能需要从堆料中分离出几组物体。喷射出不想要的物体的益处在于喷射出堆料中干扰未来的处理的常见的不想要的物体。
30.在一个实施例中，机械分选器包括至少一个阀门，该阀门被布置成喷射至少一股气流，至少一股气流将物体推到期望位置。
31.至少一个阀门的益处在于，其是一种节能且精确的推动物体的方式。阀门优选地是电磁阀，因为它们具有相对较短的切换时间和相对较高的吞吐量性能。
32.在一个实施例中，机械分选器包括至少一个机械抛掷器，其被布置成将物体抛掷到期望位置。
33.至少一个机械抛掷器的益处在于，其是以一种节能和强有力的方式来推动物体。抛掷器优选地是气动的。
34.在一个实施例中，机械分选器被布置成在物体沿着传送带移动、沿着滑道移动或自由下落时对其进行分选。
35.移动时分选的益处在于，其在速度方面是有效的。分选器可布置在传送带附近，并布置成在与传送带运动方向垂直的方向上移动物体。滑道或自由落体可布置在传送带的一端或沿传送带的边缘布置。优选的是，机械分选器能够快速反应，因为在本实施例中，物体的速度相对难以预测和控制。在一个实施例中，对于小颗粒，机械分选器的激活精度小于1ms，对于较大颗粒，例如瓶子，其激活精度小于10ms。
36.在一个实施例中，机械分选器被布置成对物体进行分选，使得由处理电路的分析得出的不同重叠和/或堆叠的物体被分离。
37.分离重叠和/或堆叠物体的益处在于，尽管存在重叠和/或堆叠，但不同的物体可能被不同地对待，这提高了分选的准确性和产率。
38.在一个实施例中，机械分选器被布置为对物体进行分选，使得处理电路的分析得出的不同重叠和/或堆叠物体被视为单个物体组。
39.重叠和/或堆叠物体的分组的益处在于，可能很难将它们分开，尤其是在某些机械分选器上。
40.在一个实施例中，重叠和/或堆叠的物体被视为单个物体组，其中对于至少包括第一物体类型和第二物体类型的物体组，机械分选器被配置为基于堆料分选系统中的偏好将物体组分为第一物体类型或第二物体类型。
41.将组分选为单个物体类型的益处在于，根据具体实施例，确保不喷射出任何想要的材料或不保留任何不想要的材料可能更有价值。在第一种情况下，组将被分类为想要的物体类型，在第二种情况下，组将被分类为不想要的物体类型。
42.在一个实施例中，机械分选器被布置成以处理电路的分析得出的物体的重心或边界为目标。
43.目标式机械分选的好处在于，它使机械分选器的效率更高，例如，使用的阀门或抛掷器更少，物体在不旋转的情况下移动，这提高了精确度，降低了能耗。例如，如果目标更明确，三分之一的机械分选器可用于相同的结果。
44.取决于待分选物体的大小，以0.4
–
20m/s的速度和0.5
–
30吨/小时的吞吐量进行物体分选的准确度高于80％，优选高于90％，单级吞吐量高于95％，优选地利用可通过本技术的分选系统和方法实现的级联分选系统时高于99％。
45.在一个实施例中，cnn包括至少两个池层。
46.池层的好处在于，其通过对数据进行下采样来减小神经网络的大小，从而使cnn更高效。cnn可以具有任意数量的池层，包括3、5、10、20、100、250等。
47.在一个实施例中，该系统还包括对分类和/或分段的多光谱或超光谱数据进行后处理，以在进行分选之前配置机械分选器。
48.后处理的益处在于，其允许将输出转换为机械分选器可能更容易理解的内容。这可能包括在对与分类和/或分段的多光谱或超光谱数据相对应的物体进行分选之前创建用于机械分选器的配置指令。
49.在一个实施例中，处理电路进一步配置为将多光谱或超光谱数据的至少一部分输入到模式识别算法；其中，cnn和模式识别算法的结果由机械分选器用于对物体进行分选。
50.模式识别的益处在于，其被良好地建立，从而可以提高cnn的结果。模式识别也不需要任何训练，可以相对较快地完成，在cnn不可用或速度太慢是，其可以使用。这种混合计算具有意想不到的协同效益，因为不同的分析方法可以获得不同的信息。
51.根据第二方面，本发明的上述和其他目的全部或部分地通过用于分选堆料中的物体的方法实现。该方法包括以下步骤：使用至少一个辐射源辐射物体；使用至少一个光学传感器捕获物体的反射辐射；获取反射辐射作为多光谱或超光谱数据；通过将多光谱或超光谱数据输入到具有至少两个卷积层的卷积神经网络(cnn)中来分析物体的反射辐射，以便在多光谱或超光谱数据中检测和分类物体和/或语义分段多光谱或超光谱数据；通过机械分选器，利用分析步骤的结果对物体进行分选。
52.益处在于，可以相应地识别和处理之前的问题，例如物体相互重叠叠放，从而阻碍传感器数据。cnn的检测、分类和/或语义分段允许对重叠的物体执行物体处理，与传统处理方法相比，这实现了分选器的更高的每小时吞吐量。与传统处理方法相比，分选器每小时的吞吐量至少可增加50％。根据待分选物体的大小，可实现0.4
–
20m/s的速度和0.5
–
30吨/小时的吞吐量的物体分选。
53.在一个实施例中，该方法还包括对分类和/或分段的多光谱或超光谱数据进行后处理以在分选步骤之前配置机械分选器的步骤。
54.后处理步骤的益处在于，其允许将输出转换为机械分选器可能更容易理解的内容。这可能包括在与分类和/或分段的多光谱或超光谱数据对应的物体的分选步骤之前创建用于机械分选器的配置指令。
55.本发明的其他目的、特征和优点将从以下详细公开、所附权利要求以及附图中呈现。注意，本发明涉及特征的所有可能组合。
56.应当强调的是，当在本说明书中使用术语“包括/包含”时，该术语用于指定特征、整体、步骤或组件的存在，但不排除一个或多个其他特征、整体、步骤、组件或其组的存在或添加。除非本文另有明确定义，权利要求书中使用的所有术语均应根据其在技术领域中的一般含义进行解释。除非另有明确说明，否则对“一/一个/该[元素、装置、组件、手段、步骤等]的所有引用应公开解释为指元素、装置、组件、手段、步骤等的至少一个情况。
附图说明
[0057]
作为示例，现在将参考附图描述本发明的实施例，其中：
[0058]
图1示出了根据实施例的堆料分选系统；
[0059]
图2示出了根据实施例的堆料分选系统；
[0060]
图3a示出了根据实施例的物体检测的结果；
[0061]
图3b示出了根据实施例的语义分段的结果；
[0062]
图4示出了根据实施例的机械分选器；
[0063]
图5a示出了根据实施例的包括近红外扫描仪和图像传感器的堆料分选系统；
[0064]
图5b示出了根据实施例的包括激光三角仪和电磁检测器的堆料分选系统；
[0065]
图6a示出了根据实施例的包括激光扫描仪、脉冲led发射器和x射线相机的堆料分选系统；
[0066]
图6b示出了根据实施例的包括超光谱相机的堆料分选系统；
[0067]
图7示出了根据实施例的处理电路的操作的流程图；
[0068]
图8示出了根据实施例的处理电路的混合操作的流程图；
[0069]
图9示出了根据实施例的使用两个计算单元的处理电路的混合操作的流程图；以及
[0070]
图10示出了根据实施例的用于分选堆料中的物体的方法的流程图。
具体实施方式
[0071]
现在将参考附图描述本发明的实施例。然而，本发明可以以许多不同的形式体现，并且不应被解释为限于本文的实施例。相反，提供这些实施例使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本发明的范围。附图中所示的特定实施例的详细描述中使用的术语无意限制本发明。在图纸中，相似的数字指的是相似的元素。
[0072]
从图1和图2开始，显示了堆料分选系统，其中图2显示了与图1所示的堆料分选系统相同的堆料分选系统的更详细示例。系统配置为对堆料中的物体1进行分选。堆料中的物体1可以包括在空间上随机分散的相对大量的物体1。堆料中的物体1传统上不是单个流，而是未分选的集合，其中的物体1可能会重叠。传统上，堆料分选的目的是将一组或多组特定的物体1与其他物体1分开，即某些物体是想要的，而其他物体是不想要的。一个示例是将塑料与其他类型的垃圾分开，以便可以回收利用塑料。
[0073]
该系统包括至少一个辐射源10，该辐射源10被布置成辐射物体1。辐射源10可以是led、灯泡、激光器、x射线发射器和/或任何其他合适的辐射源。辐射源10可以被布置为不同的单元，如环境照明和/或向不同方向辐射。
[0074]
该系统还包括至少一个光学传感器12，其被布置成捕获物体1的反射辐射22，并获取反射辐射22作为多光谱或超光谱数据24。多光谱数据24可以是多维图像，其中每个像素或等效物(例如超级像素或像素分组)包括具有窄或宽光谱(数量级100-1000nm)的几个频带(数量级1-10)。超光谱数据24可以是多维图像，其中每个像素或等效物(例如超级像素或像素分组)包括具有窄光谱(数量级1-50nm)的多个频带(数量级4-500)。
[0075]
该系统还包括处理电路16，其被配置为通过将多光谱或超光谱数据24输入到具有至少两个卷积层的卷积神经网络(cnn)18来分析物体1的反射辐射22，以便在多光谱或超光
谱数据24中检测和分类物体1和/或语义分段多光谱或超光谱数据24。可以使用多于两个的卷积层，例如3、5、10、20、100、250等。
[0076]
处理电路16被配置为执行堆料分选系统的操作和功能。操作可能是堆料分选系统的主要过程，而功能可能是构成操作的一部分。因此，每个功能都可以是操作的子过程。
[0077]
处理电路16可以包括处理器，例如中央处理单元(cpu)、微控制器、微处理器、现场可编程门阵列(fpga)、图形卡或用于cnn的特殊硬件。处理电路16被配置为执行存储在存储器中的程序代码，以便执行堆料分选系统的操作和功能。
[0078]
堆料分选系统的操作和功能可以以可执行逻辑例程(例如，代码行、软件程序等)的形式体现，这些可执行逻辑例程存储在堆料分选系统的非瞬态计算机可读介质(例如，存储器)上，并由处理电路16(例如，使用处理器)执行。此外，堆料分选系统的操作和功能可以是独立的软件应用程序，也可以形成执行与堆料分选系统相关的附加任务的软件应用的一部分。所描述的操作和功能可以被认为是相应装置被配置以执行的方法。此外，虽然所描述的操作和功能可以在软件中实现，但这种功能也可以通过专用硬件或固件，或硬件、固件和/或软件的某种组合来实现。
[0079]
cnn 18是具有至少两个卷积层的神经网络。神经网络18具有多光谱或超光谱数据24的输入和多光谱或超光谱数据24的输出，多光谱或超光谱数据24的输出具有被检测且被分类和/或被语义分段的物体。输出的示例可在图3a至图3b中看到。
[0080]
cnn 18还可以包括至少两个池层。池层通过向下采样数据来减小神经网络的大小。这使得cnn 18更加高效。
[0081]
在多光谱或超光谱数据24中检测和分类物体包括使用cnn 18(可选地结合预处理，参见下文)将多光谱或超光谱数据24的不同部分分类为不同物体1。可以进一步分析物体1并将其分类为不同的集合，例如基于最有可能制成物体1的材料。不同的集合还可以被识别为想要的或不想要的，以便实现堆料分选，例如喷射出不想要的物体1。
[0082]
对多光谱或超光谱数据24中的物体进行语义分段包括使用cnn对多光谱或超光谱数据24的每个像素进行分类。分类可包括分成不同集合，例如基于最有可能构成像素的材料。可以进一步(由cnn 18或结合预处理，参见下文)将不同的集合识别为想要的或不想要的，以实现堆料分选，例如喷射出不想要的物体1。
[0083]
图3a显示了具有检测和分类的物体的多光谱或超光谱数据。检测显示为围住物体的框，分类显示为物体的图案。检测到的物体分为两组，想要的和不想要的。不想要的一组显示为带虚线框的线条图案，想要的一组显示为实线框的带点图案。
[0084]
图3b显示了具有语义分段的物体的多光谱或超光谱数据。根据cnn，每个像素或等效物被分选为一组，例如基于物体的材料。背景像素或等同物被归类为此类，并被机械分选器忽略。每个物体都被分段，并给出不同的图案。这些图案可能对应于类别。有些物体是重叠的，cnn设法将它们区分为不同的物体，并赋予它们不同的图案。可指示机械分选器将其作为不同物体或单个物体组进行处理，并对其进行相应分类。
[0085]
该系统还包括机械分选器，该机械分选器被配置为使用处理电路的分析结果来分选物体。机械分选器可以是至少一个阀门、机械抛掷器(kicker)、机械臂或能够机械移动物体的任何其他合适装置。
[0086]
至少一个阀被布置成喷射将物体推到期望位置的至少一股气流。期望位置可以是
堆料的不同部分、沿着至少一个阀门的方向布置的滑道或容器，或者仅仅是堆料分选系统的。至少一个阀优选为电磁阀，因为它们具有相对较短的切换时间和相对较高的吞吐量性能。
[0087]
阀门可以布置成阵列，阀门之间的距离为从毫米到厘米的数量级。在一个实施例中，堆料分选系统每米至少包括10个阀门。在其他实施例中，每米使用超过10个(例如12、15、20、100、250等)阀门。根据cnn识别的物体大小和/或重量，一次可以激活多个阀门。
[0088]
至少一个机械抛掷器被布置成将物体抛掷到期望位置。期望位置可以是堆料中的不同部分、沿着至少一个机械抛掷器的方向布置的滑道或容器，或者仅仅是堆料分选系统的。抛掷器可以是机电、气动、弹簧加载和/或液压的，其中抛掷器优选是气动的。在一个实施例中，堆料分选系统包括每米至少10个抛掷器。在其他实施例中，每米使用超过10个(例如12、15、20、100、250等)抛掷器。
[0089]
使用处理电路的分析结果对物体进行分选。这可包括将机械分选器引导至cnn识别的物体。这还可以包括根据物体所属的集合对物体进行分选，该集合由cnn识别。
[0090]
机械分选器可被配置为将物体分离成至少两个流。这允许堆料分选系统将堆料中的物体分选成几个流，其中每个流例如可以包括一组特定的物体。例如，批量垃圾可被分选为塑料流、金属流和其他材料流，其中每条流被引导或输送到不同的地方。该系统可用于以类似方式对食品和采矿材料进行堆料分选。
[0091]
机械分选器可被配置为喷射出堆料中不想要的物体。这允许堆料分选系统从堆料中喷射出不想要的物体。喷射出的物体可以被分选到特定的容器中，也可以从其他物体中移除。
[0092]
图4显示了机械分选器的实施例，该分选器包括阀阵列21和一个机械抛掷器23。该阵列的多个阀布置在滑道25的对面。滑道用于将一组特定的物体与其他物体分开。当cnn对此类物体进行分类时，处理电路可被配置为在分类的物体经过阀门时指示滑道对面的数个阀门激活，该数量与cnn识别的或使用cnn输出的物体的大小和/或重量成比例。
[0093]
布置该机械分选器的机械抛掷器以使得，如果任何不想要的物体太大和/或太重以致无法通过阀门阵列移动，则在移动到机械分选器以外之前，它们可能会被机械抛掷器喷射出。
[0094]
堆料分选系统还可以包括使用传送带28沿着至少一个光学传感器的检测范围将物体输送到机械分选器。物体可以以任意多种方式传送，例如布朗运动、流体传送或气流传送，然而发明人发现传送带是最有效的，并且不会干扰光学测量或分选。传送带的速度可以约为2.5-3m/s。
[0095]
其他实施例将喷射器放置在放置滑道的同一侧，或者以自由落体或者使用用于在检测和喷射之间运输材料的传送带进行分选。
[0096]
机械分选器可用于在物体沿传送带移动时对其进行分选。分选器可布置在传送带附近，并布置成在垂直于传送带运动方向的方向上移动物体。
[0097]
机械分选器可用于在物体沿着滑道移动或自由下落时对其进行分选。滑道或自由落体可布置在传送带的一端或沿传送带的边缘布置。优选的是，机械分选器能够快速反应，因为在本实施例中，物体的速度相对难以预测和控制。在一个实施例中，对于小颗粒，机械分选器的激活精度小于1ms，对于较大颗粒，例如瓶子，其激活精度小于10ms。例如，分选可
包括将物体移动到期望位置，以便想要的物体与不想要的物体滑落或落入不同的容器中。
[0098]
机械分选器可被布置为对物体进行分选，从而分离处理电路的分析得出的不同重叠和/或堆叠物体。由于堆料分选通常不包括任何预分选，因此重叠和/或堆叠物体是可能的，而且非常常见。处理电路可以识别这些物体，优选地使用cnn。一旦识别，机械分选器可能会受到处理电路的指示或影响，以分离物体。这可能包括例如在精确的时刻打开空气阀达精确的时间。
[0099]
机械分选器可被布置为对物体进行分选，从而如处理电路的分析的不同重叠和/或堆叠物体被视为一组物体。由于堆料分选通常不包括任何预分选或预处理，以形成单个分离物体流，因此重叠和/或堆叠物体是可能的，并且非常常见。处理电路可以识别这些物体，优选地使用cnn。
[0100]
一旦识别，机械分选器可能无法或不愿意分离物体，这又可能取决于处理电路所在的操作模式。因此，不同的重叠和/或堆叠物体被视为单个分组，并作为单个物体进行处理。该处理可包括例如，如果该组包含任何不想要的物体，则将其喷射出，或者如果该组包含想要的物体的足够部分，则保留该组，使用合适的测量方法(例如重量百分比或体积)测量想要的物体的足够部分。采取何种措施，以及是否优先处理想要或不想要的物体，可能取决于处理电路/堆料分选系统的设置或使用模式。换句话说，在一个实施例中，重叠和/或堆叠的物体被视为单个物体组，其中对于至少包括第一物体类型和第二物体类型的物体组，机械分选器被配置为基于堆料分选系统中的偏好将物体组分为第一物体类型或第二物体类型。
[0101]
在一个实施例中，神经网络处理重叠物体的方式与处理分离物体的方式没有不同。然而，如果重叠物体被合并，仅部分被发现或全部未被发现，则神经网络通过在训练过程中给出负反馈来被迫学习分离重叠物体。为了处理这项困难的任务，在cnn的训练期间，可能会提供大量带有重叠物体和相应标签(描述触摸和重叠物体的轮廓)的样本图像。
[0102]
被熟知为数据增强的处理被用于增加样本量，通常是通过旋转、小尺度变化、颜色变化、修剪和应用于整个图像的其他方式。为了产生更多不同的重叠，特殊的增强技术用于输送带的设置。通过在所有捕获的训练数据中以其类别和周围轮廓标记物体实例，训练处理中的图像可以在捕获时使用，并利用以下新颖的方式增强的先前描述的标准：
[0103]
从没有物体的传送带开始捕获图像，标记的物体实例被放置在该图像上，并允许重叠。被其他物体完全覆盖的物体将从新增强图像的标记的地面实况中移除。
[0104]
如果物体至少部分放置在另一个物体上，则必须根据传感器特性生成该区域的新图像信息——例如：对于nir、vis和rgb数据，顶部物体的信息覆盖了先前存在的信息，对于x射线数据，应用比尔-朗伯定律，对于激光数据，针对两个物体计算三维高度剖面，并使用顶部物体的散射和强度值。
[0105]
根据处理电路的分析，可以将机械分选器配置为不同的工作方式。例如，如处理电路的分析的大型轻质的物体将只使用部分可能的喷射器，因为轻质的物体，而并不需要全部喷射器，因此节省了能量。在具有空气阀阵列的实施例中，仅使用覆盖物体的一半空气阀，因此既节省了能量又产生了较少的湍流。在相反的情况下，相对比通常，分选器使用更多部分的可能喷射器以增加分选器的产率，但降低分选精度，这对重型物体是有利的。
[0106]
对于具有可变强度的机械分选器，可根据处理电路的分析进一步调整。因此，轻型
物体可能比重型物体使用更少的强度。
[0107]
此外，处理电路的分析可用于找到物体的重心或边界，并影响机械分选器将这些区域设为目标。这可能有助于提高分选器的效率，并且对于特定类型或需要复杂定目标的分选器可能更为必要。
[0108]
此外，如果物体的位置不稳定，增加激活的喷射器的数量和用于喷射的时间窗口以补偿不可预测的运动，这可能是有益的。
[0109]
在图5a中，示出了包括近红外(nir)扫描仪30和图像传感器32的堆料分选系统，近红外(nir)扫描仪30被布置成扫描物体，图像传感器32被布置成捕获物体的图像数据。输入到cnn的多光谱或超光谱数据包括扫描和图像数据。虽然在图5a和其他图中示出了串联使用几种类型的光学传感器，但是每个光学传感器可以独立地或与任何其他光学传感器一起操作。光学传感器还可以被布置成测量辐射源的辐射，或者包括单独的辐射源。
[0110]
nir扫描仪包括关于该波长范围内物体的吸收的光谱数据。其他波长可作为nir范围的替代或补充，例如可见光、紫外线(uv)或x射线。nir光可以由辐射源或单独的光源提供。通过为扫描区的每个像素或等效物获取单独的光谱，可以将扫描表示为多光谱或超光谱数据。
[0111]
图像数据包括例如物体的反射颜色的rgb像素值。这可以由处理电路用于传统的图像处理，例如物体识别或图像分段。物体可以由辐射源照亮，以便能够测量图像数据。通过获取扫描区的每个像素或等效物中的红色、绿色和蓝色的量的单独值，可以将图像数据表示为多光谱或超光谱数据。
[0112]
在图5b中，示出了堆料分选系统，该系统包括激光三角仪34，其被布置用于测量物体的三维数据；以及电磁检测器40，其被布置用于测量物体的电磁特性。输入到cnn的多光谱或超光谱数据包括3d数据和电磁特性。请注意，电磁检测器不是光学传感器，但它可以与任何光学传感器组合，以从物体获取数据作为输入到cnn的多光谱或超光谱数据。
[0113]
可以使用激光高度强度扫描来测量3d数据。这包括指向物体的激光器和测量激光强度的收集器，如相机。收集器被布置用于测量激光导向的表面至表面上方10-20cm处的强度。这允许收集器检测激光击中物体的位置，因为当物体干扰激光路径时，这将影响其强度。
[0114]
该激光器优选为横跨承载物体的表面宽度布置的线激光器，即，垂直于物体的运动方向。因此，可以一次测量整个物体。激光器可以是辐射源，也可以单独提供。
[0115]
收集器可包括带通滤波器以滤除环境光，从而仅测量激光波长的强度。
[0116]
3d数据包括物体高度的映射等。通过获取扫描区的每个像素或等效物的高度值，可以将三维数据表示为多光谱或超光谱数据。
[0117]
电磁特性可使用例如所施加的电磁波的反射特性或所施加的电流的传导特性来测量。这可用于检测金属物体等。单线圈阵列用于检测金属，平衡线圈阵列用于区分不同的金属类型。
[0118]
可能无法像光学测量那样，将测量的电磁特性以高精度直接分配到特定像素。因此可以估计分配，可以使用光学数据来区分物体。通过将测量的电磁特性分配给扫描区的估计的像素或等效物，电磁特性可以表示为多光谱或超光谱数据。
[0119]
在图5b的实施例中，电磁检测器使用来自激光三角仪的多光谱或超光谱数据，以
便以改进的分配精度将测量的电磁特性分配给多光谱或超光谱数据。多光谱或超光谱数据与电磁检测器的通信直接由激光三角仪显示，但也可能通过处理电路实现。
[0120]
或者，在收集了部分或全部测量的电磁特性和多光谱或超光谱数据并将其输入到cnn之前，可在处理电路中分别将测量的电磁特性分配给多光谱或超光谱数据。
[0121]
在图6a中，示出了堆料分选系统，包括激光扫描仪36，该激光扫描仪具有旋转多边形反射镜，用于测量物体的激光散射和/或防散射特性；脉冲led发射器38，用于测量物体的光防散射特性；以及x射线相机42，用于测量物体的x射线透射。输入到cnn的多光谱或超光谱数据包括激光散射和/或防散射特性、光防散射特性和物体的x射线透射。
[0122]
不同的光学传感器在图6a中显示为单个单元；但是，它们可以是任意数量的单元。
[0123]
物体的激光散射和/或防散射特性包括发射的激光的反射性和吸收性的信息。例如，这可用于物体识别。通过获取扫描区的每个像素或等效物的激光散射和/或防散射特性，可以将物体的激光散射和/或防散射特性表示为多光谱或超光谱数据。
[0124]
使用检测器测量物体的激光散射和/或防散射特性，其中检测器被配置用于测量物体反射的激光强度。
[0125]
带有旋转多边形反射镜的激光扫描仪向旋转多边形反射镜发射点激光，从而旋转多边形反射镜在不同方向反射激光。这允许在无需任何定目标的情况下测量多个物体和不同方向上的散射特性。激光可以具有任意波长和多个波长的组合，或者可以在不同波长之间交替。激光器可被视为辐射源或单独提供。接收器可被配置为测量反射的激光、散射的激光或两者。或者，接收器可以测量由激光引起的物体中的荧光效应。
[0126]
led发射器可被配置为发射若干不同波长，例如六种不同颜色。led发射器优选为脉冲式的，使得每种颜色作为单独的脉冲发射。led发射器可被视为辐射源或被单独提供。led发射器的好处在于它们几乎不需要维护和校准，并且产生的热量相对较少。
[0127]
物体的光防散射特性由检测器测量，检测器例如线扫描检测器，优选的是ingaas线扫描检测器，检测器测量反射的led光的强度。通过获取扫描区的每个像素或等效物的光防散射特性，在没有任何led发射的情况下，可以将针对每个发射颜色和背景的光防散射特性表示为多光谱或超光谱数据。
[0128]
x射线透射包括物体对x射线辐射的介电常数，并由被布置与物体的另一侧的x射线发射器相对的x射线相机测量。物体对x射线辐射的介电常数可能表明它们的原子密度和/或厚度。可将x射线发射器视为辐射源或被单独提供。x射线相机可能具有单能量、双能量或多能量测量范围。通过针对扫描区的每个像素或等效物获取单独的透射光谱，可以将x射线透射表示为多光谱或超光谱数据。
[0129]
x射线荧光可以检测颗粒中的现有元素。这种材料将被低能x射线辐射激发，并释放出元素特定的荧光。使用能量色散x射线传感器，可以测量这种荧光，并将其表示为多光谱或超光谱数据。荧光的结果是关于元素的存在及其浓度的信息。
[0130]
图6b示出了包括被布置成扫描物体的超光谱相机44的堆料分选系统，其中多光谱或超光谱数据包括扫描数据。超光谱相机的好处在于，其是一种收集供cnn使用的大量数据的有效方法。
[0131]
图7示出了根据一个实施例的处理电路的操作的流程图。从不同的传感器收集不同的数据(注意，图7中包括的传感器仅作为示例)，并且不同的数据被整流为多光谱或超光
谱数据。这些多光谱或超光谱数据被输入到cnn。cnn输出检测、分类和/或语义分段的多光谱或超光谱数据，以用于后处理。
[0132]
在图7的示例性实施例中收集的数据是与超光谱相机44捕获的超光谱图像相对应的hsi、与图像传感器32捕获的红绿蓝图像相对应的rgb、与激光扫描仪36捕获的激光散射和/或防散射特性相对应的散射、与激光三角仪34捕获的3d数据相对应的高度和与电磁检测器40捕获的电磁特性相对应的em。
[0133]
后处理包括将输出转换为机械分选器可能更容易理解的内容。这可能包括在对与测量数据对应的物体进行分选之前创建用于机械分选器的配置指令。
[0134]
例如，后处理可以包括解释分类，以确定检测到的物体是想要的还是不想要的，并为机械分选器创建关于如何处理这些物体的指令。这些指令可能包括关于何时激活机械抛掷器的控制调度。
[0135]
这些后处理指令随后被送入机械分选器，分选器对物体进行分选，这可能包括喷射出不想要的物体。
[0136]
图8示出了包括cnn和传统模式识别算法的处理电路的混合操作的流程图。在该实施例中，处理电路被配置成将多光谱或超光谱数据的至少一部分输入到模式识别算法中。然后，cnn和模式识别算法的结果被机械分选器用于对物体进行分选，这可包括在将结果馈入或不馈入机械分选器之前对其进行后处理。
[0137]
混合操作的好处在于，通过不同的分析方法可以获得不同的信息。而图8至图9中仅公开了两种方法，任何类型和数量的光学和/或电磁分析都可以以这种方式组合。
[0138]
在图8中，将光谱扫描、rgb图像、激光散射和/或防散射特性以及电磁特性分别输入到传统模式识别算法中，而无需将不同的数据整理到单个多光谱或超光谱数据中，然而，也可以输入多光谱或超光谱数据。
[0139]
输入到不同分析方法的数据可能相同，也可能不同。例如，在图8中，3d数据被输入到cnn，而不是输入到传统的模式识别算法。
[0140]
图9示出了使用两个计算单元(如虚线框所示)的处理电路的混合操作的流程图。该实施例使用不同的计算单元进行不同类型的数据分析，使得左侧的计算单元使用cnn，右侧的计算单元使用传统的模式识别和后处理。
[0141]
益处在于，每个计算单元可以针对特定类型的分析进行优化，从而提高分析步骤的效率并减少用于分选的总时间。
[0142]
这种分离可以以多种方式实现，例如实现cnn分析的若干计算单元，或者在单独的计算单元中实现后处理。可以配合处理电路的操作的计算单元的数量没有限制，混合操作是可行的，但不是必需的。
[0143]
图10示出了用于分选堆料中的物体的方法的流程图。方法100包括按顺序执行的几个步骤。
[0144]
辐射步骤110，包括使用至少一个辐射源辐射物体。辐射源可以是led、灯泡、激光器、x射线发射器和/或任何其他合适的辐射源。辐射源可以被布置为不同的单元，如环境照明和/或向不同方向辐射。
[0145]
捕获步骤120，包括使用至少一个光学传感器捕获物体的反射辐射。光学传感器可以是近红外(nir)扫描仪、图像传感器、激光三角仪、激光扫描仪、脉冲led发射器和/或x射
线相机。
[0146]
获取步骤130，包括获取反射辐射作为多光谱或超光谱数据。这可能包括将捕获的辐射转换为多光谱或超光谱数据。当捕获反射辐射时，可以结合捕获步骤120来执行该步骤130。
[0147]
多光谱数据可以是多维图像，其中每个像素或等效物(例如超级像素或像素分组)包括具有宽光谱(数量级100-1000nm)的几个频带(数量级1-10)。超光谱数据可以是多维图像，其中每个像素或等效物(例如超级像素或像素分组)包括具有窄光谱(数量级1-50nm)的多个频带(数量级4-10000)。
[0148]
分析步骤140，包括通过将多光谱或超光谱数据输入到具有至少两个卷积层的卷积神经网络(cnn)来分析物体的反射辐射，以便在多光谱或超光谱数据中检测和分类物体和/或语义分段多光谱或超光谱数据。
[0149]
该分析步骤140优选地由处理电路执行，该处理电路可以包括处理器，例如中央处理单元(cpu)、微控制器或微处理器。处理器被配置为执行存储在存储器中的程序代码，以便执行用于分选堆料中的物体的方法的至少一个步骤。
[0150]
分选步骤160包括由机械分选器使用分析步骤140的结果分选物体。机械分选器可以是至少一个阀门、机械抛掷器、机械臂或能够机械移动物体的任何其他合适装置。
[0151]
方法100还可以包括后处理步骤150，该后处理步骤150包括对分析步骤140的结果进行后处理，以将结果转换为更适合在分选步骤中使用的结果。
[0152]
本发明所属领域的技术人员将想到本文发明的许多修改和其他实施例，其受益于前述描述和相关附图中呈现的教导。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和其他实施例意图包括在所附权利要求的范围内。此外，尽管前述描述和相关附图在元素和/或功能的某些示例性组合的上下文中描述了示例性实施例，但是应当理解，在不脱离所附权利要求的范围的情况下，可以通过替代实施例提供元素和/或功能的不同组合。在这方面，例如，如一些所附权利要求中，还设想了与上述明确描述的元素和/或功能不同的元素和/或功能组合。在本文描述了优点、益处或问题的解决方案的情况下，应当理解，这些优点、益处和/或解决方案可以适用于一些示例性实施例，但不一定适用于所有示例性实施例。因此，本文的任何优点、益处或解决方案不应被视为对所有实施例或本文所主张的实施例至关重要、必需或必要。尽管本文使用了特定术语，但它们仅在一般和描述性意义上使用，不用于限制。