机器学习模型的迭代训练的制作方法

机器学习模型的迭代训练


背景技术：

1.本发明总体上涉及机器学习领域，并且更具体地涉及机器学习模型的迭代训练。
2.人工智能(ai)和机器学习(ml)的子领域在科学以及企业计算中是持续增长的领域。不断设计新的算法，以通过机器学习系统实现更好的预测和/或改善底层机器学习模型的训练。
3.传统的机器学习方法通常基于使用训练数据样本的固定集合与相应的注释的机器学习算法，来构建能够预测迄今为止未知新数据样本注释的一般模型。
4.例如，在输入图像和相关联的图像类别标签的已知集合上训练用于图像分类的深度学习模型。稍后，在测试阶段，以及在生产阶段，该模型用于预测新的、先前未知图像的图像类别标签。当然，除了图像，其他数据类型也可以用作机器学习系统的输入。
5.输入数据样本可以由数据生成器产生。这些可以包括现实世界传感器(例如，照片和/或视频相机)、麦克风、或任何其他传感器、人类(例如，文本作者)、或数据模拟器。数据生成器还可以包括旨在产生某些预定义类型的数据样本的人工系统。通常，传统的数据识别方法与形成数据样本训练集的固定限定数量的训练数据样本一起操作。
6.美国专利申请公开2014/0058983a1公开了用于对数据进行训练和分类的机制。所述方法包含接收具有至少第一注释和至少第二注释的数据集合。第一注释和第二注释表示数据集内的特性。该方法还包括确定来自第一注释的第一标识符和来自第二注释的第二标识符，并将第一标识符与第二标识符相关联以生成联合标识符。
7.美国专利申请公开us 2016/0078361 a1公开了获得有待用于训练线性预测模型的数据服务的指示。所述模型用于使用分配给从所述数据源的观测记录导出的多个特征的相应参数来产生预测。
8.然而，在解决注释和未注释的新训练数据的可用性方面，仍然需要更好的持续学习机制。


技术实现要素：

9.根据本发明的一个方面，提供了一种计算机实现的方法、计算机程序产品和计算机系统。虽然以下段落将论述计算机实施的方法的特定特征，但所讨论的特征通常也可应用于计算机程序产品和计算机系统。该方法可以包括使用训练数据样本的初始集合来训练机器学习模型，接收新的训练数据样本，以及预测用于新的训练数据样本的标签。该方法还可以包括：在确定新训练数据样本的预测标签的预测质量值低于预定义质量值时，将新训练数据样本添加到初始集合，由此构建扩展训练数据集合，以及使用扩展训练数据集合重新训练机器学习模型。该方法还可包括迭代地重复接收、预测、添加和重新训练，直到满足停止条件。
10.所提出的计算机实现的方法可以提供多个优势、技术效果、贡献和/或改进：
11.该方法可以允许在没有大量注释的训练数据样本的情况下训练或预训练机器学习系统。在一些情况下，可能根本不需要注释。该系统可以在训练阶段连续地接收真实生活
数据(例如，来自相机)，该真实生活数据可以是未注释的以提高该系统和该方法的总体预测质量。这可以允许显著地减少对训练数据的手动操纵-例如，手动添加标签和/或注释。这可以加速神经网络和/或其他机器学习系统的训练过程。
12.具体地，选择示出低质量预测值的新训练数据样本的特征可以用于增加整个机器学习系统的预测质量。这可以通过尝试重新确认在人工改变的条件(即，对所接收的新训练数据样本执行的操作)下预测的类别来实现。在这样做时，可以生成组合的预测质量值(来自针对相同新训练数据样本的不同预测周期)以便重新确认和增加初始低预测质量值。
13.该方法可以有利地用于包括文本和图形的文档(例如，pdf{便携式文档格式}文档或以其他方式以像素格式扫描的文档)，以便实现文档中的图形或图表(例如，绘图、条形图、x-y曲线等)的更好的可解释性。文档可以包括科学文档、构建文档、维护文档、专利文档等。
14.该方法还可以有利地用于使用计算机图形模拟器(例如，针对计算机游戏)来训练机器学习模型，以便实现更好的对象检测、对象分割或对象实例分割结果。
15.根据该方法的一个有用的实施例，如果达到预定义的训练时间值，如果已经执行预定义数量的训练周期，如果已经处理了预定义数量的新训练数据样本，或者如果满足预定义的概要预测质量条件，则可以满足停止条件。那么，如果产生具有低预测质量(即，低于预定阈值)的非常少的预测结果，则可以停止或至少中断连续或迭代学习过程。如果没有定义停止条件或者没有满足以上定义的条件，则连续或迭代学习过程可以不受限制地运行。因此，预测质量可以连续增加。
16.此外，如果在预定义时间内确定没有具有低于预定义质量的预测质量值的附加新训练数据样本，则也可以满足停止条件。预定义的时间可以是例如一小时、一天、一天中的预定义的活动小时、一周、或任何其他合适的时间段。
17.根据另一有利的实施例，该方法还可以包括：在确定新训练数据样本的预测标签的预测质量值低于预定义质量值时，通过将自监督学习方法应用于新训练数据样本来重新确认新训练数据样本的预测标签。此自监督学习方法可以包括对所接收的数据样本(例如，图像)的操纵，诸如将其旋转(旋转预定义的角度或一系列角度)、将其翻转(例如，水平地、垂直地、对角地或沿着任何其他线)或者对其进行模糊和重组。在此操纵之后，可重复预测过程，且如果预测与第一实例中相同的类别，那么重新确认注释。通常，新的数据样本应当在不同的条件下反复产生相同的低质量数据(或更好)。由此，目标是通过建立组合预测质量值(例如，平均值或加权平均值)来改进置信度，所述组合预测质量值在样本数据操纵序列上增加。还应当注意，如果注释的样本数据可用，则不需要该过程。
18.所述自监督学习方法可以包括从包括以下各项的组中选择的至少一个：将所接收的新训练数据样本旋转预定义的旋转角并预测所述旋转角-由此，预定义的旋转角可用作注释——将所接收的新训练数据样本翻转预定义的翻转角并预测翻转角(也可以是其他可能的非翻转角)，对接收到的新训练数据样本进行重新着色，并预测得到的经重新着色的训练数据的类别，和/或对接收到的新训练数据样本进行模糊，并预测新训练数据样本的区块的原始位置。对于重新着色，可以阻挡或以其他方式改变一个或多个颜色通道的参数(例如，降低或增加的颜色强度)。
19.根据另一个可选的实施方式，该方法还可以包括：在确定不能提高所接收的新训
练数据样本的预测质量(即，组合的置信水平值不再变得更好)时，触发警报事件。这可以用于触发涉及人工注释器的人工注释的监督学习过程。
附图说明
20.应当注意，本发明的实施例是参照不同的主题来描述的。具体地，参照方法类型权利要求描述了一些实施例，而参照装置类型权利要求描述了其他实施例。然而，本领域的技术人员将从以上和以下描述中得知，除非另外指出，除了属于一种类型的主题的特征的任何组合之外，还包括涉及不同主题的特征之间(尤其是，方法类型权利要求的特征与装置类型权利要求的特征之间)的任何组合也被认为是在本文件内公开的。
21.以上定义的方面和本发明的其他的方面从下文将要描述的实施例的示例中是显而易见的，并且参考实施例的示例来解释，但本发明不限于此。
22.将仅通过示例并参考以下附图描述本发明的优选实施例：
23.图1是示出根据本发明的实施例的用于训练机器学习模型的方法的流程图；
24.图2是示出根据本发明的实施例的用于训练机器学习模型的另一方法的流程图；
25.图3是根据本发明的实施方式的机器学习模型训练系统的框图；以及
26.图4是适于执行与本发明的方法相关的程序代码的计算系统400的框图。
具体实施方式
27.在本说明书的上下文中，可以使用以下惯例、术语和/或表达：
28.术语“和/或”表示包含性的或；例如，a、b，“和/或”c表示a或b或c中的至少一个是真实的和适用的。
29.术语“机器学习模型”可表示建立可用于机器学习的模型的过程。机器学习在此应被理解为计算机系统可用来执行特定任务而无需使用显式指令(即，无需过程编程)的算法和特定模型的科学研究。机器学习是人工智能的子类别。通常，用已知和标记的数据样本集训练模型，以便例如将未知数据样本分类或以其他方式归类到经训练的类别中。用于ml学习模型的基础技术的示例是人工神经网络、随机森林系统和/或决策树。这些系统可以用于分类任务或回归任务。在本发明的实施例中，对ml模型的训练和开发的注释数据样本的要求显著降低。
30.术语“训练数据样本的初始集合”可以表示用于机器学习模型的第一训练的多个数据样本。该初始集合可以包括注释或未注释的样本。应当注意，通常，训练数据样本的初始集合可以被注释。然而，还存在完全未注释的数据集合可以用作训练数据样本的初始集合的情况。在任何情况下，至少具有注释的数据样本的最小化集合以便定义用于预测的基础类别是非常有用的。
31.术语“新训练数据样本”可以表示数据样本，例如，之前尚未用于机器学习模型的训练的图像。
32.术语“预测”可以表示机器学习模型的活动。预测类别的预测值——特别是预定义数量的预测类别的一部分——可以基于基础训练的机器学习模型(例如，分类器模型)为新的、迄今为止未见的数据样本生成。在使用机器学习模型来更好地解释具有图形和图像的文本文档的情况下，输出预测还可以被表示为一组边界框(例如，至少一个)、分割掩膜、一
组关键点/地标或文本中包含的图形和/或图像中的其他高级语义表示，其可以仅在像素信息中可用(例如，在pdf中)。
33.术语“停止标准”可表示方法或处理流程结束的条件。
34.术语“样本数据生成器”可表示人工数据生成器，诸如计算机图形模拟器、照相机、或麦克风、或者任何其他数据生成传感器。
35.术语“真实世界传感器”可表示传递来自真实世界场景的数据的任何信号生成装置。这样的设备可以是用于静态图像的相机或用于生成连续数据流的相机(例如，摄像机)、用于声音或语音数据的麦克风、新闻馈送或书面信息的其他源(例如，包括图和其他图像)、化学分析系统等。
36.术语“概要预测质量标准”可表示使用数据样本的变化来表示同一数据样本的标记和/或注释的预测值的数值。因此，输入样本可以用作预测类别的输入；然后，可以以预定义方式对输入样本进行操纵——例如，图像可以旋转或翻转等——并且可以重复预测。这可以针对相同的预测类别产生不同的概要预测质量值。可以组合若干这样的预测——例如，构建平均预测质量值或加权平均预测质量值——以便构建概要预测质量标准或概要预测质量值(也称为“组合置信水平值”)。
37.术语“重新着色”可表示改变给定图像颜色方案的过程。对于图像的色彩通道中的一个或多个，基础色彩模型的特定色彩的强度可增加或减小。通常，可将一个或多个色彩通道设定为零强度。这个过程也称为伪彩色渲染或伪彩色表示。
38.另外，对于重新着色，在给定一个或多个其他图像通道的情况下，可以以预测一个图像颜色通道的方式来训练机器学习模型。例如，可具有由三个颜色信道(红色、蓝色和绿色)组成的rbg图像。可以仅使用两个通道图像作为对ml模型的输入，并且该模型可以预测剩下的颜色通道，并且可以通过比较预测的通道和原始通道来确定预测误差。该技术可有助于使用未标记数据来训练ml模型，因为该任务不需要注释。因此，可以认为该技术类似于“模糊”。
39.术语“模糊”可表示将图像切割成片或块(规则切割或不规则不对称切割)并且重新混洗的过程。然后，机器学习系统可以再次预测类别。作为示例，图像可以被切割成9个片段，并且例如，左上片段可以与底部中间片段交换，左上片段可以与中间左片段交换，等等。
40.术语“深度机器学习系统”可表示例如具有可完全或仅部分连接的多个层的神经网络。为了符合深度机器学习系统的资格，层的数量(包括输入和输出层)应当远大于3。典型的深度机器学习系统可包括10或50层(或甚至200或更多)。层可以是卷积层和汇集层，其可以被组织在某些组中。
41.术语“超参数”可以表示描述机器学习模型的架构的参数集合，例如，人工神经网络中的层的数量、所使用的层的种类、输入数据向量的长度、用于预测的类别的数量、(完全或部分连接的)层之间的连接的类型以及机器学习系统的操作模式。
42.另一重要参数是学习速率。学习速率定义在神经网络内的反向传播期间的残差向量的比例因子。该参数是非常关键的并且需要微调。通常存在特殊的“时间表”，其定义学习速率在训练期间如何变化。
43.在下文中，将提供附图的详细描述。附图中的所有指令是示意性的。首先，提供了示出用于机器学习模型的迭代训练的计算机实现的方法的流程图。此后，将描述进一步的
实施例以及机器学习模型训练系统的实施例。
44.图1是示出根据本发明的实施例的用于训练机器学习模型的方法100的流程图。该方法包括训练102由超参数集定义的机器学习模型。由此，使用训练数据样本的初始集合。通常，至少需要几个注释的数据样本来开始训练，以便定义一些类别。然而，可能存在一种情况，其中可以仅对未注释的数据进行操作。
45.方法100包括接收104新的训练数据样本，并预测106该新的训练数据样本的标签或注释。可以对这些至少一个新的训练数据样本进行注释或不进行注释。然而，实施例对于未注释的新数据样本可能更有效，因为对于已经注释的训练数据样本，其他训练过程可能是合适的。然而，应当注意，在一些实施例中，方法100可以对于注释和未注释的新训练数据样本的混合可以是有效的。
46.可以在机器学习系统的正常操作期间收集新的训练数据样本，而无需初始尝试将它们用作新的训练数据。它们可以取决于底层机器学习系统的预测行为而成为训练数据，例如，对于引发具有低预测质量标记的预测的那些接收到的样本。
47.另一方面，在一些实施例中，所接收的新训练数据可以专用于初始训练过程，并且所接收的数据样本可以不是使用机器学习系统的结果。
48.方法100还包括：在确定新的训练数据样本的标签预测的预测质量值低于预定义的质量值时，扩展(108)训练数据样本的初始集合，由此构建扩展的训练数据集合。方法100还包括利用扩展的训练集来重复(110)训练、接收、预测和扩展，直到满足停止标准，由此迭代地(即，持续地)训练机器学习模型。
49.图2是示出根据本发明的实施例的用于训练机器学习模型的另一方法200的流程图。作为第一步骤，确定训练数据样本的初始数量，202。接下来，接收新数据样本或训练数据样本，204。这些数据样本通常由人工或真实世界数据生成器(未示出)生成。可选地(如流程图中的虚线框所示)，可发生自动注释过程，206。
50.如果确定208经训练的模型不可用-情况“n
”‑
将所有接收的样本添加(210)到训练数据集。如果经训练的模型是可用的-情况“y”，则数据评估器估计、确定或预测(212)针对新接收的训练数据样本的预测注释的质量，并且将具有低预测质量值的新训练数据样本添加(214)到训练数据集。
51.然后，确定(216)是否满足停止标准。如果是这种情况-情况“y
”‑
则训练过程停止(“停止”)。如果不满足停止标准-况“n
”‑
确定(218)是否达到预期数量的新训练数据样本。如果是情况(情况“y”)，则利用新的训练数据样本和自动生成的(预测的)注释来训练(220)模型。此后，该过程循环到开始或者返回到确定是否存在具有低预测质量(即，低于预定义的预测质量值)的其他新接收的训练数据样本的步骤。
52.若干模块可以支持在此描述的过程：数据生成器可以能够产生新的注释的数据样本。在一般形式中，数据生成器产生注释或未注释的连续的数据样本流。一种实现形式可以是计算机图形模拟器。在这种情况下，注释的数据样本流由计算机图形模拟器生成。该模拟器可使用虚拟环境或虚拟世界的开放集。数据生成器在该模拟的环境中可以访问虚拟实例和它们的属性，并且能够以彩色图像、图像掩模、深度图像、点云、法线图和对于模拟器有效的其他表示的形式来生成数据样本。
53.另一方面，在一些实施例中，数据生成器可以是具有生成注释的可选能力的现实
世界传感器，诸如安全相机。所以，数据流生成器可以被认为是黑盒系统，其允许请求具有可选数据注释的新数据样本。
54.其次，模型训练器可以被视为机器学习系统，该机器学习系统将具有或不具有注释的数据样本集合作为输入，并且生成能够预测新数据样本的注释的模型。例如，模型训练器可以表示为深度机器学习系统，其采集数据样本、(可选地)注释和定义训练模型的方式的超参数集合。
55.作为一个块或模块，“数据评估器”能够采集数据样本、地面实况数据注释(可选地)和训练的模型作为输入以产生期望的注释作为输出。数据评估器还能够估计(预测或确定)预测的注释的质量。可以通过将所预测的注释与基本事实进行比较来确定质量估计。估计预测质量的另一方式是由模型本身估计的预测分数。
56.图3是根据本发明的实施例的机器学习模型训练系统300的框图。系统300包括训练装置——例如，模型训练器302——例如，用于使用训练数据样本的初始集合来训练机器学习模型。其还可包括用于接收多个新训练数据样本中的新训练数据样本的接收装置(具体地，接收机304)。
57.系统300还包括用于预测新的训练数据样本的标签的预测装置(例如，以数据评估器306的形式)。其还可包括扩展装置，特别是扩展模块308，在用于确定新训练数据样本的标签预测的预测质量值低于预定义(预测)的确定装置的肯定结果时可激活该扩展模块，用于扩展初始集，从而构建扩展的训练数据集。
58.系统300还包括触发装置(具体为触发模块310)，该触发装置被适配成用于使用扩展训练数据集、接收装置、预测装置、以及确定装置来触发训练装置直到满足停止标准，由此迭代地提供机器学习模型的持续训练。
59.本发明的实施例可以与几乎任何类型的计算机一起实现，而不管平台是否适合存储和/或执行程序代码。图4是适用于执行与所提出的方法相关的程序代码的计算系统400的框图视图。
60.计算系统400仅是合适的计算机系统的一个示例，并且不旨在对本文所描述的本发明的实施例的使用范围或功能提出任何限制，无论计算系统400是否能够实现和/或执行上文阐述的任何功能。在计算系统400中，存在可与许多其他通用或专用计算系统环境或配置一起操作的组件。可以适用于计算系统400的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络pc、小型计算机系统、大型计算机系统和包括以上系统或设备中的任一个的分布式云计算环境等。计算系统400可在由计算系统400执行的计算机系统可执行指令(诸如程序模块)的一般上下文中描述。一般而言，程序模块可包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算系统400可在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于本地和远程计算机系统存储介质(包括存储器存储设备)中。
61.如图4所示，计算系统400以通用计算设备的形式示出。计算系统400的组件可以包括但不限于一个或多个处理器或处理单元402、系统存储器404、以及将包括系统存储器404的不同系统组件耦合至处理单元402的总线406。总线406表示若干类型的总线结构中的任
何一种中的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构(isa)总线、微通道体系结构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)局部总线以及外围组件互连(pci)总线。计算机系统/服务器400通常包括各种计算机系统可读介质。这样的介质可以是可由计算机系统/服务器400访问的任何可用介质，并且其包括易失性和非易失性介质、可移动和不可移动介质。
62.系统存储器404可包括易失性存储器形式的计算机系统可读介质，诸如随机存取存储器(ram)408和/或高速缓存存储器410。计算系统400还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。仅通过示例的方式，存储系统412可被设置为从不可移动、非易失性磁介质(未示出，并且通常称为“硬盘驱动器”)读取和写入。虽然未示出，但是可提供用于从可移动、非易失性磁盘(例如，“软盘”)读取和写入可移动、非易失性磁盘的磁盘驱动器，以及用于从诸如cd-rom、dvd-rom或其他光学介质等可移动、非易失性光盘读取或写入可移动、非易失性光盘的光盘驱动器。在这样的情况下，每一个可以通过一个或多个数据介质接口连接到总线406。如下文将进一步描绘和描述的，存储器404可包括具有被配置来执行本发明的实施例的功能的一组(例如，至少一个)程序模块的至少一个程序产品。
63.具有一组(至少一个)程序模块416的程序/实用程序以及操作系统、一个或多个应用程序、其他程序模块和程序数据可以通过示例而非限制的方式存储在存储器404中。操作系统、一个或多个应用程序、其他程序模块和程序数据中的每一个或它们的一些组合可以包括网络环境的实现方式。程序模块416通常执行本发明的实施例的功能和/或方法，如本文所描述的。
64.计算系统400还可以与一个或多个外部设备418通信，外部设备418诸如键盘、定点设备、显示器420等；和/或使计算系统400能够与一个或多个其他计算装置通信的任何装置(例如，网卡、调制解调器等)。这样的通信可经由输入/输出(i/o)接口414发生。此外，计算系统400可以经由网络适配器422与诸如局域网(lan)、通用广域网(wan)和/或公共网络(例如，互联网)之类的一个或多个网络通信。如所描绘的，网络适配器422可以经由总线406与计算系统400的其他组件通信。应当理解，虽然未示出，但是其他硬件和/或软件组件可以与计算系统400结合使用。示例包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器和数据归档存储系统等。
65.此外，机器学习模型训练系统300可附接至总线系统406。
66.已经出于说明的目的呈现了本发明的各种实施方式的描述，但并不旨在是穷举或者限于所公开的实施方式。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。本文使用的术语被选择来最好地解释实施例的原理、实际应用或优于市场中发现的技术的技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施例。
67.本发明可以体现为系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。
68.该介质可以是用于传播介质的电子、磁性、光学、电磁、红外或半导体系统。计算机
可读介质的示例可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、刚性磁盘和光盘。光盘的当前示例包括致密盘-只读存储器(cd-rom)、致密盘-读/写(cd-r/w)、dvd和蓝光盘。
69.计算机可读存储介质可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式紧凑盘只读存储器(cd-rom)、数字通用盘(dvd)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。
70.本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
71.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，这些程序设计语言包括面向对象的程序设计语言(诸如smalltalk、c 等)、以及常规的过程式程序设计语言(诸如“c”程序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(lan)或广域网(wan))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
72.下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
73.这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制
造品。
74.也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或另一设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。
75.附图中的流程图和/或框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。
76.本文中使用的术语仅用于描述具体实施方式的目的，而并非旨在限制本发明。如本文中使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。还应当理解，当在本说明书中使用术语“包括(comprises)”和/或“包含(comprising)”时，其指定所述特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合的存在或添加。
77.以下权利要求中的所有装置或步骤加上功能元件的对应结构、材料、动作和等效物旨在包括用于结合如具体要求保护的其他要求保护的元件执行所述功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了本发明的描述，但并不旨在是详尽的或限于所公开形式的本发明。在不背离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择和描述这些实施例以便最好地解释本发明的原理和实际应用，并且使本领域的其他普通技术人员能够理解本发明的具有不同修改的不同实施例，如适合于所预期的特定用途。
78.本发明的一些实施例提供了一种用于机器学习模型的迭代训练的计算机实现的方法，该方法包括：使用训练数据样本的初始集合来训练机器学习模型，接收新训练数据样本，预测所述新训练数据样本的标记，在确定所述新训练数据样本的所述标签预测的预测质量值低于预定义质量值时，扩展所述初始集，从而构建扩展训练数据集，并且利用所述扩展训练数据集、所述接收、所述预测和所述扩展来重复所述训练直到满足停止标准，由此迭代地训练所述机器学习模型。
79.在一些实施例中，接收所述新训练数据样本包括从样本数据生成器或从真实世界传感器接收所述新训练数据样本。
80.在一些实施例中，如果达到预定义的训练时间值，或者如果已经执行预定义数量的训练周期，或者如果已经处理了预定义数量的新训练数据样本，或者如果满足预定义的概要预测质量标准，或者如果在预定时间内没有确定具有低于预定义质量值的预测质量值的附加新训练数据样本，则满足停止标准。
81.在一些实施例中，所述方法还包括：在确定新的未注释的训练数据样本的预测质量值低于预定义质量值时，通过将自监督学习方法应用到新的训练数据样本以增加预测的
质量值低于预定义质量值的标签的组合置信度水平值来重新确认相关的预测标签。
82.在一些实施例中，所述自监督学习方法包括从包括以下各项的组中选择的至少一个：将所接收的新训练数据样本旋转预定义的角度并预测所述旋转角度，将所接收的新训练数据样本翻转预定义的角度并预测所述旋转角度，对所接收的新训练数据样本进行重新着色，并预测新的重新着色的训练数据样本的类别，以及对所接收的新训练数据样本进行模糊并预测图块的原始位置。
83.在一些实施例中，重复步骤仅在扩展训练数据集已经增长预定义数量或预定义百分比的新训练数据样本的情况下被触发。
84.在一些实施例中，机器学习模型使用深度机器学习系统。
85.在一些实施方式中，所述方法进一步包括：在确定不能提高接收的新训练数据样本的预测质量时，触发警报事件。
86.在一些实施例中，在使用彼此具有距离的两个基本上等效的真实世界传感器并且在与真实世界对象不同的角度下生成相关数据样本的情况下，该方法进一步包括使用相关数据样本来以如下方式适配机器学习模型：对于相关数据样本，生成相同的预测结果和相同的预测质量值。
87.在一些实施例中，训练数据样本的初始集合包括注释的样本。
88.本发明的一些实施例提供了一种用于机器学习模型的迭代训练的系统，该系统包括：训练装置，用于使用训练数据样本的初始集合来训练机器学习模型，接收装置，用于接收新训练数据样本；预测装置，用于预测所述新训练数据样本的标签；扩展装置，其在确定装置的肯定结果时可被激活，所述确定装置用于确定所述新训练数据样本的所述标签预测的预测质量值低于预定义质量值，以及触发装置，该触发装置被适配成用于使用扩展训练数据集来触发训练装置，接收装置，预测装置和确定装置直到满足停止标准，由此迭代地提供所述机器学习模型的持续训练。
89.在一些实施例中，该系统还包括用于生成新的训练数据样本的样本数据生成器或真实世界传感器。
90.在一些实施例中，如果达到预定义的训练时间值，或者如果已经执行预定义数量的训练周期，或者如果已经处理了预定义数量的新训练数据样本，或者如果满足预定义的概要预测质量标准，或者如果在预定时间内没有确定具有低于预定义质量值的预测质量值的附加新训练数据样本，则满足停止标准。
91.在一些实施例中，所述系统还包括：在确定新的未注释的训练数据样本的预测质量值低于预定义质量值时，触发重新确认装置，所述重新确认装置用于通过将自监督学习系统应用于新的训练数据样本以增加预测的质量值低于预定义质量值的标签的组合置信度水平值来重新确认相关的预测标签。
92.在一些实施例中，所述自监督学习系统包括从所述组中选择的至少一种能力，包括：将所接收的新训练数据样本旋转预定义的角度并预测所述旋转角度，将所接收的新训练数据样本翻转预定义的角度并预测所述旋转角度，对所接收的新训练数据样本重新着色并预测新的重新着色的数据样本的类别，以及对所接收的新训练数据样本进行模糊并预测图块的原始位置。
93.在一些实施例中，该触发装置被适配成仅当扩展训练数据集已经增长预定义数量
或预定义百分比的新训练数据样本时被激活。
94.在一些实施例中，机器学习模型使用深度机器学习系统。
95.在一些实施例中，该系统还包括警报装置，该警报装置用于在确定接收的数据样本的预测质量不能得到改善的情况下触发警报事件。
96.在一些实施例中，在使用两个基本上等效的真实世界传感器(具有彼此相距一定的距离并且在与真实世界对象不同的角度下生成相关数据样本)的情况下，系统进一步使用相关数据样本来以这样的方式适配机器学习模型：对于相关数据样本，生成相同的预测结果和相同的预测质量值。
97.本发明的一些实施例提供了一种用于机器学习模型的迭代训练的计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有与其体现的程序指令，所述程序指令可由一个或多个计算系统或控制器执行以使所述一个或多个计算系统：使用训练数据样本的初始集合来训练机器学习模型，在确定所述新训练数据样本的所述标记预测的预测质量值低于预定义质量值时，接收新训练数据样本，预测所述新训练数据样本的标签，扩展初始集，从而建立扩展训练数据集，并且利用所述扩展训练数据集来重复所述训练、所述接收、所述预测和所述扩展直到满足停止标准，由此迭代地训练所述机器学习模型。