用于优化机器学习模型的训练速度的系统和方法与流程

本公开总体上涉及机器学习模型的渐进学习。更具体地，本公开涉及在机器学习模型的训练期间渐进调整正则化以优化训练速度。

背景技术：

1、机器学习的最新进展显著增加了机器学习模型（例如，神经网络等）和用来训练它们的数据的大小和复杂度。例如，最先进的深度学习模型的训练有时可能需要一次使用数千个图形处理单元数周，因此呈现出极其昂贵的计算成本。其他网络可以快速训练，但是伴随着大量参数的昂贵开销。因此，增加训练速度和参数效率的方法将显著增加用于其他任务的计算资源的可用性。

技术实现思路

1、本公开的实施例的方面和优点将在以下描述中部分阐述，或者可以从描述中了解，或者可以通过实施例的实践了解。

2、本公开的一个示例方面针对一种用于高效机器学习模型训练的计算机实现方法。该方法可以包括由包括一个或多个计算设备的计算系统获得机器学习模型的多个训练样本。该方法可以包括，对于一个或多个第一训练迭代，由计算系统至少部分地基于被配置为控制一个或多个正则化技术的相对效果的第一正则化幅度，使用多个训练样本中的一个或多个相应的第一训练样本来训练机器学习模型。该方法可以包括，对于一个或多个第二训练迭代，由计算系统至少部分地基于大于第一正则化幅度的第二正则化幅度，使用多个训练样本中的一个或多个相应的第二训练样本来训练机器学习模型。

3、本公开的另一个示例方面针对一种用于确定具有优化的训练速度的模型的计算系统。计算系统可以包括一个或多个处理器。该计算系统可以包括存储计算机可读指令的一个或多个有形的、非暂时性的计算机可读介质，当由一个或多个处理器执行时，该指令使得一个或多个处理器执行操作。该操作可以包括从定义的模型搜索空间生成第一机器学习模型，其中，定义的模型搜索空间包括一个或多个可搜索参数，其中，第一机器学习模型包括一个或多个可搜索参数的一个或多个第一值。该操作可以包括对第一机器学习模型执行模型训练过程，以获得描述第一训练速度的第一训练数据。该操作可以包括至少部分地基于第一训练数据从定义的模型搜索空间生成第二机器学习模型，其中，第二机器学习模型包括一个或多个可搜索参数的一个或多个第二值，其中，一个或多个第二值中的至少一个不同于一个或多个第一值。该操作可以包括对第二机器学习模型执行模型训练过程，以获得描述第二训练速度的第二训练数据，其中，第二训练速度比第一训练速度更快。

4、本公开的另一个示例方面针对存储计算机可读指令的一个或多个有形的、非暂时性的计算机可读介质，当由一个或多个处理器执行时，该指令使得一个或多个处理器执行操作。该操作可以包括从定义的模型搜索空间生成第一机器学习模型，其中，定义的模型搜索空间包括一个或多个可搜索参数，其中，第一机器学习模型包括一个或多个可搜索参数的一个或多个第一值。该操作可以包括对第一机器学习模型执行模型训练过程，以获得描述第一训练速度的第一训练数据。该操作可以包括至少部分地基于第一训练数据从定义的模型搜索空间生成第二机器学习模型，其中，第二机器学习模型包括一个或多个可搜索参数的一个或多个第二值，其中，一个或多个第二值中的至少一个不同于一个或多个第一值，其中，第二机器学习模型包括多个顺序的模型阶段，其中，每个模型阶段包括一个或多个模型层，并且其中，第一模型阶段比多个模型阶段中的第二模型阶段包括更少的模型层。该操作可以包括对第二机器学习模型执行模型训练过程，以获得描述第二训练速度的第二训练数据，其中，第二训练速度比第一训练速度更快。

5、另一个示例方面针对一个或多个有形的非暂时性计算机可读介质，该计算机可读介质存储：机器学习模型，包括：多个融合mbconv阶段的第一序列；以及多个mbconv阶段的第二序列，其中，多个mbconv阶段的第二序列跟随多个融合mbconv阶段的第一序列；以及计算机可读指令，当由一个或多个处理器执行时，该计算机可读指令使得一个或多个处理器执行操作，该操作包括：获得模型输入；以及用机器学习模型处理模型输入以生成模型输出。在一些实施方式中，多个融合mbconv阶段由三个融合mbconv阶段组成。在一些实施方式中，三个融合mbconv阶段包括分别具有2、4和4层的第一、第二和第三融合mbconv阶段。在一些实施方式中，三个融合mbconv阶段包括分别具有24、48和64个通道的第一、第二和第三融合mbconv阶段。在一些实施方式中，三个融合mbconv阶段包括第一、第二和第三融合mbconv阶段，每个阶段具有3x3内核。

6、本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户接口以及电子设备。

7、参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成本说明书一部分的附图示出了本公开的示例实施例，并与描述一起用于解释相关原理。

1.一种用于确定具有优化的训练速度的模型的计算机实现的方法，包括：

2.根据权利要求1所述的计算机实现的方法，其中，所述定义的模型搜索空间的多个模型层包括以下至少一个：

3.根据权利要求1-2所述的计算机实现的方法，其中，第二机器学习模型包括多个顺序的模型阶段，其中，每个模型阶段包括一个或多个模型层，并且其中，第一模型阶段比多个模型阶段中的第二模型阶段包括更少的模型层。

4.根据权利要求1-3所述的计算机实现的方法，其中，第一训练数据还描述了第一模型准确度，并且其中，第二训练数据还描述了比第一训练准确度更大的第二训练准确度。

5.根据权利要求4所述的计算机实现的方法，其中，从所述定义的模型搜索空间生成第二机器学习模型还至少部分地基于第一训练准确度。

6.根据权利要求1-5所述的计算机实现的方法，其中，对第一机器学习模型执行模型训练过程包括：

7.根据权利要求6所述的计算机实现的方法，

8.根据权利要求7所述的计算机实现的方法，其中，所述多个训练样本包括相应的多个训练图像；以及

9.根据权利要求1-8所述的计算机实现的方法，其中，所述一个或多个参数中的至少一个被配置为控制机器学习模型中包括的一种类型的模型层或多个模型层中的一个或多个。

10.根据权利要求1-9所述的计算机实现的方法，其中，所述方法还包括提供第二机器学习模型作为输出。

11.根据权利要求1-10所述的计算机实现的方法，其中，从所述定义的模型搜索空间生成第二机器学习模型还包括确定第二机器学习模型的多个顺序处理阶段，其中，所述多个顺序处理阶段中的每个顺序处理阶段与一个或多个模型层相关联，并且其中，与多个处理阶段中的第二处理阶段相关联的模型层的数量大于与多个处理阶段中的第一处理阶段相关联的模型层的数量。

12.一种用于确定具有优化的训练速度的模型的计算系统，包括：

13.根据权利要求12所述的计算系统，其中，所述定义的模型搜索空间的多个模型层包括以下至少一个：

14.根据权利要求12-13所述的计算系统，其中，第二机器学习模型包括多个顺序的模型阶段，其中，每个模型阶段包括一个或多个模型层，并且其中，第一模型阶段比多个模型阶段中的第二模型阶段包括更少的模型层。

15.根据权利要求12-14所述的计算系统，其中，第一训练数据还描述了第一模型准确度，并且其中，第二训练数据还描述了比第一训练准确度更大的第二训练准确度。

16.根据权利要求15所述的计算系统，其中，从所述定义的模型搜索空间生成第二机器学习模型还至少部分地基于第一训练准确度。

17.根据权利要求12-16所述的计算系统，其中，对第一机器学习模型执行模型训练过程包括：

18.根据权利要求17所述的计算系统，

19.根据权利要求18所述的计算系统，其中，所述多个训练样本包括相应的多个训练图像；以及

20.根据权利要求12-19所述的计算系统，其中，所述一个或多个参数中的至少一个被配置为控制机器学习模型中包括的一种类型的模型层或多个模型层中的一个或多个。

21.根据权利要求12-20所述的计算系统，其中，所述操作还包括提供第二机器学习模型作为输出。

22.根据权利要求12-21所述的计算系统，其中，从所述定义的模型搜索空间生成第二机器学习模型还包括确定第二机器学习模型的多个顺序处理阶段，其中，所述多个顺序处理阶段中的每个顺序处理阶段与一个或多个模型层相关联，并且其中，与多个处理阶段中的第二处理阶段相关联的模型层的数量大于与多个处理阶段中的第一处理阶段相关联的模型层的数量。

23.一个或多个有形的、非暂时性的计算机可读介质，该计算机可读介质存储计算机可读指令，当由一个或多个处理器执行时，该计算机可读指令使得一个或多个处理器执行操作，该操作包括：

24.根据权利要求23所述的一个或多个有形的、非暂时性的计算机可读介质，其中，所述定义的模型搜索空间的多个模型层包括以下至少一个：

25.根据权利要求23-24所述的一个或多个有形的、非暂时性的计算机可读介质，其中，第二机器学习模型包括多个顺序的模型阶段，其中，每个模型阶段包括一个或多个模型层，并且其中，第一模型阶段比多个模型阶段中的第二模型阶段包括更少的模型层。

26.根据权利要求23-25所述的一个或多个有形的、非暂时性的计算机可读介质，其中，第一训练数据还描述了第一模型准确度，并且其中，第二训练数据还描述了比第一训练准确度更大的第二训练准确度。

27.根据权利要求26所述的一个或多个有形的、非暂时性的计算机可读介质，其中，从所述定义的模型搜索空间生成第二机器学习模型还至少部分地基于第一训练准确度。

28.根据权利要求23-27所述的一个或多个有形的、非暂时性的计算机可读介质，其中，对第一机器学习模型执行模型训练过程包括：

29.根据权利要求28所述的一个或多个有形的、非暂时性的计算机可读介质，

30.根据权利要求29所述的一个或多个有形的、非暂时性的计算机可读介质，其中，所述多个训练样本包括相应的多个训练图像；以及

31.根据权利要求23-30所述的一个或多个有形的、非暂时性的计算机可读介质，其中，所述一个或多个参数中的至少一个被配置为控制机器学习模型中包括的一种类型的模型层或多个模型层中的一个或多个。

32.根据权利要求23-31所述的一个或多个有形的、非暂时性的计算机可读介质，其中，所述操作还包括提供第二机器学习模型作为输出。

33.根据权利要求23-32所述的一个或多个有形的、非暂时性的计算机可读介质，其中，从所述定义的模型搜索空间生成第二机器学习模型还包括确定第二机器学习模型的多个顺序处理阶段，其中，所述多个顺序处理阶段中的每个顺序处理阶段与一个或多个模型层相关联，并且其中，与多个处理阶段中的第二处理阶段相关联的模型层的数量大于与多个处理阶段中的第一处理阶段相关联的模型层的数量。