模型训练方案生成的方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，具体涉及模型训练方案生成的方法、装置、电子设备及存储介质。


背景技术：

2.随着自动化与人工智能在工业互联网的普及，制造业对人工智能训练的需求也在与日俱增。模型训练技术的引入，对提高整个生产系统的效率起到了关键性的作用，通过训练产生的模型来分析不同类别的数据，能够在节省人力成本的同时做到对生产中的特定环节进行针对性的改进。
3.目前，企业依托模型训练平台，在生产、控制、研发等领域的设备上运用人工智能技术，构建人机协同、互促共进的新型人、机、物关系，进而提高企业生产效率。然而模型训练平台的侧重点在于给用户提供一个集数据处理、训练、发布为一体的多模块管理平台，缺少对用户的行为预测方面的关注度，无法根据用户的训练行为习惯生成模型训练方案。
4.综上，目前亟需一种生成模型训练方案的技术，用于解决上述现有技术存在的问题。


技术实现要素：

5.由于现有方法存在上述问题，本发明提出模型训练方案生成的方法、装置、电子设备及存储介质。
6.第一方面，本发明提供了一种模型训练方案生成的方法，包括：
7.获取多次模型训练的训练信息；其中，每次模型训练的训练信息包含一组环节信息；所述一组环节信息包含多个训练环节对应的一组组件名称序列；所述训练环节与所述组件名称一一对应；
8.根据所述多次模型训练的训练信息对应的多组环节信息确定新生成的多组环节信息；所述新生成的多组环节信息包含新生成的多组组件名称序列；
9.选择所述多组组件名称序列中一组或多组作为模型训练方案。进一步地，所述根据所述多次模型训练的训练信息对应的多组环节信息确定新生成的多组环节信息，包括：
10.根据所述多组环节信息确定每组环节信息对应的各个环节以及各个环节的组件名称；
11.统计所述多组环节信息中各个环节对应的各个组件名称的数量；
12.根据所述各个组件名称的数量对各个环节对应的多个组件名称按照预设规则进行排列得到排列结果；
13.根据所述排列结果以及各个环节的顺序确定所述新生成的多组环节信息。
14.进一步地，所述根据所述各个组件名称的数量对各个环节对应的多个组件名称按照预设规则进行排列得到排列结果，包括：
15.对各个环节对应的多个组件名称的数量由大到小进行排序并确定排序靠前的预
设数量的组件名称；
16.根据所述排序靠前的预设数量的组件名称得到排列结果。
17.进一步地，所述多次模型训练的训练信息包含每次模型训练后生成的多个路径下的结果文件集合，在所述选择所述多组组件名称序列中一组或多组作为模型训练方案之后，还包括：
18.根据所述新生成的多组环节信息确定每组环节信息对应的组件名称序列；
19.根据所述组件名称序列拉取所述组件名称序列对应路径下的结果文件。
20.进一步地，所述多次模型训练的训练信息包含每次模型训练中各个组件名称对应的超参数，所述根据所述排列结果以及各个环节的顺序确定所述新生成的多组环节信息，包括：
21.根据所述各个组件名称对应的超参数确定所述新生成的多组环节信息。
22.第二方面，本发明提供了一种模型训练方案生成的装置，包括：
23.获取模块，用于获取多次模型训练的训练信息；其中，每次模型训练的训练信息包含一组环节信息；所述一组环节信息包含多个训练环节对应的一组组件名称序列；所述训练环节与所述组件名称一一对应；
24.处理模块，用于根据所述多次模型训练的训练信息对应的多组环节信息确定新生成的多组环节信息；所述新生成的多组环节信息包含新生成的多组组件名称序列；选择所述多组组件名称序列中一组或多组作为模型训练方案。
25.进一步地，所述处理模块具体用于：
26.根据所述多组环节信息确定每组环节信息对应的各个环节以及各个环节的组件名称；
27.统计所述多组环节信息中各个环节对应的各个组件名称的数量；
28.根据所述各个组件名称的数量对各个环节对应的多个组件名称按照预设规则进行排列得到排列结果；
29.根据所述排列结果以及各个环节的顺序确定所述新生成的多组环节信息。
30.进一步地，所述处理模块具体用于：
31.对各个环节对应的多个组件名称的数量由大到小进行排序并确定排序靠前的预设数量的组件名称；
32.根据所述排序靠前的预设数量的组件名称得到排列结果。
33.进一步地，所述多次模型训练的训练信息包含每次模型训练后生成的多个路径下的结果文件集合，所述处理模块还用于：
34.在选择所述多组组件名称序列中一组或多组作为模型训练方案之后，根据所述新生成的多组环节信息确定每组环节信息对应的组件名称序列；
35.根据所述组件名称序列拉取所述组件名称序列对应路径下的结果文件。
36.进一步地，所述多次模型训练的训练信息包含每次模型训练中各个组件名称对应的超参数，所述处理模块具体用于：
37.根据所述各个组件名称对应的超参数确定所述新生成的多组环节信息。
38.第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所
述的模型训练方案生成的方法。
39.第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的模型训练方案生成的方法。
40.由上述技术方案可知，本发明提供的模型训练方案生成的方法、装置、电子设备及存储介质，通过基于用户训练行为的大数据进行分析并预测用户下一次的训练意图，采用训练信息分析技术，通过收集训练过程中出现的组件名称频率进行排列，动态生成模型训练方案，避免了用户在训练模型时的重复操作，提高了模型训练的效率。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
42.图1为本发明提供的模型训练方案生成的方法的流程示意图；
43.图2为本发明提供的模型训练方案生成的方法的流程示意图；
44.图3为本发明提供的模型训练方案生成的方法的流程示意图；
45.图4为本发明提供的模型训练方案生成的装置的结构示意图；
46.图5为本发明提供的电子设备的结构示意图。
具体实施方式
47.下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
48.图1为本发明实施例提供的一种模型训练方案生成的方法所对应的流程示意图，如图1所示，该方法包括：
49.步骤101，获取多次模型训练的训练信息。
50.需要说明的是，其中，每次模型训练的训练信息包含一组环节信息。一组环节信息包含多个训练环节对应的一组组件名称序列；训练环节与组件名称一一对应。
51.步骤102，根据多次模型训练的训练信息对应的多组环节信息确定新生成的多组环节信息。
52.需要说明的是，新生成的多组环节信息包含新生成的多组组件名称序列。
53.进一步地，本发明实施例在步骤102中，步骤流程如图2所示，如下：
54.步骤201，根据多组环节信息确定每组环节信息对应的各个环节以及各个环节的组件名称。
55.举例来说，一组环节信息包含5个环节，分别为数据读取、数据预处理、机器学习算法、模型评估、模型扩展。
56.进一步地，数据读取环节的组件名称为字符分隔值(comma
‑
separated values，csv)文件读取，数据预处理环节的组件名称为数据去重，机器学习算法环节的组件名称为随机森林分类，模型评估环节的组件名称为聚类算法评估，模型扩展环节的组件名称为模型注册。
57.在一种可能的实施方式中，通过分布式发布订阅消息系统kafka以及搜索服务器elasticsearch收集每一个环节的组件名称。
58.本发明实施例中，利用elasticsearch作为行为数据存储引擎，其动态映射的特性可支持训练环节的动态扩展。
59.步骤202，统计多组环节信息中各个环节对应的各个组件名称的数量。
60.举例来说，统计15组环节信息中各个环节对应的各个组件名称的数量。
61.具体的，数据预处理对应的各个组件名称分别为：数据集分割、数据采样、数据去重、特征编码、数据集分层采样分割。其中，数据集分割的数量为5个即15次模型训练中数据集分割出现了5次，数据采样的数量为4个，数据去重的数量为3个，特征编码的数量为2个，数据集分层采样分割的数量为1个。
62.本发明实施例中，利用elasticsearch倒排索引的特点，使用分组聚合查询功能，将组件名称作为检索条件，可实现快速遍历命中结果并分组统计。
63.需要说明的是，用于分析训练信息的elasticsearch组件名称匹配技术还可以为solr等其他搜索应用服务器，本发明实施例对此不做具体限定。
64.步骤203，根据各个组件名称的数量对各个环节对应的多个组件名称按照预设规则进行排列得到排列结果。
65.举例来说，可以按照组件名称长度由长到短进行排列。多个组件名称分别为：数据集分层采样分割、数据去重、数据集分割。
66.基于此，得到的排列结果为数据集分层采样分割、数据集分割、数据去重。
67.在一种可能的实施方式中，对各个环节对应的多个组件名称的数量由大到小进行排序并确定排序靠前的预设数量的组件名称；
68.根据排序靠前的预设数量的组件名称得到排列结果。
69.举例来说，多个组件名称分别为：数据集分割、数据采样、数据去重、特征编码、数据集分层采样分割。其中，数据集分割的数量为5个，数据采样的数量为4个，数据去重的数量为3个，特征编码的数量为2个，数据集分层采样分割的数量为1个。
70.进一步地，当预设数量为3个时，对多个组件名称的数量由大到小进行排序得到的排序结果为数据集分割、数据采样、数据去重。
71.步骤204，根据排列结果以及各个环节的顺序确定新生成的多组环节信息。
72.举个例子，数据读取环节组件名称排序结果为csv文件读取，数据预处理环节组件名称排序结果为数据去重、特征编码，机器学习算法环节组件名称排序结果为随机森林分类、决策树分类。
73.进一步地，各个环节的顺序依次为数据读取环节，数据预处理环节，机器学习算法环节。基于此，新生成4组环节信息，第一组依次为csv文件读取、数据去重、随机森林分类；第二组依次为csv文件读取、特征编码、随机森林分类；第三组依次为csv文件读取、数据去重、决策树分类；第四组依次为csv文件读取、特征编码、决策树分类。
74.步骤103，选择多组组件名称序列中一组或多组作为模型训练方案。
75.进一步地，模型训练方案根据推荐度由高至低排序。
76.本发明实施例中，根据训练环节为分组依据，将每组中出现频率最高的预设数量的组件名称降序取出，再结合模型训练过程的整体流程进行重新排列，动态生成模型训练
方案。
77.进一步地，多次模型训练的训练信息包含每次模型训练中各个组件名称对应的超参数。
78.需要说明的是，超参数是在开始模型训练过程之前设置值的参数，而不是通过训练得到的参数数据。
79.在一种可能的实施方式中，根据各个组件名称对应的超参数确定新生成的多组环节信息。
80.举例来说，机器学习算法环节的组件名称为随机森林分类，在10次模型训练中，使用率最高的一组超参数具体为：树的个数为10，树的深度为4，叶子节点最小权重为1，则新生成的多组环节信息中随机森林分类组件的超参数设置为：树的个数为10，树的深度为4，叶子节点最小权重为1。
81.本发明实施例中，支持用户在生成模型训练方案的基础上修改组件的超参数，实现定制化操作，增加了灵活性。
82.上述方案，通过基于用户训练行为的大数据进行分析并预测用户下一次的训练意图，采用训练信息分析技术，通过收集训练过程中出现的组件名称频率进行排列，动态生成模型训练方案，避免了用户在训练模型时的重复操作，提高了模型训练的效率。
83.进一步地，本发明实施例中多次模型训练的训练信息包含每次模型训练后生成的多个路径下的结果文件集合；在步骤103之后，步骤流程如图3所示，如下：
84.步骤301，根据新生成的多组环节信息确定每组环节信息对应的组件名称序列。
85.步骤302，根据组件名称序列拉取组件名称序列对应路径下的结果文件。
86.本发明实施例中，在每次模型训练时记录所选环节对应的组件名称。
87.比如，数据读取环节的组件名称为csv文件读取，数据预处理环节的组件名称为数据去重，机器学习算法环节的组件名称为随机森林分类，模型评估环节的组件名称为聚类算法评估，模型扩展环节的组件名称为模型注册。
88.进一步地，以“上一环节组件名称 下一环节组件名称”的方式对环节生成的数据路径做持久化映射处理，比如“csv文件读取 数据去重”。
89.在确定模型训练方案后，判断上下环节的组件名称，若组件名称一致则拉取对应路径下的结果文件。
90.在一种可能的实施方式中，对生成的模型训练方案进行单步结果检索，匹配索引相同的上下环节组件名称，从资源库中拉取对应路径下的结果文件。
91.上述方案，通过拉取组件名称序列对应路径下的结果文件实现训练资源快速拉取。通过从资源库中拉取结果文件，跳过重复训练的环节，提高训练效率的同时降低了资源消耗，提升了用户体验。
92.基于同一发明构思，图4示例性的示出了本发明实施例提供的一种模型训练方案生成的装置，该装置可以为一种模型训练方案生成的方法的流程。
93.所述装置，包括：
94.获取模块401，用于获取多次模型训练的训练信息；其中，每次模型训练的训练信息包含一组环节信息；所述一组环节信息包含多个训练环节对应的一组组件名称序列；所述训练环节与所述组件名称一一对应；
95.处理模块402，用于根据所述多次模型训练的训练信息对应的多组环节信息确定新生成的多组环节信息；所述新生成的多组环节信息包含新生成的多组组件名称序列；选择所述多组组件名称序列中一组或多组作为模型训练方案。
96.进一步地，所述处理模块402具体用于：
97.根据所述多组环节信息确定每组环节信息对应的各个环节以及各个环节的组件名称；
98.统计所述多组环节信息中各个环节对应的各个组件名称的数量；
99.根据所述各个组件名称的数量对各个环节对应的多个组件名称按照预设规则进行排列得到排列结果；
100.根据所述排列结果以及各个环节的顺序确定所述新生成的多组环节信息。
101.进一步地，所述处理模块402具体用于：
102.对各个环节对应的多个组件名称的数量由大到小进行排序并确定排序靠前的预设数量的组件名称；
103.根据所述排序靠前的预设数量的组件名称得到排列结果。
104.进一步地，所述多次模型训练的训练信息包含每次模型训练后生成的多个路径下的结果文件集合，所述处理模块402还用于：
105.在所述根据所述新生成的多组环节信息确定模型训练方案之后，根据所述新生成的多组环节信息确定每组环节信息对应的组件名称序列；
106.根据所述组件名称序列拉取所述组件名称序列对应路径下的结果文件。
107.进一步地，所述多次模型训练的训练信息包含每次模型训练中各个组件名称对应的超参数，所述处理模块402具体用于：
108.根据所述各个组件名称对应的超参数确定所述新生成的多组环节信息。
109.基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5，所述电子设备具体包括如下内容：处理器501、存储器502、通信接口503和通信总线504；
110.其中，所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信；所述通信接口503用于实现各设备之间的信息传输；
111.所述处理器501用于调用所述存储器502中的计算机程序，所述处理器执行所述计算机程序时实现上述模型训练方案生成的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取多次模型训练的训练信息；其中，每次模型训练的训练信息包含一组环节信息；所述一组环节信息包含多个训练环节对应的一组组件名称序列；所述训练环节与所述组件名称一一对应；根据所述多次模型训练的训练信息对应的多组环节信息确定新生成的多组环节信息；所述新生成的多组环节信息包含新生成的多组组件名称序列；选择所述多组组件名称序列中一组或多组作为模型训练方案。
112.基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型训练方案生成的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取多次模型训练的训练信息；其中，每次模型训练的训练信息包含一组环节信息；所述一组环节信息包含多个训练环节对应的一组组件名称序列；所述训练环节与所述组件名称一一对应；根据所述多次模型训练的训练信息对应的多组环节信息确定新生成的多组
环节信息；所述新生成的多组环节信息包含新生成的多组组件名称序列；选择所述多组组件名称序列中一组或多组作为模型训练方案。
113.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
114.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
115.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的用户生活模式预测方法。
116.此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
117.此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
118.此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
119.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。