一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

信息处理方法、系统、装置、电子设备及存储介质与流程

2022-06-01 08:17:19 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,具体而言,涉及一种信息处理方法、系统、装置、电子设备及存储介质。


背景技术:

2.目前,深度学习技术在计算机视觉、语音识别等方面得到广泛应用。在应用深度学习技术时,针对不同的应用场景,需要训练不同的神经网络模型。在执行针对不同神经网络模型的训练任务时,不同训练任务在算法和流程上都存在差异,无法兼顾各种训练任务的训练需求。


技术实现要素:

3.本公开实施例至少提供一种信息处理方法、系统、装置、电子设备及存储介质。
4.第一方面,本公开实施例提供了一种信息处理方法,包括:
5.响应于针对目标训练任务的数据获取指令,获取与所述目标训练任务对应的训练参数信息;
6.基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息;
7.根据所述上下文信息执行所述目标训练任务,得到所述目标训练任务对应的训练结果,所述训练结果包括训练好的神经网络。
8.采用上述信息处理方法,在确定目标训练任务并获取到与之对应的训练参数信息的情况下,可以基于预设的训练调度模板以及训练参数信息确定上下文信息,仅利用该上下文信息即可以用于执行目标训练任务,与此同时,对于不同的目标训练任务,这里所预设的训练调度模板也不相同,继而所确定的上下文信息也不相同,可知的是,本公开在集成了进行训练任务的相关调度模板的情况下,可以快速展开各种训练任务。
9.一种可选的实施方式中,根据所述上下文信息执行所述目标训练任务,得到所述目标训练任务对应的训练结果,包括:
10.根据所述上下文信息指示的所述目标训练任务包括的多个子任务的先后执行顺序,分别执行所述多个子任务;
11.在执行完成所述多个子任务的情况下,得到所述目标训练任务对应的训练结果。
12.该实施方式中,将目标训练任务划分为多个子任务,并按先后顺序执行所述多个子任务,这样可以在一定程度上提高目标训练任务的执行效率。
13.一种可选的实施方式中,所述多个子任务包括用于进行信息预处理的前置任务、用于进行网络训练的训练任务、以及用于进行网络转换的后置任务。
14.一种可选的实施方式中,按照如下步骤执行每个所述子任务:
15.针对每个所述子任务,确定所述子任务对应的任务数据;
16.从所述上下文信息中选取与所述任务数据对应的上下文信息;
17.基于选取出的所述上下文信息执行所述子任务,得到所述子任务对应的任务结果。
18.该实施方式中,每个子任务可以对应有不同的任务数据,选取与子任务对应的任务数据,并根据与所述任务数据对应的上下文信息执行子任务,可以实现任务快速、且有序的执行。
19.一种可选的实施方式中,按照如下方式中的一种确定所述子任务对应的任务数据:
20.基于预先定义的环境变量所指示的数据存储位置,获取与所述子任务对应的任务数据;
21.从预存数据文件中,获取与所述子任务对应的任务数据。
22.该实施方式中,基于环境变量所指示的数据存储位置或通过预存数据文件,可以更为方便地获取子任务对应的任务数据。
23.一种可选的实施方式中,所述分别执行所述多个子任务,包括:
24.在上一个子任务成功执行的情况下,执行下一个子任务;
25.所述在执行完成所述多个子任务的情况下,得到所述目标训练任务对应的训练结果,包括:
26.在最后一个子任务成功执行的情况下,得到所述目标训练任务对应的训练结果。
27.该实施方式中,在执行多个子任务时,在上一个子任务成功执行后才执行下一个子任务,在上一个子任务执行失败的情况下,不执行下一个子任务,若最后一个子任务成功执行,则表示所有子任务成功执行,也即目标训练任务成功执行,才能得到目标训练任务对应的训练结果。这样,在子任务执行失败的情况下,目标训练任务就会中断,从而避免计算资源的浪费。
28.一种可选的实施方式中,所述基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息,包括:
29.获取用于进行集群资源调度的环境变量信息;
30.基于针对所述目标训练任务预设的训练调度模板、所述训练参数信息以及所述环境变量信息,确定用于执行所述目标训练任务的上下文信息。
31.该实施方式中,利用环境变量信息所指示的集群资源,可以更好的调用训练调度模板、所述训练参数信息,以更为快速地确定上下文信息。
32.一种可选的实施方式中,所述基于针对所述目标训练任务预设的训练调度模板、所述训练参数信息以及所述环境变量信息,确定用于执行所述目标训练任务的上下文信息,包括:
33.从针对所述目标训练任务预设的训练调度模板中分别确定所述训练参数信息以及所述环境变量信息的待插入位置;
34.在所述训练调度模板中的待插入位置处插入所述训练参数信息和所述环境变量信息,得到用于执行所述目标训练任务的上下文信息。
35.该实施方式中,将训练参数信息以及环境变量信息插入到预设的训练调度模板中,这样可以快速地确定出用于执行目标训练任务的上下文信息。
36.一种可选的实施方式中,所述基于针对所述目标训练任务预设的训练调度模板以
及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息,包括:
37.基于针对所述目标训练任务预设的自定义参数配置项,将所述训练参数信息配置为自定义参数信息;
38.基于针对所述目标训练任务预设的训练调度模板以及配置好的所述自定义参数信息,确定用于执行所述目标训练任务的上下文信息。
39.该实施方式中,将训练参数信息配置为自定义参数信息,该自定义参数信息可以是基于任务需求而设置的,这样利用训练调度模板以及自定义参数信息所确定的上下文信息可以更好的匹配目标训练任务。
40.一种可选的实施方式中,所述训练参数信息包括以下信息中的至少一种:
41.训练数据集信息、训练所使用的预训练神经网络信息、训练所使用的硬件资源信息。
42.第二方面,本公开实施例还提供一种信息处理系统,包括:用户输入接口、处理器、显示器;
43.所述用户输入接口,用于响应于用户的数据输入指令,所述数据输入指令中携带有与所述目标训练任务对应的训练参数信息;
44.所述处理器,用于从所述数据获取指令中获取所述训练参数信息;基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息;根据所述上下文信息执行所述目标训练任务,得到所述目标训练任务对应的训练结果;
45.所述显示器,用于展示包括训练好的神经网络的训练结果。
46.使用上述信息处理系统,首先,用户输入接口接收到包含与目标训练任务对应的训练参数信息,之后,处理器获取到所述训练参数信息,根据预设的训练调度模板以及所述训练参数信息确定出上下文信息,并根据上下文信息执行目标训练任务,得到训练结果,最后,显示器将训练结果展示出来。
47.使用上述信息处理系统,在确定目标训练任务并获取到与之对应的训练参数信息的情况下,可以基于通过预设的训练调度模板以及训练参数信息,确定上下文信息,仅利用该上下文信息即可以用于执行目标训练任务,与此同时,对于不同的目标训练任务,这里所预设的训练调度模板也不相同,继而所确定的上下文信息也不相同,可知的是,本公开在集成了进行训练任务的相关调度模板的情况下,可以快速展开各种训练任务可以快速确定出用于执行目标训练任务的上下文信息,根据上下文信息执行目标训练任务,得到的训练好的神经网络更加准确。
48.第三方面,本公开实施例还提供一种信息处理装置,包括:
49.获取模块,用于响应于针对目标训练任务的数据获取指令,获取与所述目标训练任务对应的训练参数信息;
50.处理模块,用于基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息;
51.训练模块,用于根据所述上下文信息执行所述目标训练任务,得到所述目标训练任务对应的训练结果,所述训练结果包括训练好的神经网络。
52.一种可选的实施方式中,所述训练模块,用于按照如下步骤根据所述上下文信息
执行所述目标训练任务,得到所述目标训练任务对应的训练结果:
53.根据所述上下文信息指示的所述目标训练任务包括的多个子任务的先后执行顺序,分别执行所述多个子任务;
54.在执行完成所述多个子任务的情况下,得到所述目标训练任务对应的训练结果。
55.一种可选的实施方式中,所述多个子任务包括用于进行信息预处理的前置任务、用于进行网络训练的训练任务、以及用于进行网络转换的后置任务。
56.一种可选的实施方式中,所述训练模块,用于按照如下步骤执行每个所述子任务:
57.针对每个所述子任务,确定所述子任务对应的任务数据;
58.从所述上下文信息中选取与所述任务数据对应的上下文信息;
59.基于选取出的所述上下文信息执行所述子任务,得到所述子任务对应的任务结果。
60.一种可选的实施方式中,所述训练模块,用于按照如下方式中的一种确定所述子任务对应的任务数据:
61.基于预先定义的环境变量所指示的数据存储位置,获取与所述子任务对应的任务数据;
62.从预存数据文件中,获取与所述子任务对应的任务数据。
63.一种可选的实施方式中,所述训练模块,用于按照如下步骤分别执行所述多个子任务:
64.在上一个子任务成功执行的情况下,执行下一个子任务;
65.所述在执行完成所述多个子任务的情况下,得到所述目标训练任务对应的训练结果,包括:
66.在最后一个子任务成功执行的情况下,得到所述目标训练任务对应的训练结果。
67.一种可选的实施方式中,所述训练模块,用于按照如下步骤基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息,包括:
68.获取用于进行集群资源调度的环境变量信息;
69.基于针对所述目标训练任务预设的训练调度模板、所述训练参数信息以及所述环境变量信息,确定用于执行所述目标训练任务的上下文信息。
70.一种可选的实施方式中,所述处理模块,用于按照如下步骤基于针对所述目标训练任务预设的训练调度模板、所述训练参数信息以及所述环境变量信息,确定用于执行所述目标训练任务的上下文信息:
71.从针对所述目标训练任务预设的训练调度模板中分别确定所述训练参数信息以及所述环境变量信息的待插入位置;
72.在所述训练调度模板中的待插入位置处插入所述训练参数信息和所述环境变量信息,得到用于执行所述目标训练任务的上下文信息。
73.一种可选的实施方式中,所述处理模块,用于按照如下步骤基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息:
74.基于针对所述目标训练任务预设的自定义参数配置项,将所述训练参数信息配置
为自定义参数信息;
75.基于针对所述目标训练任务预设的训练调度模板以及配置好的所述自定义参数信息,确定用于执行所述目标训练任务的上下文信息。
76.一种可选的实施方式中,所述训练参数信息包括以下信息中的至少一种:
77.训练数据集信息、训练所使用的预训练神经网络信息、训练所使用的硬件资源信息。
78.第四方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
79.第五方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
80.关于上述信息处理装置、电子设备、及计算机可读存储介质的效果描述参见上述信息处理方法的说明,这里不再赘述。
81.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
82.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
83.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
84.图1示出了本公开实施例所提供的一种信息处理方法的流程图;
85.图2示出了本公开实施例所提供的信息处理方法中,确定用于执行目标训练任务的上下文信息的具体方法的流程图;
86.图3示出了本公开实施例所提供的一种信息处理系统的示意图;
87.图4示出了本公开实施例所提供的一种信息处理装置的示意图;
88.图5示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
89.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实
施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
90.经研究发现,目前,深度学习技术在计算机视觉、语音识别等方面得到广泛应用。在应用深度学习技术时,针对不同的应用场景,需要训练不同的神经网络模型,在执行针对不同神经网络模型的训练任务时,由于不同训练任务在算法和流程上都存在差异,无法兼顾各种训练任务的训练需求。
91.基于上述研究,本公开提供了一种信息处理方法、系统、装置、电子设备及存储介质,在集成了进行训练任务的相关调度模板的情况下,可以快速展开各种训练任务。
92.针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
93.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
94.为便于对本实施例进行理解,首先对本公开实施例所公开的一种信息处理方法进行详细介绍,本公开实施例所提供的信息处理方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为计算机设备、移动设备等。在一些可能的实现方式中,该信息处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
95.下面以执行主体为终端设备为例对本公开实施例提供的信息处理方法加以说明。
96.参见图1所示,为本公开实施例提供的信息处理方法的流程图,所述方法包括步骤s101~s103,其中:
97.s101、响应于针对目标训练任务的数据获取指令,获取与所述目标训练任务对应的训练参数信息;
98.s102、基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息;
99.s103、根据所述上下文信息执行所述目标训练任务,得到所述目标训练任务对应的训练结果,所述训练结果包括训练好的神经网络。
100.为了便于理解本公开实施例提供的信息处理方法,接下来首先对该方法的应用场景进行简单说明。上述信息处理方法主要可以应用于深度学习领域,尤其是可以应用于以公有云产品开发为依托平台的诸如图像分类、目标检测等应用领域,这主要是考虑到公有云在共享资源服务上的突出特点,借助这一突出特点可以实现更为广泛的深度学习的发展。
101.本公开实施例中的目标训练任务可以是训练不同功能(例如图片分类、目标检测)的神经网络模型,在实际应用中,可以是一个任务,也可以是多个任务。这里,与目标训练任务对应的训练参数信息可以是训练上述神经网络模型所需的各种参数(例如迭代轮数、学习率、批大小等)。
102.在获取到与目标训练任务对应的训练参数信息之后,为了执行目标训练任务,需要确定出用于执行目标训练任务的上下文信息,这里的上下文信息中可以包含执行目标训练任务的具体步骤。在上下文信息中,针对目标训练任务预设有训练调度模板,这里的训练
调度模板可以是用于对训练所需的集群资源进行调度分配的模板,例如,在公有云应用中,可通过上下文信息中的训练调度模板对集群资源进行分配,方便有效利用训练集群的资源对执行目标训练任务。
103.本公开实施例中,根据上下文信息中的具体步骤,执行目标训练任务,便可得到目标训练任务对应的结果,也即得到训练好的神经网络,本公开支持针对各种训练任务进行参数自定义配置,可以满足各种训练任务的训练需求。
104.在确定用于执行所述目标训练任务的上下文信息时,可执行如图2所示的步骤:
105.s201、获取用于进行集群资源调度的环境变量信息;
106.s202、基于针对所述目标训练任务预设的训练调度模板、所述训练参数信息以及所述环境变量信息,确定用于执行所述目标训练任务的上下文信息。
107.这里,用于进行集群资源调度的环境变量信息可以是预设的环境变量,用户可以针对不同集群对环境变量进行自行调节,比如对不同gpu(graphics processing unit,图形处理器)配套对应的cpu(central processing unit,中央处理器),再如,还可以对内存进行分配。
108.利用环境变量信息所指示的集群资源,可以更好的调用训练调度模板、训练参数信息,更为快速地确定上下文信息。在获取到环境变量信息之后,可通过如下方式确定出用于执行所述目标训练任务的上下文信息。
109.第一方面,可以按照如下步骤确定用于执行所述目标训练任务的上下文信息:
110.步骤一、从针对所述目标训练任务预设的训练调度模板中分别确定所述训练参数信息以及所述环境变量信息的待插入位置;
111.步骤二、在所述训练调度模板中的待插入位置处插入所述训练参数信息和所述环境变量信息,得到用于执行所述目标训练任务的上下文信息。
112.这里,训练调度模板中可以包含针对训练参数信息和环境变量信息设置的占位符,可以将训练调度模板中的占位符所在位置确定为训练调度模板中的待插入位置,可通过在模板中的占位符所在位置添加训练参数信息和环境变量信息的方式,得到用于执行目标训练任务的上下文信息。
113.这里的训练参数信息可以是训练数据集信息、训练所使用的预训练神经网络信息、训练所使用的硬件资源信息。其中,训练数据集信息可以是预先设置好的一些数据集供使用者进行选择;训练所使用的预训练神经网络信息可以是事先利用公开的数据集预训练好的初始神经网络,具有一定的精度,主要用于加速目标训练任务的完成,从而更快地得到与目标训练任务对应的训练好的神经网络模型;训练所使用的硬件资源信息可以是训练所需集群的gpu分配情况。
114.第二方面,可以按照如下步骤确定用于执行所述目标训练任务的上下文信息:
115.步骤一、基于针对所述目标训练任务预设的自定义参数配置项,将所述训练参数信息配置为自定义参数信息;
116.步骤二、基于针对所述目标训练任务预设的训练调度模板以及配置好的所述自定义参数信息,确定用于执行所述目标训练任务的上下文信息。
117.这里,预设的自定义参数配置项可以是针对待训练的神经网络预设的超参数,例如迭代轮数、学习率、批大小等。
118.在预设有各种自定义参数配置项的情况下,可以将获取的训练参数信息配置为对应的自定义参数,这些自定义参数可以是基于不同的需求来设置的,更为灵活,这样,所确定的上下文信息也更为符合用户的需求。
119.在确定出用于执行所述目标训练任务的上下文信息之后,可以根据上下文信息执行目标训练任务。在执行目标训练任务时,可以把目标训练任务进一步划分为多个子任务,分别执行多个子任务。上述多个子任务可以包括前置任务、训练任务、后置任务。这里的前置任务用于进行信息预处理,这里的训练任务用于进行网络训练,这里的后置任务用于进行网络转换。
120.在分别执行多个子任务时,各子任务按照先后顺序分别执行,只有在各子任务全部成功执行的情况下,才能完成目标训练任务。若上一个子任务执行成功,则执行下一个子任务;若上一个子任务执行失败,则不执行下一个子任务。在确定出最后一个子任务执行成功的情况下,全部子任务执行成功,也即目标训练任务完成,便可得到目标训练任务对应的训练结果。
121.在执行每个子任务时,可按照如下步骤进行:
122.步骤一、针对每个子任务,确定子任务对应的任务数据;
123.步骤二、从上下文信息中选取与任务数据对应的上下文信息;
124.步骤三、基于选取出的上下文信息执行子任务,得到子任务对应的任务结果。
125.这里,子任务对应的任务数据可以基于预先定义的环境变量所指示的数据存储位置获取,也可以从预存数据文件中获取。预存数据文件中可以存储有训练所需的数据集。
126.其中,在执行整个目标训练任务的过程中,可以按照如下步骤来执行:首先执行前置任务(对应第一个子任务),对目标训练任务所对应的数据集进行预处理,将数据集划分为训练集、测试集和验证集;然后执行训练任务(对应第二个子任务),利用训练调度模板对训练参数和环境变量进行设置,将训练集输入到预训练好的初始神经网络,进行训练,得到训练好的神经网络模型,将测试集和验证集输入训练得到的神经网络模型以实现对模型精度的测试和验证;最后执行后置任务(对应第三个子任务),将得到的模型文件进行转换,以适配模型的实际使用环境。
127.下面以目标检测为例对各子任务的执行过程进行说明。从预先设置好的数据集中选择用于执行目标检测任务的数据集,然后对所选的数据集进行预处理(例如对图片进行标注,将数据集划分为训练集、测试集和验证集),在完成对所选数据集的预处理后,对初始的目标检测模型的参数进行设置,对训练所使用的集群的硬件进行配置,设置完成后将训练集的图片输入到初始的目标检测模型中,执行训练任务,便可得到训练好的目标检测神经网络模型。利用测试集和验证集的图片对模型的精度进行测试和验证,最后将得到的模型文件进行转换,以适配目标检测模型的实际使用环境。
128.基于上述实施例提供的信息处理方法,本公开实施例还提供了一种信息处理系统,如图3所示,这里的信息处理系统包括:用户输入接口31、处理器32、显示器33;
129.用户输入接口31,用于响应于用户的数据输入指令,数据输入指令中携带有与目标训练任务对应的训练参数信息;
130.处理器32,用于从数据获取指令中获取训练参数信息;基于针对目标训练任务预设的训练调度模板以及训练参数信息,确定用于执行目标训练任务的上下文信息;根据上
下文信息执行目标训练任务,得到目标训练任务对应的训练结果;
131.显示器33,用于展示包括训练好的神经网络的训练结果。
132.本公开实施例提供的信息处理系统,首先,用户输入接口31接收到包含与目标训练任务对应的训练参数信息,之后,处理器32获取到所述训练参数信息,根据预设的训练调度模板以及所述训练参数信息确定出上下文信息,并根据上下文信息执行目标训练任务,得到训练结果,最后,显示器33将训练结果展示出来。
133.这里,用户输入接口31可以包括用户界面,用户可通过用户界面对训练参数信息进行设置;显示器33在展示训练结果时,可以将模型的准确率、精度、召回率以柱形图、环形图的形式显示出来,这样可以更加直观的展示训练结果。
134.其中,在确定目标训练任务并获取到与之对应的训练参数信息的情况下,可以基于预设的训练调度模板以及训练参数信息确定上下文信息,仅利用该上下文信息即可以用于执行目标训练任务,与此同时,对于不同的目标训练任务,这里所预设的训练调度模板也不相同,继而所确定的上下文信息也不相同,可知的是,本公开在集成了进行训练任务的相关调度模板的情况下,可以快速展开各种训练任务,基于显示器33的展示情况,还可以可视化的查看训练结果,适用性更好。
135.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
136.基于同一发明构思,本公开实施例中还提供了与信息处理方法对应的信息处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述信息处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
137.参照图4所示,为本公开实施例提供的一种信息处理装置的架构示意图,所述装置包括:获取模块401、处理模块402、训练模块403;其中,
138.获取模块401,用于响应于针对目标训练任务的数据获取指令,获取与所述目标训练任务对应的训练参数信息;
139.处理模块402,用于基于针对所述目标训练任务预设的训练调度模板以及所述训练参数信息,确定用于执行所述目标训练任务的上下文信息;
140.训练模块403,用于根据所述上下文信息执行所述目标训练任务,得到所述目标训练任务对应的训练结果,所述训练结果包括训练好的神经网络。
141.本公开实施例通过预设的训练调度模板以及训练参数信息,可以快速确定出用于执行目标训练任务的上下文信息,根据上下文信息执行目标训练任务,得到的训练好的神经网络更加准确。
142.一种可选的实施方式中,训练模块403,用于按照如下步骤根据上下文信息执行目标训练任务,得到目标训练任务对应的训练结果:
143.根据上下文信息指示的目标训练任务包括的多个子任务的先后执行顺序,分别执行多个子任务;
144.在执行完成多个子任务的情况下,得到目标训练任务对应的训练结果。
145.一种可选的实施方式中,多个子任务包括用于进行信息预处理的前置任务、用于进行网络训练的训练任务、以及用于进行网络转换的后置任务。
146.一种可选的实施方式中,训练模块403,用于按照如下步骤执行每个子任务:
147.针对每个子任务,确定子任务对应的任务数据;
148.从上下文信息中选取与任务数据对应的上下文信息;
149.基于选取出的上下文信息执行子任务,得到子任务对应的任务结果。
150.一种可选的实施方式中,训练模块403,用于按照如下方式中的一种确定所述子任务对应的任务数据:
151.基于预先定义的环境变量所指示的数据存储位置,获取与所述子任务对应的任务数据;
152.从预存数据文件中,获取与所述子任务对应的任务数据。
153.一种可选的实施方式中,训练模块403,用于按照如下步骤分别执行多个子任务:
154.在上一个子任务成功执行的情况下,执行下一个子任务;
155.在执行完成多个子任务的情况下,得到目标训练任务对应的训练结果,包括:
156.在最后一个子任务成功执行的情况下,得到目标训练任务对应的训练结果。
157.一种可选的实施方式中,训练模块403,用于按照如下步骤基于针对目标训练任务预设的训练调度模板以及训练参数信息,确定用于执行目标训练任务的上下文信息,包括:
158.获取用于进行集群资源调度的环境变量信息;
159.基于针对目标训练任务预设的训练调度模板、训练参数信息以及环境变量信息,确定用于执行目标训练任务的上下文信息。
160.一种可选的实施方式中,处理模块402,用于按照如下步骤基于针对目标训练任务预设的训练调度模板、训练参数信息以及环境变量信息,确定用于执行目标训练任务的上下文信息:
161.从针对目标训练任务预设的训练调度模板中分别确定训练参数信息以及环境变量信息的待插入位置;
162.在训练调度模板中的待插入位置处插入训练参数信息和环境变量信息,得到用于执行目标训练任务的上下文信息。
163.一种可选的实施方式中,处理模块402,用于按照如下步骤基于针对目标训练任务预设的训练调度模板以及训练参数信息,确定用于执行目标训练任务的上下文信息:
164.基于针对目标训练任务预设的自定义参数配置项,将训练参数信息配置为自定义参数信息;
165.基于针对目标训练任务预设的训练调度模板以及配置好的自定义参数信息,确定用于执行目标训练任务的上下文信息。
166.一种可选的实施方式中,训练参数信息包括以下信息中的至少一种:
167.训练数据集信息、训练所使用的预训练神经网络信息、训练所使用的硬件资源信息。
168.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
169.基于同一技术构思,本公开实施例还提供了一种电子设备。参照图5所示,为本公开实施例提供的电子设备500的结构示意图,包括处理器51、存储器52、和总线53。其中,存储器52用于存储执行指令,包括内存521和外部存储器522;这里的内存521也称内存储器,
memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
180.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献