一种业务处理方法及相关设备与流程
本技术涉及计算机设备,具体涉及一种业务处理方法及相关设备。
背景技术:
1、随着人工智能技术的发展,更多的模型被训练并使用。然而,模型在训练时需要消耗大量的算力资源。目前,在接收到模型优化业务时,会直接将模型优化任务分配给算力资源充足的设备,该设备利用自己的算力资源执行模型优化业务,以完成对模型的优化。但上述方式为模型优化业务分配算力资源过于固定,不够灵活。
技术实现思路
1、本技术实施例提供一种业务处理方法及相关设备,可以为模型优化业务灵活分配算力资源。
2、一方面,本技术实施例提供了一种业务处理方法,该方法应用于业务处理系统,该业务处理系统包括多个资源节点,该方法包括:
3、在接收到模型优化业务时,获取模型优化业务的业务参数;
4、根据业务参数,确定支持模型优化业务的资源节点的节点需求状态;
5、根据节点需求状态以及各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点;节点标记状态至少包括第一节点状态和第二节点状态;处于第一节点状态的资源节点和处于第二节点状态的资源节点的算力资源不同;
6、将模型优化业务下发至多个目标资源节点对应的业务处理容器,业务处理容器用于利用对应的目标资源节点的算力资源,执行模型优化业务。
7、其中,各资源节点的节点状态包括各资源节点在不同业务类型下的节点标记状态;根据节点需求状态以及各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点,包括:
8、根据各资源节点在不同业务类型下的节点标记状态,确定在模型优化业务所属业务类型下各资源节点的节点标记状态;
9、根据节点需求状态和在模型优化业务所属业务类型下各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点。
10、其中,业务参数包括节点状态标识;根据业务参数,确定支持模型优化业务的资源节点的节点需求状态,包括:
11、若节点状态标识为第一节点状态的标识,则确定支持模型优化业务的资源节点的节点需求状态为第一节点状态;
12、若节点状态标识为第二节点状态的标识,则确定支持模型优化业务的资源节点的节点需求状态为第二节点状态。
13、其中,业务参数包括模型优化业务的优先级,根据业务参数,确定支持模型优化业务的资源节点的节点需求状态,包括:
14、若模型优化业务的优先级低于预设优先级,则确定支持模型优化业务的资源节点的节点需求状态为第一节点状态;
15、若模型优化业务的优先级高于预设优先级,则确定支持模型优化业务的资源节点的节点需求状态为第二节点状态。
16、其中,业务参数包括模型优化业务需使用的算力卡的需求量,不同资源节点所包括的算力卡的数量不同;
17、根据业务参数,确定支持模型优化业务的资源节点的节点需求状态,包括:
18、若模型优化业务需使用的算力卡的需求量低于预设数量,则确定支持模型优化业务的资源节点的节点需求状态为第一节点状态;
19、若模型优化业务需使用的算力卡的需求量高于或等于预设数量,则确定支持模型优化业务的资源节点的节点需求状态为第二节点状态。
20、其中,业务参数包括节点状态指示信息,状态指示信息是按照业务处理系统所提供的接口参数进行配置得到的;
21、根据业务参数,确定支持模型优化业务的资源节点的节点需求状态,包括:
22、若状态指示信息指示使用第一节点状态的资源节点,则支持模型优化业务的资源节点的节点需求状态为第一节点状态;
23、若状态指示信息指示使用第二节点状态的资源节点,则支持模型优化业务的资源节点的节点需求状态为第二节点状态。
24、其中,方法还包括:
25、获取资源检测规则以及业务检测规则;资源检测规则用于从资源层对资源节点中的资源进行检测,业务检测规则用于从业务层面利用业务执行情况对资源节点进行检测;
26、根据资源检测规则和业务检测规则对业务处理系统中的各资源节点进行状态检测,得到各资源节点的节点标记状态;
27、存储各资源节点的节点标记状态。
28、其中,根据资源检测规则和业务检测规则对业务处理系统中的各资源节点进行状态检测,得到各资源节点的节点标记状态,包括:
29、若存在第一资源节点在执行业务过程中,命中资源检测规则,则确定第一资源节点在不同业务类型下的节点标记状态均为第一节点状态;
30、若存在第二资源节点在执行业务过程中,未命中资源检测规则但命中业务检测规则,则确定第二资源节点,在业务所属的业务类型下的节点标记状态为第一节点状态,但第二资源节点在其他业务类型下的节点标记状态为第二节点状态;
31、若存在第三资源节点在业务执行过程中,未命中资源检测规则且未命中业务检测规则,则确定第三资源节点在不同业务类型下的节点标记状态为第二节点状态;
32、其中,第一资源节点、第二资源节点以及第三资源节点为业务处理系统中的资源节点。
33、其中,获取资源检测规则以及业务检测规则,包括:
34、获取资源节点的压测数据和资源节点在执行业务时的业务执行数据;压测数据是指资源节点在目标时间段内出现报错的次数大于预设次数的情况下,对资源节点执行压力测试得到的;
35、根据压测数据和业务执行数据,确定用于检测资源节点的节点状态的至少一个检测规则;
36、对至少一个检测规则进行分离,得到资源检测规则以及业务检测规则。
37、其中,对至少一个检测规则进行分离,得到资源检测规则以及业务检测规则,包括:
38、将至少一个检测规则中,从压测数据中所确定的检测规则确定为资源检测规则;
39、确定在各检测规则下,资源节点在执行不同业务时出现异常的业务的数量;
40、将出现异常的业务的数量大于或等于预设数量所对应的检测规则,确定为资源检测规则,并将出现异常的业务的数量小于预设数量所对应的检测规则确定为业务检测规则。
41、一方面,本技术实施例提供了一种业务处理装置,应用于业务处理系统,该业务处理系统包括多个资源节点;该装置包括:
42、获取单元,用于在接收到模型优化业务时,获取模型优化业务的业务参数;
43、处理单元,用于根据业务参数,确定支持模型优化业务的资源节点的节点需求状态;
44、处理单元,还用于根据节点需求状态以及各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点;节点标记状态至少包括第一节点状态和第二节点状态;处于第一节点状态的资源节点和处于第二节点状态的资源节点的算力资源不同;
45、处理单元,还用于将模型优化业务下发至多个目标资源节点对应的业务处理容器,业务处理容器用于利用对应的目标资源节点的算力资源,执行模型优化业务。
46、其中,各资源节点的节点状态包括各资源节点在不同业务类型下的节点标记状态;处理单元在根据节点需求状态以及各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点时,可具体用于:
47、根据各资源节点在不同业务类型下的节点标记状态,确定在模型优化业务所属业务类型下各资源节点的节点标记状态;
48、根据节点需求状态和在模型优化业务所属业务类型下各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点。
49、其中,业务参数包括节点状态标识;处理单元在根据业务参数,确定支持模型优化业务的资源节点的节点需求状态时,可具体用于:
50、若节点状态标识为第一节点状态的标识,则确定支持模型优化业务的资源节点的节点需求状态为第一节点状态;
51、若节点状态标识为第二节点状态的标识,则确定支持模型优化业务的资源节点的节点需求状态为第二节点状态。
52、其中,业务参数包括模型优化业务的优先级,处理单元在根据业务参数,确定支持模型优化业务的资源节点的节点需求状态时,可具体用于:
53、若模型优化业务的优先级低于预设优先级,则确定支持模型优化业务的资源节点的节点需求状态为第一节点状态;
54、若模型优化业务的优先级高于预设优先级,则确定支持模型优化业务的资源节点的节点需求状态为第二节点状态。
55、其中,业务参数包括模型优化业务需使用的算力卡的需求量,不同资源节点所包括的算力卡的数量不同;
56、处理单元在根据业务参数,确定支持模型优化业务的资源节点的节点需求状态时,可具体用于:
57、若模型优化业务需使用的算力卡的需求量低于预设数量,则确定支持模型优化业务的资源节点的节点需求状态为第一节点状态;
58、若模型优化业务需使用的算力卡的需求量高于或等于预设数量,则确定支持模型优化业务的资源节点的节点需求状态为第二节点状态。
59、其中,业务参数包括节点状态指示信息,状态指示信息是按照业务处理系统所提供的接口参数进行配置得到的;
60、处理单元在根据业务参数,确定支持模型优化业务的资源节点的节点需求状态时,可具体用于:
61、若状态指示信息指示使用第一节点状态的资源节点,则支持模型优化业务的资源节点的节点需求状态为第一节点状态;
62、若状态指示信息指示使用第二节点状态的资源节点,则支持模型优化业务的资源节点的节点需求状态为第二节点状态。
63、其中,获取单元,还用于:获取资源检测规则以及业务检测规则;资源检测规则用于从资源层对资源节点中的资源进行检测,业务检测规则用于从业务层面利用业务执行情况对资源节点进行检测;
64、处理单元,还用于根据资源检测规则和业务检测规则对业务处理系统中的各资源节点进行状态检测,得到各资源节点的节点标记状态;
65、处理单元,还用于存储各资源节点的节点标记状态。
66、其中,处理单元在根据资源检测规则和业务检测规则对业务处理系统中的各资源节点进行状态检测,得到各资源节点的节点标记状态时,可具体用于:
67、若存在第一资源节点在执行业务过程中,命中资源检测规则,则确定第一资源节点在不同业务类型下的节点标记状态均为第一节点状态;
68、若存在第二资源节点在执行业务过程中,未命中资源检测规则但命中业务检测规则,则确定第二资源节点,在业务所属的业务类型下的节点标记状态为第一节点状态,但第二资源节点在其他业务类型下的节点标记状态为第二节点状态;
69、若存在第三资源节点在业务执行过程中,未命中资源检测规则且未命中业务检测规则,则确定第三资源节点在不同业务类型下的节点标记状态为第二节点状态;
70、其中,第一资源节点、第二资源节点以及第三资源节点为业务处理系统中的资源节点。
71、其中,获取单元在获取资源检测规则以及业务检测规则时,可具体用于:
72、获取资源节点的压测数据和资源节点在执行业务时的业务执行数据;压测数据是指资源节点在目标时间段内出现报错的次数大于预设次数的情况下,对资源节点执行压力测试得到的;
73、根据压测数据和业务执行数据,确定用于检测资源节点的节点状态的至少一个检测规则;
74、对至少一个检测规则进行分离,得到资源检测规则以及业务检测规则。
75、其中,获取单元在对至少一个检测规则进行分离,得到资源检测规则以及业务检测规则时,可具体用于:
76、将至少一个检测规则中,从压测数据中所确定的检测规则确定为资源检测规则;
77、确定在各检测规则下,资源节点在执行不同业务时出现异常的业务的数量;
78、将出现异常的业务的数量大于或等于预设数量所对应的检测规则,确定为资源检测规则,并将出现异常的业务的数量小于预设数量所对应的检测规则确定为业务检测规则。
79、一方面,本技术实施例提供了一种计算机设备,该计算机设备包括:
80、处理器,适用于执行计算机程序;
81、计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时,实现如上述业务处理方法。
82、一方面,本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器加载并执行如上述业务处理方法。
83、一方面,本技术实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序或计算机指令,该计算机程序或计算机指令被处理器执行时实现上述业务处理方法。
84、在本技术实施例中,在接收到模型优化业务时,获取模型优化业务的业务参数;根据业务参数,确定支持模型优化业务的资源节点的节点需求状态;这样可以根据节点需求状态以及各资源节点的节点标记状态,从多个资源节点中,确定用于执行模型优化业务的多个目标资源节点,节点标记状态至少包括第一节点状态和第二节点状态;处于第一节点状态的资源节点和处于第二节点状态的资源节点的算力资源不同;将模型优化业务下发至多个目标资源节点对应的业务处理容器,业务处理容器用于利用对应的目标资源节点的算力资源,执行模型优化业务。可见,本技术实施例利用业务参数以及各资源节点的节点标记状态实现了对模型优化业务所需资源节点的灵活选择,且不同的节点状态的资源设备的算力资源不同,这样能够合理利用不同节点标记状态的资源节点的算力资源执行模型优化业务,实现了为模型优化业务灵活分配算力资源。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com