一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

模型调度方法、装置、电子设备及计算机可读存储介质与流程

2021-12-01 00:46:00 来源:中国专利 TAG:


1.本发明涉及人工智能技术领域,尤其涉及一种模型调度方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.众所周知,深度学习模型的输出结果对于输入数据的分布有较强的敏感性,在复杂度较高的任务中,针对不同特征的数据,往往一个模型会有不同的表现。传统的数据特征仅仅针对用于模型训练的数据,然而在实际生产应用中,还有一些并未用于模型训练的数据也实实在在地影响着模型地发挥,比如说业务流程中数据渠道信息、用户对象信息等等,一切可能影响模型发挥的数据特征都在其范围内。由于模型预测的准确率会和其他数据特征息息相关,因此模型实际应用时准确率不高。


技术实现要素:

3.本发明提供一种模型调度方法、装置、设备及存储介质,其主要目的在于解决模型检测的准确率较低的问题。
4.为实现上述目的,本发明提供的一种模型调度方法,包括:
5.获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
6.利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
7.获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
8.将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
9.可选地,所述获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合,包括:
10.获取预设周期内的业务数据集合,接收用户筛选指令,根据所述用户筛选指令从预构建的特征标签库中选取预设个数的特征标签作为所述泛数据特征标签;
11.根据所述泛数据特征标签对所述业务数据集合进行标签分类,得到不同泛数据特征标签组合的分类数据集合。
12.可选地,所述利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算之前,所述方法还包括:
13.获取业务训练集合,提取所述业务训练集合中不同的关键特征得到预设个数的特征训练集合;
14.利用所述预设个数的特征训练集合训练预构建的深度神经模型,得到预设个数的
检测模型,汇总所述预设个数的检测模型得到所述模型池。
15.可选地,所述利用所述预设个数的特征训练集合训练预构建的深度神经模型,得到预设个数的检测模型,包括:
16.依次选取任意一个特征训练集合作为负类样本,将未选取到的特征训练集合作为正类样本;
17.将所述正类样本及所述负类样本作为训练样本,利用所述深度神经网络输出所述训练样本中各样本的预测值;
18.利用预设的损失函数计算所述预测值的损失值,在所述损失值大于等于预设的损失阈值时,调整所述深度神经网络的神经元权重,直至所述损失值小于所述损失阈值时,得到训练完成的检测模型;
19.当所有特征训练集合均被选为负类样本后,汇总所有训练完成的检测模型得到所述预设个数的检测模型。
20.可选地,所述利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表,包括:
21.获取用户选中的度量指标,依次利用所述模型池中的检测模型计算所述分类数据集合中各类数据的所述度量指标,得到分类度量指标集合;
22.将所述分类数据集中的泛数据特征标签作为分类主键,并从所述分类度量指标集合中选取各类标签最大的指标对应的检测模型编号作为分类主键的值;
23.根据所述分类主键及所述分类主键的值构建所述模型路由表。
24.可选地,所述基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果,包括:
25.利用所述泛数据特征标签对所述实时业务数据进行标签分类,得到实时分类数据;
26.根据所述实时业务数据的标签查找所述模型路由表中所述标签对应的检测模型;
27.利用查找到的检测模型对所述实时分类数据进行检测,得到所述检测结果。
28.可选地,所述根据新的模型路由表调整模型池中的检测模型,包括:
29.获取新的训练完成的检测模型,将连续两个周期的模型路由表中没有数据流入的检测模型替换为所述新的训练完成的检测模型。
30.为了解决上述问题,本发明还提供一种模型调度装置,所述装置包括:
31.数据分类模块,用于获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
32.模型路由表构建模块,用于利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
33.模型检测模块,用于获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
34.模型调整模块,用于将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
35.为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
36.存储器,存储至少一个计算机程序;及
37.处理器,执行所述存储器中存储的计算机程序以实现上述所述的模型调度方法。
38.为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的模型调度方法。
39.本发明通过预设的泛数据特征标签对业务数据集合进行分类,得到分类数据集合,可以更细粒度的挖掘业务数据的数据特征,提高模型选择的适用性。并且根据指标计算结果构建模型池的模型路由表,可以根据实际业务需求调整度量指标,提高了模型应用的准确性。同时,基于模型路由表选取所述模型池中的模型对实时业务数据进行检测,并且基于模型路由表来对模型池的检测模型进行调整,可以找到最适合的检测模型,提高了模型检测的准确率。因此本发明提出的模型调度方法、装置、电子设备及计算机可读存储介质,可以解决模型检测的准确率较低的问题。
附图说明
40.图1为本发明一实施例提供的模型调度方法的流程示意图;
41.图2为本发明一实施例提供的模型调度装置的功能模块图;
42.图3为本发明一实施例提供的实现所述模型调度方法的电子设备的结构示意图。
43.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
44.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
45.本技术实施例提供一种模型调度方法。所述模型调度方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述模型调度方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
46.参照图1所示,为本发明一实施例提供的模型调度方法的流程示意图。
47.在本实施例中,所述模型调度方法包括:
48.s1、获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
49.本发明实施例中,所述业务数据集合是指实际生产场景下用于输入深度神经网络的业务数据。例如,所述业务数据集合可以为人脸活体视频集合、用户信息图像(如身份证图像)集合等。所述泛数据特征是指不仅针对模型训练提取的特征,在实际生产应用中,还有一些并未用于模型训练的数据也实实在在地影响着模型地发挥,比如说业务流程中数据渠道信息、用户对象信息等特征。
50.具体地,所述获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集
合进行分类,得到分类数据集合,包括:
51.获取预设周期内的业务数据集合,接收用户筛选指令,根据所述用户筛选指令从预构建的特征标签库中选取预设个数的特征标签作为所述泛数据特征标签;
52.根据所述泛数据特征标签对所述业务数据集合进行标签分类,得到不同泛数据特征标签组合的分类数据集合。
53.本发明实施例中,以人脸活体检测为例,所述预构建的特征标签库中包括前端上传的人脸活体视频数据的各种信息,比如设备型号、用户年龄段、用户性别等。
54.本发明一可选实施例中,所述预设周期可以为最近一周的历史业务数据,根据用户筛选指令选取设备型号、用户年龄段作为泛数据特征(即认为这两个维度的特征可能会对活体识别的结果造成影响),假设设备型号数为m、用户年龄段细分为n类,那么分类数据集合的标签共有m*n种。
55.本发明实施例中,通过泛数据特征标签对业务数据进行分类,可以更细粒度的挖掘业务数据的数据特征,提高模型选择的适用性。同时,因为对不同特征的数据(这些特征可以并未参与模型训练)进行了分流,相当于细分了检测任务。那么对单个模型来说只需要在特定的数据上表现较好即可,相当于降低了模型检测的复杂度。
56.s2、利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
57.本发明实施例中,所述预构建的模型池中包括同一领域的多个深度模型,比如,活体识别领域中,用于活体识别的不同活体识别模型组成的模型池。所述模型路由表是指用来反映不同指标计算结果和泛数据特征标签映射关系的表格,比如,用户年龄段细分为3个年龄段,设备型号为15种,模型池中共有10个模型,对3*15类标签组合的数据分别进行精准度指标计算,选取每一类数据中精准度最高的的模型组成所述模型路由表,其中该表共有3*15个主键,分别对应1

10中精准度最高的模型。
58.具体地,所述利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算之前,所述方法还包括:
59.获取业务训练集合,提取所述业务训练集合中不同的关键特征得到预设个数的特征训练集合;
60.利用所述预设个数的特征训练集合训练预构建的深度神经模型,得到预设个数的检测模型,汇总所述预设个数的检测模型得到所述模型池。
61.本发明一可选实施例中,以活体识别检测为例,在人脸活体视频检测中涉及很多检测方法,比如可针对面部、针对眼睛等不同的部位可以有不同的侧重点,即提取不同的关键特征来训练许多不同的检测模型,这些检测模型构成一个模型池,比如说10个,都在模型池中处于随时可调用的状态。
62.本发明一可选实施例中,所述利用所述预设个数的特征训练集合训练预构建的深度神经模型,得到预设个数的检测模型,包括:
63.依次选取任意一个特征训练集合作为负类样本,将未选取到的特征训练集合作为正类样本;
64.将所述正类样本及所述负类样本作为训练样本,利用所述深度神经网络输出所述训练样本中各样本的预测值;
65.利用预设的损失函数计算所述预测值的损失值,在所述损失值大于等于预设的损失阈值时,调整所述深度神经网络的神经元权重,直至所述损失值小于所述损失阈值时,得到训练完成的检测模型;
66.当所有特征训练集合均被选为负类样本后,汇总所有训练完成的检测模型得到所述预设个数的检测模型。
67.本发明一可选实施例中,负类样本对应的标签为0,正类样本对应的标签为1,通过选取不同的特征作为负类样本,可以让不同的模型更加聚焦不同的特征,提高模型识别的准确性。
68.本发明实施例中,所述利用预设的损失函数计算所述预测值的损失值,包括:
69.利用下述均方误差损失函数计算所述预测值的损失值:
[0070][0071]
其中,fi
i
为所述预测值,y
i
为不同样本对应的标签,n为任意一个训练样本的数量。
[0072]
进一步地,所述利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表,包括:
[0073]
获取用户选中的度量指标,依次利用所述模型池中的检测模型计算所述分类数据集合中各类数据的所述度量指标,得到分类度量指标集合;
[0074]
将所述分类数据集中的泛数据特征标签作为分类主键,并从所述分类度量指标集合中选取各类标签最大的指标对应的检测模型编号作为分类主键的值;
[0075]
根据所述分类主键及所述分类主键的值构建所述模型路由表。
[0076]
本发明一可选实施例中,所述度量指标包括检测模型的准确度、精准度、召回率等。例如,度量指标为准确率,模型池中有10个检测模型,分类数据集合的标签共有m*n种,则对应有m*n类标签组合的数据,分别利用下述计算公式:计算10个检测模型对m*n类数据预测的准确率,其中,accuracy为所述准确率,t为预测正确的样本,t为每一类数据总的样本数。根据m*n类标签对应设置m*n个分类主键,将对每一类数据检测准确率最高的检测模型对应的编号设置为该类数据分类主键的值,则关于检测模型准确度的数据路由表共有m*n个分类主键,每个分类主键分别对应模型池中检测模型准确度最大的模型编号(1

10号)。
[0077]
本发明实施例中,可以根据实际业务需求调整度量指标,例如由于业务需求的变化,目前需要更多的准确率,而对召回率的关心降低,那么动态的调整度量指标,将准确率的需求指标调高,将召回率的需求指标调低,从而更加适用实时需求。
[0078]
s3、获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
[0079]
本发明实施例中,所述实时业务数据是指真实生产环境下的流量数据,比如,活体检测的视频流数据。
[0080]
详细地,所述基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果,包括:
[0081]
利用所述泛数据特征标签对所述实时业务数据进行标签分类,得到实时分类数
据;
[0082]
根据所述实时业务数据的标签查找所述模型路由表中所述标签对应的检测模型;
[0083]
利用查找到的检测模型对所述实时分类数据进行检测,得到所述检测结果。
[0084]
本发明实施例中,通过所述泛数据特征标签将实时业务数据进行更细粒度的划分,并通过模型路由表查找到最适合的检测模型,提高了检测模型对数据的检测结果。
[0085]
s4、将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
[0086]
具体地,所述根据新的模型路由表调整模型池中的检测模型,包括:
[0087]
获取新的训练完成的检测模型,将连续两个周期的模型路由表中没有数据流入的检测模型替换为所述新的训练完成的检测模型。
[0088]
本发明实施例中,由于模型路由表中记录了模型池中各个检测模型的度量结果,如果连续两个周期内的生产推理中,没有任何一种标签组合的流量路由到一个单一的模型,那么可以认为此检测模型目前失去了流量市场,由于生产算力资源的限制,不可能无限制的保留旧模型,于是该模型将在下一个周期中被移除出模型池,流出空位以待新的模型,新的训练完成的模型可以是通用模型,也可能是针对某种数据特征的模型。
[0089]
本发明实施例中,通过所述模型路由表来调度调整模型,可以充分发挥模型池中每一个模型的性能,提高模型检测的准确率。
[0090]
本发明通过预设的泛数据特征标签对业务数据集合进行分类,得到分类数据集合,可以更细粒度的挖掘业务数据的数据特征,提高模型选择的适用性。并且根据指标计算结果构建模型池的模型路由表,可以根据实际业务需求调整度量指标,提高了模型应用的准确性。同时,基于模型路由表选取所述模型池中的模型对实时业务数据进行检测,并且基于模型路由表来对模型池的检测模型进行调整,可以找到最适合的检测模型,提高了模型检测的准确率。因此本发明提出的模型调度方法,可以解决模型检测的准确率较低的问题。
[0091]
如图2所示,是本发明一实施例提供的模型调度装置的功能模块图。
[0092]
本发明所述模型调度装置100可以安装于电子设备中。根据实现的功能,所述模型调度装置100可以包括数据分类模块101、模型路由表构建模块102、模型检测模块103及模型调整模块104。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
[0093]
在本实施例中,关于各模块/单元的功能如下:
[0094]
所述数据分类模块101,用于获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
[0095]
所述模型路由表构建模块102,用于利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
[0096]
所述模型检测模块103,用于获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
[0097]
所述模型调整模块104,用于将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
[0098]
详细地,所述模型调度装置100各模块的具体实施方式如下:
[0099]
步骤一、获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
[0100]
本发明实施例中,所述业务数据是指实际生产场景下用于输入深度神经网络的业务数据。例如,所述业务数据集合可以为人脸活体视频集合、用户信息图像(如身份证图像)集合等。所述泛数据特征是指不仅针对模型训练提取的特征,在实际生产应用中,还有一些并未用于模型训练的数据也实实在在地影响着模型地发挥,比如说业务流程中数据渠道信息、用户对象信息等特征。
[0101]
具体地,所述获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合,包括:
[0102]
获取预设周期内的业务数据集合,接收用户筛选指令,根据所述用户筛选指令从预构建的特征标签库中选取预设个数的特征标签作为所述泛数据特征标签;
[0103]
根据所述泛数据特征标签对所述业务数据集合进行标签分类,得到不同泛数据特征标签组合的分类数据集合。
[0104]
本发明实施例中,以人脸活体检测为例,所述预构建的特征标签库中包括前端上传的人脸活体视频数据的各种信息,比如设备型号、用户年龄段、用户性别等。
[0105]
本发明一可选实施例中,所述预设周期可以为最近一周的历史业务数据,根据用户筛选指令选取设备型号、用户年龄段作为泛数据特征(即认为这两个维度的特征可能会对活体识别的结果造成影响),假设设备型号数为m、用户年龄段细分为n类,那么分类数据集合的标签共有m*n种。
[0106]
本发明实施例中,通过泛数据特征标签对业务数据进行分类,可以更细粒度的挖掘业务数据的数据特征,提高模型选择的适用性。同时,因为对不同特征的数据(这些特征可以并未参与模型训练)进行了分流,相当于细分了检测任务。那么对单个模型来说只需要在特定的数据上表现较好即可,相当于降低了模型检测的复杂度。
[0107]
步骤二、利用所述分类数据集合对预构建的模型池中的模型进行检测模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
[0108]
本发明实施例中,所述预构建的模型池中包括同一领域的多个深度模型,比如,活体识别领域中,用于活体识别的不同活体识别模型组成的模型池。所述模型路由表是指用来反映不同指标计算结果和泛数据特征标签映射关系的表格,比如,用户年龄段细分为3个年龄段,设备型号为15种,模型池中共有10个模型,对3*15类标签组合的数据分别进行精准度指标计算,选取每一类数据中精准度最高的的模型组成所述模型路由表,其中该表共有3*15个主键,分别对应1

10中精准度最高的模型。
[0109]
具体地,所述利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算之前,所述方法还包括:
[0110]
获取业务训练集合,提取所述业务训练集合中不同的关键特征得到预设个数的特征训练集合;
[0111]
利用所述预设个数的特征训练集合训练预构建的深度神经模型,得到预设个数的检测模型,汇总所述预设个数的检测模型得到所述模型池。
[0112]
本发明一可选实施例中,以活体识别检测为例,在人脸活体视频检测中涉及很多
检测方法,比如可针对面部、针对眼睛等不同的部位可以有不同的侧重点,即提取不同的关键特征来训练许多不同的检测模型,这些检测模型构成一个模型池,比如说10个,都在模型池中处于随时可调用的状态。
[0113]
本发明一可选实施例中,所述利用所述预设个数的特征训练集合训练预构建的深度神经模型,得到预设个数的检测模型,包括:
[0114]
依次选取任意一个特征训练集合作为负类样本,将未选取到的特征训练集合作为正类样本;
[0115]
将所述正类样本及所述负类样本作为训练样本,利用所述深度神经网络输出所述训练样本中各样本的预测值;
[0116]
利用预设的损失函数计算所述预测值的损失值,在所述损失值大于等于预设的损失阈值时,调整所述深度神经网络的神经元权重,直至所述损失值小于所述损失阈值时,得到训练完成的检测模型;
[0117]
当所有特征训练集合均被选为负类样本后,汇总所有训练完成的检测模型得到所述预设个数的检测模型。
[0118]
本发明一可选实施例中,负类样本对应的标签为0,正类样本对应的标签为1,通过选取不同的特征作为负类样本,可以让不同的模型更加聚焦不同的特征,提高模型识别的准确性。
[0119]
本发明实施例中,所述利用预设的损失函数计算所述预测值的损失值,包括:
[0120]
利用下述均方误差损失函数计算所述预测值的损失值:
[0121][0122]
其中,f
i
为所述预测值,y
i
为不同样本对应的标签,n为任意一个训练样本的数量。
[0123]
进一步地,所述利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表,包括:
[0124]
获取用户选中的度量指标,依次利用所述模型池中的检测模型计算所述分类数据集合中各类数据的所述度量指标,得到分类度量指标集合;
[0125]
将所述分类数据集中的泛数据特征标签作为分类主键,并从所述分类度量指标集合中选取各类标签最大的指标对应的检测模型编号作为分类主键的值;
[0126]
根据所述分类主键及所述分类主键的值构建所述模型路由表。
[0127]
本发明一可选实施例中,所述度量指标包括检测模型的准确度、精准度、召回率等。例如,度量指标为准确率,模型池中有10个检测模型,分类数据集合的标签共有m*n种,则对应有m*n类标签组合的数据,分别利用下述计算公式:计算10个检测模型对m*n类数据预测的准确率,其中,accuracy为所述准确率,t为预测正确的样本,t为每一类数据总的样本数。根据m*n类标签对应设置m*n个分类主键,将对每一类数据检测准确率最高的检测模型对应的编号设置为该类数据分类主键的值,则关于检测模型准确度的数据路由表共有m*n个分类主键,每个分类主键分别对应模型池中检测模型准确度最大的模型编号(1

10号)。
[0128]
本发明实施例中,可以根据实际业务需求调整度量指标,例如由于业务需求的变
化,目前需要更多的准确率,而对召回率的关心降低,那么动态的调整度量指标,将准确率的需求指标调高,将召回率的需求指标调低,从而更加适用实时需求。
[0129]
步骤三、获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
[0130]
本发明实施例中,所述实时业务数据是指真实生产环境下的流量数据,比如,活体检测的视频流数据。
[0131]
详细地,所述基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果,包括:
[0132]
利用所述泛数据特征标签对所述实时业务数据进行标签分类,得到实时分类数据;
[0133]
根据所述实时业务数据的标签查找所述模型路由表中所述标签对应的检测模型;
[0134]
利用查找到的检测模型对所述实时分类数据进行检测,得到所述检测结果。
[0135]
本发明实施例中,通过所述泛数据特征标签将实时业务数据进行更细粒度的划分,并通过模型路由表查找到最适合的检测模型,提高了检测模型对数据的检测结果。
[0136]
步骤四、将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
[0137]
具体地,所述根据新的模型路由表调整模型池中的检测模型,包括:
[0138]
获取新的训练完成的检测模型,将连续两个周期的模型路由表中没有数据流入的检测模型替换为所述新的训练完成的检测模型。
[0139]
本发明实施例中,由于模型路由表中记录了模型池中各个检测模型的度量结果,如果连续两个周期内的生产推理中,没有任何一种标签组合的流量路由到一个单一的模型,那么可以认为此模型目前失去了流量市场,由于生产算力资源的限制,不可能无限制的保留旧模型,于是该模型将在下一个周期中被移除出模型池,流出空位以待新的模型,新的训练完成的模型可以是通用模型,也可能是针对某种数据特征的模型。
[0140]
本发明实施例中,通过所述模型路由表来调度调整模型,可以充分发挥模型池中每一个模型的性能,提高模型检测的准确率。
[0141]
本发明通过预设的泛数据特征标签对业务数据集合进行分类,得到分类数据集合,可以更细粒度的挖掘业务数据的数据特征,提高模型选择的适用性。并且根据指标计算结果构建模型池的模型路由表,可以根据实际业务需求调整度量指标,提高了模型应用的准确性。同时,基于模型路由表选取所述模型池中的模型对实时业务数据进行检测,并且基于模型路由表来对模型池的检测模型进行调整,可以找到最适合的检测模型,提高了模型检测的准确率。因此本发明提出的模型调度装置,可以解决模型检测的准确率较低的问题。
[0142]
如图3所示,是本发明一实施例提供的实现模型调度方法的电子设备的结构示意图。
[0143]
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如模型调度程序。
[0144]
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘
等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如模型调度程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0145]
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如模型调度程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
[0146]
所述通信接口12用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如wi

fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light

emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0147]
所述总线13可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0148]
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0149]
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi

fi模块等,在此不再赘述。
[0150]
进一步地,所述电子设备还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如wi

fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。
[0151]
可选地,该电子设备还可以包括用户接口,用户接口可以是显示器(display)、输
入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light

emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0152]
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0153]
所述电子设备中的所述存储器11存储的模型调度程序是多个指令的组合,在所述处理器10中运行时,可以实现:
[0154]
获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
[0155]
利用所述分类数据集合对预构建的模型池中的模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
[0156]
获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
[0157]
将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
[0158]
具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
[0159]
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)。
[0160]
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
[0161]
获取业务数据集合,根据预设的泛数据特征标签对所述业务数据集合进行分类,得到分类数据集合;
[0162]
利用所述分类数据集合对预构建的模型池中的检测模型进行模型指标计算,根据指标计算结果构建所述模型池的模型路由表;
[0163]
获取实时业务数据,基于所述模型路由表选取所述模型池中的检测模型对所述实时业务数据进行检测,得到检测结果;
[0164]
将所述实时业务数据作为下一个周期的业务数据集合,并返回所述根据预设的泛数据特征标签对所述业务数据集合进行分类的步骤,得到新的模型路由表,根据新的模型路由表调整模型池中的检测模型。
[0165]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0166]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显
示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0167]
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0168]
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0169]
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0170]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0171]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0172]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0173]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
[0174]
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献