模型评估方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种模型评估方法、装置、电子设备和存储介质。


背景技术：

2.目前，随着人工智能技术的发展，模型被广泛应用于智能推荐、语音识别、图像处理等技术领域，具有自动化程度高、人工成本低等优点。比如，可通过推荐类模型向用户推荐商品、文章、主播等，可通过语音识别类模型将语音转换为文本信息，可通过图像处理类模型实现图像类别的识别、图像中对象动作的识别等。然而，相关技术中的模型评估方法较为单一，灵活性和准确度较低。


技术实现要素：

3.本技术旨在至少在一定程度上解决上述技术中的技术问题之一。
4.为此，本技术的一个目的在于提出一种模型评估方法，可根据子模型之间的层级关系，将评估样本分发至子模型，并根据子模型分发到的评估样本，获取子模型的评估结果。由此，可基于子模型之间的层级关系，实现评估样本在子模型之间的自动分发，进而可获取子模型的评估结果，提高了模型评估的灵活性和准确度。
5.本技术的第二个目的在于提出一种模型评估装置。
6.本技术的第三个目的在于提出一种电子设备。
7.本技术的第四个目的在于提出一种计算机可读存储介质。
8.为达到上述目的，本技术第一方面实施例提出了一种模型评估方法，包括：获取评估样本集和待评估模型，其中，所述待评估模型包括至少一个子模型；识别所述子模型之间的层级关系，其中，所述层级关系包括串行关系和并行关系中的至少一种；根据所述层级关系，将评估样本分发至所述子模型；根据所述子模型分发到的所述评估样本，获取所述子模型的评估结果。
9.根据本技术实施例的模型评估方法，可根据子模型之间的层级关系，将评估样本分发至子模型，并根据子模型分发到的评估样本，获取子模型的评估结果。由此，可基于子模型之间的层级关系，实现评估样本在子模型之间的自动分发，进而可获取子模型的评估结果，提高了模型评估的灵活性和准确度。
10.另外，根据本技术上述实施例提出的模型评估方法还可以具有如下附加的技术特征：
11.在本技术的一个实施例中，所述根据所述层级关系，将评估样本分发至所述子模型，包括：获取所述子模型的样本分发条件和/或样本分发比例；根据所述层级关系、所述样本分发条件和/或所述样本分发比例，将所述评估样本分发至所述子模型。
12.在本技术的一个实施例中，所述根据所述层级关系、所述样本分发条件和/或所述样本分发比例，将所述评估样本分发至所述子模型，包括：获取所述评估样本的属性信息；
根据所述属性信息，识别所述子模型符合所述样本分发条件；根据所述层级关系，将所述评估样本分发至所述子模型。
13.在本技术的一个实施例中，所述层级关系包括串行关系和并行关系，所述根据所述层级关系，将评估样本分发至所述子模型，包括：将所述评估样本分发至多个第一子模型，其中，所述多个第一子模型之间的层级关系为并行关系；针对任一第一子模型，将所述任一第一子模型分发到的评估样本分发至多个第二子模型，其中，所述多个第二子模型之间的层级关系为并行关系；其中，所述第一子模型和所述第二子模型之间的层级关系为串行关系，且所述第一子模型的分发时间早于所述第二子模型的分发时间。
14.在本技术的一个实施例中，所述层级关系仅包括串行关系，所述根据所述层级关系，将评估样本分发至所述子模型，包括：将所述评估样本分发至第三子模型；将所述第三子模型分发到的评估样本分发至第四子模型；其中，所述第三子模型和所述第四子模型之间的层级关系为串行关系，且所述第三子模型的分发时间早于所述第四子模型的分发时间。
15.在本技术的一个实施例中，所述层级关系仅包括并行关系，所述根据所述层级关系，将评估样本分发至所述子模型，包括：将所述评估样本分发至多个第五子模型，其中，所述多个第五子模型之间的层级关系为并行关系。
16.在本技术的一个实施例中，所述根据所述层级关系，将评估样本分发至所述子模型，包括：获取所述评估样本的标识信息；根据所述标识信息和所述层级关系，确定所述评估样本对应的目标子模型；将所述评估样本分发至所述目标子模型。
17.在本技术的一个实施例中，所述根据所述子模型分发到的所述评估样本，获取所述子模型的评估结果，包括：获取所述子模型的评估配置信息；根据所述评估配置信息和所述子模型分发到的所述评估样本，配置评估环境；运行所述评估环境，并基于所述评估环境获取所述子模型的评估结果。
18.为达到上述目的，本技术第二方面实施例提出了一种模型评估装置，包括：获取模块，用于获取评估样本集和待评估模型，其中，所述待评估模型包括至少一个子模型；识别模块，用于识别所述子模型之间的层级关系，其中，所述层级关系包括串行关系和并行关系中的至少一种；分发模块，用于根据所述层级关系，将评估样本分发至所述子模型；评估模块，用于根据所述子模型分发到的所述评估样本，获取所述子模型的评估结果。
19.本技术实施例的模型评估装置，可根据子模型之间的层级关系，将评估样本分发至子模型，并根据子模型分发到的评估样本，获取子模型的评估结果。由此，可基于子模型之间的层级关系，实现评估样本在子模型之间的自动分发，进而可获取子模型的评估结果，提高了模型评估的灵活性和准确度。
20.另外，根据本技术上述实施例提出的模型评估装置还可以具有如下附加的技术特征：
21.在本技术的一个实施例中，所述分发模块，还用于：获取所述子模型的样本分发条件和/或样本分发比例；根据所述层级关系、所述样本分发条件和/或所述样本分发比例，将所述评估样本分发至所述子模型。
22.在本技术的一个实施例中，所述分发模块，还用于：获取所述评估样本的属性信息；根据所述属性信息，识别所述子模型符合所述样本分发条件；根据所述层级关系，将所
述评估样本分发至所述子模型。
23.在本技术的一个实施例中，所述层级关系包括串行关系和并行关系，所述分发模块，还用于：将所述评估样本分发至多个第一子模型，其中，所述多个第一子模型之间的层级关系为并行关系；针对任一第一子模型，将所述任一第一子模型分发到的评估样本分发至多个第二子模型，其中，所述多个第二子模型之间的层级关系为并行关系；其中，所述第一子模型和所述第二子模型之间的层级关系为串行关系，且所述第一子模型的分发时间早于所述第二子模型的分发时间。
24.在本技术的一个实施例中，所述层级关系仅包括串行关系，所述分发模块，还用于：将所述评估样本分发至第三子模型；将所述第三子模型分发到的评估样本分发至第四子模型；其中，所述第三子模型和所述第四子模型之间的层级关系为串行关系，且所述第三子模型的分发时间早于所述第四子模型的分发时间。
25.在本技术的一个实施例中，所述层级关系仅包括并行关系，所述分发模块，还用于：将所述评估样本分发至多个第五子模型，其中，所述多个第五子模型之间的层级关系为并行关系。
26.在本技术的一个实施例中，所述分发模块，还用于：获取所述评估样本的标识信息；根据所述标识信息和所述层级关系，确定所述评估样本对应的目标子模型；将所述评估样本分发至所述目标子模型。
27.在本技术的一个实施例中，所述评估模块，还用于：获取所述子模型的评估配置信息；根据所述评估配置信息和所述子模型分发到的所述评估样本，配置评估环境；运行所述评估环境，并基于所述评估环境获取所述子模型的评估结果。
28.为达到上述目的，本技术第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本技术第一方面实施例所述的模型评估方法。
29.本技术实施例的电子设备，通过处理器执行存储在存储器上的指令，可根据子模型之间的层级关系，将评估样本分发至子模型，并根据子模型分发到的评估样本，获取子模型的评估结果。由此，可基于子模型之间的层级关系，实现评估样本在子模型之间的自动分发，进而可获取子模型的评估结果，提高了模型评估的灵活性和准确度。
30.为达到上述目的，本技术第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术第一方面实施例所述的模型评估方法。
31.本技术实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，可根据子模型之间的层级关系，将评估样本分发至子模型，并根据子模型分发到的评估样本，获取子模型的评估结果。由此，可基于子模型之间的层级关系，实现评估样本在子模型之间的自动分发，进而可获取子模型的评估结果，提高了模型评估的灵活性和准确度。
32.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
33.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得
明显和容易理解，其中：
34.图1为根据本技术一个实施例的模型评估方法的流程示意图；
35.图2为根据本技术一个实施例的模型评估方法中待评估模型的示意图；
36.图3为根据本技术另一个实施例的模型评估方法中待评估模型的示意图；
37.图4为根据本技术另一个实施例的模型评估方法中待评估模型的示意图；
38.图5为根据本技术一个实施例的模型评估方法中将评估样本分发至子模型的流程示意图；
39.图6为根据本技术另一个实施例的模型评估方法中将评估样本分发至子模型的流程示意图；
40.图7为根据本技术一个实施例的模型评估装置的框图；
41.图8为根据本技术一个实施例的电子设备的框图。
具体实施方式
42.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
43.下面结合附图来描述本技术实施例的模型评估方法、装置、电子设备和存储介质。
44.图1为根据本技术一个实施例的模型评估方法的流程示意图。
45.如图1所示，本技术实施例的模型评估方法，包括：
46.s101，获取评估样本集和待评估模型，其中，待评估模型包括至少一个子模型。
47.需要说明的是，本技术实施例的模型评估方法的执行主体可为本技术实施例的模型评估装置，上述模型评估装置可以配置在任意电子设备中，以执行本技术实施例的模型评估方法。其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(personal computer，简称pc)、移动终端、服务器等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
48.本技术的实施例中，可获取评估样本集。可以理解的是，评估样本集可包括大量评估样本。应说明的是，对评估样本的类型不做过多限定，比如，待评估模型为推荐类模型时，评估样本可为样本用户的用户信息，待评估模型为语音识别类模型时，评估样本可为语音，待评估模型为图像处理类模型时，评估样本可为图像。
49.在一种实施方式中，用户可登录应用程序(application，app)、网站等，在app、网站等页面上进行点击、搜索等操作，相应的，相关服务器可响应于用户的点击、搜索等操作，采集用户信息以生成评估样本集。应说明的是，此时评估样本为样本用户的用户信息。
50.本技术的实施例中，可获取待评估模型，其中，待评估模型包括至少一个子模型。应说明的是，对待评估模型的类型不做过多限定，比如，待评估模型包括但不限于推荐类模型、语音识别类模型、图像处理类模型等。应说明的是，对待评估模型包括的子模型的数量不做过多限定。
51.s102，识别子模型之间的层级关系，其中，层级关系包括串行关系和并行关系中的至少一种。
52.本技术的实施例中，可识别子模型之间的层级关系，其中，层级关系包括串行关系
和并行关系中的至少一种。
53.在一种实施方式中，识别子模型之间的层级关系，可包括识别子模型隶属的层级，根据层级识别子模型之间的层级关系，隶属于同一层级的子模型之间的层级关系为并行关系，隶属于不同层级的子模型之间的层级关系为串行关系。
54.在一种实施方式中，子模型之间的层级关系包括串行关系和并行关系。例如，如图2所示，待评估模型为推荐类模型，待评估模型包括用户界面(user interface，ui)层、推荐结果层和广告结果层，ui层包括子模型1至5，推荐结果层包括子模型6至10，广告结果层包括子模型11至15。子模型1至5之间的层级关系为并行关系，子模型6至10之间的层级关系为并行关系，子模型11至15之间的层级关系为并行关系，除此之外任意两个子模型之间的层级关系为串行关系。例如，子模型1与子模型7之间的层级关系为串行关系。
55.在一种实施方式中，子模型之间的层级关系仅包括串行关系。例如，如图3所示，待评估模型包括ui层、推荐结果层和广告结果层，ui层包括子模型1，推荐结果层包括子模型6，广告结果层包括子模型11，子模型1、6、11之间的层级关系为串行关系。
56.在一种实施方式中，子模型之间的层级关系仅包括并行关系。例如，如图4所示，待评估模型包括ui层，ui层包括子模型1至5，子模型1至5之间的层级关系为并行关系。
57.s103，根据层级关系，将评估样本分发至子模型。
58.需要说明的是，对评估样本分发至子模型的具体方式不做过多限定，比如，同一评估样本可分发至不同的子模型。比如，可将评估样本平均分发至层级关系为并行关系的子模型。
59.在一种实施方式中，层级关系为并行关系的子模型不存在相同的评估样本，层级关系为串行关系的子模型可能存在相同的评估样本。
60.在一种实施方式中，根据层级关系，将评估样本分发至子模型，可包括根据层级关系生成分发策略，按照分发策略将评估样本分发至子模型。其中，分发策略可包括评估样本分发到的目标子模型。
61.在一种实施方式中，根据层级关系，将评估样本分发至子模型，可包括如下三种可能的实施方式：
62.方式1、响应于层级关系包括串行关系和并行关系，将评估样本分发至多个第一子模型，其中，多个第一子模型之间的层级关系为并行关系，针对任一第一子模型，将任一第一子模型分发到的评估样本分发至多个第二子模型，其中，多个第二子模型之间的层级关系为并行关系，其中，第一子模型和第二子模型之间的层级关系为串行关系，且第一子模型的分发时间早于第二子模型的分发时间。
63.继续以图2为例，若子模型1至5的分发时间早于子模型6至10的分发时间，子模型6至10的分发时间早于子模型11至15的分发时间。可将评估样本分发至子模型1至5，将子模型1至5分发到的评估样本分别分发至子模型6至10，将子模型6至10分发到的评估样本分别分发至子模型11至15。
64.方式2、响应于层级关系仅包括串行关系，将评估样本分发至第三子模型，将第三子模型分发到的评估样本分发至第四子模型，其中，第三子模型和第四子模型之间的层级关系为串行关系，且第三子模型的分发时间早于第四子模型的分发时间。
65.继续以图3为例，若子模型1的分发时间早于子模型6的分发时间，子模型6的分发
时间早于子模型11的分发时间，可将评估样本分发至子模型1，将子模型1分发到的评估样本分发到子模型6，将子模型6分发到的评估样本分发到子模型11。
66.作为另一种可能的实施方式，响应于层级关系仅包括串行关系，将评估样本分别分发至第三子模型、第四子模型，其中，第三子模型和第四子模型之间的层级关系为串行关系。即此时第三子模型的分发时间与第四子模型的分发时间相同，可实现评估样本的并行分发，可节省样本分发时间。
67.继续以图3为例，可将评估样本分别分发至子模型1、6、11。
68.方式3、层级关系仅包括并行关系，将评估样本分发至多个第五子模型，其中，多个第五子模型之间的层级关系为并行关系。
69.继续以图4为例，可将评估样本分发至子模型1至5。
70.s104，根据子模型分发到的评估样本，获取子模型的评估结果。
71.需要说明的是，对评估结果的类型不做过多限定，比如，评估结果包括但不限于点击率(click-through-rate，ctr)、转化率(conversion rate，cvr)、正确率、错误率、计算速度、鲁棒性等。
72.在一种实施方式中，根据子模型分发到的评估样本，获取子模型的评估结果，可包括将子模型分发到的评估样本输入到子模型中，获取子模型的输出结果，根据输出结果获取子模型的评估结果。应说明的是，对输出结果的类型不做过多限定，例如，待评估模型为直播推荐类模型时，输出结果可包括直播间、主播等，待评估模型为语音识别类模型时，输出结果可包括识别文本，待评估模型为图像处理类模型时，输出结果可包括图像类别、识别动作等。
73.在一种实施方式中，根据子模型分发到评估样本，获取子模型的评估结果，可包括获取子模型的评估配置信息，根据评估配置信息和子模型分发到的评估样本，配置评估环境，运行评估环境，并基于评估环境获取子模型的评估结果。应说明的是，对评估配置信息、评估环境的类型均不做过多限定，例如，待评估模型为直播推荐类模型时，评估配置信息包括但不限于召回数据、重排序方法，其中，召回数据包括但不限于关注度较高直播间和/或主播、样本用户观看过的直播间和/或主播等，评估环境可包括ab测试(abtest)环境。
74.综上，根据本技术实施例的模型评估方法，可根据子模型之间的层级关系，将评估样本分发至子模型，并根据子模型分发到的评估样本，获取子模型的评估结果。由此，可基于子模型之间的层级关系，实现评估样本在子模型之间的自动分发，进而可获取子模型的评估结果，提高了模型评估的灵活性和准确度。
75.在上述任一实施例的基础上，如图5所示，步骤s103中根据层级关系，将评估样本分发至子模型，包括：
76.s501，获取子模型的样本分发条件和/或样本分发比例。
77.本技术的实施例中，可预先为子模型设置样本分发条件和/或样本分发比例。可以理解的是，不同的子模型可对应不同的样本分发条件，不同的子模型可对应不同的样本分发比例。
78.在一种实施方式中，若子模型的样本分发比例为0，表明此时子模型不符合样本分发条件，若子模型的样本分发比例不为0，表明此时子模型符合样本分发条件。
79.继续以图2为例，待评估模型为推荐类模型，评估样本为样本用户的用户信息时，
子模型1至7、11至15的样本分发条件均为样本用户的性别为女，子模型8至10的样本分发条件均为样本用户的性别为男。
80.继续以图2为例，子模型1至15的样本分发比例均为20％。
81.继续以图2为例，子模型1至5、11至15的样本分发比例均为20％，子模型6至7的样本分发比例均为10％，子模型8至10的样本分发比例均为0。
82.继续以图2为例，子模型1至5的样本分发比例均为20％，子模型6至15的样本分发比例均为0。
83.在一种实施方式中，可基于子模型的样本分发条件获取子模型的样本分发比例。
84.比如，继续以图2为例，若子模型1不符合样本分发条件，表明评估样本不分发至子模型1，子模型1的样本分发比例为0；
85.若子模型1至5均符合样本分发条件，且子模型1至5的样本分发比例相同，则子模型1至5的样本分发比例均为20％；
86.若子模型6至9均符合样本分发条件，且子模型6至9的样本分发比例相同，则子模型6至9的样本分发比例均为25％；
87.若子模型1的样本分发比例为20％，子模型6至9均符合样本分发条件，且子模型6至9的样本分发比例相同，可将子模型1分发到的20％的评估样本平均分发至子模型6至9，即可将子模型分发到的5％的评估样本分别分发至子模型6至9。
88.s502，根据层级关系、样本分发条件和/或样本分发比例，将评估样本分发至子模型。
89.在一种实施方式中，根据层级关系、样本分发条件和/或样本分发比例，将评估样本分发至子模型，可包括获取评估样本的属性信息，根据属性信息，识别子模型符合样本分发条件，根据层级关系，将评估样本分发至子模型。由此，该方法可在识别子模型符合样本分发条件时，根据层级关系将评估样本分发至子模型，提高了样本分发的灵活性。
90.需要说明的是，对属性信息的类型不做过多限定，例如，评估样本为样本用户的用户信息时，属性信息包括但不限于样本用户的性别、年龄、国家等，评估样本为图片时，属性信息包括但不限于图片的尺寸、颜色、饱和度、亮度等。
91.继续以图2为例，待评估模型为推荐类模型，评估样本为样本用户的用户信息时，子模型1至7、11至15的样本分发条件均为样本用户的性别为女，子模型8至10的样本分发条件均为样本用户的性别为男。若样本用户的性别为女，可识别子模型1至7、11至15符合样本分发条件，可根据层级关系，将评估样本分发至子模型1至7、11至15。另外，可识别子模型8至10不符合样本分发条件，则可不将评估样本分发至子模型8至10。
92.在一种实施方式中，根据层级关系，将评估样本分发至子模型1至7、11至15，可包括将评估样本分发至子模型1至5，子模型1至5的样本分发比例均为20％，将子模型1至5分发到的评估样本分别分发至子模型6、7，子模型6、7的样本分发比例均为50％，将子模型6、7分发到的评估样本分别分发至子模型11至15，子模型11至15的样本分发比例均为20％。
93.在一种实施方式中，根据层级关系、样本分发条件和/或样本分发比例，将评估样本分发至子模型，可包括根据层级关系和样本分发比例，将评估样本分发至子模型。
94.继续以图2为例，若子模型1至5、11至15的样本分发比例均为20％，子模型6至7的样本分发比例均为10％，子模型8至10的样本分发比例均为0，则可将评估样本分发至子模
型1至5，子模型1至5的样本分发比例均为20％，将子模型1分发到的评估样本分发至子模型6至7，子模型6至7的样本分发比例均为10％，将子模型1至5分发到的评估样本分别分发至子模型11至15，子模型11至15的样本分发比例均为20％。
95.由此，该方法可综合考虑子模型之间的层级关系、样本分发条件和/或样本分发比例，将评估样本分发至子模型，可提高样本分发的灵活性和准确性，进而提高模型评估效果。
96.在上述任一实施例的基础上，如图6所示，步骤s103中根据层级关系，将评估样本分发至子模型，可包括：
97.s601，获取评估样本的标识信息。
98.本技术的实施例中，可预先为评估样本设置标识信息，来区分不同的评估样本。应说明的是，对标识信息的类型不做过多限定，例如，标识信息包括但不限于文本、字符、数字等。
99.在一种实施方式中，评估样本为样本用户的用户信息时，标识信息可为样本用户的账号(identity document，id)、样本用户使用的终端设备的媒体存取控制(media access control，mac)地址。
100.在一种实施方式中，评估样本的标识信息可随机生成。比如，假设评估样本集包括100个评估样本，则针对任一评估样本，可随机生成1至100的数字，作为其标识信息。
101.在一种实施方式中，评估样本的标识信息仅为一个。继续以图2为例，针对子模型1至15，评估样本a的标识信息为数字5。
102.在一种实施方式中，评估样本的标识信息可能有多个。比如，针对不同的子模型，评估样本的标识信息可能不同。继续以图2为例，针对子模型1至5，评估样本a的标识信息为数字5，针对子模型6至10，评估样本a的标识信息为数字80，针对子模型,11至15，评估样本a的标识信息为数字33。
103.s602，根据标识信息和层级关系，确定评估样本对应的目标子模型。
104.在一种实施方式中，根据标识信息和层级关系，确定评估样本对应的目标子模型，可包括根据层级关系确定子模型对应的标识信息的取值范围，识别评估样本的标识信息处于目标取值范围内，将目标取值范围对应的子模型确定为评估样本对应的目标子模型。
105.继续以图2为例，假设评估样本集包括标识信息为1至100的评估样本，子模型1至5对应的标识信息的取值范围依次为1至20、21至40、41至60、61至80、81至100。子模型6至10对应的标识信息的取值范围依次为1至20、21至40、41至60、61至80、81至100。子模型11至15对应的标识信息的取值范围依次为1至20、21至40、41至60、61至80、81至100。
106.若针对子模型1至5，评估样本a的标识信息为数字5，则可识别评估样本a的标识信息处于1至20的目标取值范围内，将子模型1确定为评估样本a对应的目标子模型。
107.若针对子模型6至10，评估样本a的标识信息为数字80，则可识别评估样本a的标识信息处于61至80的目标取值范围内，将子模型9确定为评估样本a对应的目标子模型。
108.若针对子模型11至15，评估样本a的标识信息为数字33，则可识别评估样本a的标识信息处于21至40的目标取值范围内，将子模型12确定为评估样本a对应的目标子模型。
109.s603，将评估样本分发至目标子模型。
110.继续以图2为例，若评估样本a对应的目标子模型包括子模型1、9、12，则可将评估
样本a分别分发至子模型1、9、12。
111.由此，该方法可根据评估样本的标识信息和子模型之间的层级关系，确定评估样本对应的目标子模型，并将评估样本分发至目标子模型。
112.为了实现上述实施例，本技术还提出一种模型评估装置。
113.图7为根据本技术一个实施例的模型评估装置的框图。
114.如图7所示，本技术实施例的模型评估装置100，包括：获取模块110、识别模块120、分发模块130和评估模块140。
115.获取模块110用于获取评估样本集和待评估模型，其中，所述待评估模型包括至少一个子模型；
116.识别模块120用于识别所述子模型之间的层级关系，其中，所述层级关系包括串行关系和并行关系中的至少一种；
117.分发模块130用于根据所述层级关系，将评估样本分发至所述子模型；
118.评估模块140用于根据所述子模型分发到的所述评估样本，获取所述子模型的评估结果。
119.在本技术的一个实施例中，所述分发模块130还用于：获取所述子模型的样本分发条件和/或样本分发比例；根据所述层级关系、所述样本分发条件和/或所述样本分发比例，将所述评估样本分发至所述子模型。
120.在本技术的一个实施例中，所述分发模块130还用于：获取所述评估样本的属性信息；根据所述属性信息，识别所述子模型符合所述样本分发条件；根据所述层级关系，将所述评估样本分发至所述子模型。
121.在本技术的一个实施例中，所述层级关系包括串行关系和并行关系，所述分发模块130还用于：将所述评估样本分发至多个第一子模型，其中，所述多个第一子模型之间的层级关系为并行关系；针对任一第一子模型，将所述任一第一子模型分发到的评估样本分发至多个第二子模型，其中，所述多个第二子模型之间的层级关系为并行关系；其中，所述第一子模型和所述第二子模型之间的层级关系为串行关系，且所述第一子模型的分发时间早于所述第二子模型的分发时间。
122.在本技术的一个实施例中，所述层级关系仅包括串行关系，所述分发模块130还用于：将所述评估样本分发至第三子模型；将所述第三子模型分发到的评估样本分发至第四子模型；其中，所述第三子模型和所述第四子模型之间的层级关系为串行关系，且所述第三子模型的分发时间早于所述第四子模型的分发时间。
123.在本技术的一个实施例中，所述层级关系仅包括并行关系，所述分发模块130还用于：将所述评估样本分发至多个第五子模型，其中，所述多个第五子模型之间的层级关系为并行关系。
124.在本技术的一个实施例中，所述分发模块130还用于：获取所述评估样本的标识信息；根据所述标识信息和所述层级关系，确定所述评估样本对应的目标子模型；将所述评估样本分发至所述目标子模型。
125.在本技术的一个实施例中，所述评估模块140还用于：获取所述子模型的评估配置信息；根据所述评估配置信息和所述子模型分发到的所述评估样本，配置评估环境；运行所述评估环境，并基于所述评估环境获取所述子模型的评估结果。
time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
137.以上对本技术实施例公开的一种模型评估方法、训练方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。