模型筛选方法、装置、设备及存储介质与流程

1.本技术涉及互联网技术领域，特别涉及一种模型筛选方法、装置、设备及存储介质。


背景技术：

2.随着互联网技术的发展，能够预测干预增量的模型被广泛运用于干预投放策略的制定。通过将模型进行上线应用，能够预测对对象投放干预时的干预增量，也即是对对象投放该干预所对应的干预转化率的变化量。例如，预测得到投放5折优惠券的对象下单概率与不投放5折优惠券的对象下单概率相比的变化量，得到投放5折优惠券时的干预增量。基于该干预增量，制定是否对对象投放5折优惠券等干预投放策略。因此，如何筛选出适合上线应用的模型，对干预投放策略的制定较为关键。
3.相关技术中，会对模型计算离线指标以分析模型性能，从而筛选出适合上线应用的模型。例如，通过构建投放了特定类型干预和未投放该干预的样本集的方式，根据模型对样本集预测的干预增量以计算auuc(area under the uplift curve，隆起曲线下的面积)离线指标。
4.但上述的模型筛选方法，由于是利用对投放了特定类型干预的样本集预测的干预增量计算得到auuc离线指标，因此，筛选出的模型存在仅适用于对特定类型干预进行预测的情况，导致筛选出的模型具有较大的应用局限性，准确性不高。


技术实现要素：

5.本技术实施例提供了一种模型筛选方法、装置、设备及存储介质，以解决相关技术中的问题。所述技术方案如下：
6.一方面，提供了一种模型筛选方法，所述方法包括：
7.对于待筛选的多个候选模型中的任一候选模型，通过所述任一候选模型获取每个对象样本的干预增量，其中，所述每个对象样本为多种干预所对应的对象样本集中的任一对象样本，所述每个对象样本的干预增量为所述任一对象样本所对应的干预转化率的变化量；
8.计算不同干预所对应的对象样本的干预增量之间的差值，得到所述每个对象样本的增量转化率；
9.根据所述每个对象样本的增量转化率，计算所述任一候选模型的离线指标；
10.基于各个候选模型的离线指标，从所述多个候选模型中筛选出用于上线的候选模型。
11.在一种可能的实现方式中，所述通过所述任一候选模型获取每个对象样本的干预增量之前，所述方法还包括：
12.获取对象数据集；利用所述任一候选模型，对所述对象数据集中每个对象数据分别获取每种干预的第一转化率；
13.根据所述每个对象数据的每种干预的第一转化率，从所述多种干预中确定所述每个对象数据所对应的干预；
14.根据所述对象数据集和所述多种干预的对应关系，建立所述多种干预所对应的对象样本集。
15.在一种可能的实现方式中，所述根据所述每个对象数据的每种干预的第一转化率，从所述多种干预中确定所述每个对象数据所对应的干预，包括：
16.获取所述每种干预的投放成本；
17.根据所述每个对象数据的每种干预的第一转化率和所述每种干预的投放成本，计算所述每个对象数据的每种干预的投放效率；
18.对于所述每个对象数据，分别从所述多种干预中获取投放效率小于第一阈值的干预，得到所述每个对象数据的第一干预集；
19.从所述每个对象数据的第一干预集中分别获取数值最大的第一转化率的干预，得到所述每个对象数据所对应的干预。
20.在一种可能的实现方式中，所述根据所述每个对象样本的增量转化率，计算所述任一候选模型的离线指标，包括：
21.基于隆起曲线下的面积算法，根据所述每个对象样本的增量转化率，计算所述每种干预所对应的第一离线指标；
22.将所述每种干预所对应的第一离线指标进行累加，得到所述任一候选模型的离线指标。
23.在一种可能的实现方式中，所述基于隆起曲线下的面积算法，根据所述每个对象样本的增量转化率，计算所述每种干预所对应的第一离线指标，包括：
24.对于所述多种干预中的任一干预，从所述对象样本集中获取所述任一干预所对应的第一对象样本集，所述第一对象样本集包括多组对象样本；
25.将所述每种干预所对应的第一对象样本集中每组对象样本的正例数占比差值分别进行累加，得到所述每种干预所对应的第一离线指标。
26.在一种可能的实现方式中，所述第一对象样本集包括实验组样本和对照组样本，所述将所述每种干预所对应的第一对象样本集中每组对象样本的正例数占比差值分别进行累加，得到所述每种干预所对应的第一离线指标之前，所述方法还包括：
27.对所述第一对象样本集中每组对象样本分别计算实验组样本的正例数占比与对照组样本的正例数占比之间的差值，得到所述每组对象样本的正例数占比差值。
28.在一种可能的实现方式中，所述实验组样本的正例数占比为实验组样本中转化样本的数量占比，所述对照组样本的正例数占比为对照组样本中转化样本的数量占比，其中，所述转化样本为干预转化率大于第二阈值的对象样本。
29.在一种可能的实现方式中，所述基于各个候选模型的离线指标，从所述多个候选模型中筛选出用于上线的候选模型，包括：
30.从所述多个候选模型中筛选出评估指标大于第三阈值的候选模型作为用于上线的候选模型。
31.在一种可能的实现方式中，所述多种干预包括不同数值的投放资源。
32.第二方面，提供了一种模型筛选装置，所述装置包括：
33.获取模块，用于对于待筛选的多个候选模型中的任一候选模型，通过所述任一候选模型获取每个对象样本的干预增量，其中，所述每个对象样本为多种干预所对应的对象样本集中的任一对象样本，所述每个对象样本的干预增量为所述任一对象样本所对应的干预转化率的变化量；
34.第一计算模块，用于计算不同干预所对应的对象样本的干预增量之间的差值，得到所述每个对象样本的增量转化率；
35.第二计算模块，用于根据所述每个对象样本的增量转化率，计算所述任一候选模型的离线指标；
36.筛选模块，用于基于各个候选模型的离线指标，从所述多个候选模型中筛选出用于上线的候选模型。
37.在一种可能的实现方式中，所述获取模块，还用于获取对象数据集；利用所述任一候选模型，对所述对象数据集中每个对象数据分别获取每种干预的第一转化率；根据所述每个对象数据的每种干预的第一转化率，从所述多种干预中确定所述每个对象数据所对应的干预；根据所述对象数据集和所述多种干预的对应关系，建立所述多种干预所对应的对象样本集。
38.在一种可能的实现方式中，所述获取模块，用于获取所述每种干预的投放成本；根据所述每个对象数据的每种干预的第一转化率和所述每种干预的投放成本，计算所述每个对象数据的每种干预的投放效率；对于所述每个对象数据，分别从所述多种干预中获取投放效率小于第一阈值的干预，得到所述每个对象数据的第一干预集；从所述每个对象数据的第一干预集中分别获取数值最大的第一转化率的干预，得到所述每个对象数据所对应的干预。
39.在一种可能的实现方式中，所述第二计算模块，用于基于隆起曲线下的面积算法，根据所述每个对象样本的增量转化率，计算所述每种干预所对应的第一离线指标；将所述每种干预所对应的第一离线指标进行累加，得到所述任一候选模型的离线指标。
40.在一种可能的实现方式中，所述第二计算模块，用于对于所述多种干预中的任一干预，从所述对象样本集中获取所述任一干预所对应的第一对象样本集，所述第一对象样本集包括多组对象样本；将所述每种干预所对应的第一对象样本集中每组对象样本的正例数占比差值分别进行累加，得到所述每种干预所对应的第一离线指标。
41.在一种可能的实现方式中，所述第一对象样本集包括实验组样本和对照组样本；所述第二计算模块，还用于对所述第一对象样本集中每组对象样本分别计算实验组样本的正例数占比与对照组样本的正例数占比之间的差值，得到所述每组对象样本的正例数占比差值。
42.在一种可能的实现方式中，所述实验组样本的正例数占比为实验组样本中转化样本的数量占比，所述对照组样本的正例数占比为对照组样本中转化样本的数量占比，其中，所述转化样本为干预转化率大于第二阈值的对象样本。
43.在一种可能的实现方式中，所述筛选模块，用于从所述多个候选模型中筛选出评估指标大于第三阈值的候选模型作为用于上线的候选模型。
44.在一种可能的实现方式中，所述多种干预包括不同数值的投放资源。
45.第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存
储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的模型筛选方法。
46.第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的模型筛选方法。
47.第五方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一所述的模型筛选方法。
48.本技术实施例提供的技术方案带来的有益效果至少包括：
49.通过计算增量转化率将不同干预所对应的对象样本的干预增量进行关联，从而利用对投放了多种干预的样本集预测的干预增量计算得到离线指标，基于该离线指标进行模型筛选，从而筛选出能够适用于对多种干预进行预测的模型，且能够保证筛选出的模型具有较高的准确性。
附图说明
50.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1是本技术实施例提供的一种模型筛选方法的实施环境的示意图；
52.图2是本技术实施例提供的一种模型筛选方法的流程图；
53.图3是本技术实施例提供的另一种模型筛选方法的流程图；
54.图4是本技术实施例提供的一种模型筛选装置的示意图；
55.图5是本技术实施例提供的一种服务器的结构示意图；
56.图6是本技术实施例提供的一种终端的结构示意图。
具体实施方式
57.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
58.需要说明的是，本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
59.本技术实施例提供了一种模型筛选方法，该方法可以应用于服务器和终端等至少一个具有数据处理功能的设备。请参考图1，其示出了本技术实施例提供的模型筛选方法的实施环境的示意图。该实施环境包括：终端11和服务器12。终端11与服务器12之间通过无线或者有线网络连接。
60.终端11可以从网络上获取投放了某种干预的对象样本或待投放干预的对象数据，
将该对象样本或对象数据发送至服务器12。服务器12根据接收的对象样本或对象数据构建多种干预所对应的对象样本集，并应用本技术实施例提供的模型筛选方法基于该对象样本集对待筛选的多个候选模型计算离线指标，基于离线指标筛选出用于上线的候选模型。
61.在一种可能的实现方式中，终端11可以是诸如手机、平板电脑、个人计算机等的智能设备。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
62.本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端和服务器如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
63.基于上述图1所示的实施环境，本技术实施例提供一种模型筛选方法，如图2所示，本技术实施例提供的模型筛选方法包括如下步骤201至步骤204。
64.在步骤201中，对于待筛选的多个候选模型中的任一候选模型，通过任一候选模型获取每个对象样本的干预增量，其中，每个对象样本为多种干预所对应的对象样本集中的任一对象样本，每个对象样本的干预增量为任一对象样本所对应的干预转化率的变化量。
65.其中，待筛选的多个候选模型是不同的模型，本技术实施例不对候选模型的类型进行限定。例如，该多个候选模型可以是基于不同的算法(机器学习算法、树模型算法等)建立的模型，也可以是基于同一算法建立的具有不同迭代次数的模型，该多个模型具有对干预增量的预测能力。
66.可以理解的是，对干预增量的预测能力，可以指模型具有间接预测干预增量的能力，如模型具有预测用于计算干预增量的干预转化率的能力；也可以指模型具有直接预测干预增量的能力。
67.可选地，在服务器中建立模型池，该模型池用于接收并存储训练完成的模型，在进行模型筛选时，将该模型池中的所有模型或者多个模型作为待筛选的候选模型以获取用于上线的候选模型。
68.示例性地，对象样本集所对应的多种干预包括投放不同类型的多媒体资源，或者，对象样本集所对应的多种干预包括不投放多媒体资源以及投放的不同类型多媒体资源。例如，多媒体资源为广告，模型池中具有候选模型a和候选模型b，该候选模型a和候选模型b均用于预测投放广告的对象下单概率与不投放广告的对象下单概率相比的变化量。以对象样本集所对应的多种干预包括不投放广告以及投放的不同类型广告为例，利用候选模型a和候选模型b分别基于对象样本集预测干预增量，从而得到候选模型a和候选模型b对不投放广告以及投放了不同类型广告的对象样本的干预增量的预测结果。
69.可以理解的是，上述对象样本集除包括投放了不同类型多媒体资源的对象样本外，也包括不投放多媒体资源的对象样本，此时候选模型对不投放多媒体资源的对象样本预测的干预增量应为零。
70.在一种可能的实现方式中，对于待筛选的多个候选模型中的任一候选模型，通过任一候选模型获取每个对象样本的干预增量之前，该方法还包括：获取对象数据集；利用任一候选模型，对对象数据集中每个对象数据分别获取每种干预的第一转化率；根据每个对象数据的每种干预的第一转化率，从多种干预中确定每个对象数据所对应的干预；根据对象数据集和多种干预的对应关系，建立多种干预所对应的对象样本集。
71.可选地，对象数据包括候选模型输入所需的对象的相关信息，例如，对象的年龄、性别以及职业等属性特征，每个对象数据分别对应不同的对象，在对每个对象数据分配干预时，可以利用候选模型分配干预，也可以随机分配干预。
72.其中，第一转化率为对对象数据分配任一干预所对应的干预转化率，例如，对对象数据投放任一类型广告所对应的对象下单概率。
73.示例性地，假设多种干预包括不同类型的广告投放方式，例如投放广告a1、投放广告a2和不投放广告。利用候选模型a对对象数据集中任一对象数据x预测得到投放广告a1、投放广告a2和不投放广告的第一转化率分别为0.6、0.15和0.25，可知对该对象数据x分配投放广告a1的干预将会获得最大的对象下单概率，对该对象数据分配投放广告a2的干预将会获得最小的对象下单概率。
74.根据应用场景的需要，可基于第一转化率自由设置对干预的分配条件。假设将分配条件设置为对对象数据集中每个对象数据分配数值最小的第一转化率所对应的干预，则此时对象数据x所对应的干预为投放广告a2。例如，根据对象数据集和多种干预的对应关系，建立多种干预所对应的对象样本集的实现过程包括：对对象数据集中每个对象数据分配数值最小的第一转化率所对应的干预，从而确定每个对象数据与干预的对应关系，进而得到对象数据集和多种干预的对应关系；将确定了所对应干预的对象数据作为对象样本，得到多种干预所对应的对象样本集。
75.作为一种可能的实施方式，基于待筛选的多个候选模型中的任一候选模型，对确定了干预的对象数据所包含的信息进行筛选，以过滤与该任一候选模型所需输入信息无关的信息，从而得到该任一候选模型的对象样本。基于该对象样本构建任一候选模型的对象样本集，从而根据对象数据集和多种干预的对应关系，以及对象数据集中各对象数据与候选模型的对象样本集中各对象样本之间的对应关系，对各个候选模型分别建立多种干预所对应的对象样本集。
76.在一种可能的实现方式中，根据每个对象数据的每种干预的第一转化率，从多种干预中确定每个对象数据所对应的干预的实现过程包括：获取每种干预的投放成本；根据每个对象数据的每种干预的第一转化率和每种干预的投放成本，计算每个对象数据的每种干预的投放效率；对于每个对象数据，分别从多种干预中获取投放效率小于第一阈值的干预，得到每个对象数据的第一干预集；从每个对象数据的第一干预集中分别获取数值最大的第一转化率的干预，得到每个对象数据所对应的干预。
77.其中，第一阈值用于衡量干预的分配是否符合设置的成本预算，如果某一干预的投放效率小于第一阈值，则该干预的投放符合成本预算，如果某一干预的投放效率不小于第一阈值，则该干预的投放不符合成本预算。通过对对象数据集设置相同的第一阈值以进行干预分配，使得每个候选模型的对象样本集与多种干预的对应关系都在相同的成本预算的约束下确定，从而使得模型的筛选能够在相同的成本预算的约束下进行，进而提高模型筛选的可靠性。
78.干预的投放成本用于表示对对象数据分配该干预将会产生的成本投入。干预的投放效率用于表示干预转化率的变化量与干预的投放成本之间的关系。例如，干预的投放效率＝干预转化率的变化量/干预的投放成本。
79.可以理解的是，根据应用场景的不同，干预的投放成本的计算方式也不同。例如，
投放广告a1的投放成本可以表示对某一对象数据投放广告a1相比不投放广告所需的成本投入(材料费用、人力费用等)。假设对对象数据投放广告a1需要100元的成本投入，而不对对象数据投放广告需要的成本投入为0元，此时投放广告a1的投放成本(100元)＝投放广告a1所需的成本投入(100元)-不投放广告所需的成本投入(0元)。
80.投放广告a1的投放成本也可以表示对某一对象数据投放广告a1相比投放广告a2额外所需的成本投入。假设对对象数据投放广告a1需要100元的成本投入，而对对象数据投放广告a2需要50元的成本投入，此时投放广告a1的投放成本(50元)＝投放广告a1所需的成本投入(100元)-投放广告a2所需的成本投入(50元)。该投放广告a1的投放成本(50元)用于表示将对对象数据投放广告a2的投放策略改为对对象数据投放广告a1的投放策略时，额外所需的成本投入(50元)。
81.示例性地，假设多种干预包括不同面额的优惠券(1元优惠券、2元优惠券和4元优惠券)，对任一对象数据x获取得到1元优惠券、2元优惠券和4元优惠券的第一转化率分别为0.15、0.6和0.2(设置不投放优惠券的干预转化率为0.05)，将优惠券按照面额从小到大进行排序。其中，第一转化率为用于表示对象下单概率的干预转化率。
82.干预的投放成本可以为相邻的两个优惠券中，面额较大的优惠券与面额较小的优惠券的面额差值，从而避免出现投放成本不大于0的情况。干预转化率的变化量为相邻的两个优惠券中，面额较大的优惠券的第一转化率与面额较小的优惠券的第一转化率之间的差值。
83.其中，为简化计算，去除干预转化率的变化量不大于0的情况，并以不投放优惠券的投放成本为0以计算1元优惠券的投放效率为例，得到1元优惠券和2元优惠券的投放效率分别为0.1和0.45，4元优惠券的干预转化率的变化量为负值，因此不参与后续的干预分配。
84.设置第一阈值为0.5从而对干预的分配进行成本约束，得到对象数据x的第一干预集为1元优惠券和2元优惠券，且2元优惠券的第一转化率大于1元优惠券的第一转化率，则确定该对象数据x对应的干预为2元优惠券。
85.在步骤202中，计算不同干预所对应的对象样本的干预增量之间的差值，得到每个对象样本的增量转化率。
86.示例性地，对于对象样本集中的任一对象样本，从对象样本集中选取一个用于计算该任一对象样本的增量转化率的对象样本，该任一对象样本和选取的用于计算增量转化率的对象样本分别对应不同的干预。用于计算增量转化率的对象样本可以随机选取，也可以根据候选模型在后续上线时的主要应用场景进行设置。
87.例如，在制定对于不同面额的优惠券的投放策略时，通常更关心增大优惠券的面额是否能提升投放优惠券所产生的干预增量，也即是需要知道较大面额的优惠券的干预增量相比较小面额的优惠券的干预增量的变化量，因此在计算某一面额的优惠券的增量转化率时，可以选取小于该面额的优惠券进行计算。
88.示例性地，可设置利用面额较大的优惠券所对应的对象样本的干预增量减去面额较小的优惠券所对应的对象样本的干预增量的方式，计算得到面额较大的优惠券所对应的对象样本的增量转化率，以符合候选模型上线后的应用需求。
89.在步骤203中，根据每个对象样本的增量转化率，计算任一候选模型的离线指标。
90.可以理解的是，计算得到的增量转化率能够被广泛应用于各类离线指标的计算。
例如，利用增量转化率代替干预增量，对候选模型进行auc(area under curve，roc曲线下方的面积大小)离线指标、auuc(area under the uplift curve，隆起曲线下的面积)离线指标等用于反映模型性能的离线指标计算。
91.在一种可能的实现方式中，如图3所示，根据每个对象样本的增量转化率，计算任一候选模型的离线指标的实现过程包括：
92.步骤2031：基于隆起曲线下的面积算法，根据每个对象样本的增量转化率，计算每种干预所对应的第一离线指标；
93.步骤2032：将每种干预所对应的第一离线指标进行累加，得到任一候选模型的离线指标。
94.需要说明的是，基于隆起曲线下的面积算法计算得到的第一离线指标，由于是利用增量转化率获取候选模型选择的结果，因此计算得到的第一离线指标，能够反映不同干预下的候选模型选择的结果与随机选择的结果的差异，从而根据该差异反映不同干预下的候选模型的性能优劣，再通过累加第一离线指标，得到能够反映候选模型在多种干预下的模型整体表现的离线指标。
95.可选地，基于隆起曲线下的面积算法是通过计算基于候选模型所绘制的曲线与随机曲线之间的面积，得到第一离线指标。其中，该基于候选模型所绘制的曲线可以是基于增量转化率所绘制的荠苨曲线(qini curve)或累积增益曲线(cumulative gain curve)，此时第一离线指标越大，则表示候选模型选择的结果与随机选择的结果的差异越大，则候选模型的模型表现也越好。
96.在一种可能的实现方式中，基于隆起曲线下的面积算法，根据每个对象样本的增量转化率，计算每种干预所对应的第一离线指标的实现过程包括：对于多种干预中的任一干预，从对象样本集中获取任一干预所对应的第一对象样本集，第一对象样本集包括多组对象样本；将每种干预所对应的第一对象样本集中每组对象样本的正例数占比差值分别进行累加，得到每种干预所对应的第一离线指标。
97.示例性地，投放广告a1所对应的第一离线指标的计算过程包括：首先从对象样本集中筛选投放广告a1所对应的所有对象样本，基于增量转化率对该投放广告a1所对应的所有对象样本进行分组，从而得到包括多组对象样本的第一对象样本集。
98.其中，可以按照增量转化率的数值大小，对投放广告a1所对应的所有对象样本进行排序，如按照增量转化率从大到小的顺序或从小到大的顺序对对象样本进行排序。可以理解的是，对对象样本的排序方式可根据实际需要自由选择。
99.在对投放广告a1所对应的所有对象样本进行排序后，截取前10％、前20％......前90％和100％的对象样本，从而将干预所对应的所有对象样本分为10组。例如，将投放广告a1所对应的100个对象样本进行排序，截取前10％也即是排序后的100个对象样本中的前10个对象样本，作为第1组对象样本，截取前20％也即是排序后的100个对象样本中的前20个对象样本，作为第2组对象样本，以此类推，得到包括10组对象样本的第一对象样本集。将10组对象样本的正例数占比差值分别进行累加，得到投放广告a1所对应的第一离线指标。
100.在一种可能的实现方式中，第一对象样本集包括实验组样本和对照组样本，将每种干预所对应的第一对象样本集中每组对象样本的正例数占比差值分别进行累加，得到每种干预所对应的第一离线指标之前，还包括：对第一对象样本集中每组对象样本分别计算
实验组样本的正例数占比与对照组样本的正例数占比之间的差值，得到每组对象样本的正例数占比差值。
101.其中，在建立对象样本集时，可以将每个对象样本随机标记为实验组样本或对照组样本中的一种，从而得到由实验组样本和对照组样本组成的对象样本集，以便后续从该对象样本集中得到包括实验组样本和对照组样本的第一对象样本集。
102.可选地，从对象样本集中筛选任一干预所对应的所有对象样本，基于增量转化率对该干预所对应的所有对象样本进行排序，排序方式可根据实际需要自由选择。例如，按照增量转化率从大到小的顺序对该干预所对应的所有对象样本进行排序。将排序后的所有对象样本分为n组，分别计算每组对象样本中实验组样本的正例数占比与对照组样本的正例数占比之间的差值，得到n个正例数占比差值。
103.其中，第1组对象样本包括排序中第1个对象样本，第2组对象样本包括排序中前2个对象样本，第3组对象样本包括排序中前3个对象样本，以此类推，得到包括n组对象样本的第一对象样本集，n为干预所对应的所有对象样本的样本数量。
104.在一种可能的实现方式中，实验组样本的正例数占比为实验组样本中转化样本的数量占比，对照组样本的正例数占比为对照组样本中转化样本的数量占比，其中，转化样本为干预转化率大于第二阈值的对象样本。
105.可选地，对于第一对象样本集中的任一组对象样本，统计该任一组对象样本中对照组样本的数量和实验组样本的数量，并统计该任一组对象样本中属于转化样本的对照组样本的数量和属于转化样本的实验组样本的数量，则实验组样本的正例数占比＝属于转化样本的实验组样本的数量/实验组样本的数量，对照组样本的正例数占比＝属于转化样本的对照组样本的数量/对照组样本的数量。
106.示例性地，对于分配了1元优惠券的干预的对象样本，通过候选模型得到其干预转化率为0.6，表示该对象样本的下单概率为0.6，设置第二阈值为0.5，表示只要下单概率超过0.5则可认为对象样本属于转化样本，此时可判定该分配了1元优惠券的干预的对象样本属于转化样本。
107.可选地，多种干预包括不同数值的投放资源。其中，该投放资源可以包括不同数值的分配金额或投放数量，例如，对各个对象样本分配不同的广告投放数量。
108.示例性地，假设投放资源包括不同数值的分配金额，不同数值的分配金额所对应的对象样本集记为d，对于任一对象样本xi∈d，对该对象样本xi投放分配金额mi，则对象样本xi的增量转化率u(xi)可表示为：
109.u(xi)＝p(y＝1|price＝mi)-p(y＝1|price＝m
i-1
)
110.＝(cvr(mi)-cvr(0))-(cvr(m
i-1
)-cvr(0))
111.其中，p(y＝1|price＝mi)-p(y＝1|price＝m
i-1
)表示分配金额mi所对应的对象样本与分配金额m
i-1
所对应的对象样本的干预增量之间的差值，cvr(mi)-cvr(0)表示分配金额mi所对应的对象样本的干预转化率的变化量，cvr(m
i-1
)-cvr(0)表示分配金额m
i-1
所对应的对象样本的干预转化率的变化量。其中，y表示是否下单，当y＝1时代表下单，y＝0时代表未下单。
112.分配金额mi所对应的第一离线指标可表示为：
[0113][0114]
其中，表示第k组对象样本中属于转化样本的实验组样本的数量，表示第k组对象样本中属于转化样本的对照组样本的数量，k为正整数，表示分配金额mi所对应的第一对象样本集，|t|表示实验组样本的数量，|c|表示对照组样本的数量，n表示第一对象样本集中的对象样本组数。作为一种可能的实施方式，可通过建立分类模型将每个对象样本划分为转化样本或未转化样本。
[0115]
在步骤204中，基于各个候选模型的离线指标，从多个候选模型中筛选出用于上线的候选模型。
[0116]
示例性地，对基于隆起曲线下的面积算法计算出的离线指标，可选择离线指标最大的候选模型作为用于上线的候选模型。
[0117]
在一种可能的实现方式中，如图3所示，基于各个候选模型的离线指标，从多个候选模型中筛选出用于上线的候选模型的实现过程包括：
[0118]
步骤2041：从多个候选模型中筛选出评估指标大于第三阈值的候选模型作为用于上线的候选模型。
[0119]
可以理解的是，第三阈值根据实际需要灵活设置，例如可设置为0.8。
[0120]
综上所述，通过计算增量转化率将不同干预所对应的对象样本的干预增量进行关联，从而利用对投放了多种干预的样本集预测的干预增量计算得到离线指标，基于该离线指标进行模型筛选，能够解决由于利用对投放了特定类型干预的样本集预测的干预增量计算得到auuc离线指标，导致筛选出的模型具有较大的应用局限性，准确性不高的问题，从而筛选出能够适用于对多种干预进行预测的模型，且能够保证筛选出的模型具有较高的准确性。
[0121]
参见图4，本技术实施例提供了一种模型筛选装置，该装置包括：
[0122]
获取模块701，用于对于待筛选的多个候选模型中的任一候选模型，通过任一候选模型获取每个对象样本的干预增量，其中，所述每个对象样本为多种干预所对应的对象样本集中的任一对象样本，每个对象样本的干预增量为任一对象样本所对应的干预转化率的变化量；
[0123]
第一计算模块702，用于计算不同干预所对应的对象样本的干预增量之间的差值，得到每个对象样本的增量转化率；
[0124]
第二计算模块703，用于根据每个对象样本的增量转化率，计算任一候选模型的离线指标；
[0125]
筛选模块704，用于基于各个候选模型的离线指标，从多个候选模型中筛选出用于上线的候选模型。
[0126]
在一种可能的实现方式中，获取模块701，还用于获取对象数据集；利用任一候选模型，对对象数据集中每个对象数据分别获取每种干预的第一转化率；根据每个对象数据
的每种干预的第一转化率，从多种干预中确定每个对象数据所对应的干预；根据对象数据集和多种干预的对应关系，建立多种干预所对应的对象样本集。
[0127]
在一种可能的实现方式中，获取模块701，用于获取每种干预的投放成本；根据每个对象数据的每种干预的第一转化率和每种干预的投放成本，计算每个对象数据的每种干预的投放效率；对于每个对象数据，分别从多种干预中获取投放效率小于第一阈值的干预，得到每个对象数据的第一干预集；从每个对象数据的第一干预集中分别获取数值最大的第一转化率的干预，得到每个对象数据所对应的干预。
[0128]
在一种可能的实现方式中，第二计算模块703，用于基于隆起曲线下的面积算法，根据每个对象样本的增量转化率，计算每种干预所对应的第一离线指标；将每种干预所对应的第一离线指标进行累加，得到任一候选模型的离线指标。
[0129]
在一种可能的实现方式中，第二计算模块703，用于对于多种干预中的任一干预，从对象样本集中获取任一干预所对应的第一对象样本集，第一对象样本集包括多组对象样本；将每种干预所对应的第一对象样本集中每组对象样本的正例数占比差值分别进行累加，得到每种干预所对应的第一离线指标。
[0130]
在一种可能的实现方式中，第一对象样本集包括实验组样本和对照组样本；第二计算模块703，还用于对第一对象样本集中每组对象样本分别计算实验组样本的正例数占比与对照组样本的正例数占比之间的差值，得到每组对象样本的正例数占比差值。
[0131]
在一种可能的实现方式中，实验组样本的正例数占比为实验组样本中转化样本的数量占比，对照组样本的正例数占比为对照组样本中转化样本的数量占比，其中，转化样本为干预转化率大于第二阈值的对象样本。
[0132]
在一种可能的实现方式中，筛选模块704，用于从多个候选模型中筛选出评估指标大于第三阈值的候选模型作为用于上线的候选模型。
[0133]
在一种可能的实现方式中，多种干预包括不同数值的投放资源。
[0134]
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0135]
在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种模型筛选方法。该计算机设备可以为终端，也可以为服务器，本技术实施例对此不加以限定。接下来，分别对服务器和终端的结构进行介绍。
[0136]
图5是本技术实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processing units，cpu)801和一个或多个存储器802，其中，该一个或多个存储器802中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器801加载并执行，以使该服务器实现上述各个方法实施例提供的模型筛选方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备
功能的部件，在此不做赘述。
[0137]
图6是本技术实施例提供的一种终端的结构示意图。该终端可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0138]
通常，终端包括有：处理器901和存储器902。
[0139]
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用dsp(digital signal processing，数字信号处理)、fpga(field-programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
[0140]
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行，以使该终端实现本技术中方法实施例提供的模型筛选方法。
[0141]
在一些实施例中，终端还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907和电源909中的至少一种。
[0142]
外围设备接口903可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。射频电路904用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。显示屏905用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。
[0143]
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。电源909用于为终端中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。
[0144]
在一些实施例中，终端还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、光学传感器915以及接近传感器916。
[0145]
加速度传感器911可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。陀螺仪传感器912可以检测终端的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端的3d动作。压力传感器913可以设置在终端的侧边框和/或显示屏905的下层。当压力传感器913设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实
现对ui界面上的可操作性控件进行控制。接近传感器916，也称距离传感器，用于采集用户与终端的正面之间的距离。
[0146]
本领域技术人员可以理解，图6中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0147]
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种模型筛选方法。
[0148]
在一种可能的实现方式中，上述计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
[0149]
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种模型筛选方法。
[0150]
需要说明的是，本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的对象数据，对象样本等都是在充分授权的情况下获取的。
[0151]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0152]
以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。