建模数据集确定方法及装置与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种建模数据集确定方法及装置。


背景技术：

2.在现有技术中，在有新的数据信息用于模型建立时，常常会因为新的数据信息因与历史数据信息来源不一致，导致新的数据信息因数据量不多无法积累建模所需样本数量而无法快速建模，同时这也会增加建模后模型的维护成本。


技术实现要素：

3.为了至少克服现有技术中的上述不足，本技术的目的在于提供一种建模数据集确定方法及装置，用于解决上述技术问题。
4.第一方面，本技术实施例提供一种建模数据集确定方法，所述方法包括：获取建模所需的第一样本数据集，其中，所述第一样本数据集为未被用于模型中的新数据集；基于所述第一样本数据集，从多个候选分类模型中筛选出多个的特定分类模型；获取第二样本数据集，并将所述第二样本数据集划分为开发数据子集及验证数据子集，其中，所述第二样本数据集为用于模型中的历史数据集，所述第一样本数据集和所述第二样本数据集具有相同的变量参数；采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练；基于训练好的特定分类模型对所述第一样本数据集中的各个数据组进行预测，得到各个数据组对应的预测标签；由所述各个数据组中在多个的特定分类模型中的预测标签均相同的数据组组成初筛样本数据集；将所述初筛样本数据集中的数据组进行排序，从中筛选出第三样本数据集；采用所述多个的特定分类模型对所述开发数据子集中的各个数据组进行预测，并根据预测结果筛选出第四样本数据集；将所述第三样本数据集及所述第四样本数据集作为更新后的第一样本数据集，回到所述采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练的步骤，进行预设次数的迭代运算，将最后一次运算得到的更新后的第一样本数据集作为建模数据集。
5.在一种可能的实现方式中，所述基于所述第一样本数据集，从多个候选分类模型中筛选出多个的特定分类模型的步骤，包括：基于离线拟合的方式创建多个候选分类模型，其中，所述多个候选分类模型为不同的分类模型，所述候选分类模型的种类包括逻辑回归模型、深度学习模型及神经网络模型；基于所述第一样本数据集在每个候选分类模型上的分类性能参数筛选出多个的
特定分类模型。
6.在一种可能的实现方式中，所述采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练的步骤，包括：采用所述开发数据子集对所述特定分类模型进行训练；采用训练好的所述特定分类模型对所述验证数据子集进行分类预测，得到每个特定分类模型的预测性能参数。
7.在一种可能的实现方式中，所述基于训练好的特定分类模型对所述第一样本数据集中的各个数据组进行预测，得到各个数据组对应的预测标签的步骤，包括：采用所述多个的特定分类模型对所述第一样本数据集中的各个数据组进行预测得到多个概率值；将所述第一样本数据集中的各个数据组对应的多个概率值与预设的概率阈值进行比较，以得到所述第一样本数据集中的各个数据组在不同的特定分类模型中的预测标签，其中，在所述概率值大于所述预设的概率阈值时，所述预测标签为正常状态，反之，所述预测标签为异常状态。
8.在一种可能的实现方式中，所述将所述初筛样本数据集中的数据组进行排序，从中筛选出第三样本数据集的步骤，包括：根据所述初筛样本数据集中的数据组在所述多个的特定分类模型上的概率值以及每个特定分类模型的预测性能参数，计算得到所述初筛样本数据集中的各个数据组的概率加权平均值；根据所述概率加权平均值对所述初筛样本数据集中的各个数据组进行排序，得到数据组序列；将位于所述数据组序列两端的部分所述数据组作为所述第三样本数据集。
9.在一种可能的实现方式中，所述采用所述多个的特定分类模型对所述开发数据子集中的各个数据组进行预测，并根据预测结果筛选出第四样本数据集的步骤，包括：根据所述开发数据子集中的数据组在所述多个的特定分类模型上的概率值以及每个特定分类模型的预测性能参数，计算得到所述开发数据子集中的各个数据组的概率加权平均值；在基于所述开发数据子集中的各个数据组的实际标签，计算所述述开发数据子集中的各个数据组的预测损失值；将所述开发数据子集中的各个数据组的预测损失值小于预设损失阈值的数据组从所述开发数据子集中筛选出来作为第四样本数据集。
10.第二方面，本技术实施例还提供建模数据集确定装置，所述装置包括：第一获取模块，用于获取建模所需的第一样本数据集，其中，所述第一样本数据集为未被用于模型中的新数据集；第一筛选模块，用于基于所述第一样本数据集，从多个候选分类模型中筛选出多个的特定分类模型；第二获取模块，用于获取第二样本数据集，并将所述第二样本数据集划分为开发数据子集及验证数据子集，其中，所述第二样本数据集为用于模型中的历史数据集，所述第一样本数据集和所述第二样本数据集具有相同的变量参数；
训练模块，用于采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练；预测模块，用于基于训练好的特定分类模型对所述第一样本数据集中的各个数据组进行预测，得到各个数据组对应的预测标签；组成模块，用于由所述各个数据组中在多个的特定分类模型中的预测标签均相同的数据组组成初筛样本数据集；第二筛选模块，用于将所述初筛样本数据集中的数据组进行排序，从中筛选出第三样本数据集；第三筛选模块，用于采用所述多个的特定分类模型对所述开发数据子集中的各个数据组进行预测，并根据预测结果筛选出第四样本数据集；迭代与确定模块，用于将所述第三样本数据集及所述第四样本数据集作为更新后的第一样本数据集，回到所述采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练的步骤，进行预设次数的迭代运算，将最后一次运算得到的更新后的第一样本数据集作为建模数据集。
11.在一种可能的实现方式中，所述第一筛选模块具体用于：基于离线拟合的方式创建多个候选分类模型，其中，所述多个候选分类模型为不同的分类模型，所述候选分类模型的种类包括逻辑回归模型、深度学习模型及神经网络模型；基于所述第一样本数据集在每个候选分类模型上的分类性能参数筛选出多个的特定分类模型。
12.在一种可能的实现方式中，所述训练模块具体用于：采用所述开发数据子集对所述特定分类模型进行训练；采用训练好的所述特定分类模型对所述验证数据子集进行分类预测，得到每个特定分类模型的预测性能参数。
13.在一种可能的实现方式中，所述预测模块具体用于：采用所述多个的特定分类模型对所述第一样本数据集中的各个数据组进行预测得到多个概率值；将所述第一样本数据集中的各个数据组对应的多个概率值与预设的概率阈值进行比较，以得到所述第一样本数据集中的各个数据组在不同的特定分类模型中的预测标签，其中，在所述概率值大于所述预设的概率阈值时，所述预测标签为正常状态，反之，所述预测标签为异常状态。
14.第三方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的实现方式中的建模数据集确定方法。
15.基于上述任意一个方面，本技术实施例提供的建模数据集确定方法，首先，通过获取的第一样本数据集（新数据集）筛选出多个的特定分类模型；接着，通过第二样本数据集（历史数据集）对所述特定分类模型进行训练；再接着，基于训练好的特定分类模型对第一样本数据集进行预测并根据预测结果筛选得到第三样本数据集，另外基于训练好的特定分类模型对第二样本数据集进行预测，并根据预测结果筛选得到第四样本数据集；最后，由第
三样本数据集与第四样本数据集形成更新后的第一样本数据集重新回到对所述特定分类模型进行训练的步骤，进行预设次数的迭代运算，将最后一次运算得到的更新后的第一样本数据集作为建模数据集。通过上述过程可以将新的数据集与历史数据集融合在一起，如此可以增大建模数据集的规模，缩短建模所需数据集的积累时间，另外还可以增加训练得到模型的稳定性。
附图说明
16.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
17.图1为本技术实施例提供的建模数据集确定方法的流程示意图；图2为本技术实施例提供的建模数据集确定的功能模块示意图；图3为本技术实施例提供的计算机设备的硬件结构示意图。
具体实施方式
18.下面结合说明书附图对本技术进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
19.为了解决前述背景技术中的技术问题，图1为本技术实施例提供的建模数据集确定方法的流程示意图，本实施例提供的建模数据集确定方法可以由计算机设备执行，为了便于说明本技术的技术方案，下面结合一种可能的应用场景对该建模数据集确定方法进行详细介绍，其中，该可能的应用场景可以是用在金融借贷风控模型中，可以理解的是，本技术提供的技术方案还可以应用于其他场景，比如，基于大数据的用户行为分析场景等。
20.步骤s11，获取建模所需的第一样本数据集。
21.其中，所述第一样本数据集data_new为未被用于模型中的新数据集。具体地，第一样本数据集data_new可以为新接入的渠道信贷产品的已放款客户的客户数据，其中，由于新接入的渠道信贷产品的运营时间短，积累样本的数量不足，不足以建立借贷风控模型中。
22.在本实施例中，第一样本数据集data_new可以包括多个数据组，每个数据组对应一个客户数据，具体地，每个客户数据可以包括客户的名称、最近6个月贷记卡平均额度使用率、最近6个月在人民银行的征信报告查询次数、客户是否逾期的标签等，其中，逾期的标签包括逾期和正常两种状态。
23.步骤s12，基于所述第一样本数据集，从多个候选分类模型中筛选出多个的特定分类模型。
24.具体地，可以首先基于离线拟合的方式创建多个候选分类模型，然后根据第一样本数据集data_new在每个候选分类模型上的分类性能参数筛选出多个的特定分类模型。
25.在本步骤中，可以采用离线拟合的方式，建立n个不同类型的候选分类模型，候选分类模型的种类可以包括逻辑回归模型、深度学习模型及神经网络模型等，然后，可以采用模型效果评估指标“受试者工作特征曲线”下的面积auc值作为分类性能参数筛选出多个的特定分类模型。具体地，可以筛选出面积值最大的三个候选分类模型作为特定分类模型，其
中，受试者工作特征曲线是指是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率p（y/n）为横坐标，以击中概率p（y/sn）为纵坐标，画得的各点的连线。
26.步骤s13，获取第二样本数据集，并将所述第二样本数据集划分为开发数据子集及验证数据子集。
27.第二样本数据集data_old可以是从机构征信平台获取已有产品的已放款的客户数据，其中，所述第一样本数据集和所述第二样本数据集具有相同的变量参数。
28.在本实施例中，可以按照一定比例（比如7:3)或时间顺序切分的方式将第二样本数据划分为开发数据子集data_old_t及验证数据子集data_old_v。
29.步骤s14，采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练。
30.首先，采用所述开发数据子集data_old_t对所述特定分类模型进行训练。
31.具体地，使用开发数据子集data_old_t对特定分类模型进行重新训练，在保持每个特定分类模型的算法与变量集合不变的情况下，重新拟合各个特定分类模型的模型参数。
32.接着，采用训练好的所述特定分类模型对所述验证数据子集data_old_v进行分类预测，得到每个特定分类模型的预测性能参数。
33.通过训练好的特定分类模型对验证数据子集data_old_v进行分类预测得到预测概率，在结合验证数据子集data_old_v中各用户的真实预期标签计算的预测性能参数，其中预测性能参数用于对分类模型的分类效果进行评估，预测性能参数越大对应的分类模型的分类效果越好。
34.步骤s15，基于训练好的特定分类模型对所述第一样本数据集中的各个数据组进行预测，得到各个数据组对应的预测标签。
35.首先，采用所述多个的特定分类模型对所述第一样本数据集中的各个数据组进行预测得到多个概率值。
36.具体地，使用训练好的特定分类模型分别对第一样本数据集data_new中的各个数据组进行预测，对于每个数据组对应的客户生成3个逾期概率值。
37.接着，将所述第一样本数据集中的各个数据组对应的多个概率值与预设的概率阈值进行比较，以得到所述第一样本数据集中的各个数据组在不同的特定分类模型中的预测标签，其中，在所述概率值大于所述预设的概率阈值时，所述预测标签为正常状态，反之，所述预测标签为异常状态。
38.步骤s16，由所述各个数据组中在多个的特定分类模型中的预测标签均相同的数据组组成初筛样本数据集。
39.从第一样本数据集data_new中筛选出在三个特定分类模型中的预测标签均相同的数据组作为初筛样本数据集data_new_1。
40.步骤s17，将所述初筛样本数据集中的数据组进行排序，从中筛选出第三样本数据集。
41.首先，根据初筛样本数据集data_new_1中各个数据组在步骤s15中计算得到的3个逾期概率值以及每个特定分类模型的预测性能参数，计算初筛样本数据集data_new_1中各个数据组的加权平均值；
接着，基于加权平均值对初筛样本数据集data_new_1中各个数据组进行排序得到数据组序列；最后，将位于所述数据组序列两端的部分所述数据组作为所述第三样本数据集data_new_n。具体地，可以将位于所述数据组序列两端40%的数据组作为第三样本数据集data_new_n。
42.s18，采用所述多个的特定分类模型对所述开发数据子集中的各个数据组进行预测，并根据预测结果筛选出第四样本数据集。
43.首先，根据所述开发数据子集data_old_t中的数据组在所述多个的特定分类模型上的逾期概率值以及每个特定分类模型的预测性能参数，计算得到所述开发数据子集data_old_t中的各个数据组的概率加权平均值；接着，在基于所述开发数据子集data_old_t中的各个数据组的实际标签，计算所述述开发数据子集data_old_t中的各个数据组的预测损失值；最后，将所述开发数据子集data_old_t中的各个数据组的预测损失值小于预设损失阈值（比如，10%或20%分位数）的数据组从所述开发数据子集data_old_t中筛选出来作为第四样本数据集data_old_n，将剩余的数据组作为更新后的开发数据子集data_old_t。
44.步骤s19，将所述第三样本数据集及所述第四样本数据集作为更新后的第一样本数据集，检测当前迭代次数是否达到预设的迭代次数，若达到则进入步骤s20，若未达到，则将迭代次数加一后进入步骤s14。
45.步骤s20，将更新后的第一样本数据集作为建模数据集。
46.本技术实施例提供的上述技术方案，一方面，可以将新的数据集与历史数据集融合在一起，如此可以增大建模数据集的规模，缩短建模所需数据集的积累时间，数据来源更广可以增加训练得到模型的稳定性；另一方面，采用多个特定分类模型的预测性能参数作为权重计算每个数据组的概率加权平均值，并基于概率加权平均值筛选数据组，可以加强模型的融合效果，解决通过数据集不同来源带来的差异化分布问题；再一方面，在对样本数据集进行筛选后得的建模数据集，可以减少建模数据集的复杂度有助于后续模型建立时减小模型的复杂度以及后续的模型维护成本，同时还能增强建立模型的泛化性能。
47.请参照图2，图2为本公开实施例提供的建模数据集确定装置的功能模块示意图，本实施例可以根据计算机设备10执行的方法实施例对建模数据集确定装置30进行功能模块的划分，也即该建模数据集确定装置30所对应的以下各个功能模块可以用于执行上述计算机设备10执行的各个方法实施例。其中，该基于建模数据集确定装置30可以包括第一获取模块31、第一筛选模块32、第二获取模块33、训练模块34、预测模块35、组成模块36、第二筛选模块37、第三筛选模块38及迭代与确定模块39，下面分别对该建模数据集确定装置30的各个功能模块的功能进行详细阐述。
48.第一获取模块31，用于获取建模所需的第一样本数据集。
49.其中，所述第一样本数据集data_new为未被用于模型中的新数据集。具体地，第一样本数据集data_new可以为新接入的渠道信贷产品的已放款客户的客户数据，其中，由于新接入的渠道信贷产品的运营时间短，积累样本的数量不足，不足以建立借贷风控模型中。
50.在本实施例中，第一样本数据集data_new可以包括多个数据组，每个数据组对应一个客户数据，具体地，每个客户数据可以包括客户的名称、最近6个月贷记卡平均额度使
用率、最近6个月在人民银行的征信报告查询次数、客户是否逾期的标签等，其中，逾期的标签包括逾期和正常两种状态。
51.第一筛选模块32，用于基于所述第一样本数据集，从多个候选分类模型中筛选出多个的特定分类模。
52.具体地，第一筛选模块32可以首先基于离线拟合的方式创建多个候选分类模型，然后根据第一样本数据集data_new在每个候选分类模型上的分类性能参数筛选出多个的特定分类模型。
53.在本步骤中，第一筛选模块32可以采用离线拟合的方式，建立n个不同类型的候选分类模型，候选分类模型的种类可以包括逻辑回归模型、深度学习模型及神经网络模型等，然后，可以采用模型效果评估指标“受试者工作特征曲线”下的面积auc值作为分类性能参数筛选出多个的特定分类模型。具体地，可以筛选出面积值最大的三个候选分类模型作为特定分类模型，其中，受试者工作特征曲线是指是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率p（y/n）为横坐标，以击中概率p（y/sn）为纵坐标，画得的各点的连线。
54.第二获取模块33，用于获取第二样本数据集，并将所述第二样本数据集划分为开发数据子集及验证数据子集，其中，所述第二样本数据集为用于模型中的历史数据集，所述第一样本数据集和所述第二样本数据集具有相同的变量参数。
55.训练模块34，用于采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练。
56.训练模块34可以具体用于：首先，采用所述开发数据子集data_old_t对所述特定分类模型进行训练。
57.具体地，使用开发数据子集data_old_t对特定分类模型进行重新训练，在保持每个特定分类模型的算法与变量集合不变的情况下，重新拟合各个特定分类模型的模型参数。
58.接着，采用训练好的所述特定分类模型对所述验证数据子集data_old_v进行分类预测，得到每个特定分类模型的预测性能参数。
59.通过训练好的特定分类模型对验证数据子集data_old_v进行分类预测得到预测概率，在结合验证数据子集data_old_v中各用户的真实预期标签计算的预测性能参数，其中预测性能参数用于对分类模型的分类效果进行评估，预测性能参数越大对应的分类模型的分类效果越好。
60.预测模块35，用于基于训练好的特定分类模型对所述第一样本数据集中的各个数据组进行预测，得到各个数据组对应的预测标签。
61.预测模块35可以具体用于：首先，采用所述多个的特定分类模型对所述第一样本数据集中的各个数据组进行预测得到多个概率值。
62.具体地，使用训练好的特定分类模型分别对第一样本数据集data_new中的各个数据组进行预测，对于每个数据组对应的客户生成3个逾期概率值。
63.接着，将所述第一样本数据集中的各个数据组对应的多个概率值与预设的概率阈值进行比较，以得到所述第一样本数据集中的各个数据组在不同的特定分类模型中的预测
标签，其中，在所述概率值大于所述预设的概率阈值时，所述预测标签为正常状态，反之，所述预测标签为异常状态。
64.组成模块36，用于由所述各个数据组中在多个的特定分类模型中的预测标签均相同的数据组组成初筛样本数据集。
65.组成模块36从第一样本数据集data_new中筛选出在三个特定分类模型中的预测标签均相同的数据组作为初筛样本数据集data_new_1。
66.第二筛选模块37，用于将所述初筛样本数据集中的数据组进行排序，从中筛选出第三样本数据集。
67.第二筛选模块37可以具体用于：首先，根据初筛样本数据集data_new_1中各个数据组在步骤s15中计算得到的3个逾期概率值以及每个特定分类模型的预测性能参数，计算初筛样本数据集data_new_1中各个数据组的加权平均值；接着，基于加权平均值对初筛样本数据集data_new_1中各个数据组进行排序得到数据组序列；最后，将位于所述数据组序列两端的部分所述数据组作为所述第三样本数据集data_new_n。具体地，可以将位于所述数据组序列两端40%的数据组作为第三样本数据集data_new_n。
68.第三筛选模块38，用于采用所述多个的特定分类模型对所述开发数据子集中的各个数据组进行预测，并根据预测结果筛选出第四样本数据集。
69.第三筛选模块38可以具体用于：首先，根据所述开发数据子集data_old_t中的数据组在所述多个的特定分类模型上的逾期概率值以及每个特定分类模型的预测性能参数，计算得到所述开发数据子集data_old_t中的各个数据组的概率加权平均值；接着，在基于所述开发数据子集data_old_t中的各个数据组的实际标签，计算所述述开发数据子集data_old_t中的各个数据组的预测损失值；最后，将所述开发数据子集data_old_t中的各个数据组的预测损失值小于预设损失阈值（比如，10%或20%分位数）的数据组从所述开发数据子集data_old_t中筛选出来作为第四样本数据集data_old_n，将剩余的数据组作为更新后的开发数据子集data_old_t。
70.迭代与确定模块39，用于将所述第三样本数据集及所述第四样本数据集作为更新后的第一样本数据集，回到所述采用所述开发数据子集及所述验证数据子集对所述特定分类模型进行训练的步骤，进行预设次数的迭代运算，将最后一次运算得到的更新后的第一样本数据集作为建模数据集。
71.需要说明的是，应理解以上装置或系统中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以在物理上分开。且这些模块可以全部以软件（比如，开源软件）可以通过处理器调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理器调用软件的形式实现，部分模块通过硬件的形式实现。例如，迭代与确定模块39模块可以由单独处理器运行实现，例如，可以以程序代码的形式存储于上述装置或系统的存储器中，由上述装置或系统的某一个处理器调用并执行以上迭代与确定模块39模块的功能，其它模块的实现与之类似，在此就不再赘述。此外这些
模块可以全部或部分集成在一起，也可以独立实现。这里所描述的处理器可以是一种具有信号的处理能力的集成电路，在实现过程中，上述技术方案中的各步骤或各个模块可以通过处理器中的集成逻辑电路或者执行软件程序的形式完成。
72.请参照图3，图3示出了本公开实施例提供的用于实现上述的建模数据集确定方法的计算机设备10的硬件结构示意图，计算机设备10可以在云端服务器上实现。如图3所示，计算机设备10可包括处理器11、计算机可读存储介质12、总线13以及通信单元14。
73.在具体实现过程中，至少一个处理器11执行计算机可读存储介质12存储的计算机执行指令（例如图2中所示的建模数据集确定装置30中包括的各个模块），使得处理器11可以执行如上方法实施例的建模数据集确定方法，其中，处理器11、计算机可读存储介质12以及通信单元14通过总线13连接，处理器11可以用于控制通信单元14的收发动作。
74.处理器11的具体实现过程可参见上述计算机设备10执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
75.计算机可读存储介质12可能包含随机存取存储器（random access memory，简称ram），也可能还包括非易失性存储（non
‑
volatile memory，简称nvm），例如至少一个磁盘存储器。
76.总线13可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
77.此外，本技术实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上建模数据集确定方法。
78.以上所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本技术的实施例的详细描述并非旨在限制本技术的保护范围，而仅仅是表示本技术的选定实施例。基于此，本技术的保护范围应以权利要求的保护范围为准。此外，基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本技术保护的范围。