一种确定模型特征分箱方案的方法及装置与流程

1.本发明涉及数据处理技术领域，具体涉及一种确定模型特征分箱方案的方法及装置。


背景技术：

2.在数据模型的开发流程中，需要对数据模型的特征变量进行特征分箱处理。
3.现有的特征分箱处理方式为：技术人员指定分箱方法和分箱个数并进行特征分箱，当指定多个分箱方法和分箱个数时，还需要技术人员对不同组合的分箱方法和分箱个数的分箱效果进行测试和比较。但是，随着分箱方法和分箱个数的组合的增多，测试分箱方法和分箱个数的不同组合的分箱效果的工作量呈指数级增长，并且需要人工逐一对各个分箱效果进行比较，特征分箱所耗费的时间较长和特征分箱的效率较低。


技术实现要素：

4.有鉴于此，本发明实施例提供一种确定模型特征分箱方案的方法及装置，以解决现有特征分箱处理方式存在的耗费时间长及效率较低的问题。
5.为实现上述目的，本发明实施例提供如下技术方案：
6.本发明实施例第一方面公开一种确定模型特征分箱方案的方法，所述方法包括：
7.根据用户从特征分箱操作界面中输入的建模数据集名称，获取相应的建模数据集；
8.从所述建模数据集中读取特征变量名称；
9.从所述特征变量名称中确定目标变量名称，所述目标变量名称对应的目标特征变量至少携带指定标签；
10.响应于所述用户在所述特征分箱操作界面中的配置指令，设置分箱参数及对应的分箱方案；
11.根据所述分箱参数对所述目标特征变量进行分箱处理，生成并展示分箱结果，所述分箱结果至少包含每个所述目标特征变量对应的预设指标值；
12.根据所述分箱结果对所述目标特征变量进行筛选和排序，得到筛选排序结果；
13.根据所述筛选排序结果，确定满足预设条件的所述分箱方案为最优分箱方案。
14.优选的，所述从所述建模数据集中读取特征变量名称，包括：
15.从所述建模数据集中读取多个字段对应的字段名称，确定所读取的字段名称为特征变量名称。
16.优选的，所述指定标签为good标签或bad标签。
17.优选的，所述分箱参数至少包含分箱个数和分箱方法。
18.优选的，所述根据所述分箱参数对所述目标特征变量进行分箱处理，生成并展示分箱结果，包括：
19.根据所述分箱参数对所述目标特征变量进行网格化组合，生成并展示分箱结果。
20.优选的，所述预设指标值至少包含：缺失率、信息量iv值、ks值和群体稳定性指数psi值。
21.优选的，所述根据所述分箱结果对所述目标特征变量进行筛选和排序，得到筛选排序结果，包括：
22.将所述预设指标值不满足预设筛选条件的所述目标特征变量剔除，并按照所述预设指标值对剩余的所述目标特征变量进行排序，得到筛选排序结果。
23.优选的，根据所述分箱结果对所述目标特征变量进行筛选和排序得到筛选排序结果之后，还包括：
24.若根据所述筛选排序结果未确定得到满足预设条件的所述分箱方案，响应于所述用户的调整指令，调整所述分箱参数及对应的分箱方案，返回执行根据所述分箱参数对所述目标特征变量进行分箱处理生成并展示分箱结果这一步骤。
25.优选的，确定满足预设条件的所述分箱方案为最优分箱方案之后，还包括：
26.生成与所述最优分箱方案对应的所述分箱结果的赋值代码语句。
27.本发明实施例第二方面公开一种确定模型特征分箱方案的装置，所述装置包括：
28.获取单元，用于根据用户从特征分箱操作界面中输入的建模数据集名称，获取相应的建模数据集；
29.读取单元，用于从所述建模数据集中读取特征变量名称；
30.确定单元，用于从所述特征变量名称中确定目标变量名称，所述目标变量名称对应的目标特征变量至少携带指定标签；
31.设置单元，用于响应于所述用户在所述特征分箱操作界面中的配置指令，设置分箱参数及对应的分箱方案；
32.生成单元，用于根据所述分箱参数对所述目标特征变量进行分箱处理，生成并展示分箱结果，所述分箱结果至少包含每个所述目标特征变量对应的预设指标值；
33.处理单元，用于根据所述分箱结果对所述目标特征变量进行筛选和排序，得到筛选排序结果；根据所述筛选排序结果，确定满足预设条件的所述分箱方案为最优分箱方案。
34.基于上述本发明实施例提供的一种确定模型特征分箱方案的方法及装置，该方法为：根据用户从特征分箱操作界面中输入的建模数据集名称，获取相应的建模数据集；从建模数据集中读取特征变量名称；从特征变量名称中确定目标变量名称；响应于用户在特征分箱操作界面中的配置指令，设置分箱参数及对应的分箱方案；根据分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果；根据分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果；根据筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。本方案中，用户通过特征分箱操作界面设置不同的分箱参数及其对应的分箱方案。利用分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。利用分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。根据所得到的筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。不需要技术人员逐一测试不同组合的分箱方法和分箱个数的分箱效果，降低特征分箱所耗费的时间以及提高特征分箱的效率。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本发明实施例提供的一种确定模型特征分箱方案的方法的流程图；
37.图2为本发明实施例提供的分箱方案的示意图；
38.图3为本发明实施例提供的对目标特征变量进行筛选后的结果示意图；
39.图4为本发明实施例提供的一种确定模型特征分箱方案的方法的另一流程图；
40.图5为本发明实施例提供的一种确定模型特征分箱方案的装置的结构框图；
41.图6为本发明实施例提供的一种确定模型特征分箱方案的装置的另一结构框图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
44.由背景技术可知，目前进行特征分箱处理的方式，主要依赖于技术人员逐一对不同组合的分箱方法和分箱个数的分箱效果进行测试和比较。但是由于分箱方法和分箱个数的组合的增多，测试分箱效果的工作量呈指数级增长，并且需要人工逐一对各个分箱效果进行比较，特征分箱所耗费的时间较长和特征分箱的效率较低。
45.因此，本发明实施例提供一种确定模型特征分箱方案的方法及装置，用户通过特征分箱操作界面设置不同的分箱参数及其对应的分箱方案。利用分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。利用分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。根据所得到的筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。不需要技术人员逐一测试不同组合的分箱方法和分箱个数的分箱效果，以降低特征分箱所耗费的时间以及提高特征分箱的效率。
46.需要说明的是，在数据模型的开发流程中，一个数据模型的备选特征变量(其中包含了离散型和连续型的变量)的数量较多(如上千个)，为使数据模型更加稳定以及避免数据模型过拟合，需要从备选特征变量中筛选出有效的且能够输入数据模型的特征变量。因此，需要对备选特征变量进行特征分箱处理，以筛选出有效的且能够输入数据模型的特征变量。本方案所提供的一种确定模型特征分箱方案的方法及装置，能够自动确定最优分箱方案，从而降低特征分箱所耗费的时间以及提高特征分箱的效率，具体内容详见以下实施例。
47.参见图1，示出了本发明实施例提供的一种确定模型特征分箱方案的方法的流程图，该方法包括：
48.步骤s101：根据用户从特征分箱操作界面中输入的建模数据集名称，获取相应的建模数据集。
49.在具体实现步骤s101的过程中，显示可视化的特征分箱操作界面，用户可在特征分箱操作界面中输入需要进行特征分箱计算的建模数据集名称。利用该用户从特征分箱操作界面中输入的建模数据集名称，获取相应的建模数据集。
50.需要说明的是，建模数据集中包含了经过去重和填充缺失值等数据清洗操作的数据。
51.步骤s102：从建模数据集中读取特征变量名称。
52.需要说明的是，建模数据集中的每个字段即为一个特征变量，在具体实现步骤s102的过程中，从建模数据集中读取多个字段对应的字段名称，确定所读取的字段名称为特征变量名称。
53.步骤s103：从特征变量名称中确定目标变量名称。
54.需要说明的是，特征变量需携带指定标签才能进行后续的特征分箱以及相关数据处理流程，也就是目标变量名称对应的目标特征变量至少携带指定标签。
55.在一些具体实施例中，指定标签为good标签(也就是好标签)或bad标签(也就是坏标签)，例如：对于某一目标特征变量，若该目标特征变量所携带的指定标签的取值为0，则该目标特征变量所携带的指定标签为good标签；若该目标特征变量所携带的指定标签的取值为1，则该目标特征变量所携带的指定标签为bad标签。
56.在具体实现步骤s103的过程中，响应于用户特征分箱操作界面中的设置指令，得到所设置的目标变量名称，也就是从所有特征变量名称中选取需要进行特征分箱的变量名称(即目标变量名称)。
57.步骤s104：响应于用户在特征分箱操作界面中的配置指令，设置分箱参数及对应的分箱方案。
58.在具体实现步骤s104的过程中，响应于用户在特征分箱操作界面中的配置指令，设置多组分箱参数及与其对应的分箱方案。
59.在一些具体实施例中，分箱参数至少包含分箱个数和分箱方法。也就是说，响应于用户在特征分箱操作界面中的配置指令，设置分箱个数和分箱方法(可多选)等分箱参数，并设置与分箱参数对应的分箱方案。
60.需要说明的是，分箱方案也就是分箱结果输出数据集，分箱方案需要进行保存，以及需指定分箱方案对应的文件名和位置。分箱方案的示意图如图2所示(图2仅用于举例)，图2中，将“学历”这一目标特征变量名称对应的目标特征变量分为3箱(分箱个数为3)，将“代发工资年收入”这一目标特征变量名称对应的目标特征变量分为5箱(分箱个数为5)；其中，“好客户”即为good标签，“坏客户”即为bad标签，证据权重(weight of evidence，woe)为分箱过程中计算得到的参数，woe具体根据好客户的数量、坏客户的数量、好客户总数和坏客户总数进行计算。
61.需要说明的是，在设置分箱参数时，可分别对各个目标特征变量设置不同的分箱参数，也可以统一对各个目标特征变量设置分箱参数，在此对于设置分箱参数的方式不做限定。
62.步骤s105：根据分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。
63.需要说明的是，分箱结果至少包含每个目标特征变量对应的预设指标值。
64.在一些具体实施例中，预设指标值至少包含：缺失率、信息量(information value，iv)值、ks(kolmogorov
‑
smirnov)值和群体稳定性指数(populationstability index，psi)值。可以理解的是，前述关于预设指标值的具体内容仅用于举例说明，预设指标值还包含了其它相关系数，在此不一一举例。
65.在具体实现步骤s105的过程中，响应于用户在特征分箱操作界面的执行指令，执行预设的分箱程序脚本，根据上述所设置的分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。具体而言，执行预设的分箱程序脚本，根据上述所设置的分箱参数对目标特征变量进行网格化组合，生成分箱结果，并在特征分箱操作界面展示分箱结果。
66.可以理解的是，由上述内容可知，预先设置多组分箱参数及其对应的分箱方案，在每一次利用一组分箱参数对目标特征变量进行分箱处理后，需计算各个目标特征变量的预设指标值，进而得到该次分箱处理的分箱结果。
67.也就是说，每个目标特征变量根据不同的分箱参数可以有多个分箱结果，例如：针对单个目标特征变量，不同的分箱方案导致该目标特征变量存在不同的iv值。
68.步骤s106：根据分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。
69.需要说明的是，预先设置用于筛选目标特征变量的预设筛选条件(例如根据单调性表现和变量相关性等因素进行设置)，以及预先设置用于排序目标特征变量的预设排序条件(如根据iv值和ks值等排序)。
70.在具体实现步骤s106的过程中，执行用于对目标特征变量进行筛选和排序的程序脚本，根据分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。具体而言，将预设指标值不满足预设筛选条件的目标特征变量剔除，并按照预设指标值和预设排序条件对剩余的目标特征变量进行排序，得到筛选排序结果。
71.也就是说，预设筛选条件设置了预设指标值的阈值，保留预设指标值达到阈值的目标特征变量，即预设指标值达到阈值的目标特征变量可以进入数据模型，预设指标值未达到阈值的目标特征变量则被剔除掉。
72.例如：假设预设筛选条件为iv值大于0.1且缺失率小于0.05，根据iv值和缺失率对目标特征变量进行筛选后的结果如图3所示，需要说明的是，图3中的变量名称即为目标特征变量名称，图3仅用于举例说明。
73.在对目标特征变量进行筛选并排序后，得到相应的筛选排序结果，输出该筛选排序结果，并在特征分箱操作界面中展示该筛选排序结果。
74.需要说明的是，筛选排序结果中至少包含：目标特征变量名称、ks值、筛选规则的说明和筛选结果等内容。
75.步骤s107：根据筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。
76.需要说明的是，预先根据设定阈值、专家经验、变量回选和变量剔除等内容，设置预设条件。在具体实现步骤s107的过程中，根据筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。
77.在一些具体实施例中，由上述内容可知，在特征分箱操作界面中展示筛选排序结果，用户可通过预设条件对筛选排序结果进行定性分析，从而确定得到最优分箱方案，此时，响应于用户在特征分箱操作界面的指令，确定满足预设条件的分箱方案为最优分箱方
案。
78.优选的，输出最优分箱方案对应的分箱结果，并在特征分箱操作界面中展示最优分箱方案对应的分箱结果。
79.优选的，若根据筛选排序结果未确定得到满足预设条件的分箱方案，响应于用户的调整指令，调整分箱参数及对应的分箱方案，返回执行步骤s105。
80.在具体实现中，若未能确定得到满足预设条件的分箱方案(也就是未能确定得到最优分箱方案)，为用户预留能够修改分箱参数的接口，响应于用户在特征分箱操作界面的调整指令，调整分箱参数及对应的分箱方案，返回执行步骤s105继续进行分箱处理，直至确定得到最优分箱方案。
81.优选的，确定得到最优分箱方案之后，生成与最优分箱方案对应的分箱结果的赋值代码语句，利用所生成的赋值代码语句留档分箱结果，以用于后续的数据建模。
82.在本发明实施例中，用户通过特征分箱操作界面设置不同的分箱参数及其对应的分箱方案。利用分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。利用分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。根据所得到的筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。不需要技术人员逐一测试不同组合的分箱方法和分箱个数的分箱效果，降低特征分箱所耗费的时间以及提高特征分箱的效率。
83.为更好解释说明上述本发明实施例图1示出的内容，通过图4示出的一种确定模型特征分箱方案的方法的另一流程图进行举例说明，图4包括以下步骤：
84.步骤s401：显示特征分箱操作界面。
85.步骤s402：获取建模数据集名称。
86.步骤s403：从建模数据集中读取特征变量名称。
87.步骤s404：从特征变量名称中确定目标变量名称。
88.步骤s405：设置分箱参数及对应的分箱方案。
89.步骤s406：执行分箱程序脚本。
90.步骤s407：输出并展示分箱结果。
91.步骤s408：设置筛选条件和排序条件。
92.步骤s409：根据分箱结果对目标特征变量进行筛选和排序。
93.步骤s410：输出并展示筛选排序结果。
94.步骤s411：确定最优分箱方案。
95.步骤s412：输出并展示最优分箱方案对应的分箱结果。
96.步骤s413：生成与最优分箱方案对应的分箱结果的赋值代码语句。
97.需要说明的是，步骤s401至步骤s413的执行原理，参见上述本发明实施例图1中的内容，在此不再进行赘述。
98.与上述本发明实施例提供的一种确定模型特征分箱方案的方法相对应，参见图5，本发明实施例还提供了一种确定模型特征分箱方案的装置的结构框图，该装置包括：获取单元501、读取单元502、确定单元503、设置单元504、生成单元505和处理单元506；
99.获取单元501，用于根据用户从特征分箱操作界面中输入的建模数据集名称，获取相应的建模数据集。
100.读取单元502，用于从建模数据集中读取特征变量名称。
101.在具体实现中，读取单元502具体用于：从建模数据集中读取多个字段对应的字段名称，确定所读取的字段名称为特征变量名称。
102.确定单元503，用于从特征变量名称中确定目标变量名称，目标变量名称对应的目标特征变量至少携带指定标签。
103.在一些具体实施例中，指定标签为good标签或bad标签。
104.设置单元504，用于响应于用户在特征分箱操作界面中的配置指令，设置分箱参数及对应的分箱方案。
105.在一些具体实施例中，分箱参数至少包含分箱个数和分箱方法。
106.生成单元505，用于根据分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果，分箱结果至少包含每个目标特征变量对应的预设指标值。
107.在具体实现中，生成单元505具体用于：根据分箱参数对所述目标特征变量进行网格化组合，生成并展示分箱结果。
108.在一些具体实施例中，预设指标值至少包含：缺失率、信息量iv值、ks值和群体稳定性指数psi值。
109.处理单元506，用于根据分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果；根据筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。
110.在具体实现中，用于得到筛选排序结果的处理单元506具体用于：将预设指标值不满足预设筛选条件的目标特征变量剔除，并按照预设指标值对剩余的目标特征变量进行排序，得到筛选排序结果。
111.优选的，处理单元506还用于：若根据筛选排序结果未确定得到满足预设条件的分箱方案，响应于用户的调整指令，调整分箱参数及对应的分箱方案，执行生成单元505。
112.在本发明实施例中，用户通过特征分箱操作界面设置不同的分箱参数及其对应的分箱方案。利用分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。利用分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。根据所得到的筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。不需要技术人员逐一测试不同组合的分箱方法和分箱个数的分箱效果，降低特征分箱所耗费的时间以及提高特征分箱的效率。
113.优选的，结合图5，参见图6，示出了本发明实施例提供的一种确定模型特征分箱方案的装置的另一结构框图，该装置还包括：
114.语句生成单元507，用于生成与最优分箱方案对应的分箱结果的赋值代码语句。
115.综上所述，本发明实施例提供一种确定模型特征分箱方案的方法及装置，用户通过特征分箱操作界面设置不同的分箱参数及其对应的分箱方案。利用分箱参数对目标特征变量进行分箱处理，生成并展示分箱结果。利用分箱结果对目标特征变量进行筛选和排序，得到筛选排序结果。根据所得到的筛选排序结果，确定满足预设条件的分箱方案为最优分箱方案。不需要技术人员逐一测试不同组合的分箱方法和分箱个数的分箱效果，降低特征分箱所耗费的时间以及提高特征分箱的效率。
116.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为
分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
117.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
118.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。