一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于智能建模的业务评估方法、装置、电子设备及介质与流程

2021-10-20 00:50:00 来源:中国专利 TAG:智能 建模 电子设备 装置 可读


1.本发明涉及智能决策技术领域,尤其涉及一种基于智能建模的业务评估方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.随着互联网对传统银行业的冲击,需要更快的业务试错与业务创新。而在进行业务试错和业务创新时,对业务进行评估进而得到的评估结果可以作为一个重要的参考依据。现有进行业务评估时通常需要模型进行辅助,而模型的选择和构建是一个繁杂的过程,不仅要认真处理数据、构建干净样本、仔细选择模型算法,还要依据经验调参并找到较好的超参组合,上述工作都需要耗费大量的人力,在进行业务评估时需要耗费大量的时间去筛选出一个模型参数符合要求的模型进行业务评估,会导致业务评估的效率较低。


技术实现要素:

3.本发明提供一种基于智能建模的业务评估方法、装置及计算机可读存储介质,其主要目的在于解决业务评估的效率较低的问题。
4.为实现上述目的,本发明提供的一种基于智能建模的业务评估方法,包括:
5.获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集;
6.识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集;
7.计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量;
8.根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集;
9.通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型;
10.利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
11.可选地,所述对所述原始表格数据进行解析处理,得到初始数据集,包括:
12.识别所述原始表格数据的文件属性;
13.根据预设的映射表识别所述文件属性对应的解析规则;
14.利用所述解析规则对所述原始表格数据进行解析,得到初始数据集。
15.可选地,所述计算所述特征变量集中特征变量对应的第一预测指标值,包括:
16.对所述特征变量进行权重编码处理,得到多个权重值;
17.根据所述多个权重值和预设的预测指标值公式计算得到多个预测指标值;
18.对所述多个预测指标值进行求和处理,得到所述特征变量对应的第一预测指标值。
19.可选地,所述对所述特征变量进行权重编码处理,得到多个权重值,包括:
20.对所述特征变量进行分箱处理,得到分组变量集;
21.利用预设的权重值公式分别计算所述分组变量集中多个分组变量对应的权重值。
22.可选地,所述通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型,包括:
23.获取预设的超参数搜索空间,并在预获取的多个模型中选择任意一个模型作为初始模型;
24.根据所述初始模型的性质在所述超参数搜索空间中选取初始超参数;
25.将所述初始超参数输入至预设的贝叶斯优化公式中,根据所述贝叶斯优化公式中的优化函数计算得到优化值;
26.判定所述优化值是否大于或者等于预设的优化阈值;
27.若所述优化值大于或者等于所述优化阈值,返回至所述超参数搜索空间进行初始超参数的选取;
28.若所述优化值小于所述优化阈值,将所述优化函数作为所述初始模型的损失函数;
29.将所述训练数据集输入至所述初始模型中,得到预测数据集,根据所述损失函数计算所述预测数据集和预设的真实数据集之间的损失值;
30.若所述损失值大于或者等于预设的损失阈值,重新执行在预获取的多个模型中选择任意一个模型作为初始模型;
31.若所述损失值小于预设的损失阈值,利用所述测试数据集对所述初始模型进行测试,并根据测试结果输出目标模型。
32.可选地,所述贝叶斯优化公式为:
33.x
*
=arg
x∈s
minf(x)
34.其中,x
*
为所述优化值,f(x)为优化函数,x为所述初始超参数,s为所述超参数搜索空间。
35.可选地,所述根据所述目标变量和所述目标特征变量构建标准数据集,包括:
36.将所述目标变量和所述目标特征变量中不满足筛选条件的变量进行删除,得到标准数据集。
37.为了解决上述问题,本发明还提供一种基于智能建模的业务评估装置,所述装置包括:
38.数据处理模块,用于获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集,识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集,计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量,根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集;
39.目标模型输出模块,用于通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型;
40.业务评估模块,用于利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
41.为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
42.存储器,存储至少一个指令;及
43.处理器,执行所述存储器中存储的指令以实现上述所述的基于智能建模的业务评估方法。
44.为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于智能建模的业务评估方法。
45.本发明实施例中,通过对原始表格数据进行解析处理,得到初始数据集,保证了极简的输入,识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集,获取得到丰富的特征变量,计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值并根据第一预测指标值和第二预测指标值筛选出符合条件的目标特征变量,根据第一预测指标值及第二预测指标值可以筛选稳定且区分度较好的变量入模,通过贝叶斯优化算法对预获取的多个模型进行训练、测试及筛选,输出目标模型,所述目标模型是适用于原始表格数据所属的业务场景的具有最优参数的模型,利用目标模型对待处理业务数据进行业务评估,得到业务评估结果,相对于费大量的时间去筛选出一个模型参数符合要求的模型进行业务评估,本方案通过对初始数据集中的数据进行识别和根据计算得到的预测指标值对识别得到的数据进行筛选,同时结合贝叶斯优化算法从多个模型中筛选出目标模型用于业务评估,提高了业务评估的准确度并节约了业务评估的时间,提高了业务评估的效率。因此本发明提出的基于智能建模的业务评估方法、装置、电子设备及计算机可读存储介质,可以解决业务评估效率较低的问题。
附图说明
46.图1为本发明一实施例提供的基于智能建模的业务评估方法的流程示意图;
47.图2为本发明一实施例提供的基于智能建模的业务评估装置的功能模块图;
48.图3为本发明一实施例提供的实现所述基于智能建模的业务评估方法的电子设备的结构示意图。
49.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
50.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
51.本技术实施例提供一种基于智能建模的业务评估方法。所述基于智能建模的业务评估方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述基于智能建模的业务评估方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
52.参照图1所示,为本发明一实施例提供的基于智能建模的业务评估方法的流程示意图。在本实施例中,所述基于智能建模的业务评估方法包括:
53.s1、获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集。
54.本发明实施例中,所述原始表格数据为从业务数据表中采集到的数据,在原始表
格数据中包含多个字段。
55.详细地,在本发明中,所述原始表格数据包含客户id、时间和结果等字段,其中,客户id用于标识客户身份,时间为客户进行业务动作的时间,结果为业务动作导致的结果,例如,哪些客户(客户id)在什么时间(时间)有电话/短信/消推/借款等接触,客户是否点击/购买/逾期等(结果)。
56.具体地,所述对所述原始表格数据进行解析处理,得到初始数据集,包括:
57.识别所述原始表格数据的文件属性;
58.根据预设的映射表识别所述文件属性对应的解析规则;
59.利用所述解析规则对所述原始表格数据进行解析,得到初始数据集。
60.详细地,所述原始表格数据的文件属性为表格数据的固有属性,例如,文件名称、文件大小等。获取预先构建的文件属性

解析规则映射表,在确定当前表格数据的文件属性后,即可通过文件属性

解析规则映射表,确定表格数据对应的解析规则。其中,所述解析规则可以是预设的统一规则,如无论检测到何种表格数据,解析规则都为处理表格数据中第一行第一列的数据等。
61.s2、识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集。
62.本发明实施例中,所述目标变量为不可定量的因素,所述目标变量对应的特征变量集为影响所述目标变量的多个可能因素,根据所述目标变量和所述特征变量集的定义进行识别。本方案中,所述目标变量是指客户进行业务动作产生的结果,所述目标变量对应的特征变量集是指影响进行业务动作产生的结果的因素。
63.s3、计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量。
64.本发明实施例中,在构建模型时通常需要对自变量进行筛选,例如,获取到200个候选自变量时,并不会直接将200个自变量放入模型中去进行拟合训练,而是通过具体的量化指标来衡量每个自变量的预测能力,根据量化指标的大小来选择作为模型输入的特征变量,在本发明实施例中,量化指标即计算第一预测指标值和第二预测指标值。
65.其中,在本发明实施例中,所述第一预测指标值为iv值,所述第二预测指标值为ps工值。
66.具体地,所述计算所述特征变量集中特征变量对应的第一预测指标值,包括:
67.对所述特征变量进行权重编码处理,得到多个权重值;
68.根据所述多个权重值和预设的预测指标值公式计算得到多个预测指标值;
69.对所述多个预测指标值进行求和处理,得到所述特征变量对应的第一预测指标值。
70.详细地,所述预设的预测指标值公式为:
71.iv
i
=(py
i

pn
i
)*woe
i
72.其中,iv
i
为多个预测指标值,py
i
为特征变量取值为“是”的个体数目,pn
i
为特征变量取值为“否”的个体数目,woe
i
为多个权重值。
73.进一步地,利用预设的求和公式对所述多个预测指标值进行求和处理,得到所述特征变量对应的第一预测指标值,包括:
74.所述预设的求和公式为:
[0075][0076]
其中,n为分组变量的个数。
[0077]
具体地,所述对所述特征变量进行权重编码处理,得到多个权重值,包括:
[0078]
对所述特征变量进行分箱处理,得到分组变量集;
[0079]
利用预设的权重值公式分别计算所述分组变量集中多个分组变量对应的权重值。
[0080]
详细地,所述对所述特征变量进行分箱处理即进行离散化处理或者也可以称之为进行分组处理。
[0081]
进一步地,所述预设的权重值公式为:
[0082][0083]
其中,woe
i
为多个权重值,py
i
为特征变量取值为“是”的个体数目,pn
i
为特征变量取值为“否”的个体数目。
[0084]
详细地,woe(weight of evidence)即证据权重,woe是对原始自变量的一种编码形式。
[0085]
进一步地,所述计算所述特征变量集中特征变量对应的第二预测指标值,包括:
[0086]
获取所述特征变量在预设的第一时间阈值时的第一占比数和在预设的第二时间阈值时的第二占比数;
[0087]
计算所述第一占比数和所述第二占比数之间的差值,用所述差值乘以所述第一占比数和所述第二占比数相除的对数,得到特征变量对应的第二预测指标值。
[0088]
详细地,从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量。
[0089]
s4、根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集。
[0090]
本发明实施例中,所述根据所述目标变量和所述目标特征变量构建标准数据集,包括:
[0091]
将所述目标变量和所述目标特征变量中不满足筛选条件的变量进行删除,得到标准数据集。
[0092]
详细地,在本发明实施例中,所述筛选条件是针对预设特征提出的条件,例如,缺失值比例超过特定阈值。
[0093]
具体地,按照预设的比例将所述标准数据集划分为训练数据集和测试数据集。
[0094]
优选地,所述预设的比例可以为7:3。
[0095]
其中,所述训练数据集可用于后续的模型训练,所述测试数据集可用于后续的模型验证,以防止模型在训练过程中产生过拟合现象。
[0096]
s5、通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型。
[0097]
本发明实施例中,所述通过贝叶斯优化算法、所述训练数据集和所述测试数据集
对预获取的多个模型分别进行训练、测试及筛选,输出目标模型,包括:
[0098]
获取预设的超参数搜索空间,并在预获取的多个模型中选择任意一个模型作为初始模型;
[0099]
根据所述初始模型的性质在所述超参数搜索空间中选取初始超参数;
[0100]
将所述初始超参数输入至预设的贝叶斯优化公式中,根据所述贝叶斯优化公式中的优化函数计算得到优化值;
[0101]
判定所述优化值是否大于或者等于预设的优化阈值;
[0102]
若所述优化值大于或者等于所述优化阈值,返回至所述超参数搜索空间进行初始超参数的选取;
[0103]
若所述优化值小于所述优化阈值,将所述优化函数作为所述初始模型的损失函数;
[0104]
将所述训练数据集输入至所述初始模型中,得到预测数据集,根据所述损失函数计算所述预测数据集和预设的真实数据集之间的损失值;
[0105]
若所述损失值大于或者等于预设的损失阈值,重新执行在预获取的多个模型中选择任意一个模型作为初始模型;
[0106]
若所述损失值小于预设的损失阈值,利用所述测试数据集对所述初始模型进行测试,并根据测试结果输出目标模型。
[0107]
详细地,所述超参数搜索空间中包含多个不同的超参数,不同的超参数会得到不同的效果,其中,超参数是指在进行机器学习之前就预先设定好的参数,所述超参数可以为网络深度、学习率和卷积核大小等。所述预获取的多个模型可以为randomforest、gbdt、xgboost、lightgbm等。
[0108]
具体地,所述将所述初始超参数输入至预设的贝叶斯优化公式中,根据所述贝叶斯优化公式中的优化函数计算得到优化值,包括:
[0109]
所述贝叶斯优化公式为:
[0110]
x
*
=arg
x∈s
minf(x)
[0111]
其中,x
*
为所述优化值,f(x)为优化函数,x为所述初始超参数,s为所述超参数搜索空间。
[0112]
详细地,所述贝叶斯优化公式就是表达超参数和需要优化的损失函数之间的函数关系。使用贝叶斯搜索在预先获取的模型中,寻找各模型对应的最优参数,并确定为目标模型。
[0113]
s6、利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
[0114]
本发明实施例中,将所述待处理业务数据输入至所述目标模型中,得到业务评估结果。
[0115]
本发明实施例中,通过对原始表格数据进行解析处理,得到初始数据集,保证了极简的输入,识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集,获取得到丰富的特征变量,计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值并根据第一预测指标值和第二预测指标值筛选出符合条件的目标特征变量,根据第一预测指标值及第二预测指标值可以筛选稳定且区分度较好的变量入模,通过贝叶斯优化算法对预获取的多个模型进行训练、测试及筛选,输出目标模型,所述目标模型是适用于原始
表格数据所属的业务场景的具有最优参数的模型,利用目标模型对待处理业务数据进行业务评估,得到业务评估结果,相对于费大量的时间去筛选出一个模型参数符合要求的模型进行业务评估,本方案通过对初始数据集中的数据进行识别和根据计算得到的预测指标值对识别得到的数据进行筛选,同时结合贝叶斯优化算法从多个模型中筛选出目标模型用于业务评估,提高了业务评估的准确度并节约了业务评估的时间,提高了业务评估的效率。因此本发明提出的基于智能建模的业务评估方法可以解决业务评估效率较低的问题。
[0116]
如图2所示,是本发明一实施例提供的基于智能建模的业务评估装置的功能模块图。
[0117]
本发明所述基于智能建模的业务评估装置100可以安装于电子设备中。根据实现的功能,所述基于智能建模的业务评估装置100可以包括数据处理模块101、目标模型输出模块102及业务评估模块103。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
[0118]
在本实施例中,关于各模块/单元的功能如下:
[0119]
所述数据处理模块101,用于获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集,识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集,计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量,根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集;
[0120]
所述目标模型输出模块102,用于通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型;
[0121]
所述业务评估模块103,用于利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
[0122]
详细地,所述基于智能建模的业务评估装置100各模块的具体实施方式如下:
[0123]
步骤一、获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集。
[0124]
本发明实施例中,所述原始表格数据为从业务数据表中采集到的数据,在原始表格数据中包含多个字段。
[0125]
详细地,在本发明中,所述原始表格数据包含客户id、时间和结果等字段,其中,客户id用于标识客户身份,时间为客户进行业务动作的时间,结果为业务动作导致的结果,例如,哪些客户(客户id)在什么时间(时间)有电话/短信/消推/借款等接触,客户是否点击/购买/逾期等(结果)。
[0126]
具体地,所述对所述原始表格数据进行解析处理,得到初始数据集,包括:
[0127]
识别所述原始表格数据的文件属性;
[0128]
根据预设的映射表识别所述文件属性对应的解析规则;
[0129]
利用所述解析规则对所述原始表格数据进行解析,得到初始数据集。
[0130]
详细地,所述原始表格数据的文件属性为表格数据的固有属性,例如,文件名称、文件大小等。获取预先构建的文件属性

解析规则映射表,在确定当前表格数据的文件属性
后,即可通过文件属性

解析规则映射表,确定表格数据对应的解析规则。其中,所述解析规则可以是预设的统一规则,如无论检测到何种表格数据,解析规则都为处理表格数据中第一行第一列的数据等。
[0131]
步骤二、识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集。
[0132]
本发明实施例中,所述目标变量为不可定量的因素,所述目标变量对应的特征变量集为影响所述目标变量的多个可能因素,根据所述目标变量和所述特征变量集的定义进行识别。本方案中,所述目标变量是指客户进行业务动作产生的结果,所述目标变量对应的特征变量集是指影响进行业务动作产生的结果的因素。
[0133]
步骤三、计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量。
[0134]
本发明实施例中,在构建模型时通常需要对自变量进行筛选,例如,获取到200个候选自变量时,并不会直接将200个自变量放入模型中去进行拟合训练,而是通过具体的量化指标来衡量每个自变量的预测能力,根据量化指标的大小来选择作为模型输入的特征变量,在本发明实施例中,量化指标即计算第一预测指标值和第二预测指标值。
[0135]
其中,在本发明实施例中,所述第一预测指标值为iv值,所述第二预测指标值为ps工值。
[0136]
具体地,所述计算所述特征变量集中特征变量对应的第一预测指标值,包括:
[0137]
对所述特征变量进行权重编码处理,得到多个权重值;
[0138]
根据所述多个权重值和预设的预测指标值公式计算得到多个预测指标值;
[0139]
对所述多个预测指标值进行求和处理,得到所述特征变量对应的第一预测指标值。
[0140]
详细地,所述预设的预测指标值公式为:
[0141]
iv
i
=(py
i

pn
i
)*woe
i
[0142]
其中,iv
i
为多个预测指标值,py
i
为特征变量取值为“是”的个体数目,pn
i
为特征变量取值为“否”的个体数目,woe
i
为多个权重值。
[0143]
进一步地,利用预设的求和公式对所述多个预测指标值进行求和处理,得到所述特征变量对应的第一预测指标值,包括:
[0144]
所述预设的求和公式为:
[0145][0146]
其中,n为分组变量的个数。
[0147]
具体地,所述对所述特征变量进行权重编码处理,得到多个权重值,包括:
[0148]
对所述特征变量进行分箱处理,得到分组变量集;
[0149]
利用预设的权重值公式分别计算所述分组变量集中多个分组变量对应的权重值。
[0150]
详细地,所述对所述特征变量进行分箱处理即进行离散化处理或者也可以称之为进行分组处理。
[0151]
进一步地,所述预设的权重值公式为:
[0152][0153]
其中,woe
i
为多个权重值,py
i
为特征变量取值为“是”的个体数目,pn
i
为特征变量取值为“否”的个体数目。
[0154]
详细地,woe(weight of evidence)即证据权重,woe是对原始自变量的一种编码形式。
[0155]
进一步地,所述计算所述特征变量集中特征变量对应的第二预测指标值,包括:
[0156]
获取所述特征变量在预设的第一时间阈值时的第一占比数和在预设的第二时间阈值时的第二占比数;
[0157]
计算所述第一占比数和所述第二占比数之间的差值,用所述差值乘以所述第一占比数和所述第二占比数相除的对数,得到特征变量对应的第二预测指标值。
[0158]
详细地,从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量。
[0159]
步骤四、根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集。
[0160]
本发明实施例中,所述根据所述目标变量和所述目标特征变量构建标准数据集,包括:
[0161]
将所述目标变量和所述目标特征变量中不满足筛选条件的变量进行删除,得到标准数据集。
[0162]
详细地,在本发明实施例中,所述筛选条件是针对预设特征提出的条件,例如,缺失值比例超过特定阈值。
[0163]
具体地,按照预设的比例将所述标准数据集划分为训练数据集和测试数据集。
[0164]
优选地,所述预设的比例可以为7:3。
[0165]
其中,所述训练数据集可用于后续的模型训练,所述测试数据集可用于后续的模型验证,以防止模型在训练过程中产生过拟合现象。
[0166]
步骤五、通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型。
[0167]
本发明实施例中,所述通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型,包括:
[0168]
获取预设的超参数搜索空间,并在预获取的多个模型中选择任意一个模型作为初始模型;
[0169]
根据所述初始模型的性质在所述超参数搜索空间中选取初始超参数;
[0170]
将所述初始超参数输入至预设的贝叶斯优化公式中,根据所述贝叶斯优化公式中的优化函数计算得到优化值;
[0171]
判定所述优化值是否大于或者等于预设的优化阈值;
[0172]
若所述优化值大于或者等于所述优化阈值,返回至所述超参数搜索空间进行初始超参数的选取;
[0173]
若所述优化值小于所述优化阈值,将所述优化函数作为所述初始模型的损失函数;
[0174]
将所述训练数据集输入至所述初始模型中,得到预测数据集,根据所述损失函数计算所述预测数据集和预设的真实数据集之间的损失值;
[0175]
若所述损失值大于或者等于预设的损失阈值,重新执行在预获取的多个模型中选择任意一个模型作为初始模型;
[0176]
若所述损失值小于预设的损失阈值,利用所述测试数据集对所述初始模型进行测试,并根据测试结果输出目标模型。
[0177]
详细地,所述超参数搜索空间中包含多个不同的超参数,不同的超参数会得到不同的效果,其中,超参数是指在进行机器学习之前就预先设定好的参数,所述超参数可以为网络深度、学习率和卷积核大小等。所述预获取的多个模型可以为randomforest、gbdt、xgboost、lightgbm等。
[0178]
具体地,所述将所述初始超参数输入至预设的贝叶斯优化公式中,根据所述贝叶斯优化公式中的优化函数计算得到优化值,包括:
[0179]
所述贝叶斯优化公式为:
[0180]
x
*
=arg
x∈s
minf(x)
[0181]
其中,x
*
为所述优化值,f(x)为优化函数,x为所述初始超参数,s为所述超参数搜索空间。
[0182]
详细地,所述贝叶斯优化公式就是表达超参数和需要优化的损失函数之间的函数关系。使用贝叶斯搜索在预先获取的模型中,寻找各模型对应的最优参数,并确定为目标模型。
[0183]
步骤六、利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
[0184]
本发明实施例中,将所述待处理业务数据输入至所述目标模型中,得到业务评估结果。
[0185]
本发明实施例中,通过对原始表格数据进行解析处理,得到初始数据集,保证了极简的输入,识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集,获取得到丰富的特征变量,计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值并根据第一预测指标值和第二预测指标值筛选出符合条件的目标特征变量,根据第一预测指标值及第二预测指标值可以筛选稳定且区分度较好的变量入模,通过贝叶斯优化算法对预获取的多个模型进行训练、测试及筛选,输出目标模型,所述目标模型是适用于原始表格数据所属的业务场景的具有最优参数的模型,利用目标模型对待处理业务数据进行业务评估,得到业务评估结果,相对于费大量的时间去筛选出一个模型参数符合要求的模型进行业务评估,本方案通过对初始数据集中的数据进行识别和根据计算得到的预测指标值对识别得到的数据进行筛选,同时结合贝叶斯优化算法从多个模型中筛选出目标模型用于业务评估,提高了业务评估的准确度并节约了业务评估的时间,提高了业务评估的效率。因此本发明提出的基于智能建模的业务评估装置可以解决业务评估效率较低的问题。
[0186]
如图3所示,是本发明一实施例提供的实现基于智能建模的业务评估方法的电子设备的结构示意图。
[0187]
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于智能建模的业务评估程序。
[0188]
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如基于智能建模的业务评估程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0189]
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于智能建模的业务评估程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
[0190]
所述通信接口12用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如wi

fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light

emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0191]
所述总线13可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0192]
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0193]
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi

fi模块等,在此不再赘述。
[0194]
进一步地,所述电子设备还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如wi

fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设
备之间建立通信连接。
[0195]
可选地,该电子设备还可以包括用户接口,用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light

emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0196]
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0197]
所述电子设备中的所述存储器11存储的基于智能建模的业务评估程序是多个指令的组合,在所述处理器10中运行时,可以实现:
[0198]
获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集;
[0199]
识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集;
[0200]
计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量;
[0201]
根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集;
[0202]
通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型;
[0203]
利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
[0204]
具体地,所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
[0205]
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)。
[0206]
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
[0207]
获取原始表格数据,对所述原始表格数据进行解析处理,得到初始数据集;
[0208]
识别所述初始数据集中的目标变量和所述目标变量对应的特征变量集;
[0209]
计算所述特征变量集中特征变量对应的第一预测指标值和第二预测指标值,并从所述特征变量集中选取所述第一预测指标值大于或者等于预设的第一阈值且所述第二预测指标值小于或者等于预设的第二阈值的目标特征变量;
[0210]
根据所述目标变量和所述目标特征变量构建标准数据集,将所述标准数据集划分为训练数据集和测试数据集;
[0211]
通过贝叶斯优化算法、所述训练数据集和所述测试数据集对预获取的多个模型分别进行训练、测试及筛选,输出目标模型;
[0212]
利用所述目标模型对待处理业务数据进行业务评估,得到业务评估结果。
[0213]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0214]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0215]
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0216]
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0217]
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0218]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0219]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
[0220]
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜