一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

目标对象处理方法以及装置与流程

2021-11-03 13:02:00 来源:中国专利 TAG:


1.本说明书实施例涉及计算机技术领域,特别涉及一种目标对象处理方法。本说明书一个或者多个实施例同时涉及一种目标对象处理装置,一种计算设备,以及一种计算机可读存储介质。


背景技术:

2.随着互联网、物联网的发展,很多领域的数据都发生了爆炸性的增长,面对这些庞大的数据资源,进行大数据分析是一种发现数据之中的规律的数据处理方法,随着大数据的不断扩展,数据使用场景越来越复杂,需要编写各种模型才能有效对数据进行分析。
3.对于大部分不了解数据分析模型的用户而言,即使拥有数据资源,也无法分析出数据中的信息。而对于了解数据分析模型的用户而言,仍然需要针对不同数据源中的数据特性开发出特定的模型,费时费力,不能实时、快速地完成数据分析。


技术实现要素:

4.有鉴于此,本说明书实施例提供了一种目标对象处理方法。本说明书一个或者多个实施例同时涉及一种目标对象处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面,提供了一种目标对象处理方法,包括:
6.从多个数据源获取用户在目标项目中不同处理维度的待处理数据;
7.对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据;
8.根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值;
9.基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
10.可选地,所述基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象,包括:
11.将所述多个决策因子变量及所述变量值作为训练样本,对待训练的决策模型进行训练,生成与所述目标项目对应的决策模型。
12.可选地,所述根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值,包括:
13.根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个待筛选的初始决策因子变量以及各初始决策因子变量对应的变量值;
14.确定所述待筛选的初始决策因子变量对应的评估指标,并确定所述评估指标对应的评估算法;
15.根据所述评估算法以及各初始决策因子变量对应的变量值,分别计算所述待筛选
的初始决策因子变量对应的评估指标值;
16.根据所述评估指标值筛选获得所述用户的多个决策因子变量以及各决策因子变量对应的变量值。
17.可选地,所述生成所述决策模型之后,还包括:
18.获取待决策数据,并确定所述待决策数据所属的数据源;
19.在所述多个数据源中包含所述待决策数据所属的数据源的情况下,基于所述待决策数据对所述决策模型的性能进行检测;
20.在根据检测结果确定所述决策模型的性能下降的情况下,根据所述多个数据源中包含的待处理数据对所述决策模型进行优化,生成目标决策模型。
21.可选地,所述根据所述多个数据源中包含的待处理数据对所述决策模型进行优化,生成目标决策模型,包括:
22.根据参数寻优算法对所述决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;
23.根据所述目标模型参数构建损失函数;
24.基于所述损失函数对所述决策模型进行迭代训练,直至达到训练停止条件,停止进行迭代训练,生成目标决策模型。
25.可选地,所述生成所述决策模型之后,还包括:
26.获取待决策数据,并确定所述待决策数据所属的数据源;
27.在所述多个数据源中不包含所述待决策数据所属的数据源的情况下,基于所述待决策数据对所述决策模型进行自适应的增量学习,生成目标决策模型。
28.可选地,所述基于所述待决策数据对所述决策模型进行自适应的增量学习,生成目标决策模型,包括:
29.根据参数寻优算法对所述决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;
30.根据所述目标模型参数构建损失函数;
31.基于待决策数据以及所述损失函数对所述决策模型进行迭代训练,直至达到训练停止条件,停止进行迭代训练,生成目标决策模型。
32.可选地,所述根据所述目标模型参数构建损失函数,包括:
33.将所述目标模型参数作为系数,将所述决策模型以及所述目标决策模型的输出作为变量,构建损失函数。
34.可选地,所述生成所述决策模型之后,还包括:
35.确定所述决策模型对应的评估指标,并确定所述评估指标对应的评估算法;
36.根据所述评估算法以及所述决策模型的输出结果,分别计算所述评估指标对应的评估指标值;
37.根据所述评估指标以及所述评估指标值,生成所述决策模型的模型评估报告。
38.可选地,所述目标对象处理方法,还包括:
39.根据所述模型评估报告中包含的所述评估指标以及所述评估指标值,对所述决策模型进行打分;
40.根据打分结果对所述决策模型进行等级划分。
41.可选地,所述基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象,包括:
42.对所述多个决策因子变量及所述变量值进行特征提取,并对特征提取结果进行特征离散化及序列化处理,生成对应的处理结果;
43.将所述处理结果作为训练样本,对待训练的决策模型进行训练,生成与所述目标项目对应的决策模型。
44.根据本说明书实施例的第二方面,提供了一种目标对象处理装置,包括:
45.获取模块,被配置为从多个数据源获取用户在目标项目中不同处理维度的待处理数据;
46.结构化处理模块,被配置为对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据;
47.量化处理模块,被配置为根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值;
48.生成模块,被配置为基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
49.根据本说明书实施例的第三方面,提供了一种计算设备,包括:
50.存储器和处理器;
51.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
52.从多个数据源获取用户在目标项目中不同处理维度的待处理数据;
53.对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据;
54.根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值;
55.基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
56.根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述目标对象处理方法的步骤。
57.本说明书一个实施例通过从多个数据源获取用户在目标项目中不同处理维度的待处理数据,对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据,根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值,基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
58.本说明书实施例通过将不同数据源中结构不相同的数据,经过结构化处理的方式,将其处理为相同结构的数据,并可基于不同数据源中相同结构的待处理数据对同一决策模型进行训练,有利于充分利用不同数据源交叉带来的信息增益,并可以减少人工拟合决策模型所需消耗的时间,还有利于提高模型迭代生成的决策模型的稳定性。
附图说明
59.图1是本说明书一个实施例提供的一种目标对象处理方法的处理流程图;
60.图2是本说明书一个实施例提供的一种目标对象处理过程的示意图;
61.图3是本说明书一个实施例提供的一种目标对象处理方法的处理过程流程图;
62.图4是本说明书一个实施例提供的一种目标对象处理装置的示意图;
63.图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
64.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
65.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
66.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
67.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
68.多源异构:多个数据源,每一个数据源下的数据结构可能是不同的。
69.在本说明书中,提供了一种目标对象处理方法,本说明书同时涉及一种目标对象处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
70.图1示出了根据本说明书一个实施例提供的一种目标对象处理方法的处理流程图,包括步骤102至步骤108。
71.步骤102,从多个数据源获取用户在目标项目中不同处理维度的待处理数据。
72.具体的,本说明书实施例提供的目标对象处理方法,利用不同数据源中的待处理数据,生成用于对目标项目下的不同用户进行决策处理的目标对象。其中,所述目标项目,包括但不限于借贷项目、理财项目、保险项目、公益项目等;所述目标对象即可以是决策模型。
73.另外,数据源即数据的来源,具体是指数据库应用程序所使用的数据库或者数据库服务器。在数据源中存储了所有建立数据库连接的信息,通过提供正确的数据源名称,即可以找到相应的数据库连接,并可从相应数据库中获取用户的待处理数据。
74.在实际的应用场景中,决策方可能拥有多种数据源,而不同数据源中待处理数据的结构可能并不相同,这种情况下,若要利用不同数据源中的待处理数据生成用于对目标项目下的用户进行决策处理的目标对象,首先则需从多个数据源获取用户在不同处理维度
的待处理数据,然后可通过跨多种异构数据源实现对待处理数据的统一结构化处理,以利用结构化处理后统一结构的数据生成用于对用户进行决策处理的目标对象。
75.步骤104,对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据。
76.具体的,所述结构化数据,即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据;所述非结构化数据,即不方便用数据库二维逻辑表来表现的数据,包括所有格式的办公文档、文本、图片、xml、html、各类报表、图像和音频/视频信息等等。
77.由于从不同数据源获取的待处理数据的数据结构通常是不同的,而在利用不同数据源的待处理数据生成目标对象的过程中,即利用不同数据源训练决策模型的过程中,仅能利用不同数据源中的待处理数据建立不同的决策模型,数据源之间没有待处理数据的交叉,因而不能充分利用不同数据源交叉带来的信息增益;另外,面对数据源的不稳定性,通过由人工去重新拟合决策模型,需要消耗大量时间;此外,面对数据源的不稳定性,频繁重新拟合决策模型,且新模型与旧模型之间相互独立,因而无法保证新旧模型迭代过程中的模型稳定性。
78.基于此,本说明书实施例在利用不同数据源的待处理数据训练决策模型时,通过将不同数据源中非结构化的待处理数据进行结构化处理,使得处理后的不同数据源的待处理数据之间保持同样的数据结构,这种情况下,即可利用不同数据源中数据结构相同的待处理数据训练同一个决策模型,以充分利用不同数据源交叉带来的信息增益,并可以减少人工拟合决策模型所需消耗的时间,还有利于提高模型迭代生成的决策模型的稳定性。
79.步骤106,根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值。
80.具体实施时,根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值,具体可通过以下方式实现:
81.根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个待筛选的初始决策因子变量以及各初始决策因子变量对应的变量值;
82.确定所述待筛选的初始决策因子变量对应的评估指标,并确定所述评估指标对应的评估算法;
83.根据所述评估算法以及各初始决策因子变量对应的变量值,分别计算所述待筛选的初始决策因子变量对应的评估指标值;
84.根据所述评估指标值筛选获得所述用户的多个决策因子变量以及各决策因子变量对应的变量值。
85.具体的,所述特征工程算法可以是可扩展自动特征工程算法(safe,scalable automatic feature engineering)。特征工程,即将数据转化为能更好地表示潜在问题的特征,目的是较大限度地从原始数据中提取特征以供算法和模型使用,从而提高机器学习性能;另外,量化即数字化(digitization)的另一种表达,可以用数字说明或表示事物某种性质的叫做可量化。
86.本说明书实施例可根据特征工程算法对所述目标待处理数据进行量化处理,以生成所述用户的多个待筛选的初始决策因子变量以及各初始决策因子变量对应的变量值,而具体的量化处理过程,即可先对获取的待处理数据进行清洗,以将待处理数据中可能存在
的缺失、错误的数据进行识别和删除,从而使得清洗后的待处理数据足够干净,并可以支撑后面的决策模型的训练和应用。
87.对待处理数据进行清洗后,即可利用清洗结果构建待筛选的初始决策因子变量,并在多个待筛选的初始决策因子变量构建完成后,即可针对所述初始决策因子变量自动生成对应的变量评估报告,并根据所述变量评估报告对初始决策因子变量进行筛选,以基于筛选获得的多个决策因子变量以及各决策因子变量对应的变量值生成目标对象。
88.实际应用中,可先确定待筛选的初始决策因子变量对应的评估指标,并确定所述评估指标对应的评估算法,然后根据评估算法以及各初始决策因子变量对应的变量值,分别计算待筛选的初始决策因子变量对应的评估指标值;再根据评估指标值筛选获得所述用户的多个决策因子变量以及各决策因子变量对应的变量值。
89.其中,所述评估指标包括但不限于缺失率、群体稳定性指标(population stability index,psi)、信息量值(information value,iv)、均值分布、变异系数(coefficient of variation,cv)、信息增益、基尼系数等;不同指标对应的评估算法不同,因此,在确定评估指标后,还需确定不同评估指标对应的评估算法,以利用评估算法对相应的评估指标的评估指标值进行计算,并根据计算结果对初始决策因子变量进行筛选,获得多个用于进行决策模型训练的决策因子变量以及各决策因子变量对应的变量值。
90.步骤108,基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
91.具体实施时,基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象,即将所述多个决策因子变量及所述变量值作为训练样本,对待训练的决策模型进行训练,生成与所述目标项目对应的决策模型。
92.具体的,在所述目标对象为决策模型的情况下,生成用户的多个决策因子变量以及各决策因子变量对应的变量值后,即可将所述多个决策因子变量及各决策因子变量对应的变量值作为训练样本,对待训练的决策模型进行训练,以生成与目标项目对应的、用于对目标项目下的用户进行决策处理的决策模型。
93.或者,基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象,还可通过以下方式实现:
94.对所述多个决策因子变量及所述变量值进行特征提取,并对特征提取结果进行特征离散化及序列化处理,生成对应的处理结果;
95.将所述处理结果作为训练样本,对待训练的决策模型进行训练,生成与所述目标项目对应的决策模型。
96.具体的,生成用户的多个决策因子变量以及各决策因子变量对应的变量值后,可对所述多个决策因子变量以及所述变量值进行特征提取(稠密尺度不变的特征提取),即提取dense特征,并对提取的dense特征进行分箱离散化,获得离散特征,然后对所述离散特征进行序列化(serialization),生成对应的处理结果;再将所述处理结果作为训练样本,对待训练的决策模型进行训练,以生成与目标项目对应的、用于对目标项目下的用户进行决策处理的决策模型。
97.由于内存中的数据对象只有转换为二进制流才可以进行数据持久化和网络传输,因此,通过将数据对象转换为二进制流(序列化)的方式,并利用转换结果进行模型训练,有
利于保证模型训练过程的可行性。
98.另外,生成所述决策模型之后,还包括:
99.获取待决策数据,并确定所述待决策数据所属的数据源;
100.在所述多个数据源中包含所述待决策数据所属的数据源的情况下,基于所述待决策数据对所述决策模型的性能进行检测;
101.在根据检测结果确定所述决策模型的性能下降的情况下,根据所述多个数据源中包含的待处理数据对所述决策模型进行优化,生成目标决策模型。
102.进一步的,根据所述多个数据源中包含的待处理数据对所述决策模型进行优化,生成目标决策模型,具体可通过以下方式实现:
103.根据参数寻优算法对所述决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;
104.根据所述目标模型参数构建损失函数;
105.基于所述损失函数对所述决策模型进行迭代训练,直至达到训练停止条件,停止进行迭代训练,生成目标决策模型。
106.具体的,生成所述目标对象,即生成决策模型后,若没有新数据源加入,则可定时检测决策模型的性能。具体可确定获取的待决策数据所属的数据源,并在前述的多个数据源中包含所述待决策数据所属的数据源的情况下,即确定没有新数据源加入,可对决策模型的性能进行检测;然后在检测到决策模型的性能下降的情况下,可触发熔断机制,然后开始自动进行稳定性约束下的模型重新拟合,即根据多个数据源中包含的待处理数据对决策模型进行优化,生成目标决策模型。
107.实际应用中,可利用参数寻优算法对决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;其中,所述参数寻优算法包括但不限于粒子群算法、遗传算法等,具体可根据实际需求确定,在此不做限制。然后可根据所述目标模型参数构建损失函数,以基于损失函数对决策模型进行迭代训练,生成目标决策模型。
108.具体实施时,根据所述目标模型参数构建损失函数,具体可将所述目标模型参数作为系数,将所述决策模型以及所述目标决策模型的输出作为变量,构建损失函数。
109.具体的,本说明书实施例构建的损失函数如公式(1)所示。
[0110][0111]
其中,l为损失值,β为所述目标模型参数,由于数据源中包含多个用户的待处理数据,因此,公式(1)中的i即为待处理数据中的第i个用户,m为数据源中的用户总数,即数据源中共包含m个用户的待处理数据;y
i
为目标决策模型输出的第i个用户的决策结果;为决策模型输出的第i个用户的决策结果。
[0112]
由于目标模型参数通过对决策模型的模型参数进行寻优获得,因此,基于目标模型参数构建损失函数,并基于所述损失函数对决策模型进行优化,有利于保证目标决策模型输出结果的准确性。
[0113]
此外,生成所述决策模型之后,还包括:
[0114]
获取待决策数据,并确定所述待决策数据所属的数据源;
[0115]
在所述多个数据源中不包含所述待决策数据所属的数据源的情况下,基于所述待
决策数据对所述决策模型进行自适应的增量学习,生成目标决策模型。
[0116]
进一步的,基于所述待决策数据对所述决策模型进行自适应的增量学习,生成目标决策模型,包括:
[0117]
根据参数寻优算法对所述决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;
[0118]
根据所述目标模型参数构建损失函数;
[0119]
基于待决策数据以及所述损失函数对所述决策模型进行迭代训练,直至达到训练停止条件,停止进行迭代训练,生成目标决策模型。
[0120]
具体的,生成所述目标对象,即生成决策模型后,若有新数据源加入,则可利用新数据源中包含的待决策数据对决策模型进行增量学习,以生成目标决策模型。
[0121]
具体可确定获取的待决策数据所属的数据源,并在前述的多个数据源中不包含所述待决策数据所属的数据源的情况下,即确定有新数据源加入,然后可基于所述待决策数据对所述决策模型进行自适应的增量学习,生成目标决策模型。
[0122]
实际应用中,可利用参数寻优算法对决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;其中,所述参数寻优算法包括但不限于粒子群算法、遗传算法等,具体可根据实际需求确定,在此不做限制。然后可根据所述目标模型参数构建损失函数,以基于损失函数对决策模型进行迭代训练,生成目标决策模型。本说明书实施例构建的损失函数如公式(1)所示。
[0123]
由于目标模型参数通过对决策模型的模型参数进行寻优获得,因此,基于目标模型参数构建损失函数,并基于所述损失函数对决策模型进行优化,有利于保证目标决策模型输出结果的准确性。
[0124]
具体实施时,获得决策模型后,还需对其进行模型评估,具体可通过以下方式实现:
[0125]
确定所述决策模型对应的评估指标,并确定所述评估指标对应的评估算法;
[0126]
根据所述评估算法以及所述决策模型的输出结果,分别计算所述评估指标对应的评估指标值;
[0127]
根据所述评估指标以及所述评估指标值,生成所述决策模型的模型评估报告。
[0128]
进一步的,生成决策模型的模型评估报告后,可根据所述模型评估报告对所述决策模型进行评级,具体即根据所述模型评估报告中包含的所述评估指标以及所述评估指标值,对所述决策模型进行打分,根据打分结果对所述决策模型进行等级划分。
[0129]
具体的,生成决策模型或目标决策模型后,可自动对所述决策模型或目标决策模型进行评估,生成对应的模型评估报告,以根据所述模型评估报告确定决策模型或目标决策模型的模型性能。
[0130]
实际应用中,可先确定决策模型或目标决策模型对应的评估指标,并确定所述评估指标对应的评估算法,然后根据评估算法以及决策模型的输出结果,分别计算各评估指标对应的评估指标值;再基于评估指标及评估指标值生成决策模型或目标决策模型对应的模型评估报告。
[0131]
其中,所述决策模型或目标决策模型的评估指标包括但不限于评价指标(ks,kolmogorov

smirnov)、打分稳定性、迁移稳定性、swap增益分布、提升图lift chart等;不
同指标对应的评估算法不同,因此,在确定评估指标后,还需确定不同评估指标对应的评估算法,以利用评估算法对相应的评估指标的评估指标值进行计算,并根据计算结果生成决策模型或目标决策模型对应的模型评估报告。
[0132]
生成决策模型或目标决策模型的模型评估报告后,可根据所述模型评估报告对所述决策模型或目标决策模型进行评级,具体即根据所述模型评估报告中包含的所述评估指标以及所述评估指标值,对决策模型或目标决策模型进行打分,根据打分结果对所述决策模型或目标决策模型进行等级划分(评级)。
[0133]
实际应用中,在生成决策模型或目标决策模型后,需要使用0~9这样的一个评级对决策模型或目标决策模型进行等级切分,而在进行等级切分时,可以模型的打分结果(0~1)作为基础,并将等级切分阈值作为参考,以实现等级切分;由于等级切分阈值会随着模型的更新发生变化,因此,在对决策模型进行更新后,可对等级切分阈值进行更新,并根据更新结果对决策模型或目标决策模型进行等级划分,生成对应的划分结果。
[0134]
本说明书实施例提供的一种目标对象处理过程的示意图如图2所示,在t时刻获取三个数据源的待处理数据,对待处理数据中包含的非结构化数据进行结构化处理,生成结构化数据;然后利用safe算法对所述结构化数据进行量化处理,生成所述用户的多个决策因子变量;在对所述多个决策因子变量进行评估,生成变量自动化评估报告,根据评估报告筛选用于进行模型训练的决策因子变量;筛选完成后,对筛选获得的决策因子变量进行特征离散化和序列化,并利用生成的结果进行决策模型的训练。
[0135]
在无新数据源加入的情况下,定时检测模型性能,如果检测到性能下滑,则自动触发熔断机制,并开始自动进行稳定性约束下的模型拟合重构,自动生成模型报告,由人工判断是否使用新拟合的模型替换旧模型。
[0136]
或者,若在t n时刻有新数据源加入的情况下,对于新数据源中的待处理数据,同样可采用与前述多个数据源一致的处理方式进行决策因子变量的量化、评估、筛选、特征离散化和序列化,得到对应的处理结果,并基于处理结果对决策模型进行稳定性约束下的模型拟合重构,最后可自动根据模型评分划分不同的分箱,生成自动信用评级。
[0137]
本说明书实施例将多源异构数据场景下模型重新拟合的大部分工作自动化,在关键节点生成自动化评估报告,由人工进行关键节点的判断,实现人机交互,节约人力资源。另一方面,通过损失函数的设计,保证了重新拟合的模型相较于前一个版本的稳定性。
[0138]
本说明书一个实施例通过从多个数据源获取用户在目标项目中不同处理维度的待处理数据,对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据,根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值,基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
[0139]
本说明书实施例通过将不同数据源中结构不相同的数据,经过结构化处理的方式,处理为相同结构的数据,并可基于不同数据源中相同结构的待处理数据对同一决策模型进行训练,有利于充分利用不同数据源交叉带来的信息增益,并可以减少人工拟合决策模型所需消耗的时间,还有利于提高模型迭代生成的决策模型的稳定性。
[0140]
下述结合附图3,以本说明书提供的目标对象处理方法在借贷项目的应用为例,对所述目标对象处理方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种
目标对象处理方法的处理过程流程图,具体步骤包括步骤302至步骤326。
[0141]
步骤302,从多个数据源获取用户在借贷项目中不同处理维度的资源转移数据。
[0142]
步骤304,对所述资源转移数据中包含的非结构化数据进行结构化处理,生成目标资源转移数据,其中,所述目标资源转移数据为结构化数据。
[0143]
步骤306,根据特征工程算法对所述目标资源转移数据进行量化处理,生成所述用户的多个待筛选的初始决策因子变量以及各初始决策因子变量对应的变量值。
[0144]
步骤308,根据所述变量值对所述初始决策因子变量进行评估,生成变量评估报告。
[0145]
具体的,确定待筛选的初始决策因子变量对应的评估指标,并确定所述评估指标对应的评估算法;
[0146]
根据所述评估算法以及各初始决策因子变量对应的变量值,分别计算所述待筛选的初始决策因子变量对应的评估指标值。
[0147]
步骤310,根据变量评估报告筛选获得所述用户的多个决策因子变量以及各决策因子变量对应的变量值。
[0148]
步骤312,对所述多个决策因子变量及所述变量值进行特征提取,并对特征提取结果进行特征离散化及序列化处理,生成对应的处理结果。
[0149]
步骤314,将所述处理结果作为训练样本,对待训练的决策模型进行训练,生成与所述借贷项目对应的决策模型。
[0150]
步骤316,获取待决策资源转移数据,并确定所述待决策资源转移数据所属的数据源。
[0151]
步骤318,在所述多个数据源中包含所述待决策资源转移数据所属的数据源的情况下,基于所述待决策资源转移数据对所述决策模型的性能进行检测。
[0152]
步骤320,在根据检测结果确定所述决策模型的性能下降的情况下,根据所述多个数据源中包含的资源转移数据对所述决策模型进行优化,生成目标决策模型。
[0153]
步骤322,在所述多个数据源中不包含所述待决策资源转移数据所属的数据源的情况下,基于所述待决策资源转移数据对所述决策模型进行自适应的增量学习,生成目标决策模型。
[0154]
其中,步骤318和步骤322可并列执行,即步骤316之后,可继续执行步骤318、步骤320,然后执行步骤324;或者执行步骤316后,可继续执行步骤322,再执行步骤324。
[0155]
步骤324,根据所述目标决策模型的输出结果对所述目标决策模型进行评估,生成对应的模型评估报告。
[0156]
步骤326,根据所述模型评估报告,对所述目标决策模型进行打分,并根据打分结果对所述目标决策模型进行等级划分。
[0157]
本说明书实施例通过将不同数据源中结构不相同的数据,经过结构化处理的方式,处理为相同结构的数据,并可基于不同数据源中相同结构的待处理数据对同一决策模型进行训练,有利于充分利用不同数据源交叉带来的信息增益,并可以减少人工拟合决策模型所需消耗的时间,还有利于提高模型迭代生成的决策模型的稳定性。
[0158]
与上述方法实施例相对应,本说明书还提供了目标对象处理装置实施例,图4示出了本说明书一个实施例提供的一种目标对象处理装置的示意图。如图4所示,该装置包括:
[0159]
获取模块402,被配置为从多个数据源获取用户在目标项目中不同处理维度的待处理数据;
[0160]
结构化处理模块404,被配置为对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据;
[0161]
量化处理模块406,被配置为根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值;
[0162]
生成模块408,被配置为基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
[0163]
可选地,所述生成模块408,进一步被配置为:
[0164]
将所述多个决策因子变量及所述变量值作为训练样本,对待训练的决策模型进行训练,生成与所述目标项目对应的决策模型。
[0165]
可选地,所述量化处理模块406,进一步被配置为:
[0166]
根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个待筛选的初始决策因子变量以及各初始决策因子变量对应的变量值;
[0167]
确定所述待筛选的初始决策因子变量对应的评估指标,并确定所述评估指标对应的评估算法;
[0168]
根据所述评估算法以及各初始决策因子变量对应的变量值,分别计算所述待筛选的初始决策因子变量对应的评估指标值;
[0169]
根据所述评估指标值筛选获得所述用户的多个决策因子变量以及各决策因子变量对应的变量值。
[0170]
可选地,所述目标对象处理装置,还包括:
[0171]
第一确定模块,被配置为获取待决策数据,并确定所述待决策数据所属的数据源;
[0172]
检测模块,被配置为在所述多个数据源中包含所述待决策数据所属的数据源的情况下,基于所述待决策数据对所述决策模型的性能进行检测;
[0173]
优化模块,被配置为在根据检测结果确定所述决策模型的性能下降的情况下,根据所述多个数据源中包含的待处理数据对所述决策模型进行优化,生成目标决策模型。
[0174]
可选地,所述优化模块,进一步被配置为:
[0175]
根据参数寻优算法对所述决策模型中各个模型参数的参数值进行寻优处理,获得目标模型参数;
[0176]
根据所述目标模型参数构建损失函数;
[0177]
基于所述损失函数对所述决策模型进行迭代训练,直至达到训练停止条件,停止进行迭代训练,生成目标决策模型。
[0178]
可选地,所述目标对象处理装置,还包括:
[0179]
第二确定模块,被配置为获取待决策数据,并确定所述待决策数据所属的数据源;
[0180]
增量学习模块,被配置为在所述多个数据源中不包含所述待决策数据所属的数据源的情况下,基于所述待决策数据对所述决策模型进行自适应的增量学习,生成目标决策模型。
[0181]
可选地,所述增量学习模块,进一步被配置为:
[0182]
根据参数寻优算法对所述决策模型中各个模型参数的参数值进行寻优处理,获得
目标模型参数;
[0183]
根据所述目标模型参数构建损失函数;
[0184]
基于待决策数据以及所述损失函数对所述决策模型进行迭代训练,直至达到训练停止条件,停止进行迭代训练,生成目标决策模型。
[0185]
可选地,所述优化模块,包括:
[0186]
损失函数构建子模块,被配置为将所述目标模型参数作为系数,将所述决策模型以及所述目标决策模型的输出作为变量,构建损失函数。
[0187]
可选地,所述目标对象处理装置,还包括:
[0188]
评估指标确定模块,被配置为确定所述决策模型对应的评估指标,并确定所述评估指标对应的评估算法;
[0189]
计算模块,被配置为根据所述评估算法以及所述决策模型的输出结果,分别计算所述评估指标对应的评估指标值;
[0190]
评估报告生成模块,被配置为根据所述评估指标以及所述评估指标值,生成所述决策模型的模型评估报告。
[0191]
可选地,所述目标对象处理装置,还包括:
[0192]
打分模块,被配置为根据所述模型评估报告中包含的所述评估指标以及所述评估指标值,对所述决策模型进行打分;
[0193]
等级划分模块,被配置为根据打分结果对所述决策模型进行等级划分。
[0194]
可选地,所述生成模块408,进一步被配置为:
[0195]
对所述多个决策因子变量及所述变量值进行特征提取,并对特征提取结果进行特征离散化及序列化处理,生成对应的处理结果;
[0196]
将所述处理结果作为训练样本,对待训练的决策模型进行训练,生成与所述目标项目对应的决策模型。
[0197]
上述为本实施例的一种目标对象处理装置的示意性方案。需要说明的是,该目标对象处理装置的技术方案与上述的目标对象处理方法的技术方案属于同一构思,目标对象处理装置的技术方案未详细描述的细节内容,均可以参见上述目标对象处理方法的技术方案的描述。
[0198]
图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
[0199]
计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi

max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
[0200]
在本说明书的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其
他部件。
[0201]
计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
[0202]
其中,所述存储器510用于存储计算机可执行指令,处理器520用于执行如下计算机可执行指令:
[0203]
从多个数据源获取用户在目标项目中不同处理维度的待处理数据;
[0204]
对所述待处理数据中包含的非结构化数据进行结构化处理,生成目标待处理数据,其中,所述目标待处理数据为结构化数据;
[0205]
根据特征工程算法对所述目标待处理数据进行量化处理,生成所述用户的多个决策因子变量以及各决策因子变量对应的变量值;
[0206]
基于所述多个决策因子变量及所述变量值,生成与所述目标项目对应的所述目标对象。
[0207]
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的目标对象处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述目标对象处理方法的技术方案的描述。
[0208]
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于实现所述目标对象处理方法的步骤。
[0209]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的目标对象处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述目标对象处理方法的技术方案的描述。
[0210]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0211]
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0212]
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块
并不一定都是本说明书实施例所必须的。
[0213]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
[0214]
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献