跨场景迁移分类模型形成方法、装置及可读存储介质与流程

1.本技术涉及人工智能技术领域，具体而言，涉及一种跨场景迁移分类模型形成方法、装置及可读存储介质。


背景技术：

2.传统的机器学习模型都是建立在训练集和测试集服从相同分布的基础上，这种假设在许多情况下并不满足，有时候训练集会过期，而重新去标注数据代价较大，所以希望利用一些分布不同的训练集，训练出一个分类器，在测试集上可以取得不错的分类效果。例如某单位(比如，银行)开拓新业务(比如，大额消费贷款业务)时间较短，此时该场景下的样本量不充分，坏样本较少，然而该银行亟需做该新业务场景下的模型，强行建模就会导致模型预测能力不强，模型不稳定。


技术实现要素：

3.为了至少克服现有技术中的上述不足，本技术的目的在于提供一种跨场景迁移分类模型形成方法、装置及可读存储介质，用于解决上述技术问题。
4.第一方面，本技术实施例提供一种跨场景迁移分类模型形成方法，应用于计算机设备，所述方法包括：
5.初始化样本集权重参数及确定分类算法和迭代次数，其中，所述样本集包括由源域样本集与目标域训练样本集组成的训练样本集及由目标域测试样本组成的目标域测试集；
6.调用所述分类算法，基于所述训练样本集中各样本的权重分布情况及所述目标域测试集，得到一在所述目标域测试集上的分类器；
7.计算所述分类器在所述目标域训练样本集的错误率，并基于所述错误率调整所述训练样本集的权重；
8.计算所述分类器在所述目标域测试集上的模型效果参数，并存储对应的迭代标签；
9.检测所述模型效果参数是否满足迭代结束条件，在不满足迭代结束条件时回到所述调用所述分类算法，基于所述训练样本集中各样本的权重分布情况及所述目标域测试集，得到一在所述目标域测试集上的分类器的步骤，直到所述模型效果参数满足迭代结束的条件时，将所述模型效果参数满足迭代结束的条件所对应的分类器作为训练好的分类模型。
10.本技术提供的方案，将源域样本集与目标域训练样本集组成训练样本集，训练样本集与目标域测试集的分布不同，通过调整源域样本与目标域训练样本的样本权重，找到源域样本中与目标域分布最接近的样本，同时放大目标域样本损失的影响，增加有效数据权重，降低无效数据权重。通过模型效果参数判断是否迭代结束，并将训练过程中表现最好的一次作为决策。相对于现有技术中迁移学习算法通过提升多个弱分类器，使用后一半的
弱分类器进行综合投票，得出最后的决策的方式，本方案使用在训练过程中表现最好的学习器进行决策，相当于整个迁移学习过程只发生在模型训练过程中，降低了开发难度。同时，使用单模型(分类器)进行最终的预测，可以适用于更多的实际业务。
11.在一种可能的实现方式中，在所述初始化样本集权重参数及确定分类算法和迭代次数的步骤中：
12.初始化所述训练样本集的权重向量w1及权重调整参数β；
13.其中，权重向量重向量n为源域样本集中样本数量，m为目标域训练样本集中样本数量，n为迭代次数。
14.在一种可能的实现方式中，所述训练样本集上的权重分布p
t
满足以下公式：
[0015][0016]
其中，t＝1,...,n，t为对应的第几次迭代。
[0017]
在一种可能的实现方式中，所述计算所述分类器在所述目标域训练样本集的错误率，并基于所述错误率调整所述训练样本集的权重的步骤包括：
[0018]
计算所述分类器在所述目标域训练样本集的错误率；
[0019]
基于所述错误率修正权重调整参数；
[0020]
基于修正后的权重调整参数对所训练样本集中的样本的权重进行调整；
[0021]
计算所述分类器在所述目标域训练样本集的错误率ξ
t
的公式如下：
[0022][0023]
修正后的权重调整参数βt：
[0024]
β
t
＝ε
t
/(1
‑
ε
t
)
[0025]
调整后的训练样本集中的样本的权重分布满足：
[0026][0027]
其中，h(x)为预测标签概率，c(x)为标注标签概率。
[0028]
在一种可能的实现方式中，在所述检测所述模型效果参数是否满足迭代结束条件的步骤中，所述迭代结束条件包括以下三种的任意一个：
[0029]
所述第一模型效果参数满足对应的判断规则；
[0030]
所述第二模型效果参数满足对应的判断规则；或，
[0031]
所述第一模型效果参数或所述第二模型效果参数满足对应的判断规则。
[0032]
在一种可能的实现方式中，所述源域的样本为小于第一消费额度的消费贷款样本，所述目标域中的样本为大于第二消费额度的消费贷款样本，其中，第一消费额度不大于所述第二消费额度。
[0033]
在一种可能的实现方式中，所述分类算法包括极端梯度提升模型。
[0034]
第二方面，本技术实施例还提供一种跨场景迁移分类模型形成装置，应用于计算机设备，所述装置包括：
[0035]
初始化模块，用于初始化样本集权重参数及确定分类算法和迭代次数，其中，所述样本集包括由源域样本集与目标域训练样本集组成的训练样本集及由目标域测试样本组成的目标域测试集；
[0036]
调用模块，用于调用所述分类算法，基于所述训练样本集中各样本的权重分布情况及所述目标域测试集，得到一在所述目标域测试集上的分类器；
[0037]
计算与调整模块，用于计算所述分类器在所述目标域训练样本集的错误率，并基于所述错误率调整所述训练样本集的权重；
[0038]
计算与存储模块，用于计算所述分类器在所述目标域测试集上的模型效果参数，并存储对应的迭代标签；
[0039]
检测模块，用于检测所述模型效果参数是否满足迭代结束条件，在不满足迭代结束条件时，重复执行所述调用模块、计算与调整模块及计算与存储模块的功能，直到所述模型效果参数满足迭代结束的条件，将所述模型效果参数满足迭代结束的条件所对应的分类器作为训练好的分类模型。
[0040]
第三方面，本技术实施例提供一种可读存储介质，可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的实现方式中的跨场景迁移分类模型形成方法。
[0041]
基于上述任意一个方面，将源域样本集与目标域训练样本集组成训练样本集，训练样本集与目标域测试集的分布不同，通过调整源域样本与目标域训练样本的样本权重，找到源域样本中与目标域分布最接近的样本，同时放大目标域样本损失的影响，增加有效数据权重，降低无效数据权重。通过模型效果参数判断是否迭代结束，并将训练过程中表现最好的一次作为决策。相对于现有技术中迁移学习算法通过提升多个弱分类器，使用后一半的弱分类器进行综合投票，得出最后的决策的方式，本方案使用在训练过程中表现最好的学习器进行决策，相当于整个迁移学习过程只发生在模型训练过程中，降低了开发难度。同时，使用单模型(分类器)进行最终的预测，可以适用于更多的实际业务。
附图说明
[0042]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
[0043]
图1为本技术实施例提供的跨场景迁移分类模型形成方法的流程示意图；
[0044]
图2为图1中步骤s13的子步骤流程示意图；
[0045]
图3为本技术实施例提供的跨场景迁移分类模型形成装置的功能模块示意图；
[0046]
图4为本技术实施例提供的计算机设备的硬件结构示意图。
具体实施方式
[0047]
下面结合说明书附图对本技术进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
[0048]
为了解决背景技术中的技术问题，在现有技术中，可以通过迁移学习算法(tradaboost算法)从源域数据中筛选有效数据，过滤掉与目标域不匹配的数据，通过提升方法(boosting方法)建立一种权重调整机制，对于源域样本来讲，预测值和标签越接近，权重越大；而对于目标域样本则是相反，预测值和标签差异越大，权重越大。这种策略就是找到源域样本中和目标域分布最接近的样本，同时放大目标域样本损失的影响，增加有效数据权重，降低无效数据权重。原始的tradaboost算法通过提升多个弱分类器，使用后一半的弱分类器进行综合投票，得出最后的决策。整个迁移学习过程会发生在模型训练以及模型测试过程中，模型开发难度较大。
[0049]
为了克服上述的不足，发明人提供以下解决方案，请参照图1，图1为本技术实施例提供的跨场景迁移分类模型形成方法的流程示意图，本实施例提供的跨场景迁移分类模型形成方法可以由计算机设备执行，为了便于说明本技术的技术方案，下面结合一种可能的应用场景对该跨场景迁移分类模型形成方法进行详细介绍，其中，该可能的应用场景可以是用在金融借贷场景中，可以理解的是，本技术提供的技术方案还可以应用于其他场景，比如，基于大数据的产品信息推广。下面以金融借贷场景为例对本技术提供的跨场景迁移分类模型形成方法进行介绍。
[0050]
结合图1对该跨场景迁移分类模型形成方法的流程步骤进行详尽说明。
[0051]
步骤s11，初始化样本集权重参数及确定分类算法和迭代次数。
[0052]
样本集可以包括由源域样本集a与目标域训练样本集b组成的训练样本集t(t＝aub)及由目标域测试样本组成的目标域测试集s，其中，源域是指已有的旧知识，目标域为需要学习的新知识。在本技术实施例中，源域的样本可以为小于第一消费额度的消费贷款样本，所述目标域中的样本可以为大于第二消费额度的消费贷款样本，其中，第一消费额度不大于所述第二消费额度。
[0053]
在本步骤中，初始化样本集权重参数的步骤具体包括：
[0054]
初始化所述训练样本集的权重向量w1及权重调整参数β；
[0055]
其中，权重向量其中，权重向量n为源域样本集中样本数量，m为目标域训练样本集中样本数量，n为迭代次数。
[0056]
在本技术实施例中，分类算法可以采用极端梯度提升模型(xgboost模型)。
[0057]
在现有技术中，源域和目标域的样本权重向量初始化，有的地方是全1初始化处
理，考虑到很多时候都是源域的数据量充足而目标域不充足，这种方法使得两个域数据的总权重对等，如果用全1初始化，显然模型会偏向于源域。相比之下，本发明的初始化方法更合理一些。
[0058]
步骤s12，调用所述分类算法，基于所述训练样本集中各样本的权重分布情况及所述目标域测试集，得到一在所述目标域测试集上的分类器。
[0059]
其中，所述训练样本集上的权重分布p
t
满足以下公式：
[0060][0061]
其中，t＝1,...,n，t为对应的第几次迭代。
[0062]
在目标测试集s上得到一个分类器ht。
[0063]
步骤s13，计算分类器在所述目标域训练样本集的错误率，并基于错误率调整训练样本集的权重。
[0064]
请参照图2，在申请实施例中，步骤s13可以通过以下子步骤实现。
[0065]
子步骤s131，计算分类器在目标域训练样本集的错误率。
[0066][0067]
其中，ξ
t
为错误率，h(x)为预测标签概率，c(x)为标注标签概率。
[0068]
子步骤s132，基于所述错误率修正权重调整参数。
[0069]
修正后的权重调整参数βt：
[0070]
β
t
＝ε
t
/(1
‑
ε
t
)
[0071]
子步骤s133，基于修正后的权重调整参数对所训练样本集中的样本的权重进行调整。
[0072]
调整后的训练样本集中的样本的权重分布满足：
[0073][0074]
步骤s14，计算所述分类器在所述目标域测试集上的模型效果参数，并存储对应的迭代标签。
[0075]
在本步骤中，具体实现步骤s14的步骤如下：
[0076]
首先，计算受试者工作特征曲线下的面积值(auc值)，将所述面积值作为所述模型效果参数的第一模型效果参数，其中，所述受试者工作特征曲线以真阳性率(tpr)为纵坐标及假阳性率(fpr)为横坐标绘制的曲线。
[0077]
接着，计算所述受试者工作特征曲线中纵坐标与横坐标之差的绝对值的最大值(ks＝max(abs(tpr
‑
fpr)))，将所述最大值作为所述模型效果参数的第二模型效果参数。
[0078]
最后，并记录所述模型效果参数对应的迭代次数。
[0079]
步骤s15，检测所述模型效果参数是否满足迭代结束条件。
[0080]
若满足迭代结束条件进入步骤s16，若不满足迭代结束条件回到步骤s12。
[0081]
在步骤s15中，所述迭代结束条件包括以下三种的任意一个：
[0082]
所述第一模型效果参数满足对应的判断规则；
[0083]
所述第二模型效果参数满足对应的判断规则；或，
[0084]
所述第一模型效果参数或所述第二模型效果参数满足对应的判断规则。
[0085]
步骤s16，将模型效果参数满足迭代结束的条件所对应的分类器作为训练好的分类模型。
[0086]
本技术实施例提供的跨场景迁移分类模型形成方法，将源域样本集与目标域训练样本集组成训练样本集，训练样本集与目标域测试集的分布不同，通过调整源域样本与目标域训练样本的样本权重，找到源域样本中与目标域分布最接近的样本，同时放大目标域样本损失的影响，增加有效数据权重，降低无效数据权重。通过模型效果参数判断是否迭代结束，并将训练过程中表现最好的一次作为决策。相对于现有技术中迁移学习算法通过提升多个弱分类器，使用后一半的弱分类器进行综合投票，得出最后的决策的方式，使用在训练过程中表现最好的学习器进行决策，相当于整个迁移学习过程只发生在模型训练过程中，降低了开发难度。同时，使用单模型(分类器)进行最终的预测，可以适用于更多的实际业务。
[0087]
请参照图3，图3为本公开实施例提供的跨场景迁移分类模型形成装置的功能模块示意图，本实施例可以根据计算机设备执行的方法实施例对跨场景迁移分类模型形成装置20进行功能模块的划分，也即该跨场景迁移分类模型形成装置20所对应的以下各个功能模块可以用于执行上述计算机设备执行的各个方法实施例。其中，该基于跨场景迁移分类模型形成装置20可以包括初始化模块21、调用模块22、计算与调整模块23、计算与存储模块24及检测模块25，下面分别对该跨场景迁移分类模型形成装置20的各个功能模块的功能进行详细阐述。
[0088]
初始化模块21，用于初始化样本集权重参数及确定分类算法和迭代次数。
[0089]
样本集可以包括由源域样本集a与目标域训练样本集b组成的训练样本集t(t＝aub)及由目标域测试样本组成的目标域测试集s，其中，源域是指已有的旧知识，目标域为需要学习的新知识。在本技术实施例中，源域的样本可以为小于第一消费额度的消费贷款样本，所述目标域中的样本可以为大于第二消费额度的消费贷款样本，其中，第一消费额度不大于所述第二消费额度。
[0090]
在本技术实施例中，初始化模块21的功能可以如下：
[0091]
初始化所述训练样本集的权重向量w1及权重调整参数β；
[0092]
其中，权重向量其中，权重向量n为源域样本集中样本数量，m为目标域训练样本集中样本数量，n为迭代次数。
[0093]
在本技术实施例中，分类算法可以采用极端梯度提升模型(xgboost模型)。
[0094]
在现有技术中，源域和目标域的样本权重向量初始化，有的地方是全1初始化处理，考虑到很多时候都是源域的数据量充足而目标域不充足，这种方法使得两个域数据的总权重对等，如果用全1初始化，显然模型会偏向于源域。相比之下，本发明的初始化方法更合理一些。
[0095]
调用模块22，用于调用所述分类算法，基于所述训练样本集中各样本的权重分布情况及所述目标域测试集，得到一在所述目标域测试集上的分类器。
[0096]
其中，所述训练样本集上的权重分布p
t
满足以下公式：
[0097][0098]
其中，t＝1,...,n，t为对应的第几次迭代。
[0099]
在目标测试集s上得到一个分类器ht。
[0100]
计算与调整模块23，用于计算所述分类器在所述目标域训练样本集的错误率，并基于所述错误率调整所述训练样本集的权重。
[0101]
在申请实施例中，计算与调整模块23的功能可以如下。
[0102]
首先，计算分类器在目标域训练样本集的错误率。
[0103][0104]
其中，ξ
t
为错误率，h(x)为预测标签概率，c(x)为标注标签概率。
[0105]
接着，基于所述错误率修正权重调整参数。
[0106]
修正后的权重调整参数βt：
[0107]
β
t
＝ε
t
/(1
‑
ε
t
)
[0108]
最后，基于修正后的权重调整参数对所训练样本集中的样本的权重进行调整。
[0109]
调整后的训练样本集中的样本的权重分布满足：
[0110][0111]
计算与存储模块24，用于计算所述分类器在所述目标域测试集上的模型效果参数，并存储对应的迭代标签。
[0112]
计算与存储模块24实现以下功能：
[0113]
首先，计算受试者工作特征曲线下的面积值(auc值)，将所述面积值作为所述模型效果参数的第一模型效果参数，其中，所述受试者工作特征曲线以真阳性率(tpr)为纵坐标及假阳性率(fpr)为横坐标绘制的曲线。
[0114]
接着，计算所述受试者工作特征曲线中纵坐标与横坐标之差的绝对值的最大值(ks＝max(abs(tpr
‑
fpr)))，将所述最大值作为所述模型效果参数的第二模型效果参数。
[0115]
最后，并记录所述模型效果参数对应的迭代次数。
[0116]
检测模块25，用于检测所述模型效果参数是否满足迭代结束条件，在不满足迭代结束条件时，重复执行所述调用模块22、计算与调整模块23及计算与存储模块24的功能，直到所述模型效果参数满足迭代结束的条件，将所述模型效果参数满足迭代结束的条件所对应的分类器作为训练好的分类模型。
[0117]
检测模块25在用于检测所述模型效果参数是否满足迭代结束条件的过程中，所使用的迭代结束条件可以包括以下三种的任意一个：
[0118]
所述第一模型效果参数满足对应的判断规则；
[0119]
所述第二模型效果参数满足对应的判断规则；或，
[0120]
所述第一模型效果参数或所述第二模型效果参数满足对应的判断规则。
[0121]
需要说明的是，应理解以上装置或系统中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以在物理上分开。且这些模块可以全部以软件(比如，开源软件)可以通过处理器调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理器调用软件的形式实现，部分模块通过硬件的形式实现。例如，检测模块25可以由单独处理器运行实现，例如，可以以程序代码的形式存储于上述装置或系统的存储器中，由上述装置或系统的某一个处理器调用并执行以上检测模块25的功能，其它模块的实现与之类似，在此就不再赘述。此外这些模块可以全部或部分集成在一起，也可以独立实现。这里所描述的处理器可以是一种具有信号的处理能力的集成电路，在实现过程中，上述技术方案中的各步骤或各个模块可以通过处理器中的集成逻辑电路或者执行软件程序的形式完成。
[0122]
请参照图4，图4示出了本公开实施例提供的用于实现上述的跨场景迁移分类模型形成方法的计算机设备10的硬件结构示意图，计算机设备10可以在云端服务器上实现。如图4所示，计算机设备10可包括处理器11、可读存储介质12、总线13以及通信单元14。
[0123]
在具体实现过程中，至少一个处理器11执行可读存储介质12存储的计算机执行指令(例如图3中所示的跨场景迁移分类模型形成装置20中包括的各个模块)，使得处理器11可以执行如上方法实施例的跨场景迁移分类模型形成方法，其中，处理器11、可读存储介质12以及通信单元14通过总线13连接，处理器11可以用于控制通信单元14的数据接收与发送。
[0124]
处理器11的具体实现过程可参见上述计算机设备10执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0125]
可读存储介质12可能包含随机存取存储器，也可能还包括非易失性存储，例如至少一个磁盘存储器。
[0126]
总线13可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
[0127]
此外，本技术实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上跨场景迁移分类模型形成方法。
[0128]
综上所述，本技术实施例提供的跨场景迁移分类模型形成方法、装置及可读存储介质，将源域样本集与目标域训练样本集组成训练样本集，训练样本集与目标域测试集的分布不同，通过调整源域样本与目标域训练样本的样本权重，找到源域样本中与目标域分
布最接近的样本，同时放大目标域样本损失的影响，增加有效数据权重，降低无效数据权重。通过模型效果参数判断是否迭代结束，并将训练过程中表现最好的一次作为决策。相对于现有技术中迁移学习算法通过提升多个弱分类器，使用后一半的弱分类器进行综合投票，得出最后的决策的方式，本方案使用在训练过程中表现最好的学习器进行决策，相当于整个迁移学习过程只发生在模型训练过程中，降低了开发难度。同时，使用单模型(分类器)进行最终的预测，可以适用于更多的实际业务。
[0129]
以上所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本技术的实施例的详细描述并非旨在限制本技术的保护范围，而仅仅是表示本技术的选定实施例。基于此，本技术的保护范围应以权利要求的保护范围为准。