模型训练方法、装置、设备及存储介质与流程

1.本技术涉及金融科技(尤其深度学习、大数据)技术领域，尤其涉及一种模型训练方法、装置、设备及存储介质。


背景技术：

2.风控模型可以用于从能够获取到的数据中尽可能的挖掘信用信息，实现预测借款人的信用贷款。比如当借款人缺乏银行信用卡的数据时，可以通过风控模型从借款人的航旅出行数据中挖掘其是否具备较好的信用资质，从而预测借款人的信用贷款。
3.在相关技术中，例如在使用风控模型预测借款人的信用贷款之前，通常需要对风控模型进行训练。目前的训练方法包括：在采集得到出行数据之后，工作人员根据工作经验对出行数据进行加工处理，得到出行偏好特征(反映用户的出行规律和出行偏好)，并采用出行偏好特征对风控模型进行训练。
4.在上述相关技术中，采用根据工作经验对出行数据进行加工处理得到的出行偏好特征对风控模型进行训练，使得训练得到的风控模型的准确性较差。


技术实现要素：

5.本技术的主要目的在于提供一种模型训练方法、装置、设备及存储介质，旨在解决相关技术中，采用根据工作经验对出行数据进行加工处理得到的出行偏好特征对风控模型进行训练，导致训练得到的风控模型的准确性较差的问题。
6.为实现上述目的，本技术提供一种模型训练方法，模型训练方法包括：获取第一出行样本；获取的特征提取模型；通过特征提取模型对第一出行样本进行处理，得到出行特征向量，并通过第一分类模型对出行特征向量进行处理，得到第一预测信息；根据第一预测信息和第一出行样本对应的标记信息，分别更新特征提取模型和第一分类模型，得到第一风控模型。
7.本技术提供一种模型训练装置，包括：第一获取模块、第二获取模块和处理模块；其中，第一获取模块，用于获取第一出行样本；第二获取模块，用于获取特征提取模型；处理模块，用于通过特征提取模型对第一出行样本进行处理，得到出行特征向量，并通过第一分类模型对出行特征向量进行处理，得到第一预测信息；处理模块，还用于根据第一预测信息和第一出行样本对应的标记信息，分别更新特征提取模型和第一分类模型，得到第一风控模型。
8.本技术提供一种电子设备，电子设备包括：处理器、以及与所述处理器连接的存储器；所述存储器存储模型训练程序；处理器执行所述存储器存储的模型训练程序，以实现如上的模型训练方法。
9.本技术提供一种计算机可读存储介质，计算机可读存储介质上存储有模型训练程序，模型训练程序被处理器执行时实现如上的模型训练方法。
10.本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行
时实现如上的模型训练方法。
11.本技术公开了一种模型训练方法、装置、设备及存储介质，该方法包括：获取第一出行样本；获取特征提取模型；通过特征提取模型对第一出行样本进行处理，得到出行特征向量，并通过第一分类模型对出行特征向量进行处理，得到第一预测信息；根据第一预测信息和第一出行样本对应的标记信息，分别更新特征提取模型和第一分类模型，得到第一风控模型。在上述方法中，通过特征提取模型对第一出行样本进行处理，得到出行特征向量，能够实现深度挖掘第一出行样本的内在特征，避免采用根据工作经验进行加工处理得到的出行偏好特征对风控模型进行训练，提高训练得到的第一风控模型的准确性。
附图说明
12.图1为本技术实施例提供的应用场景示意图；
13.图2为本技术实施例提供的模型训练方法的流程示意图一；
14.图3为本技术实施例提供的兴趣点轨迹的示意图；
15.图4为本技术实施例提供的一种得到样本向量的示意图；
16.图5为本技术实施例提供的另一种得到样本向量的示意图；
17.图6为本技术实施例提供的训练初始特征提取模型得到特征提取模型的流程示意图一；
18.图7为本技术实施例提供的预训练结构示意图一；
19.图8为本技术实施例提供的预训练结构示意图二；
20.图9为本技术实施例提供的采用第一样本集和第二样本集更新特征提取模型的流程示意图；
21.图10为本技术实施例提供的预训练结构示意图三；
22.图11为本技术实施例提供的模型训练装置的结构示意图；
23.图12为本技术实施例提供的电子设备的结构示意图。
24.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
25.目前，工作人员通常根据工作经验对采集得到的出行数据进行加工处理，得到出行偏好特征(例如用户半年内到访某一类型场所的频次等)，并采用出行偏好特征、学历特征、收入水平特征、工作状态特征等对风控模型进行训练。虽然通过人工提取的出行偏好特征部分反映了用户的出行规律和偏好，然而在提取过程丢失了出行轨迹的内在特征(例如到访顺序，到访时间等)，因此采用上述方法得到出行偏好特征对风控模型进行训练，使得训练得到的风控模型的准确性较差。
26.在本技术中，为了提高训练得到的风控模型的准确性，发明人想到通过模型对出行数据进行深度挖掘，得到能够包括出行轨迹内在特征的特征向量，并通过特征向量对风控模型进行训练，从而提高训练得到的风控模型的准确性。
27.下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围
完整的传达给本领域的技术人员。
28.图1为本技术实施例提供的应用场景示意图。如图1所示，包括：特征提取模型和第一分类模型。
29.特征提取模型可以用于提取出行样本的出行特征向量，并向第一分类模型提供出行特征向量。
30.第一分类模型可以用于对出行特征向量、学历特征、收入水平特征、以及工作状态特征等进行分类处理，得到第一预测信息。
31.在得到第一预测信息之后，可以根据第一预测信息和出行样本对应的标记信息，更新特征提取模型和第一分类模型，以得到第一风控模型。
32.在本技术中，由于特征提取模型能够深度挖掘出行样本的内在特征，因此可以提高训练得到的第一风控模型的准确性。
33.下面结合具体实施例对本技术提供的模型训练方法进行说明。需要说明的是，本技术将针对根据出行特征向量出行样本更新特征提取模型和第一分类模型进行说明，对根据学历特征、收入水平特征、工作状态特征等更新特征提取模型和第一分类模型的过程不再说明。
34.图2为本技术实施例提供的模型训练方法的流程示意图一。如图2所示，该方法包括：
35.s201、获取第一出行样本。
36.本技术实施例的执行主体可以为电子设备，也可以为设置在电子设备中的模型训练装置，该模型训练装置可以通过软件和/或硬件的结合来实现。
37.第一出行样本可以为预先确定、并存储在电子设备中的样本。
38.可选地，可以通过如下方法得到第一出行样本：获取预先存储的多个用户标识各自对应的多个历史出行信息；根据多个用户标识各自对应的多个历史出行信息，确定第一出行样本。
39.每个历史出行信息包括时间序列、日期序列、地点类别序列和城市序列。
40.时间序列中包括预设时长内的多个时刻。
41.日期序列中包括每个时刻所属的日期。
42.地点类别序列中包括用户标识对应的用户在每个时刻所处位置所属的类别。
43.城市序列包括用户标识对应的用户在每个时刻所处位置所在的城市。
44.针对每个用户标识，该用户标识对应的多个历史出行信息为根据预设时长，对用户标识对应的兴趣点轨迹进行划分和提取得到的。对兴趣点轨迹的说明请参见图3实施例。
45.可选地，可以采用如下2种方式(包括方式1和方式2)，根据多个用户标识各自对应的多个历史出行信息，得到第一出行样本：
46.方式1，针对每个用户标识对应的多个历史出行信息，分别对用户标识对应的多个历史出行信息中包括的时间序列、日期序列、地点类别序列、城市序列进行向量转换，得到多个时间向量、多个日期向量、多个地点类别向量、多个城市向量；分别对多个时间向量、多个日期向量、多个地点类别向量、多个城市向量进行拼接，得到时间拼接向量、日期拼接向量、类别拼接向量、城市拼接向量；对时间拼接向量、日期拼接向量、类别拼接向量、城市拼接向量进行组合或者叠加，得到用户标识对应的样本向量；
47.第一出行样本中包括多个用户标识中各自对应的样本向量。对得到样本向量的说明，请参见图4实施例和图5实施例。
48.可选地，多个历史出行信息的总数量可以为7(即一周内的历史出行信息)、也可以为30(即一月内的历史出行信息)等，此处不对总数量进行限定。
49.可选地，可以通过预设算法对多个历史出行信息中包括的时间序列地点类别序列、城市序列进行向量转换，得到多个时间向量、多个地点类别向量、多个城市向量。
50.预设算法例如可以为word2vec(用于将单词转换为向量的算法)。
51.需要说明的是，可以根据日期序列中的日期是否为工作日，将日期序列转换为日期向量。例如，当日期为工作日时，将日期转换为0。例如，当日期为非工作日时，将日期转换为1。
52.方式2，针对每个历史出行信息，对历史出行信息中包括的时间序列、日期序列、地点类别序列、城市序列进行向量转换，得到时间向量、日期向量、地点类别向量、城市向量；对时间向量、日期向量、类别向量、城市向量进行组合或者叠加，得到历史出行信息对应的样本向量；
53.第一出行样本中包括每个用户标识对应多个历史出行信息各自对应的样本向量。
54.可选地，历史出行信息中还可以包括由每个出行点(例如商厦)与居住点(即住宅)之间的距离构成的距离序列，相应的，样本向量中包括该距离序列对应的距离向量。
55.与现有技术不同。在现有技术中，在根据工作经验对采集得到的出行数据进行加工处理得到出行偏好特征之后，将出行偏好特征输入风控模型，浪费工作人员的劳动力，导致对风控模型的训练效率较低。而在本技术中，在通过向量转换得到时间向量、日期向量、地点类别向量、城市向量之后，通过拼接和组合(或叠加)、或者组合(或叠加)即可输入特征提取模型，从而实现对第一风控模型的训练，无需根据工作经验对采集得到的出行数据进行加工处理，能够节省工作人员的劳动力，提高对第一风控模型的训练效率。
56.s202、获取特征提取模型。
57.特征提取模型为通过预训练得到的、并预先存储在电子设备中的模型。
58.具体的，可以通过如下3种方式(包括方式11、方式12和方式13)得到特征提取模型。
59.方式11，获取多个第二出行样本；对多个第二出行样本中的至少一个第二出行样本中的地点类别向量进行扰动，得到至少一个第三出行样本；采用至少一个第三出行样本和其他第二出行样本，训练初始特征提取模型，得到s202中的特征提取模型；其他第二出行样本包括多个第二出行样本中除至少一个第三出行样本之外的其他样本。
60.方式12，获取多个第二出行样本；对多个第二出行样本进行分类处理，得到第一样本集和第二样本集；采用第一样本集和第二样本集，训练初始特征提取模型，得到s202中的特征提取模型。
61.方式13，在通过上述方式11得到特征提取模型的基础上，还可以包括：根据每个第二出行样本对应的用户标识，对多个第二出行样本进行分类处理，得到第一样本集和第二样本集；采用第一样本集和第二样本集，更新特征提取模型，将更新后的更新特征提取模型确定为s202中的特征提取模型。
62.初始特征提取模型为bert模型，bert模型为基于变换器的双向编码器表示技术(b
(i)d(i)rectional encoder representations from transformers，bert)，是用于自然语言处理(nlp)的预训练技术。bert模型的本质是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，自监督学习是指在没有人工标注的样本上运行的监督学习。在特定的nlp任务中，可以直接使用bert的特征表示作为该任务的词嵌入特征。所以bert模型提供了一个供其它任务迁移学习的模型，该模型可以根据任务微调或者在固定之后作为特征提取器。
63.在上述方式11、方式12和方式13中，多个第二出行样本不同，每个第二出行样本中包括城市向量、地点类别向量、日期向量、时间向量。其中，地点类别向量中包括多个地点类别元素。
64.针对上述方式11，可以采用如下方式111和方式112得到至少一个第三出行样本。
65.方式111，针对至少一个第二出行样本中的每个第二出行样本包括的地点类别向量，从地点类别向量包括的多个地点类别元素中随机选择目标地点类别元素；对目标地点类别元素进行扰动，得到至少一个第三出行样本。
66.当多个第二出行样本的总数量为q时，至少一个第二出行样本可以包括x*q个第二出行样本。其中，x为大于0且小于或等于1的数。对目标地点类别元素进行扰动，包括：将目标地点类别元素扰动为预设特殊符号，或者将目标地点类别元素扰动为与目标地点类别元素不同的其它地点类别元素。
67.方式112，从多个第二出行样本中，获取第一数量的第二出行样本和第二数量的第二出行样本；
68.针对第一数量的第二出行样本中的每个第二出行样本包括的地点类别向量，从地点类别向量包括的多个地点类别元素中随机选择目标地点类别元素；将目标地点类别元素扰动为预设特殊符号；
69.针对第二数量的第二出行样本中的每个第二出行样本包括的地点类别向量，从地点类别向量包括的多个地点类别元素中随机选择目标地点类别元素；将目标地点类别元素扰动为与目标地点类别元素不同的其它地点类别元素；
70.将扰动后的第一数量的第二出行样本和第二数量的第二出行样本，确定为至少一个第三出行样本。
71.当多个第二出行样本的总数量为q时，第一数量可以等于y*q，第二数量可以等于z*q，y和z均为大于0且小于1的数，y与z的和小于1。例如，y为0.8，z为0.1。
72.例如，预设特殊符号可以为[mask]。[mask]可以为预先定义的一个元素或者随机初始化的一个元素。
[0073]
例如，可以将目标地点类别元素e5扰动为其它地点类别元素e11，其中，e5和e11不同。
[0074]
针对上述方式12，可以通过如下方法得到第一样本集和第二样本集：
[0075]
根据预先存储的多个用户标识和出行样本之间的对应关系，在多个第二出行样本中确定每个用户标识对应的第二出行样本；
[0076]
根据每个用户标识对应的第二出行样本，进行n次样本选择和样本拼接处理，得到第一样本集和第二样本集。n为大于或等于2的正整数，第一样本集中包括多个第一拼接样本，第二样本集中包括多个第二拼接样本，第一拼接样本为对同一用户标识对应的多个第
二出行样本进行拼接得到的，第二拼接样本为多个不同用户标识各自对应的第二出行样本进行拼接得到的。
[0077]
例如，多个用户标识各自对应的第二出行样本如下表1所示。
[0078]
表1
[0079][0080]
进一步地，针对一次样本选择和样本拼接处理，包括：
[0081]
针对多个用户标识中的每个用户标识，从用户标识对应的第二出行样本中选择n个第二出行样本，并对n个第二出行样本进行拼接，得到第一拼接样本；或者，
[0082]
针对多个用户标识，从多个第二出行样本中除每个用户标识对应的n个第二出行样本之外的其他出行样本中，选择n个不同用户标识各自对应的第二出行样本，并对n个不同用户标识各自对应的第二出行样本进行拼接，得到第二拼接样本。
[0083]
n为大于或等于2的整数。
[0084]
示例性的，针对一次样本选择和样本拼接处理，当n等2时；从用户标识u2对应的3个第二出行样本中，(按照样本的排列顺序或者随机)选择2个第二出行样本(例如y21、y22)，对第二出行样本y21和y22中的城市向量进行拼接、地点类别向量进行拼接、日期向量进行拼接、时间向量进行拼接，得到第一拼接样本；从用户标识u1对应的第二出行样本中选择1个第二出行样本(例如y11)，从用户标识u2对应的第二出行样本中选择1个第二出行样本(例如y23)，对第二出行样本y11和y23中的城市向量进行拼接、地点类别向量进行拼接、日期向量进行拼接、时间向量进行拼接，得到第二拼接样本。
[0085]
可选地，也可以随机从用户标识u1对应的第二出行样本中选择1个第二出行样本(例如y11)、从用户标识u2对应的第二出行样本中选择1个第二出行样本(例如y22)，对第二出行样本y11和y22中的城市向量进行拼接、地点类别向量进行拼接、日期向量进行拼接、时间向量进行拼接，得到第二拼接样本。
[0086]
可选地，第一样本集和第二样本集中的样本数量可以相同。
[0087]
s203、通过特征提取模型对第一出行样本进行处理，得到出行特征向量，并通过第一分类模型对出行特征向量进行处理，得到第一预测信息。
[0088]
当通过上述方式11得到特征提取模型时，第一出行样本使用上述方式2得到。即第一出行样本中每个样本向量包括的元素数量与第二出行样本包括的元素数量相同。
[0089]
需要说明的是，当通过上述方式11得到特征提取模型时，根据每个第二出行样本对应的用户标识，对所述多个第二出行样本进行分类处理，得到第一样本集和第二样本集；采用所述第一样本集和所述第二样本集，更新所述特征提取模型；通过特征提取模型对第
一出行样本进行处理，得到出行特征向量，包括：通过更新后的所述特征提取模型对第一出行样本进行处理，得到出行特征向量。
[0090]
当通过上述方式12或方式13得到特征提取模型是，第一出行样本使用上述方式1得到。即第一出行样本中样本向量包括的元素数量与第一样本集和第二样本集中的每个样本包括的元素数量相同。
[0091]
s204、根据第一预测信息和第一出行样本对应的标记信息，分别更新特征提取模型和第一分类模型，得到第一风控模型。
[0092]
可选地，根据第一预测信息和第一出行样本对应的标记信息，确定第三损失函数，并根据第三损失函数，分别更新特征提取模型和第一分类模型；判断更新后的特征提取模型和第一分类模型是否收敛；若收敛，则将更新后的特征提取模型和第一分类模型确定为第一风控模型的最终结果。
[0093]
其中，第一出行样本对应的标记信息中包括每个样本向量对应的标记(该标记指示是否贷款)，第三损失函数为第一预测信息和标记信息的交叉熵损失函数。
[0094]
具体的，分别更新特征提取模型和第一分类模型的方法与上述图6和图9实施例类似，此处不再赘述。
[0095]
在图2本技术实施例提供的模型训练方法中，由于第一风控模型为通过第一预测信息和所述第一出行样本对应的标记信息进行训练得到的，因此该第一风控模型可以直接用于风险预测，进一步地，通过特征提取模型对第一出行样本进行处理，得到出行特征向量，能够实现深度挖掘第一出行样本的内在特征，避免根据工作经验进行加工处理得到的出行偏好特征，提高训练得到的第一风控模型的准确性。
[0096]
本技术与现有技术不同，在现有技术中由于需要根据工作人员的工作经验得到出行偏好特征，因此无法实现端到端的训练，而在本技术中，无需根据工作人员的工作经验，就可以得到出行特征向量，因此可以实现端到端的训练。
[0097]
本技术实施例提供的方法还包括：采用第一风控模型对第四出行样本进行处理，得到第二预测信息；采用第二预测信息和第四出行样本对应的标记信息，训练第二风控模型。
[0098]
其中，第四出行样本可以与第一出行样本相似，此处不再详述。具体的，采用第二预测信息、第四出行样本对应的标记信息、学历特征、收入水平特征、工作状态特征、出行偏好特征等，对训练第二风控模型进行训练，将第一风险模型和训练完成之后得到的第二风控模型用于风险预测。需要说明的是，此处将第一风险模型和训练得到的第二风控模型为最终的风控模型。
[0099]
在本技术中，风控模型可以根据一个用户的出行信息预测向该用户提供贷款的可能性，也可以根据一个出行信息预测该用户存在预期还款的风险等。
[0100]
与现有技术不同，在现有技术中，根据工作人员的工作经验对采集得到的出行数据进行加工处理，得到出行偏好特征(例如用户半年内到访某一类型场所的频次等)，并采用出行偏好特征、学历特征、收入水平特征、工作状态特征等对风控模型进行训练。虽然通过人工提取的出行偏好特征部分反映了用户的出行规律和偏好，然而在提取过程丢失了出行轨迹的内在特征(例如到访顺序，到访时间等)，因此采用上述方法得到出行偏好特征对风控模型进行训练，使得训练得到的风控模型的准确性较差。而在本技术中，通过采用第一
风控模型对第四出行样本进行处理，得到第二预测信息，由于第二预测信息能够反映第四出行样本的内在特征，因此在采用第二预测信息以及学历特征、收入水平特征、工作状态特征等，训练第二风控模型，将第一风险模型和训练完成之后得到的第二风控模型用于风险预测，可以提高得到的风控模型(包括第一风险模型和训练完成之后得到的第二风控模型)的准确性。
[0101]
图3为本技术实施例提供的兴趣点轨迹的示意图。如图3所示，兴趣点轨迹包括：多个轨迹点。每个轨迹点中包括时刻、用户在该时刻停留的地点、对地点的描述。对地点的描述通常包括地点所属的地点类别、地点所在的城市，例如地点类别包括商厦、住宅、工业区、饭店等，还可以包括其它信息(例如地点的坐标)。
[0102]
例如，预设时长为24小时(例如从第一天的4:00至第二天的3:00之间)。当预设时长为24小时时，根据24小时对兴趣点轨迹进行划分，得到每个预设时长各自对应的轨迹点。
[0103]
针对每个预设时长各自对应的轨迹点，从预设时长对应的轨迹点中提取时间序列(例如04:00
……
03:00)、日期序列(例如6
‑
04
……6‑
04)、地点类别序列(例如住宅
……
住宅)和城市序列(例如深圳
……
深圳)。需要说明的是，第一天的4:00至第二天的3:00对应的日期为第一天的日期。例如第一天为6
‑
02、第二天为6
‑
03，则第一天的4:00至第二天的3:00对应的日期为6
‑
02。
[0104]
下面结合图4和图5，对得到样本向量进行说明。需要说明的是，图4和图5是以用户标识对应的2个历史出行信息为例进行说明的。
[0105]
图4为本技术实施例提供的一种得到样本向量的示意图。如图4所示，包括：城市拼接向量、地点类别拼接向量、日期拼接向量、时间拼接向量和样本向量。其中，样本向量为对城市拼接向量、地点类别拼接向量、日期拼接向量、时间拼接向量中标识相同的元素进行组合得到的。标识为元素的索引，例如0、1、
……
、m。
[0106]
图5为本技术实施例提供的另一种得到样本向量的示意图。如图5所示，包括：城市向量、地点类别向量、日期向量、时间向量和样本向量。其中，样本向量为对城市向量、地点类别向量、日期向量、时间向量标识相同的元素进行叠加得到的。例如，对城市向量、地点类别向量、日期向量、时间向量中标识为0的元素(分别为e0、c0、d0、t0)进行叠加处理，得到样本向量中标识为0的元素a0。
[0107]
在上述图4和图5中每个拼接向量中包括相同数量的多个元素(例如m个元素，m为大于或等于1的整数)。例如，城市拼接向量中的多个元素包括：e0、e1、
……
、em，其中，e0、
……
、ej为对其中一个历史出行信息中的城市序列进行向量转换之后得到，ej 1、
……
、em为对其中另一个历史出行信息中的城市序列进行向量转换之后得到的。例如对其中一个历史出行信息中第一个住宅进行向量转换得到e0。
[0108]
可选地，上述图4和图5中，也可以采用预设分割符号(例如[sep])分割拼接向量中包括的多个向量。需要说明的是，在日期向量中，d0～dj相同，dj 1～dm相同，dj与dj 1不相同。
[0109]
下面，在上述方式11的基础上，结合图6对采用至少一个第三出行样本和其他第二出行样本，训练初始特征提取模型，得到特征提取模型的过程进行说明。
[0110]
图6为本技术实施例提供的训练初始特征提取模型得到特征提取模型的流程示意图一。如图6所示，该方法包括：
[0111]
s601、从样本集包括的p批样本中获取第i批样本。
[0112]
其中，样本集为至少一个第三出行样本和其他第二出行样本组合成的样本集。
[0113]
p批样本中的每批样本包括m个出行样本。m为大于或等于1的整数。
[0114]
其他第二出行样本包括多个第二出行样本中除至少一个第三出行样本之外的其他样本。
[0115]
s602、从第i批样本中获取第j个出行样本。
[0116]
s603、对第j个出行样本包括的属性向量进行叠加，得到第j个样本向量，属性向量包括时间向量、日期向量、地点类别向量和城市向量。
[0117]
或者对第j个出行样本包括的属性向量进行组合，得到第j个样本向量。
[0118]
s604、将第j个样本向量输入初始特征提取模型a(i
‑
1)中，得到第j个第一特征向量。
[0119]
s605、将第j个第一特征向量包括的多个元素中具有目标标识的元素输入第三分类模型b(i
‑
1)中，得到第j个预测地点类别。
[0120]
目标标识为进行扰动的地点类别元素对应的标识，或者预先设定标识。
[0121]
当第j个出行样本为第三出行样本时，目标标识为进行扰动的地点类别元素对应的标识。
[0122]
当第j个出行样本为其他第二出行样本中的第二出行样本时，目标标识可以为预先设定标识。
[0123]
s606、判断j是否大于m。
[0124]
若否，则执行s607，是则执行s608。
[0125]
s607、将j加1，重复执行s602～s606。
[0126]
s608、根据m个预测地点类别和m个预测地点类别各自对应的真实地点类别，确定第一损失函数。
[0127]
m个预测地点类别中包括第1～j个预测地点类别，m个预测地点类别各自对应的真实地点类别中包括第1～j个预测地点类别各自对应的真实地点类别。具体的，可以根据目标标识确定每个预测地点类别对应的真实地点类别。示例性的，在图3和图5的基础上，若目标标识为1(在图3所示的地点类别向量中)，则可以确定预测地点类别对应的真实地点类别为住宅(在图5所示的兴趣点轨迹中05:00对应的地点类别)。
[0128]
第一损失函数为m个预测地点类别和m个预测地点类别各自对应的真实地点类别的交叉熵损失函数。
[0129]
s609、根据第一损失函数，分别更新初始特征提取模型a(i
‑
1)和第三分类模型b(i
‑
1)，得到初始特征提取模型a(i)和第三分类模型b(i)。
[0130]
其中，初始特征提取模型a(i)为对初始特征提取模型a(i
‑
1)进行更新后的得到的，第三分类模型b(i)为对第三分类模型b(i
‑
1)进行更新后的得到的。
[0131]
具体的，根据第一损失函数，通过随机梯度下降算法，分别更新初始特征提取模型a(i
‑
1)和第三分类模型b(i
‑
1)。
[0132]
s610、判断初始特征提取模型a(i)是否处于收敛状态。
[0133]
若是，则执行s611，否则执行s612。
[0134]
s611、将初始特征提取模型a(i)，确定为特征提取模型。
[0135]
s612、判断i是否大于p。
[0136]
若是，则执行s613，否则执行s614。
[0137]
s613、将i设置为1，重复执行s601～s612。
[0138]
s614、将i加1，重复执行s601～s612。初始时，i＝1，j＝1。
[0139]
i为1大于或等于1且小于或等于p的整数，j的取值为大于或等于1且小于或等于m的整数。
[0140]
s609至s614为对根据第一损失函数，确定特征提取模型的解释说明。
[0141]
本技术与现有技术不同。在现有技术中，工作人员根据工作经验对采集得到的出行数据进行加工处理，得到出行偏好特征，例如计算用户半年内到访某一类型场所的频次等，虽然通过人工提取的出行偏好特征部分反映了用户的出行规律和偏好，然而在提取过程丢失了出行轨迹的内在特征(例如到访顺序，到访时间等)，导致训练得到的第一风控模型的准确性较差。而在本技术所示的图6实施例中，初始特征提取模型为bert模型，至少一个第三出行样本和其他第二出行样本中均包括时间向量、日期向量、地点类别向量和城市向量，通过bert模型对时间向量、日期向量、地点类别向量和城市向量进行叠加或者组合后的样本向量进行特征提取，由于根据了具有到访顺序和到访时间特征的时间向量、日期向量和地点类别向量和城市向量，因此可以提取出行轨迹的内在特征，提高训练得到的特征提取模型的准确性，进而提高训练得到的第一风控模型的准确性。
[0142]
图7为本技术实施例提供的预训练结构示意图一。示例性的，在图5的基础上(对属性向量进行叠加得到样本向量)，如图7所示，在s602～s606的过程中，若目标标识为j，则将第一特征向量中具有目标标识j的元素输入第三分类模型，得到预测地点类别。
[0143]
图8为本技术实施例提供的预训练结构示意图二。示例性的，在图4的基础上(对属性向量进行组合得到样本向量)，如图8所示，在s602～s606的过程中，若目标标识为j，则将第一特征向量中具有目标标识j的元素输入第三分类模型，得到预测地点类别。
[0144]
在上述方式13的基础上，下面结合图9，对采用第一样本集和第二样本集更新特征提取模型的过程进行说明。
[0145]
图9为本技术实施例提供的采用第一样本集和第二样本集更新特征提取模型的流程示意图。如图9所示，该方法包括：
[0146]
s901、从样本集包括的r批样本中获取第i批样本。
[0147]
样本集为第一样本集和第二样本集组合成的样本集。
[0148]
r批样本中的每批样本包括w个拼接样本，w个拼接样本中包括第一拼接样本和/或第二拼接样本。
[0149]
w为大于或等于1的整数。
[0150]
s902、从第i批样本中获取第j个拼接样本。
[0151]
s903、将第j个拼接样本输入特征提取模型c(i
‑
1)中，得到第j个第二特征向量。
[0152]
s904、将第j个第二特征向量中包括的多个元素中具有预设标识的元素输入第二分类模型d(i
‑
1)中，得到第j个预测标识。
[0153]
第j个预测标识指示用于得到第j个拼接样本的n个第二出行样本是否对应同一个用户标识。
[0154]
可选地，预设标识可以为0、1、2等。
[0155]
s905、判断j是否大于w。
[0156]
若否，则执行s906，是则执行s907。
[0157]
s906、将j加1，重复执行s902～s905。
[0158]
s907、将w个预测标识和w个拼接样本各自对应的真实标识，确定第二损失函数。
[0159]
第二损失函数为w个预测标识和w个拼接样本各自对应的真实标识的交叉熵损失函数。
[0160]
s908、根据第二损失函数，更新特征提取模型c(i
‑
1)，得到特征提取模型c(i)。
[0161]
具体的，根据第二损失函数，通过梯度下降算法，分别更新特征提取模型c(i
‑
1)和第二分类模型d(i
‑
1)，得到特征提取模型c(i)和第二分类模型d(i)。
[0162]
当i＝1时，特征提取模型c(0)为根据上述图6实施例得到的特征提取模型。
[0163]
s910、判断特征提取模型c(i)是否处于收敛状态。
[0164]
若是，则执行s911，否则执行s912。
[0165]
可选地，判断特征提取模型c(i)和第二分类模型d(i)是否处于收敛状态。若是，则执行s911，否则执行s912。
[0166]
s911、将特征提取模型c(i)确定为特征提取模型。
[0167]
s912、判断i是否大于r。
[0168]
若是，则执行s913，否则执行s914。
[0169]
s913、将i设置为1，重复执行s901～s912。
[0170]
s914、将i加1，重复执行s901～s912。初始时，i＝1，j＝1。
[0171]
i为1大于或等于1且小于或等于r的整数，j的取值为大于或等于1且小于或等于w的整数。
[0172]
需要说明的是，通过方式13更新特征提取模型的方法，与通过方式12得到特征提取模型的方法相似，此处不再赘述通过方式12得到特征提取模型的过程。
[0173]
在图9实施例提供的更新特征提取模型的方法中，采用第一样本集和第二样本集更新特征提取模型，将更新后的特征提取模型确定为本技术所需要的特征提取模型，进一步地，通过第一出行样本对特征提取模型和第一分类模型进行微调之后，得到的第一预测信息可以用于进行用户分类(即确定拼接样本是否属于同一个用户)。
[0174]
图10为本技术实施例提供的预训练结构示意图三。在图4的基础上，如图10所示，将拼接样本输入特征提取模型，得到第二特征向量，并将第二特征向量中具有预设标识(例如0)的元素o0输入第二分类模型中，得到预测标识。
[0175]
图11为本技术实施例提供的模型训练装置的结构示意图。如图11所示，模型训练装置包括：第一获取模块111、第二获取模块112和处理模块113；
[0176]
第一获取模块111，用于获取第一出行样本；
[0177]
第二获取模块112，用于获取特征提取模型；
[0178]
处理模块113，用于通过特征提取模型对第一出行样本进行处理，得到出行特征向量，并通过第一分类模型对出行特征向量进行处理，得到第一预测信息；
[0179]
处理模块113，还用于根据第一预测信息和第一出行样本对应的标记信息，分别更新特征提取模型和第一分类模型，得到第一风控模型。
[0180]
本技术实施例提供的模型训练装置，用于执行前述任一方法实施例的技术方案，
其实现原理和技术效果类似，在此不再赘述。
[0181]
可选地，第二获取模块112具体用于：获取多个第二出行样本，第二出行样本包括地点类别向量；对多个第二出行样本中的至少一个第二出行样本中的地点类别向量进行扰动，得到至少一个第三出行样本；采用至少一个第三出行样本和其他第二出行样本，训练初始特征提取模型，得到特征提取模型；其他第二出行样本包括多个第二出行样本中除至少一个第三出行样本之外的其他样本。
[0182]
可选地，地点类别向量中包括多个地点类别元素；第二获取模块112具体用于：针对至少一个第二出行样本中的每个第二出行样本包括的地点类别向量，从地点类别向量包括的多个地点类别元素中随机选择目标地点类别元素；对目标地点类别元素进行扰动，得到至少一个第三出行样本。
[0183]
可选地，第二获取模块112具体用于：在采用至少一个第三出行样本和其他第二出行样本，训练初始特征提取模型，得到特征提取模型之后，根据每个第二出行样本对应的用户标识，对多个第二出行样本进行分类处理，得到第一样本集和第二样本集；采用第一样本集和第二样本集，更新特征提取模型；处理模块113具体用于，通过更新后的特征提取模型对第一出行样本进行处理，得到出行特征向量。
[0184]
可选地，处理模块113具体用于：分别将第一样本集和第二样本集中包括的样本输入特征提取模型中，得到第二特征向量，并将第二特征向量中包括的多个元素中具有预设标识的元素输入第二分类模型中，得到预测标识，预测标识指示第一样本集和第二样本集中包括的样本是否对应同一用户标识；根据预测标识与第一样本集和第二样本集中的样本对应的真实标识，确定第二损失函数；根据第二损失函数，更新特征提取模型。
[0185]
可选地，所述至少一个第三出行样本和其他第二出行样本组合成的样本集中包括多批样本，每批样本包括出行样本；第二获取模块112具体用于：
[0186]
从第一批样本开始，对出行样本包括的属性向量进行叠加，得到样本向量，所述属性向量包括时间向量、日期向量、地点类别向量和城市向量；将所述样本向量输入所述初始特征提取模型中，得到第一特征向量；将所述第一特征向量包括的多个元素中具有目标标识的元素输入第三分类模型中，得到预测地点类别；所述目标标识为进行扰动的地点类别元素对应的标识或者预先设定的地点类别元素对应的标识；根据所述预测地点类别和出行样本中包括的真实地点类别，确定第一损失函数；根据所述第一损失函数，确定所述特征提取模型。。
[0187]
可选地，第二获取模块112具体用于：根据第一损失函数，分别更新初始特征提取模型和第三分类模型，得到更新后的初始特征提取模型和更新后的第三分类模型；判断更新后的初始特征提取模型是否处于收敛状态；若更新后的初始特征提取模型处于收敛状态，则将更新后的初始特征提取模型确定为特征提取模型；若更新后的初始特征提取模型处于未收敛状态，则重复执行如下步骤，直至更新后的初始特征提取模型处于收敛状态：重新获取第一特征向量，并将新的第一特征向量中包括的多个元素中具有目标标识的元素输入更新后的第三分类模型中，以得到新的损失函数。
[0188]
可选地，第二获取模块112具体用于：根据预先存储的多个用户标识和第二出行样本之间的对应关系，在多个第二出行样本中确定每个用户标识对应的第二出行样本；根据每个用户标识对应的第二出行样本，进行至少两次样本选择和样本拼接处理，得到第一样
本集和第二样本集；第一样本集中包括多个第一拼接样本，第二样本集中包括多个第二拼接样本，第一拼接样本为对同一用户标识对应的多个第二出行样本进行拼接得到的，第二拼接样本为多个不同用户标识各自对应的第二出行样本进行拼接得到的。
[0189]
可选地，针对一次样本选择和样本拼接处理，第二获取模块112具体用于：针对多个用户标识中的每个用户标识，从用户标识对应的第二出行样本中选择至少两个第二出行样本，并对至少两个第二出行样本进行拼接，得到第一拼接样本；或者，针对多个用户标识，从多个第二出行样本中除每个用户标识对应的至少两个第二出行样本之外的其他出行样本中，选择至少两个不同用户标识各自对应的第二出行样本，并对至少两个个不同用户标识各自对应的第二出行样本进行拼接，得到第二拼接样本。
[0190]
可选地，处理模块113具体用于：根据第一预测信息和第一出行样本对应的标记信息，分别更新特征提取模型和第一分类模型；根据第一预测信息和第一出行样本对应的标记信息，确定第三损失函数，并根据第三损失函数，分别更新特征提取模型和第一分类模型；判断更新后的特征提取模型和第一分类模型是否收敛；若收敛，则将更新后的特征提取模型和第一分类模型，确定为第一风控模型的最终结果。
[0191]
可选地，处理模块113还用于：采用第一风控模型对第四出行样本进行处理，得到第二预测信息；采用所述第二预测信息和所述第四出行样本对应的标记信息，训练第二风控模型。
[0192]
本技术实施例提供的模型训练装置，用于执行前述任一方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。
[0193]
图12为本技术实施例提供的电子设备的结构示意图。如图12所示，电子设备可以包括：处理器122、以及与处理器连接的存储器121。
[0194]
存储器121存储模型训练程序。
[0195]
处理器122执行存储器121存储的模型训练程序，以实现如前述任意一个实施例的模型训练方法。
[0196]
可选地，存储器121既可以是独立的，也可以跟处理器122集成在一起。
[0197]
本技术实施例提供的数据处理设备(即第一客户终端)的实现原理和技术效果可以参见前述各实施例，此处不再赘述。
[0198]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有模型训练程序，模型训练程序被处理器执行时实现如前述任意一个实施例的模型训练方法。
[0199]
本技术还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如前述任一项的模型训练方法。
[0200]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0201]
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例方法的部分步骤。
[0202]
应理解，上述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0203]
存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0204]
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，简称asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
[0205]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0206]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台客户终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例的方法。
[0207]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。