纵向联邦预测优化方法、设备、介质及计算机程序产品与流程

1.本技术涉及金融科技(fintech)的人工智能技术领域，尤其涉及一种纵向联邦预测优化方法、设备、介质及计算机程序产品。


背景技术：

2.随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
3.随着计算机软件和人工智能计算的不断发展，人工智能技术的应用也越来越广泛。目前，现有的纵向联邦预测模型需要基于各参与方之间的对齐样本进行纵向联邦学习建模而构建，且建模完成后，纵向联邦预测模型分散部署在各个参与方中，每一参与方均只持有部分纵向联邦预测模型。所以在纵向联邦预测场景中，对于未对齐样本，预测方需要使用一个单独的模型在本地进行预测。所以，预测方无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低，且纵向联邦学习的模型由于对齐数据的不足也会导致模型性能有限。所以，现有的纵向联邦预测方法存在整体样本预测准确度低的问题。


技术实现要素：

4.本技术的主要目的在于提供一种纵向联邦预测优化方法、设备、介质及计算机程序产品，旨在解决现有技术中纵向联邦预测的整体样本预测准确度低的技术问题。
5.为实现上述目的，本技术提供一种纵向联邦预测优化方法，所述纵向联邦预测优化方法应用于第一设备，所述纵向联邦预测优化方法包括：
6.获取待预测样本，并基于目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到；
7.接收第二设备基于纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重；
8.获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
9.为实现上述目的，本技术提供一种纵向联邦预测优化方法，所述纵向联邦预测优化方法应用于第二设备，所述纵向联邦预测优化方法包括：
10.查找id匹配样本，并基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
11.获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对
于所述训练id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到。
12.为实现上述目的，本技术提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第一设备，所述纵向联邦学习建模优化方法包括：
13.提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签；
14.基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型；
15.将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型。
16.为实现上述目的，本技术提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第二设备，所述纵向联邦学习建模优化方法包括：
17.获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失，其中，所述第一方模型预测损失由所述第一设备基于目标预测模型在所述训练id匹配样本对应的训练样本上的第一方模型预测结果和所述训练样本标签计算得到；
18.获取训练id匹配样本，并基于待训练残差提升模型，对所述训练id匹配样本执行模型预测，获得第二方训练模型预测结果；
19.基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失；
20.基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型。
21.本技术还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置为虚拟装置，且所述纵向联邦预测优化装置应用于第一设备，所述纵向联邦预测优化装置包括：
22.模型预测模块，用于获取待预测样本，并基于目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到；
23.接收模块，用于接收第二设备基于纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重；
24.加权聚合模块，用于获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
25.本技术还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置为虚拟装置，且所述纵向联邦预测优化装置应用于第二设备，所述纵向联邦预测优化装置包括：
26.模型预测模块，用于查找id匹配样本，并基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
27.发送模块，用于获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到。
28.本技术还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置为虚拟装置，且所述纵向联邦学习建模优化装置应用于第一设备，所述纵向联邦学习建模优化装置包括：
29.获取模块，用于提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签；
30.迭代优化模块，用于基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型；
31.发送模块，用于将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型。
32.本技术还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置为虚拟装置，且所述纵向联邦学习建模优化装置应用于第二设备，所述纵向联邦学习建模优化装置包括：
33.接收模块，用于获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失，其中，所述第一方模型预测损失由所述第一设备基于目标预测模型在所述训练id匹配样本对应的训练样本上的第一方模型预测结果和所述训练样本标签计算得到；
34.模型预测模块，用于获取训练id匹配样本，并基于待训练残差提升模型，对所述训练id匹配样本执行模型预测，获得第二方训练模型预测结果；
35.损失计算模块，用于基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失；
36.迭代优化模块，用于基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型。
37.本技术还提供一种纵向联邦预测优化设备，所述纵向联邦预测优化设备为实体设备，所述纵向联邦预测优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述纵向联邦预测优化方法的程序，所述纵向联邦预测优化方法的程序被处理器执行时可实现如上述的纵向联邦预测优化方法的步骤。
38.本技术还提供一种纵向联邦学习建模优化设备，所述纵向联邦学习建模优化设备为实体设备，所述纵向联邦学习建模优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述纵向联邦学习建模优化方法的程序，所述纵向联邦学习建模优化方法的程序被处理器执行时可实现如上述的纵向联邦学习建模优化方法的步骤。
39.本技术还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有
实现纵向联邦预测优化方法的程序，所述纵向联邦预测优化方法的程序被处理器执行时实现如上述的纵向联邦预测优化方法的步骤。
40.本技术还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现纵向联邦学习建模优化方法的程序，所述纵向联邦学习建模优化方法的程序被处理器执行时实现如上述的纵向联邦学习建模优化方法的步骤。
41.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的纵向联邦预测优化方法的步骤。
42.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的纵向联邦学习建模优化方法的步骤。
43.本技术提供了一种纵向联邦预测优化方法、设备、介质及计算机程序产品，相比于现有技术采用的在纵向联邦预测场景中对于对齐样本，预测方联合分散在其他参与方的对齐样本进行纵向联邦预测，以准确进行样本预测，而对于未对齐样本，预测方基于本地持有的部分纵向联邦预测模型进行本地预测的技术手段，本技术获取待预测样本，并基于目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果，其中，由于所述目标预测模型由所述第一设备本地迭代训练得到，进而实现了基于本地迭代训练的目标预测模型，对待预测样本在本地进行样本预测的目的，所以，对于若为未对齐样本的待预测样本，第一设备可基于作为完整模型的目标预测模型，独自对待预测样本进行准确的样本预测，进一步地，接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重，其中，对于待预测样本对齐的id匹配样本，第二设备基于纵向联邦残差提升模型对id匹配样本执行模型预测可生成待预测样本对应的残差提升信息，也即第二方模型预测结果，进而获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，即可获得目标联邦预测结果，所以，对于若为第一设备和第二设备之间的对齐样本的待预测样本，第一设备可借助第二设备基于纵向联邦残差提升模型针对于待预测样本对齐的id匹配样本生成的残差提升信息(第二方模型预测结果)，提升目标预测模型输出的第一方模型预测结果的准确度，实现对待预测样本进行基于残差提升信息的纵向联邦预测，所以，实现了在对对齐样本进行准确度更高基于残差提升信息的纵向联邦预测的情况下，可基于完整模型，在本地独自对未对齐样本进行准确预测的目的，所以克服了预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷，提升了纵向联邦预测的整体样本预测准确度。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
45.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本技术纵向联邦预测优化方法第一实施例的流程示意图；
47.图2为本技术纵向联邦预测优化方法第二实施例的流程示意图；
48.图3为本技术纵向联邦学习建模优化方法第一实施例的流程示意图；
49.图4为本技术纵向联邦学习建模优化方法第二实施例的流程示意图；
50.图5为本技术实施例中纵向联邦预测优化方法涉及的硬件运行环境的设备结构示意图；
51.图6为本技术实施例中纵向联邦学习建模优化方法涉及的硬件运行环境的设备结构示意图。
52.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
53.应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
54.本技术实施例提供一种纵向联邦预测优化方法，在本技术纵向联邦预测优化方法的第一实施例中，参照图1，所述纵向联邦预测优化方法应用于第一设备，所述纵向联邦预测优化方法包括：
55.步骤s10，获取待预测样本，并基于目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到；
56.在本实施例中，需要说明的是，所述纵向联邦预测优化方法应用于纵向联邦学习场景，第一设备和第二设备均为纵向联邦学习场景的参与方。其中，第一设备具备携带样本标签的样本，第二设备具备无样本标签的样本，且第一设备为预测方，用于执行预测任务，第二设备为辅助数据提供方，用于为第一设备提供残差提升信息，以提升第一设备生成的预测结果的准确度。
57.在一种可实施的方式中，所述目标预测模型可以为多层神经网络，也可以为深度因子分解机模型，用于对待预测样本进行分类，例如。假设目标预测模型最后一层全连接层的输出为z，激活函数为sigmoid函数，则分类结果p＝sigmoid(z)，其中，p为待预测样本属于预设样本类别的概率。
58.具体地，在步骤s10中，获取待预测样本，进而将待预测样本输入目标预测模型进行数据处理，其中，数据处理的过程包括卷积、池化和全连接等，以获取目标预测模型的最后一层全连接层的输出，得到目标全连接层输出，并通过预设激活函数，将所述目标全连接层输出转换为第一方模型预测结果，其中，所述第一方模型预测结果可以为分类概率。
59.其中，在所述基于目标预测模型对所述待预测样本执行模型预测，获得第一方模型预测结果的步骤之前，所述纵向联邦预测优化方法还包括：
60.步骤a10，提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签；
61.在本实施例中，需要说明的是，所述训练样本的数量至少为1，所述训练样本标签为所述训练样本的标识，所述第一方初始模型权重为第一设备中预先设置的表示模型的预测准确度的模型权重的初始值。其中，可设置模型权重等于预测模型分类正确的样本数与分类错误的样本数的比值的对数值，可选地，模型权重的初始值可设置为1。
62.步骤a20，基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得所述目标预测模型；
63.在本实施例中，需要说明的是，所述待训练目标预测模型的迭代训练过程包括多个迭代轮次，其中，一个迭代轮次需要基于预设数量的训练样本进行迭代训练。
64.具体地，在步骤a20中，通过将所述训练样本输入所述待训练目标预测模型中执行模型预测，获得训练模型预测结果，并基于所述训练样本、所述训练模型预测结果和所述第一方初始模型权重，计算第一方模型预测损失，进而判断所述第一方模型预测损失是否收敛.若所述第一方模型预测损失收敛，则将所述待训练目标预测模型作为所述目标预测模型；若所述第一方模型预测损失未收敛，则基于所述第一方模型预测损失计算的梯度，通过预设模型优化方法，更新所述待训练目标预测模型，以及基于所述训练模型预测结果和所述训练样本标签，更新所述第一方初始模型权重，并返回执行步骤：获取训练样本和所述训练样本对应的训练样本标签，进行下一轮迭代。其中，所述预设模型优化方法包括梯度下降法和梯度上升法等，所述基于所述训练样本、所述训练模型预测结果和所述第一方初始模型权重，计算第一方模型预测损失的计算式如下：
[0065][0066]
其中，l
a
(θ
a
,α
a
,x
a
,y)为第一方模型预测损失，n
a
为一轮迭代中训练样本的数量，θ
a
为所述待训练目标预测模型，α
a
为所述第一方初始模型权重，x
a
为n
a
个训练样本组成的训练样本集合，y为n
a
个训练样本对应的训练样本标签所组成的标签集合，y
i
为一轮迭代中第i个训练样本标签，x
a,i
为一轮迭代中中第i个训练样本的特征。
[0067]
进一步地，在步骤a20之后，第一设备统计所述目标预测模型在迭代训练过程中分类正确的样本数量以及分类错误的样本数量，获得第一方分类正确样本数和第一方分类错误样本数。通过计算所述第一方分类正确样本数和所述第一方分类错误样本数的比值，生成第一方模型权重，其中，计算所述第一方模型权重的计算式如下：
[0068][0069]
其中，α
a
为所述第一方模型权重，a为所述第一方分类正确样本数，b为所述第一方分类错误样本数。
[0070]
步骤a30，将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备基于待训练残差提升模型、所述训练样本对应的训练id匹配样本、所述样本标签和获取的第二方初始模型权重，计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型。
[0071]
在本实施例中，需要说明的是，所述第二方初始模型权重为第二设备中预先设置的表示模型的预测准确度的模型权重的初始值，可设置模型权重等于预测模型分类正确的样本数与分类错误的样本数的比值的对数值，可选地，模型权重的初始值可设置为1。
[0072]
具体地，在步骤a30中，将所述目标预测模型在迭代训练过程中每一训练样本对应
的训练样本标签、对应的第一方模型预测损失和对应的训练样本id发送至所述第二设备。进而第二设备提取训练样本id，并基于所述训练样本id，查找所述待预测样本对应的训练id匹配样本，进而第二设备通过将训练id匹配样本输入待训练残差提升模型中执行模型预测，获得所述训练id匹配样本对应的第二方训练模型预测结果。基于所述训练id匹配样本对应的第二方训练模型预测结果、对应的训练样本标签和获取的第二方初始模型权重，计算第二方模型预测损失。其中，计算所述第二方模型预测损失的过程具体可参照第一设备计算第一方模型预测损失的过程，在此不再赘述。第二设备再基于所述第一方模型预测损失和所述第二方模型预测损失，计算残差损失，并判断所述残差损失是否收敛。若所述残差损失收敛，则将所述待训练残差提升模型作为所述纵向联邦残差提升模型；若所述残差损失未收敛，则基于所述残差损失计算的梯度，更新所述待训练残差提升模型，以及基于所述训练id匹配样本对应的第二方训练模型预测结果和对应的样本标签，更新所述第二方初始模型权重，并返回执行步骤：第二设备提取训练样本id，进行下一次迭代。其中，所述第二设备计算残差损失的具体算式如下：
[0073][0074]
其中，l(θ
b
,α
b
,x
b
,y)为所述残差损失，n
c
为一轮迭代中训练id匹配样本的数量，θ
b
为所述待训练残差提升模型，α
b
为所述第二方初始模型权重，x
b
为n
c
个训练id匹配样本组成的训练样本集合，y为n
c
个训练id匹配样本对应的训练样本标签所组成的标签集合，为一轮迭代中第i个训练样本标签，为一轮迭代中第i个训练id匹配样本的特征，为n
c
个所述训练id匹配样本对应的第一方模型预测损失。
[0075]
进一步地，第二设备统计所述纵向联邦残差提升模型在迭代训练过程中分类正确的样本数量以及分类错误的样本数量，获得第二方分类正确样本数和第二方分类错误样本数，进而通过计算所述第二方分类正确样本数和所述第二方分类错误样本数的比值，生成第二方模型权重。其中，第二设备生成第二方模型权重的具体过程可参照第一设备生成第一方模型权重的具体过程，在此不再赘述。
[0076]
步骤s20，接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重。
[0077]
在本实施例中，需要说明的是，所述纵向联邦残差提升模型可以由所述第二设备基于纵向联邦公共样本，联合所述第一设备中的样本标签和所述目标预测模型在所述纵向联邦公共样本上的模型预测损失，与第一设备进行基于纵向联邦学习的残差学习得到。所述第二设备基于纵向联邦公共样本，联合所述第一设备中的样本标签和所述目标预测模型在所述纵向联邦公共样本上的模型预测损失，与第一设备进行基于纵向联邦学习的残差学习得到纵向联邦残差提升模型的具体过程可参照上述步骤a10至步骤a30，在此不再赘述。其中，所述纵向联邦公共样本为第二设备中与第一设备中id对齐的样本，也即为所述第一设备中训练样对应的训练id匹配样本。
[0078]
具体地，在步骤s20中，第二设备通过将待预测样本对应的id匹配样本输入纵向联
邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果，进而第二设备将第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重发送至第一设备，进而第一设备接收所述第二设备发送的第二方模型预测结果和第二方模型权重。
[0079]
其中，在所述接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重的步骤之前，所述纵向联邦预测优化方法还包括：
[0080]
步骤b10，将所述待预测样本对应的待预测样本id发送至所述第二设备，以供所述第二设备查找所述待预测样本id对应的id匹配样本；
[0081]
在本实施例中，需要说明的是，所述待预测样本id为所述待预测样本的样本id。
[0082]
步骤b20，若接收到所述第二设备发送的查找失败信息，则将所述第一方模型预测结果作为目标预测结果；
[0083]
具体地，在步骤b20中，若接收到所述第二设备发送的查找失败信息，则证明所述待预测样本不为第一设备和第二设备之间的对齐样本，进而将所述第一方模型预测结果作为目标预测结果，以实现基于作为完整模型的目标预测模型，独自对待预测样本进行样本预测的目的。
[0084]
步骤b30，若未接收到所述第二设备发送的查找失败信息，则执行步骤：接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重。
[0085]
在本实施例中，若未接收到所述第二设备发送的查找失败信息，则证明所述待预测样本为所述第一设备和所述第二设备之间的对齐样本，则执行步骤：接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重，以获取第二设备发送的残差提升信息。其中，所述残差提升信息为第二设备中纵向联邦残差提升模型输出的第二方模型预测结果。
[0086]
步骤s30，获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
[0087]
在本实施例中，具体地，获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，通过预设聚合规则对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。其中，所述预设聚合规则包括求和求平均等，进而实现了利用第二设备生成的残差提升信息，提升第一设备对待预测样本进行样本预测的准确度的目的。
[0088]
进一步地，所述目标预测模型可以设置为二分类模型，用于作为推荐模型，也即通过对待预测样本进行二分类，判定是否推荐待预测样本对应的物品或者是否向待预测样本对应的用户进行物品推荐。由于本技术实施例实现了在对对齐样本进行准确度更高的基于残差提升信息的纵向联邦预测的情况下，可基于完整模型，在本地独自对未对齐样本进行准确预测的目的，提升了纵向联邦预测的整体样本预测准确度，所以，提升了推荐模型的整体推荐的准确度。
[0089]
另外，对于现有的纵向联邦预测模型，由于需要联合纵向联邦学习的各参与方才
能进行模型预测，一旦存在参与方发生数据缺失或者发送宕机的情况，则无法基于完整的模型和样本数据，对样本进行预测，进而影响样本预测的准确度。而在本技术实施例中由于目标预测模型由第一设备单独持有，进而即使第二设备发生数据缺失或者发生宕机，第一设备也可以依靠作为完整模型的目标预测模型单独对待预测样本执行样本预测，进而提升了当纵向联邦学习的参与方发生数据缺失或者宕机时样本预测的准确度。
[0090]
本技术实施例提供了一种纵向联邦预测优化方法，相比于现有技术采用的在纵向联邦预测场景中对于未对齐样本，预测方基于本地持有的部分纵向联邦预测模型进行本地预测的技术手段，本技术实施例获取待预测样本，并基于目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果。其中，由于所述目标预测模型由所述第一设备本地迭代训练得到，进而实现了基于本地迭代训练的目标预测模型，对待预测样本在本地进行样本预测的目的。所以，对于若为未对齐样本的待预测样本，第一设备可基于作为完整模型的目标预测模型，独自对待预测样本进行准确的样本预测，进一步地，接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重。对于待预测样本对齐的id匹配样本，第二设备基于纵向联邦残差提升模型对id匹配样本执行模型预测可生成待预测样本对应的残差提升信息，也即第二方模型预测结果，进而获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，即可获得目标联邦预测结果。所以对于若为第一设备和第二设备之间的对齐样本的待预测样本，第一设备可借助第二设备基于纵向联邦残差提升模型针对待预测样本对齐的id匹配样本生成的残差提升信息(第二方模型预测结果)，提升目标预测模型输出的第一方模型预测结果的准确度，实现对待预测样本进行基于残差提升信息的纵向联邦预测。所以，实现了在对对齐样本进行准确度更高基于残差提升信息的纵向联邦预测的情况下，可基于完整模型，在本地独自对未对齐样本进行准确预测的目的，克服了预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷，提升了纵向联邦预测的整体样本预测准确度。
[0091]
进一步地，参照图2，在本技术另一实施例中，所述纵向联邦预测优化方法应用于第二设备，所述纵向联邦预测优化方法包括：
[0092]
步骤c10，查找id匹配样本，并基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
[0093]
在本实施例中，需要说明的是，所述纵向联邦残差提升模型由所述第二设备基于纵向联邦公共样本，联合所述第一设备中的样本标签和目标预测模型在所述纵向联邦公共样本上的模型预测损失，与第一设备进行基于纵向联邦学习的残差学习得到。所述第二设备基于纵向联邦公共样本，联合所述第一设备中的样本标签和目标预测模型在所述纵向联邦公共样本上的模型预测损失，与第一设备进行基于纵向联邦学习的残差学习得到纵向联邦残差提升模型的具体过程可参照上述步骤a10至步骤a30中的内容，在此不再赘述。
[0094]
具体地，在步骤c10中，查找待预测样本对应的id匹配样本，并将所述id匹配样本输入纵向联邦残差提升模型进行数据处理。其中，数据处理的过程包括卷积、池化和全连接等，以获取纵向联邦残差提升模型的最后一层全连接层的输出，获得第二方全连接层输出，
并通过预设激活函数，将所述第二方全连接层输出转换为第二方分类概率，进而将所述第二方分类概率作为所述第二方模型预测结果。
[0095]
其中，在所述查找id匹配样本的步骤之后，所述纵向联邦预测优化方法还包括：
[0096]
步骤d10，若查找成功，则执行步骤：基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
[0097]
在本实施例中，若查找成功，则证明第二设备具备待预测样本对应的对齐样本，也即为id匹配样本，进而执行步骤：基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果，以实现基于纵向联邦残差提升模型，生成待预测样本对应的残差提升信息。其中，残差提升信息即为第二方模型预测结果，进而将残差提升信息发送至第一设备，第一设备即可实现基于残差提升信息，提升第一设备对待预测样本的样本预测结果的准确度。
[0098]
步骤d20，若查找失败，则向所述第一设备反馈查找失败信息，以供所述第一设备在接收所述查找失败信息后，将基于目标预测模型针对于所述待预测样本生成的第一方模型预测结果作为目标预测结果。
[0099]
在本实施例中，若查找失败，则证明第二设备不存在待预测样本对应的对齐样本，进而向所述第一设备反馈查找失败信息，第一设备在接收所述查找失败信息后，即可直接将基于目标预测模型针对于所述待预测样本生成的第一方模型预测结果作为目标预测结果，以实现基于作为完整模型的目标预测模型，独自对未对齐样本进行样本预测的目的。
[0100]
其中，在所述基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果的步骤之前，所述纵向联邦预测优化方法还包括：
[0101]
步骤e10，获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失。其中，所述第一方模型预测损失由所述第一设备基于待训练目标预测模型在所述训练样本上的训练模型预测结果和所述训练样本标签计算得到；
[0102]
在本实施例中，需要说明的是，所述第一设备生成第一方模型预测损失的具体过程可参照上述步骤a10至步骤a20中的具体内容，在此不再赘述。
[0103]
另外地，需要说明的是，所述第一设备需要将目标预测模型在迭代训练过程中所有训练样本对应的训练样本id、对应的训练样本标签和对应的第一方模型预测损失均发送至第二设备。
[0104]
步骤e20，获取训练id匹配样本，并基于待训练残差提升模型，对所述训练id匹配样本执行模型预测，获得第二方训练模型预测结果；
[0105]
具体地，在步骤e20中，在接收第一设备发送的目标预测模型对应的各训练样本的训练样本id后，提取训练样本id，并查找所述训练样本id对应的训练id匹配样本，进而通过将所述训练id匹配样输入待训练残差提升模型中执行模型预测，得到第二方训练模型预测结果。
[0106]
步骤e30，基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失；
[0107]
具体地，提取所述训练id匹配样本对应的训练样本对应的训练样本标签，并基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失。其中，所述基于所述训练样本标签、所述第二方训练模型预测结果和所述
第二方初始模型权重，计算第二方模型预测损失的具体计算式如下：
[0108][0109]
其中，l
b
(θ
b
,α
b
,x
b
,y)为所述第二方模型预测损失，n
c
为一轮迭代中训练id匹配样本的数量，θ
b
为所述待训练残差提升模型，α
b
为所述第二方初始模型权重，x
b
为n
c
个训练id匹配样本组成的训练样本集合，y为n
c
个训练id匹配样本对应的训练样本标签所组成的标签集合，为一轮迭代中第i个训练样本标签，为一轮迭代中第i个训练id匹配样本的特征。
[0110]
步骤e40，基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型。
[0111]
具体地，基于所述第一方模型预测损失和所述第二方模型预测损失，计算残差损失，进而判断所述残差损失是否收敛.若所述残差提升模型收敛，则将所述待训练残差提升模型作为所述纵向联邦残差提升模型；若所述残差损失未收敛，则基于所述残差损失计算的梯度，通过预设模型优化方法更新所述待训练残差提升模型，以及基于所述训练id匹配样本对应的第二方训练模型预测结果和对应的训练样本标签，更新所述第二方初始模型权重，并返回执行步骤：获取训练id匹配样本，进行下一轮迭代。其中，所述基于所述第一方模型预测损失和所述第二方模型预测损失，计算残差损失的具体过程可参照步骤a30中的具体内容，在此不再赘述。
[0112]
进一步地，第二设备统计所述待训练残差提升模型在迭代训练过程中分类正确的样本数量以及分类错误的样本数量，获得第二方分类正确样本数和第二方分类错误样本数，进而通过计算所述第二方分类正确样本数和所述第二方分类错误样本数的比值，生成第二方模型权重。其中，第二设备生成第二方模型权重的具体过程可参照第一设备生成第一方模型权重的具体过程，在此不再赘述。
[0113]
步骤c20，获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到。
[0114]
在本实施例中，需要说明的是，所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成第一方模型预测结果的具体过程可参照步骤s10中的具体步骤，在此不再赘述。
[0115]
具体地，获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型对应的第一方模型权重和所述第二方模型权重，通过预设聚合规则，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果，进而实现了基于第二设备的残差提升信息，优化第一设备中对待预测样本的第一方模型预测结果，以提升第一设备对待预测样本的样本预测结果的准确度。
[0116]
本技术实施例提供了一种纵向联邦预测优化方法，相比于现有技术采用的在纵向联邦预测场景中对于未对齐样本，预测方基于本地持有的部分纵向联邦预测模型进行本地预测的技术手段，本技术实施例首先查找id匹配样本，并基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果。实现了生成第一设备中待预测样本对应的残差提升信息的目的。进而获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对于所述id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。其中，所述目标预测模型由所述第一设备本地迭代训练得到，进而实现了对于对齐样本，利用第二设备生成的残差提升信息，优化第一设备生成的第一方模型预测结果，以生成样本预测准确度更高的目标联邦预测结果，且由于所述目标预测模型由所述第一设备本地迭代训练得到，对于未对齐样本，第一设备也可基于作为完整模型的目标预测模型，在本地独自对待预测样本完成样本预测，克服了预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷，提升了纵向联邦预测的整体样本预测准确度。
[0117]
进一步地，参照图3，在本技术另一实施例中，还提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第一设备，所述纵向联邦学习建模优化方法包括：
[0118]
步骤f10，提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签；
[0119]
在本实施例中，需要说明的是，所述纵向联邦学习建模优化方法应用于纵向联邦学习场景，第一设备和第二设备均为纵向联邦学习场景的参与方。其中，第一设备具备携带样本标签的样本，第二设备具备无样本标签的样本，且第一设备为预测方，用于构建预测模型，第二设备为辅助数据提供方，用于构建为第一设备提供残差提升信息的纵向联邦残差提升模型，以提升第一设备中预测模型生成的预测结果的准确度。
[0120]
另外，需要说明的是，所述训练样本的数量至少为1，所述训练样本标签为所述训练样本的标识，所述第一方初始模型权重为第一设备中预先设置的表示模型的预测准确度的模型权重的初始值。其中，可设置模型权重等于预测模型分类正确的样本数与分类错误的样本数的比值的对数值，可选地，模型权重的初始值可设置为1。
[0121]
步骤f20，基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型；
[0122]
具体地，通过将所述训练样本输入所述待训练目标预测模型中执行模型预测，获得训练模型预测结果，并基于所述训练样本、所述训练模型预测结果和所述第一方初始模型权重，计算第一方模型预测损失，进而判断所述第一方模型预测损失是否收敛。若所述第一方模型预测损失收敛，则将所述待训练目标预测模型作为所述目标预测模型；若所述第一方模型预测损失未收敛，则基于所述第一方模型预测损失计算的梯度，通过预设模型优化方法，更新所述待训练目标预测模型，以及基于所述训练模型预测结果和所述训练样本
标签，更新所述第一方初始模型权重，并返回执行步骤：获取训练样本和所述训练样本对应的训练样本标签，进行下一轮迭代。其中，所述预设模型优化方法包括梯度下降法和梯度上升法等，所述基于所述训练样本、所述训练模型预测结果和所述第一方初始模型权重，计算第一方模型预测损失的计算过程可参照步骤a20中的具体内容，在此不再赘述。
[0123]
其中，所述基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型的步骤包括：
[0124]
步骤f21，基于所述待训练目标预测模型，对所述训练样本执行模型预测，获得训练模型预测结果；
[0125]
具体地，在步骤f21中，将所述训练样本输入至所述待训练目标预测模型进行数据处理。其中，所述数据处理的过程包括卷积、池化和全连接等，以获取待训练目标预测模型的最后一层全连接层的输出，得到训练全连接层输出，进而基于预设激活函数，将所述训练全连接层输出转化为所述训练模型预测结果。
[0126]
步骤f22，基于所述训练样本标签、所述训练模型预测结果和所述第一方初始模型权重，计算第一方模型预测损失；
[0127]
在本实施例中，需要说明的是，步骤f22的具体计算过程可参照步骤a20中的内容，在此不再赘述。
[0128]
步骤f23，基于所述训练模型预测结果和所述训练样本标签，更新所述第一方初始模型权重；
[0129]
具体地，在步骤f23中，基于所述训练模型预测结果和所述训练样本标签，更新所述待训练残差提升模型对应的当前分类错误样本数和当前分类正确样本数，进而通过计算所述当前分类正确样本数和所述当前分类错误样本数的比值，重新计算第一方初始模型权重。其中，重新计算第一方初始模型权重的过程具体可参照步骤a20之后第一设备计算第一方模型权重的具体过程，在此不再赘述。
[0130]
步骤f24，基于所述第一方模型预测损失和更新后的第一方初始模型权重，迭代优化所述待训练目标预测模型，获得所述目标预测模型。
[0131]
具体地，判断所述第一方模型预测损失是否收敛。若所述第一方模型预测损失收敛，则将所述待训练目标预测模型作为所述目标预测模型，以及将更新后的第一方初始模型权重作为所述第一方模型权重；若所述第一方模型预测损失未收敛，则基于所述第一方模型预测损失计算的梯度，通过预设模型优化方法，更新所述待训练目标预测模型，并返回执行步骤：获取训练样本和所述训练样本对应的训练样本标签，以实现基于更新后的待训练目标预测模型和更新后的第一方初始模型权重，进行下一轮迭代。
[0132]
其中，在所述基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
[0133]
步骤g10，获取所述目标预测模型对应的第一方分类正确样本数和对应的第一方分类错误样本数；
[0134]
在本实施例中，需要说明的是，所述第一方分类正确样本数为所述目标预测模型在迭代训练过程中针对于训练样本的输出分类标签和对应的训练样本标签一致的训练样
本的数量，所述第一方分类错误样本数为所述目标预测模型在迭代训练过程中针对于训练样本的输出分类标签和对应的训练样本标签不一致的训练样本的数量。
[0135]
步骤g20，通过计算所述第一方分类正确样本数和所述第一方分类错误样本数的比值，生成第一方模型权重。
[0136]
在本实施例中，步骤g20的具体计算过程如下：
[0137][0138]
其中，α
a
为所述第一方模型权重，a为所述第一方分类正确样本数，b为所述第一方分类错误样本数。
[0139]
步骤f30，将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型。
[0140]
在本实施例中，需要说明的是，所述第二方模型预测损失基于待训练残差提升模型、所述训练样本对应的训练id匹配样本、所述样本标签和获取的第二方初始模型权重进行计算得到。
[0141]
具体地，将所述目标预测模型在迭代训练过程中所有训练样本对应的训练样本标签、对应的第一方模型预测损失和对应的训练样本id发送至第二设备，进而第二设备提取训练样本id，并基于所述训练样本id，查找所述训练样本id对应的训练id匹配样本，并通过将所述训练id匹配样本输入待训练残差提升模型中执行模型预测，获得第二方训练模型预测结果。进而基于所述训练id匹配样本对应的第二方训练模型预测结果、对应的训练样本标签和获取的第二方初始模型权重，计算第二方模型预测损失，进而第二设备基于所述第一方模型预测损失和所述第二方模型预测损失，计算残差损失，并基于所述残差损失，迭代优化待训练残差提升模型，获得纵向联邦残差提升模型。其中，所述第二设备构建纵向联邦残差提升模型的具体过程可参照步骤a10至步骤a30中的具体内容，在此不再赘述。
[0142]
其中，在所述将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
[0143]
步骤h10，获取待预测样本，并基于所述目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果；
[0144]
在本实施例中，具体地，获取待预测样本，进而将待预测样本输入目标预测模型进行数据处理，其中，数据处理的过程包括卷积、池化和全连接等，以获取目标预测模型的最后一层全连接层的输出，得到目标全连接层输出，并通过预设激活函数，将所述目标全连接层输出转换为分类概率，进而将所述分类概率作为所述第一方模型预测结果。
[0145]
步骤h20，接收所述第二设备基于所述纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述第二方模型权重；
[0146]
在本实施例中，具体地，将所述待预测样本的待预测样本id发送至第二设备，进而第二设备基于所述待预测样本id，查找id匹配样本。若第二设备查找成功，则第二基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果，并将所述
第二方预测结果和所述纵向联邦残差提升模型对应的第二方模型权重发送至第一设备，进而第一设备接收所述第二方模型预测结果和所述第二方模型权重；若第二设备查找失败，则向第一设备反馈查找设备信息，进而若第一设备接收到查找设备信息，则证明所述待预测样本为未对齐样本，进而直接将所述第一方模型预测结果作为目标预测结果，以实现基于作为完整的目标预测模型，对未对齐样本进行样本预测的目的。
[0147]
步骤h30，基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
[0148]
在本实施例中，具体地，基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，通过预设聚合规则对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
[0149]
本技术实施例提供了一种纵向联邦学习建模优化方法，首先提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签，进而基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型，实现了在第一设备本地构建作为完整模型的目标预测模型的目的。进而将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型，实现了基于纵向联邦学习的残差学习，在第二设备处构建纵向联邦残差提升模型的目的。进而基于第一设备的目标预测模型和第二设备处的纵向联邦残差提升模型，即可实现对对齐样本进行准确度更高的基于残差提升信息的纵向联邦预测，同时基于作为完整模型的目标预测模型，在本地独自对未对齐样本进行准确预测，为克服预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷奠定了基础。
[0150]
进一步地，参照图4，在本技术另一实施例中，还提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第二设备，所述纵向联邦学习建模优化方法包括：
[0151]
步骤q10，获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失。其中，所述第一方模型预测损失由所述第一设备基于目标预测模型在所述训练id匹配样本对应的训练样本上的第一方模型预测结果和所述训练样本标签计算得到；
[0152]
在本实施例中，需要说明的是，所述第一设备计算第一方模型预测损失的具体过程可参照步骤a10至步骤a20中的具体内容，在此不再赘述。
[0153]
获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失，具体地，获取第二方初始模型权重，并接收第一设备发送的目标预测模型在迭代训练过程中所有训练样本对应的训练样本标签和对应的第一方模型预测损失。
[0154]
步骤q20，获取训练id匹配样本，并基于待训练残差提升模型，对所述训练id匹配样本执行模型预测，获得第二方训练模型预测结果；
[0155]
具体地，在接收第一设备发送的目标预测模型对应的所有训练样本对应的训练样
本id之后，提取训练样本id，并查找所述训练样本id对应的训练id匹配样本，进而通过将所述训练id匹配样本输入待训练残差提升模型中执行模型预测，获得第二方训练模型预测结果。
[0156]
步骤q30，基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失；
[0157]
在本实施例中，需要说明的是，步骤q30中第二设备计算第二方模型预测损失的具体过程可参照步骤e30中的具体内容，在此不再赘述。
[0158]
步骤q40，基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型。
[0159]
具体地，基于所述第一方模型预测损失和所述第二方模型预测损失，计算残差损失，进而判断所述残差损失是否收敛。若所述残差提升模型收敛，则将所述待训练残差提升模型作为所述纵向联邦残差提升模型；若所述纵向联邦残差提升模型未收敛，则基于所述残差损失计算的梯度，通过预设模型优化方法更新所述待训练残差提升模型，以及基于所述训练id匹配样本对应的第二方训练模型预测结果和对应的样本标签，更新所述第二方初始模型权重，并返回执行步骤：获取训练id匹配样本，进行下一轮迭代。其中，所述基于所述第一方模型预测损失和所述第二方模型预测损失，计算残差损失的具体过程可参照步骤a30中的具体内容，在此不再赘述。
[0160]
其中，在所述基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
[0161]
步骤w10，获取所述纵向联邦残差提升模型对应的第二方分类正确样本数和对应的第二方分类错误样本数；
[0162]
在本实施例中，需要说明的是，所述第二方分类正确样本数为所述纵向联邦残差提升模型在迭代训练过程中针对于训练id匹配样本的输出分类标签和对应的训练样本标签一致的训练id匹配样本的数量，所述第二方分类错误样本数为所述纵向联邦残差提升模型在迭代训练过程中针对于训练id匹配样本的输出分类标签和对应的训练样本标签不一致的训练id匹配样本的数量。
[0163]
步骤w20，通过计算所述第二方分类正确样本数和所述第二方分类错误样本数的比值，生成第二方模型权重。
[0164]
在本实施例中，步骤w20的具体计算过程如下：
[0165][0166]
其中，α
a
为所述第二方模型权重，a为所述第二方分类正确样本数，b为所述第二方分类错误样本数。
[0167]
其中，在所述基于所述残差损失，迭代优化所述待训练残差提升模型，获得纵向联邦残差提升模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
[0168]
步骤r10，查找id匹配样本，并基于所述纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
[0169]
具体地，接收第一设备发送的待预测样本对应的待预测样本id，并查找所述待预
测样本id对应的id匹配样本，并通过将所述id匹配样本输入纵向联邦残差提升模型中执行模型预测，获得第二方模型预测结果。其中，第二设备生成第二方模型预测结果的具体过程可参照步骤c10中的具体内容，在此不再赘述。
[0170]
步骤r20，将所述第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到。
[0171]
在本实施例中，需要说明的是，所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成第一方模型预测结果的具体过程可参照步骤s10中的具体步骤，在此不再赘述。
[0172]
具体地，获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型对应的第一方模型权重和所述第二方模型权重，通过预设聚合规则，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果，进而实现了基于第二设备的残差提升信息，优化第一设备中对待预测样本的第一方模型预测结果，以提升第一设备对待预测样本的样本预测结果。
[0173]
本技术实施例提供了一种纵向联邦学习建模优化方法，获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失，其中，所述第一方模型预测损失由所述第一设备基于目标预测模型在所述训练id匹配样本对应的训练样本上的第一方模型预测结果和所述训练样本标签计算得到。进而获取训练id匹配样本，并基于待训练残差提升模型，对所述训练id匹配样本执行模型预测，获得第二方训练模型预测结果基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失。基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型，实现了联合第一设备进行基于纵向联邦学习的残差学习的目的。进而基于纵向联邦残差提升模型即可对于对齐样本，利用第二设备生成的残差提升信息，优化第一设备生成的第一方模型预测结果，以生成样本预测准确度更高的目标联邦预测结果，为克服预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷奠定了基础。
[0174]
参照图5，图5是本技术实施例方案涉及的硬件运行环境的设备架构示意图。
[0175]
如图5所示，该纵向联邦预测优化设备可以包括：处理器1001，例如cpu，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
[0176]
可选地，该纵向联邦预测优化设备还可以包括矩形用户接口、网络接口、摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。矩形用户接口可以包括显示屏(display)、输入子模块比如键盘(keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接
口)。
[0177]
本领域技术人员可以理解，图5中示出的纵向联邦预测优化设备架构并不构成对纵向联邦预测优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0178]
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及纵向联邦预测优化程序。操作系统是管理和控制纵向联邦预测优化设备硬件和软件资源的程序，支持纵向联邦预测优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与纵向联邦预测优化系统中其它硬件和软件之间通信。
[0179]
在图5所示的纵向联邦预测优化设备中，处理器1001用于执行存储器1005中存储的纵向联邦预测优化程序，实现上述任一项所述的纵向联邦预测优化方法的步骤。
[0180]
本技术纵向联邦预测优化设备具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
[0181]
参照图6，图6是本技术实施例方案涉及的硬件运行环境的设备结构示意图。
[0182]
如图6所示，该纵向联邦学习建模优化设备可以包括：处理器1001，例如cpu，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
[0183]
可选地，该纵向联邦学习建模优化设备还可以包括矩形用户接口、网络接口、摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。矩形用户接口可以包括显示屏(display)、输入子模块比如键盘(keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)。
[0184]
本领域技术人员可以理解，图6中示出的纵向联邦学习建模优化设备结构并不构成对纵向联邦学习建模优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0185]
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及纵向联邦学习建模优化程序。操作系统是管理和控制纵向联邦学习建模优化设备硬件和软件资源的程序，支持纵向联邦学习建模优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与纵向联邦学习建模优化系统中其它硬件和软件之间通信。
[0186]
在图6所示的纵向联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储的纵向联邦学习建模优化程序，实现上述任一项所述的纵向联邦学习建模优化方法的步骤。
[0187]
本技术纵向联邦学习建模优化设备具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
[0188]
本技术实施例还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置应用于第一设备，所述纵向联邦预测优化装置包括：
[0189]
模型预测模块，用于获取待预测样本，并基于目标预测模型，对所述待预测样本执
行模型预测，获得第一方模型预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到；
[0190]
接收模块，用于接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重。其中，所述纵向联邦残差提升模型由所述第二设备基于纵向联邦公共样本，联合所述第一设备中的样本标签和所述目标预测模型在所述纵向联邦公共样本上的模型预测损失，与第一设备进行基于纵向联邦学习的残差学习得到；
[0191]
加权聚合模块，用于获取所述目标预测模型对应的第一方模型权重，并基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
[0192]
可选地，所述纵向联邦预测优化装置还用于：
[0193]
将所述待预测样本对应的待预测样本id发送至所述第二设备，以供所述第二设备查找所述待预测样本id对应的id匹配样本；
[0194]
若接收到所述第二设备发送的查找失败信息，则将所述第一方模型预测结果作为目标预测结果；
[0195]
若未接收到所述第二设备发送的查找失败信息，则执行步骤：接收所述第二设备基于纵向联邦残差提升模型对所述待预测样本执行模型预测生成的第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重。
[0196]
可选地，所述纵向联邦预测优化装置还用于：
[0197]
提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签；
[0198]
基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得所述目标预测模型；
[0199]
将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备基于待训练残差提升模型、所述训练样本对应的训练id匹配样本、所述样本标签和获取的第二方初始模型权重，计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型。
[0200]
本技术纵向联邦预测优化装置的具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
[0201]
本技术实施例还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置应用于第二设备，所述纵向联邦预测优化装置包括：
[0202]
模型预测模块，用于查找id匹配样本，并基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果。其中，所述纵向联邦残差提升模型由所述第二设备基于纵向联邦公共样本，联合所述第一设备中的样本标签和目标预测模型在所述纵向联邦公共样本上的模型预测损失，与第一设备进行基于纵向联邦学习的残差学习得到；
[0203]
发送模块，用于获取所述纵向联邦残差提升模型对应的第二方模型权重，并将所
述第二方模型预测结果和所述第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到。
[0204]
可选地，所述纵向联邦预测优化装置还用于：
[0205]
若查找成功，则执行步骤：基于纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
[0206]
若查找失败，则向所述第一设备反馈查找失败信息，以供所述第一设备在接收所述查找失败信息后，将基于目标预测模型针对于所述待预测样本生成的第一方模型预测结果作为目标预测结果。
[0207]
本技术纵向联邦预测优化装置的具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
[0208]
本技术实施例还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置应用于第一设备，所述纵向联邦学习建模优化装置包括：
[0209]
获取模块，用于提取第一方初始模型权重，并获取训练样本和所述训练样本对应的训练样本标签；
[0210]
迭代优化模块，用于基于所述训练样本、所述训练样本标签和所述第一方初始模型权重，通过计算待训练目标预测模型对应的第一方模型预测损失，迭代训练优化所述待训练目标预测模型，获得目标预测模型；
[0211]
发送模块，用于将所述训练样本标签和所述第一方模型预测损失发送至第二设备，以供所述第二设备计算第二方模型预测损失，并基于所述第二方模型预测损失和所述第一方模型预测损失计算的残差损失，优化所述待训练残差提升模型，获得纵向联邦残差提升模型。其中，所述第二方模型预测损失基于待训练残差提升模型、所述训练样本对应的训练id匹配样本、所述样本标签和获取的第二方初始模型权重进行计算得到。
[0212]
可选地，所述迭代优化模块还用于：
[0213]
基于所述待训练目标预测模型，对所述训练样本执行模型预测，获得训练模型预测结果；
[0214]
基于所述训练样本标签、所述训练模型预测结果和所述第一方初始模型权重，计算第一方模型预测损失；
[0215]
基于所述训练模型预测结果和所述训练样本标签，更新所述第一方初始模型权重；
[0216]
基于所述第一方模型预测损失和更新后的第一方初始模型权重，迭代优化所述待训练目标预测模型，获得所述目标预测模型。
[0217]
可选地，所述纵向联邦学习建模优化装置还用于：
[0218]
获取所述目标预测模型对应的第一方分类正确样本数和对应的第一方分类错误样本数；
[0219]
通过计算所述第一方分类正确样本数和所述第一方分类错误样本数的比值，生成第一方模型权重。
[0220]
可选地，所述纵向联邦学习建模优化装置还用于：
[0221]
获取待预测样本，并基于所述目标预测模型，对所述待预测样本执行模型预测，获得第一方模型预测结果；
[0222]
接收所述第二设备基于所述纵向联邦残差提升模型对所述待预测样本对应的id匹配样本执行模型预测生成的第二方模型预测结果和所述第二方模型权重；
[0223]
基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
[0224]
本技术纵向联邦学习建模优化装置的具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
[0225]
本技术实施例还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置应用于第二设备，所述纵向联邦学习建模优化装置包括：
[0226]
接收模块，用于获取第二方初始模型权重，并接收第一设备发送的训练样本标签和第一方模型预测损失，其中，所述第一方模型预测损失由所述第一设备基于目标预测模型在所述训练id匹配样本对应的训练样本上的第一方模型预测结果和所述训练样本标签计算得到；
[0227]
模型预测模块，用于获取训练id匹配样本，并基于待训练残差提升模型，对所述训练id匹配样本执行模型预测，获得第二方训练模型预测结果；
[0228]
损失计算模块，用于基于所述训练样本标签、所述第二方训练模型预测结果和所述第二方初始模型权重，计算第二方模型预测损失；
[0229]
迭代优化模块，用于基于所述第一方模型预测损失和所述第二方模型预测损失生成的残差损失，迭代优化所述待训练残差提升模型，获得所述纵向联邦残差提升模型。
[0230]
可选地，所述纵向联邦学习建模优化装置还用于：
[0231]
获取所述纵向联邦残差提升模型对应的第二方分类正确样本数和对应的第二方分类错误样本数；
[0232]
通过计算所述第二方分类正确样本数和所述第二方分类错误样本数的比值，生成第二方模型权重。
[0233]
可选地，所述纵向联邦学习建模优化装置还用于：
[0234]
查找id匹配样本，并基于所述纵向联邦残差提升模型，对所述id匹配样本执行模型预测，获得第二方模型预测结果；
[0235]
将所述第二方模型预测结果和所述纵向联邦残差提升模型对应的第二方模型权重发送至第一设备，以供所述第一设备基于目标预测模型针对于所述训练id匹配样本对应的待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，其中，所述目标预测模型由所述第一设备本地迭代训练得到。
[0236]
本技术纵向联邦学习建模优化装置的具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
[0237]
本技术实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦预测优化方法的步骤。
[0238]
本技术可读存储介质具体实施方式与上述纵向联邦预测优化方法各实施例基本
相同，在此不再赘述。
[0239]
本技术实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦学习建模优化方法的步骤。
[0240]
本技术可读存储介质具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
[0241]
本技术实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦预测优化方法的步骤。
[0242]
本技术计算机程序产品具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
[0243]
本技术实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦学习建模优化方法的步骤。
[0244]
本技术计算机程序产品具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
[0245]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。