基于联邦学习进行模型参数更新的方法及系统与流程

1.本说明书涉及计算机技术领域，特别涉及一种基于联邦学习进行模型参数更新的方法。本说明书同时涉及一种基于联邦学习进行模型参数更新的系统，一种计算设备，以及一种计算机可读存储介质。


背景技术：

2.随着人工智能技术的发展，深度神经网络模型(dnn)已逐渐应用于风险评估、语音识别、自然语言处理等领域，但由于不同应用场景下的dnn网络结构相对固定，所以为实现更好的模型性能，通常采用联邦学习对dnn模型进行优化，所述联邦学习是通过第三方平台基于多个企业的数据，对同一类型的dnn模型进行优化，从而提升dnn模型精度，并且，能够杜绝信息泄露，保证企业和机构的用户隐私和商业机密。
3.但在联邦学习的过程中，由于直接利用第三方平台的模型替代企业的本地模型，无法实现针对企业数据的个性化表征，使得企业无法获得个性化的模型，降低了模型的多样性。


技术实现要素：

4.有鉴于此，本说明书实施例提供了一种基于联邦学习进行模型参数更新的方法。本说明书同时涉及一种基于联邦学习进行模型参数更新的系统，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面，提供了一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员设备实现，其中，所述参与方包括多个训练成员设备以及服务器，
6.所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：
7.获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型；
8.计算所述待训练模型和所述聚合模型对应的模型参数之间的相关性系数，其中，所述对应的模型参数之间的相关性越高，所述相关性系数越大；
9.从所述相关性系数中确定第一相关性系数以及第二相关性系数，其中，所述第一相关性系数大于所述第二相关性系数；
10.将所述待训练模型的、与所述第一相关性系数对应的模型参数更新为所述聚合模型的、与所述第一相关性系数对应的模型参数，并使所述待训练模型的、与所述第二相关性系数对应的模型参数维持不变；以及
11.基于所述训练成员设备自身持有的训练样本，对更新后的所述待训练模型进行训练。
12.根据本说明书实施例的第二方面，提供了一种基于联邦学习进行模型参数更新的系统，所述系统置于参与方中的任一训练成员设备处，其中，所述参与方包括多个训练成员
设备以及服务器，
13.所述系统用于对模型参数进行多轮迭代更新，所述系统包括：
14.模型获取模块，用于获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型；
15.相关性系数计算模块，用于计算所述待训练模型和所述聚合模型对应的模型参数之间的相关性系数，其中，所述对应的模型参数之间的相关性越高，所述相关性系数越大；
16.相关性系数确定模块，用于从所述相关性系数中确定第一相关性系数以及第二相关性系数，其中，所述第一相关性系数大于所述第二相关性系数；
17.模型更新模块，用于将所述待训练模型的、与所述第一相关性系数对应的模型参数更新为所述聚合模型的、与所述第一相关性系数对应的模型参数，并使所述待训练模型的、与所述第二相关性系数对应的模型参数维持不变；以及
18.模型训练模块，用于基于所述训练成员设备自身持有的训练样本，对更新后的所述待训练模型进行训练。
19.根据本说明书实施例的第三方面，提供了一种计算设备，包括：
20.存储器和处理器；
21.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述基于联邦学习进行模型参数更新的方法的步骤。
22.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述基于联邦学习进行模型参数更新的方法的步骤。
23.根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述基于联邦学习进行模型参数更新的方法的步骤。
24.本说明书提供的基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员设备实现，其中，所述参与方包括多个训练成员设备以及服务器，所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型；计算所述待训练模型和所述聚合模型对应的模型参数之间的相关性系数，其中，所述对应的模型参数之间的相关性越高，所述相关性系数越大；从所述相关性系数中确定第一相关性系数以及第二相关性系数，其中，所述第一相关性系数大于所述第二相关性系数；将所述待训练模型的、与所述第一相关性系数对应的模型参数更新为所述聚合模型的、与所述第一相关性系数对应的模型参数，并使所述待训练模型的、与所述第二相关性系数对应的模型参数维持不变；以及基于所述训练成员设备自身持有的训练样本，对更新后的所述待训练模型进行训练。
25.具体地，本说明书实施例提供的基于联邦学习进行模型参数更新的方法中，通过计算待训练模型与聚合模型对应的模型参数之间的相关性系数，并将待训练模型的、与第一相关性系数对应的模型参数更新为聚合模型的、与第一相关性系数对应的模型参数，从而保留了待训练模型的个性化模型参数，且在基于训练样本对更新后的待训练模型进行训练，从而获得个性化的模型，保证了模型的多样性。
附图说明
26.图1是本说明书一实施例提供的一种基于联邦学习进行模型参数更新的方法的流程图；
27.图2是本说明书一实施例提供的一种应用于通过联邦学习对模型进行训练的场景的基于联邦学习进行模型参数更新的方法的处理流程图；
28.图3是本说明书一实施例提供的一种基于联邦学习进行模型参数更新的系统的结构示意图；
29.图4是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
30.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
31.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
32.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
33.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
34.训练成员：参与模型联合训练的每个数据拥有者。
35.联邦学习：又称为联邦机器学习、联合学习，联盟学习。联邦学习是一个机器学习框架，能有效帮助多个企业和机构在满足用户隐私保护、数据安全以及相关规定的要求下，进行数据使用和机器学习建模。
36.non-iid数据集：非独立同分布(not identically and independently distributed)数据集。
37.cifar-10：一个更接近普适物体的彩色图像数据集。
38.resnet-50：一种残差网络。
39.toc：to customer，即面对消费者(泛指用户)。
40.sgd：随机梯度下降(stochastic gradient descent)。
41.随着人工智能技术的发展，深度神经网络(dnn)已逐渐应用于风险评估、语音识别、自然语言处理等领域。而不同应用场景下的dnn网络结构相对固定，因此为实现更好的模型性能，就需要通过更多的训练数据对dnn模型进行训练。
42.在医疗、金融等领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升模型精度，给企业和机构带来巨大的经济效益。然而这些训练数据
包含大量的用户隐私和商业机密，一旦信息泄露，将会对企业和机构(训练成员)造成不可挽回的负面影响，因此通过采用联邦学习对dnn模型进行训练，所述联邦学习是指，训练成员在第三方平台c的协助下对模型进行训练，第三方平台c向训练成员下发公匙，对训练过程中需要交换的数据进行加密。训练成员之间交互加密数据得到梯度的中间结果，进而在第三方平台c的协助下计算得到加密后的梯度和损失。第三方平台c将解密后的梯度分别回传给训练成员，训练成员根据梯度更新各自的模型。
43.而由于数据拥有者(企业和机构)的样本数据所对应的用户不同，用户所处地区不同，数据采集的时间窗口不同，在进行联合训练时，这些样本数据集往往具有不同的特征分布或标签分布，特征之间并非相互独立；这类样本数据集通常称之为non-iid数据集。以标签分布不均匀为例，假设对于cifar-10图片数据集，该数据集中共有十种类图片：飞机、汽车、鸟等；在多方进行联合训练时，某一方只具有其中一种或几种类型的图片，比如训练成员a中只包含飞机图片，训练成员b中只包含汽车图片，依此类推。因此训练成员之间的样本标签分布是不均匀的。
44.此外，随着任务复杂性和对性能要求的逐渐提升，模型的网络层数呈逐渐加深的趋势，模型参数也相应的越来越多，以人脸识别resnet-50为例，原始模型拥有超过2000万个参数，模型大小超过100mb。特别是在toc场景中，由于参与联邦学习的训练成员较多，服务器接收的数据呈几何倍数上升，容易造成通信阻塞，严重影响了整体训练的效率。因此，在进行联邦学习模型传输过程中，采用对整个模型进行压缩上传的方式，以降低通信传输的压力。
45.但是，该方式虽然对整个模型进行压缩上传，但是通信传输的时间同样远大于对模型进行训练时间，严重影响了模型的整体训练效率。同时，联邦学习是基于所有数据集均为相同分布、特征之间相互独立的假设，构建统一的模型，而对于训练成员non-iid数据集的情况，无法实现较好的整体模型性能。并且，在进行模型更新过程中，直接利用服务器中的联邦模型替代训练成员的本地模型方法，无法实现针对本地数据的个性化表征，模型多样性受到影响。此外，在利用sgd等算法进行联邦学习过程中，即使训练成员中为iid数据，但每个batch的数据分布也不尽相同，在进行模型聚合时仍存在较大的性能损失。
46.基于此，本说明书实施时提供的基于联邦学习进行模型参数更新的方法，由参与方中的任一训练成员设备实现，该参与方包括多个训练成员设备以及服务器。以及，该方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新的过程中，训练成员设备在获取训练成员设备的当前轮的待训练模型以及服务器当前轮下发的聚合模型的情况下，能够确定待训练模型和聚合模型对应的模型参数之间的相关性系数，其中对应的模型参数之间的相关性越高，该相关性系数越大。
47.在计算出相关性系数之后，从相关性系数中确定第一相关性系数以及第二相关性系数，并将待训练模型的、与第一相关性系数对应的模型参数更新为聚合模型的、与第一相关性系数对应的模型参数，并使该待训练模型的、与第二相关性系数对应的模型参数维持不变。从而实现了基于联邦模型(聚合模型)和本地模型(待训练模型)的相关性，对本地模型中与该联邦模型相关性较高的层进行联邦更新，从而保留训练成员自身的本地模型中，个性化的模型层。
48.之后，训练成员设备基于训练成员设备自身持有的训练样本，对更新后的待训练
模型进行训练的过程中，由于更新后的待训练模型中包含未被更新的、且个性化表征较高的模型层，从而避免了上述直接将联邦模型替代训练成员的本地模型方法，所导致的无法实现针对本地数据的个性化表征，模型多样性受到影响的问题。
49.并且，通过训练成员自身的non-iid数据集，对包含训练成员自身个性化表征较高的模型层的待训练模型进行训练的过程中，能够实现较好的整体模型性能；并且，避免了由于训练成员自身的每个batch的数据分布不尽相同，导致在进行模型聚合时仍存在较大的性能损失的问题。
50.此外，考虑到在进行联邦学习模型传输过程中，虽然采用对整个模型进行压缩上传的方式，能够在一定程度上降低通信传输的压力；但是该方式虽然对整个模型进行压缩上传，但是通信传输的时间同样远大于对模型进行训练时间，严重影响了模型的整体训练效率。基于此，该基于联邦学习进行模型参数更新的方法中，采用上传部分层模型的方式，降低了联邦训练过程中整体的通信量，提高了训练效率。
51.具体地，在本说明书中，提供了一种基于联邦学习进行模型参数更新的方法，本说明书同时涉及一种基于联邦学习进行模型参数更新的系统，一种计算设备，一种计算机可读存储介质，以及一种计算机程序，在下面的实施例中逐一进行详细说明。
52.参见图1，图1示出了根据本说明书一实施例提供的一种基于联邦学习进行模型参数更新的方法的流程图，其中，所述方法由参与方中的任一训练成员设备实现，其中，所述参与方包括多个训练成员设备以及服务器，所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新具体包括以下步骤：
53.步骤102：获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型。
54.在实际应用中，联邦学习可以包括多个参与方，该多个参与方用于联合建模，且参与方包括多个训练成员设备以及服务器。而多个训练成员设备以及服务器之间能够对待训练模型的模型参数进行多轮迭代更新，从而以联邦学习的方式对待训练模型进行训练。而本说明书实施例提供的基于联邦学习进行模型参数更新的方法，能够由参与方中的任一训练成员设备实现。
55.其中，待训练模型可以理解为训练成员设备中保存的模型，该聚合模型可以理解为服务器向训练成员设备发送的、用于帮助训练成员设备训练自身保存的待训练模型的模型。需要说明的是，该待训练模型与聚合模型为同一类型的模型。而该待训练模型和聚合模型的类型包括但不限于逻辑回归模型、神经网络模型、决策树模型、深度学习网络(dnn)模型等。在实际应用中，本说明书提供的基于联邦学习进行模型参数更新的方法应用的场景不同，该待训练模型以及聚合模型也不同，例如，在基于联邦学习进行模型参数更新的方法应用于风险控制场景时，该待训练模型为本地风控模型，聚合模型为联邦风控模型；在基于联邦学习进行模型参数更新的方法应用于语音识别场景时，该待训练模型为本地语音识别模型，聚合模型为联邦语音识别模型；在基于联邦学习进行模型参数更新的方法应用于自然语言处理场景时，该待训练模型为本地自然语言处理模型，聚合模型为联邦自然语言处理模型；为了避免过多陈述，本说明书以该待训练模型为本地风控模型，聚合模型为联邦风控模型为例进行解释。
56.在实际应用中，多个训练成员设备将加密后的训练数据发送至服务器(第三方平
台)，该第三方平台基于该训练数据生成聚合模型，并将该聚合模型返回至每个训练成员；后续每个训练成员在接收到聚合模型之后，基于训练成员设备基于聚合模型的模型参数对本地待训练模型中的模型参数进行更新，从而实现了通过联邦学习对待训练模型进行训练的同时，也获得保留训练成员个性化的待训练模型。
57.该训练数据可以理解为存储在训练成员本地的用户行为数据，例如，在训练成员为金融企业的情况下，该项目数据可以为用户境内转账记录、用户跨境转账记录等，例如，在训练成员为互联网电商平台的情况下，该项目数据可以为用户的购物记录、用户的商品浏览记录等。
58.在本说明书提供的一实施例中，该服务器当前轮下发的聚合模型是基于多个训练成员设备发送的训练数据所生成的模型；所述获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型之前，还包括：
59.获取所述训练成员设备的模型生成数据，并将所述模型生成数据发送至所述服务器；
60.接收所述服务器发送的待训练聚合模型，其中，所述待训练聚合模型为基于所述模型生成数据生成的模型；
61.基于所述训练成员设备自身持有的、且针对所述待训练聚合模型的训练样本对所述待训练聚合模型进行训练；
62.将训练后的待训练聚合模型发送至服务器，以使所述服务器基于待训练聚合模型生成聚合模型。
63.其中，模型生成数据可以理解为训练成员设备向服务器发送的、用于生成待训练聚合模型的本地数据。例如，训练成员设备自身存储的训练样本。
64.具体地，训练成员设备在进行联邦学习的过程中，首先获取自身存储的用于生成聚合模型的模型生成数据，并将该模型训练数据发送至该服务器。该服务器在接收到该模型生成数据之后，基于该模型生成数据生成待训练聚合模型，并将该待训练聚合模型发送至每个训练成员设备。
65.每个训练成员设备在接收到待训练聚合模型之后，能够从自身持有的且针对待训练聚合模型的训练样本对待训练聚合模型进行训练。在实际应用中，本说明书提供的基于联邦学习进行模型参数更新的方法可以采用批训练(batch-training)的方式，将训练数据集划分为多个数据子集(batch)，并通过多个数据子集对待训练聚合模型进行训练，从而提升内存利用率，提高模型训练的效率。
66.在待训练聚合模型完成训练之后，该训练成员设备将该待训练聚合模型发送至服务器，以使服务器基于待训练聚合模型生成聚合模型。
67.下面以基于联邦学习进行模型参数更新的方法应用于风险控制场景的情况下，生成聚合模型做进一步说明。其中，模型生成数据为用户境内交易数据，金融企业a为联邦学习的训练成员，该金融企业a用于进行模型训练的设备为训练成员设备，基于此，
68.设备将自身的用户境内交易数据加密上传至服务器，服务器基于接收到的用户境内交易数据，以及其他金融企业加密上传的用户跨境交易数据生成具有n层(权重矩阵)的联邦风控模型(待训练聚合模型)，并将该联邦风控模型分别发送至金融企业a以及其他金融企业。
69.金融企业a的设备在接收到联邦风控模型之后，通过自身用于对联邦风控模型进行训练的数据子集对该联邦风控模型进行训练。并将该训练后的联邦风控模型发送至服务器。
70.服务器在接收到金融企业a的设备发送的训练后的联邦风控模型之后，基于该联邦风控模型、与其他金融企业上传的联邦风控模型，生成联邦风控模型。
71.在本说明书实施例中，多个训练成员以联邦学习的方式对模型进行训练，从而提高了模型训练的效率，避免了数据孤岛的问题，提高了数据的利用率。
72.进一步地，本说明书一实施例中，该训练成员设备在完成对待训练聚合模型的训练后，能够在之后的模型迭代更新中，将该训练后的待训练聚合模型作为本地的待训练模型；具体地实现方式如下。
73.所述获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型，包括：
74.接收所述服务器当前轮下发的聚合模型，以及将所述待训练聚合模型确定为所述训练成员设备的当前轮的待训练模型。
75.具体地，对模型参数进行多轮迭代更新的过程中，该训练成员设备在接收到服务器当前轮下发的聚合模型之后，能够将训练后的待训练聚合模型作为当前轮中的待训练模型。从而基于该待训练模型以及聚合模型，实现当前轮的模型参数更新。
76.步骤104：计算所述待训练模型和所述聚合模型对应的模型参数之间的相关性系数，其中，所述对应的模型参数之间的相关性越高，所述相关性系数越大。
77.其中，模型参数可以理解为模型中的层、或者模型中的每层权重矩阵。需要说明的是，由于待训练模型与聚合模型为相同类型的模型，基于此，两个模型的模型参数存在对应关系。例如，该聚合模型共有n层权重矩阵，对应的，该待训练模型具有n层权重矩阵；且该聚合模型与待训练模型中的每层权重矩阵一一对应。
78.相关性系数可以理解为用于表征待训练模型的与聚合模型中的层权重矩阵之间的相关性的系数；该相关性系数的类型可以根据实际应用场景进行设置，本说明书对此不做具体限制，例如，相关性距离。
79.在实际应用中，由于待训练模型是基于训练后的待训练聚合模型确定的，因此待训练模型与聚合模型的模型架构是相同的，聚合模型与待训练模型中的每层权重矩阵一一对应；因此，在计算聚合模型中的模型参数与待训练模型中的模型参数之间的相关性系数的过程中，为了避免计算过程中出现混淆，实现计算出更准确的相关性系数，需要确定聚合模型中的模型参数与待训练模型中的模型参数的对应关系，并基于该对应关系进行相关性系数的计算，具体实现方式如下所示。
80.所述计算所述待训练模型和所述聚合模型对应的模型参数之间的相关性系数，包括：
81.分别确定所述待训练模型中的模型参数，以及所述聚合模型中的模型参数的序列信息；
82.基于所述序列信息确定所述待训练模型和所述聚合模型之间对应的模型参数；
83.将所述对应的模型参数进行相关性计算，获得所述对应的模型参数之间的相关性系数。
84.其中，在模型参数为模型中的权重矩阵的情况下，该序列信息可以理解为模型中各层权重矩阵的排序信息、模型中各层权重矩阵的位置信息等，例如，在属性信息为层权重矩阵的位置信息的情况下，可以确定聚合模型的第一层权重矩阵以及待训练模型的第一层权重矩阵的对应关系。
85.具体地，训练成员设备在确定当前轮的待训练模型以及接收到服务器当前轮下发的聚合模型之后，确定待训练模型中的模型参数的序列信息，以及聚合模型中的模型参数的序列信息。
86.之后基于该序列信息确定待训练模型和聚合模型之间对应的模型参数，并将对应的模型参数进行相关性计算，获得对应的模型参数之间的相关性系数。
87.沿用上例，其中，序列信息为各层权重矩阵的位置信息，聚合模型为联邦风控模型。待训练模型为本地风控模型。基于此，金融企业a的设备获取服务器发送的联邦风控模型，并确定出该联邦风控模型中的每个层权重矩阵以及每个层权重矩阵的位置信息，且确定出本地风控模型中的每个层权重矩阵以及每个层权重矩阵的位置信息。
88.基于该位置信息将更新后的联邦风控模型的第一层权重矩阵与本地风控模型中的第一层权重矩阵建立对应关系。之后金融企业a的设备继续将更新后的联邦风控模型的第二层权重矩阵与本地风控模型中的第二层权重矩阵建立对应关系，直至本地风控模型中的每层权重矩阵与更新后的联邦风控模型中每一层权重矩阵完成对应关系的建立，由于本地风控模型与更新后的联邦风控模型的模型架构相同，因此，更新后的联邦风控模型的每一层权重矩阵与本地风控模型的每一层权重矩阵能够一一对应。
89.从联邦风控模型中确定出与本地风控模型中的每一层权重矩阵，所对应的层权重矩阵之后，能够计算出本地风控模型中的每个层权重矩阵，以及联邦风控模型中与本地风控模型的每个层权重矩阵，所对应的层权重矩阵之间的相关性距离，并将该相关性距离作为本地风控模型与联邦风控模型之间对应的权重矩阵的相关性系数。
90.在本说明书提供的实施例中，所述将所述对应的模型参数进行相关性计算，获得所述对应的模型参数之间的相关性系数，包括：
91.确定所述待训练模型中的第一模型参数，以及从所述聚合模型中确定与所述第一模型参数对应的第二模型参数；
92.将所述第一模型参数进行转置处理，获得第一转置模型参数，以及将所述第二模型参数进行转置处理，获得第二转置模型参数；
93.将第一模型参数以及第一转置模型参数相乘，获得第一待处理模型参数；
94.将第二模型参数以及第二转置模型参数相乘，获得第二待处理模型参数；
95.将第一模型参数、第一转置模型参数、第二模型参数以及第二转置模型参数相乘，获得第三待处理模型参数；
96.根据所述第一待处理模型参数、所述第二待处理模型参数以及所述第三待处理模型参数分别对应的迹，确定第一模型参数与第二模型参数的相关性距离。
97.其中，在模型参数为模型的权重矩阵的情况下，第一模型参数为待训练模型中需要进行转置处理的所有权重矩阵；对应的，由于待训练模型与聚合模型的模型结构相同，基于此，该第二模型参数为聚合模型中的所有权重矩阵。
98.沿用上例，在确定联邦风控模型与本地风控模型之间相对应的权重矩阵之后，能
够将联邦风控模型的每个权重矩阵，以及本地风控模型的每个权重矩阵进行转置处理，获得联邦风控模型被转置处理后的多个转置权重矩阵，以及本地风控模型被转置处理后的多个转置权重矩阵。
99.之后，确定本地风控模型未被转置的第一层权重矩阵，所对应的转置权重矩阵，并将未被转置的第一层权重矩阵与对应的转置权重矩阵相乘，获得新的权重矩阵，该新的权重矩阵用于计算相关性系数。对应的，对本地风控模型中剩余的其他权重矩阵(如第二层权重矩阵至第n层权重矩阵)，执行与第一层权重矩阵相同的操作。从而本地风控模型对应的新的权重矩阵。
100.针对联邦风控模型中未被转置的每一层权重矩阵，同样执行上述针对本地风控模型中未被转置的第一层权重矩阵的操作；也即是，针对联邦风控模型中未被转置的每一层权重矩阵，同样确定所对应的转置权重矩阵，并将两者相乘；最终获得联邦风控模型对应的新的权重矩阵。
101.此外，还需要将本地风控模型未被转置的每一层权重矩阵、和其对应的转置权重矩阵，以及联邦风控模型未被转置的每一层权重矩阵、和其对应的转置权重矩阵进行相乘处理，从而获得本地风控模型与联邦风控模型对应的新的权重矩阵。
102.然后，基于计算出的该本地风控模型对应的新的权重矩阵的迹、联邦风控模型对应的新的权重矩阵的迹，以及本地风控模型与联邦风控模型对应的新的权重矩阵的迹，确定本地风控模型与联邦风控模型之间对应的权重矩阵的相关性距离。
103.在实际应用中，可以通过公式1计算出本地风控模型中的每层权重矩阵，与联邦风控模型中与本地风控模型的每层权重矩阵，所对应的权重矩阵层之间的相关性距离。
[0104][0105]
其中，t为第t次迭代训练；j为模型的层数；为第t次迭代训练的相关性距离；w
s，j
为联邦风控模型的第j层(权重矩阵)；w
i，j
为本地风控模型的第j层；tr为模型的权重矩阵(层)的迹；为转置处理后的、联邦风控模型的第j层；为转置处理后的、本地风控模型的第j层。
[0106]
步骤106：从所述相关性系数中确定第一相关性系数以及第二相关性系数，其中，所述第一相关性系数大于所述第二相关性系数。
[0107]
在本说明书提供的一实施例中，可以通过将相关性系数进行降序排序，并从降序排序结果中准确的确定出第一相关性系数，以及第二相关性系数，便于后续基于第一相关性系数，以及第二相关性系数对待训练模型中的模型参数进行更新，从而获得个性化表征较高的本地待训练模型，提高了训练成员所获得的模型的多样性，具体实现方式如下。
[0108]
所述从所述相关性系数中确定第一相关性系数，以及第二相关性系数，包括：
[0109]
将所述相关性系数进行降序排序，获得所述相关性系数对应的降序排序结果；
[0110]
从所述降序排序结果中从上到下选取预设数量的相关性系数作为第一相关性系数；
[0111]
将所述降序排序结果中除所述第一相关性系数之外的相关性系数，确定为第二相
关性系数。
[0112]
其中，第一相关性系数可以理解为能够表征对应的模型参数之间的相关性较高的系数，相应地，第二相关性系数可以理解为能够表征对应的模型参数之间的相关性较低的系统。
[0113]
其中，该预设数量可以根据实际应用场景进行设置，本说明书对此不做具体限制，例如，该预设数量为20个、10个等等。
[0114]
具体地，训练成员设备在计算出待训练模型和聚合模型对应的模型参数之间的相关性系数之后，能够将相关性系数进行降序排序，获得该相关性系数对应的降序排序结果；之后，该训练成员设备从该降序排序结果中从上到下选取预设数量的相关性系数作为第一相关性系数；以及将降序排序结果中除第一相关性系数之外的相关性系数，确定为第二相关性系数，从而实现从相关性系数中确定第一相关性系数，以及第二相关性系数的目的。
[0115]
再沿用上例，对基于相关性系数对应的降序排序结果确定第一相关性系数以及第二相关性系数做进一步的说明，其中，预设数量可以为20。
[0116]
金融企业a在获得出相关性距离之后，确定出更新后的联邦风控模型中的每一层权重矩阵对应的相关性距离，并对该相关性距离进行降序排序，从而获得相关性距离的降序排序结果。
[0117]
按照从上到下的顺序从该降序排序结果中选取前20个相关性距离，并将该前20个相关性距离作为第一相关性距离，且将降序排序结果中除前20个相关性距离之外的所有相关性距离，作为第二相关性距离。
[0118]
步骤108：将所述待训练模型的、与所述第一相关性系数对应的模型参数更新为所述聚合模型的、与所述第一相关性系数对应的模型参数，并使所述待训练模型的、与所述第二相关性系数对应的模型参数维持不变。
[0119]
具体地，该训练成员设备在确定出第一相关性系数以及第二相关性系数之后，能够从待训练模型中确定与该第一相关性系数对应的模型参数，以及从聚合模型中确定出与该第一相关性系数对应的模型参数。
[0120]
之后，该训练成员设备将待训练模型中与该第一相关性系数对应的模型参数，更新为聚合模型中与该第一相关性系数对应的模型参数，且该待训练模型中与该第二相关性系数对应的模型参数维持不变，从而获得更新后的待训练模型。
[0121]
在具体实施过程中，训练成员设备将待训练模型中与该第一相关性系数对应的模型参数，更新为聚合模型中与该第一相关性系数对应的模型参数的操作，可以理解为，训练成员设备将待训练模型中与该第一相关性系数对应的模型参数，替换为聚合模型中与该第一相关性系数对应的模型参数。
[0122]
沿用上例，训练成员设备从更新后的联邦风控模型中确定出与第一相关性距离对应的层权重矩阵之后，同样从本地风控模型中确定出与第一相关性距离对应的层权重矩阵，比如，更新后的联邦风控模型中与第一相关性距离对应的层为第5层、第8层，对应的，本地风控模型中与其对应的层也为第5层、第8层。
[0123]
通过更新后的联邦风控模型中第5层，第8层，替换掉在本地风控模型中的第5层，第8层，从而获得包含更新后的联邦风控模型中第5层，第8层的本地风控模型。
[0124]
步骤110：以及基于所述训练成员设备自身持有的训练样本，对更新后的所述待训
练模型进行训练。
[0125]
具体地，训练成员设备在获得更新后的待训练模型之后，能够基于该训练成员设备自身持有的训练样本，对该更新后的待训练模型进行训练，直至达到训练停止条件。其中，该训练停止条件可以根据实际应用场景进行设置，本说明书对此不做具体限定。例如，该待训练模型的损失值达到收敛。
[0126]
在实际应用中，该训练成员设备基于训练样本对更新后的所述待训练模型进行训练的方式，可以为通过训练数据对更新后的所述待训练模型进行前向传播处理以及后向传播处理。
[0127]
沿用上例，训练成员设备在获得更新后的本地风控模型之后，通过训练成员本地的数据子集对其进行前向传播处理以及后向传播处理，从而对本地风控模型中被替换的层进行优化，获得优化后的本地风控模型，从而获得个性化表征较强的待训练模型。
[0128]
在本说明书一实施例提供的基于联邦学习进行模型参数更新的方法，采用上传部分层模型的方式，降低了联邦训练过程中整体的通信量，提高了训练效率的具体实现方式如下。
[0129]
所述基于所述训练成员设备自身持有的训练样本，对更新后的所述待训练模型进行训练之后，还包括：
[0130]
将训练完成的所述待训练模型，作为所述训练成员设备的当前轮的最终模型；
[0131]
基于所述相关性系数从所述最终模型的模型参数中确定待发送模型参数，并将所述待发送模型参数发送至所述服务器。
[0132]
具体的，该训练成员设备在基于训练样本对更新后的所述待训练模型进行训练之后，能够将训练完成的待训练模型，作为多轮迭代更新的过程中，当前轮的最终模型。
[0133]
同时，为了降低联邦训练过程中整体的通信量，提高了训练效率，该训练成员设备基于相关性系数，从最终模型的模型参数中确定出待发送模型参数，并将该待发送模型参数发送至服务器。
[0134]
其中，本说明书提供的一实施例中，所述基于所述相关性系数从所述最终模型的模型参数中确定待发送模型参数，包括：
[0135]
确定所述最终模型的模型参数对应的更新标识参数，其中，所述更新标识参数基于所述第一相关性系数以及所述第二相关性系数确定，与所述第一相关性系数对应的更新标识参数不为0，与所述第二相关性系数对应的更新标识参数为0；
[0136]
通过将所述最终模型中与第二相关性系数对应的模型参数，与所述第二相关性系数对应的更新标识参数相乘，删除所述最终模型中与第二相关性系数对应的模型参数；
[0137]
将所述最终模型中剩余的、与所述第一相关性系数对应的模型参数，与所述第一相关性系数对应的更新标识参数相乘，获得待发送模型参数。
[0138]
其中，该更新标识参数可以理解为能够标识待训练模型中被更新的模型参数，以及未被更新的模型参数的参数。在实际应用中，训练成员设备在确定该第一相关性系数，以及第二相关性系数之后，能够为待训练模型中与第一相关性系数对应的模型参数，分别确定一个不为0的更新标识参数，例如。为1的更新标识参数；以及为待训练模型中与第二相关性系数对应的模型参数，分别确定一个为0的更新标识参数。其中，该更新标识参数能够以列表、文件、数组等方式进行存储，本说明书对此不做具体限定。
[0139]
具体地，训练成员设备在通过训练样本对待训练模型进行训练，并获得最终模型之后，该训练成员设备考虑到需要将最终模型上传至服务器的通信传输的时间，远大于对模型进行训练时间，严重影响了模型的整体训练效率。
[0140]
基于此，该训练成员设备在获得最终模型之后，能够确定出最终模型的模型参数对应的更新标识参数，需要说明的是，该更新标识参数是基于第一相关性系数以及第二相关性系数确定，且与第一相关性系数对应的更新标识参数不为0，与第二相关性系数对应的更新标识参数为0。
[0141]
之后，该训练成员设备将最终模型中与第二相关性系数对应的模型参数，与为0的更新标识参数相乘，从而删除掉最终模型中与第二相关性系数对应的模型参数。
[0142]
并且，将最终模型中剩余的与第一相关性系数对应的模型参数，与第一相关性系数对应的更新标识参数相乘，获得待发送模型参数；例如，该与第一相关性系数对应的更新标识参数为1；因此，将最终模型中与第一相关性系数对应的模型参数以及为1的更新标识参数，通过element-wise乘法相乘，从而获得需要发送给服务器的待发送模型参数，后续训练成员设备只需要将待发送模型参数发送至服务器，从而降低了联邦训练过程中整体的通信量，提高了训练效率。
[0143]
本说明书提供的一实施例中，所述将所述待发送模型参数发送至所述服务器，包括：
[0144]
确定所述训练成员设备自身持有的训练样本；
[0145]
通过预设加密算法对所述训练样本以及所述待发送模型参数进行加密处理，获得加密后的训练样本以及待发送模型参数；
[0146]
将所述加密后的训练样本以及待发送模型参数发送至所述服务器。
[0147]
其中，预设加密算法可以根据实际应用场景进行设置，本说明书对此不做具体限制，例如，差分隐私加密算法、同态加密算法。
[0148]
沿用上例，在训练成员设备通过本地的训练样本数据对更新后的本地风控模型进行训练之后，将该训练后的本地风控模型中与第一相关性距离对应的层，也即是相关性较高的层，作为需要上报至服务器的层，并通过隐私加密算法或同态加密算法对需要上报至服务器的层，以及对本地风控模型进行训练的样本数据的数量参数进行加密，并将加密后的层以及数量参数发送至服务器。从而保证了上传至服务器的数据的安全性。
[0149]
在实际应用中，在将加密后的层以及本地训练样本的数量参数发送至服务器之后，服务器会基于该加密后的层以及数量参数，对存储在第三方平台中的已进行多次迭代更新的聚合模型(联邦模型)再次进行迭代更新，并将迭代更新的联邦模型发送至训练成员设备。重复执行训练成员设备在接收到服务器发送的联邦模型后，基于该联邦模型中的模型参数，对待训练模型中的模型参数进行更新的操作，直至达到联邦学习过程中的模型训练完成条件。
[0150]
本说明书提供的实施例中，基于联邦学习进行模型参数更新的方法，通过计算待训练模型与聚合模型对应的模型参数之间的相关性系数，并将待训练模型的、与第一相关性系数对应的模型参数更新为聚合模型的、与第一相关性系数对应的模型参数，从而保留了待训练模型的个性化模型参数，且在基于训练样本对更新后的待训练模型进行训练，从而获得个性化的模型，保证了模型的多样性。
[0151]
下述结合附图2，以本说明书提供的基于联邦学习进行模型参数更新的方法在对风控模型进行联邦学习的场景的应用为例，对所述基于联邦学习进行模型参数更新的方法进行进一步说明。其中，图2示出了本说明书一实施例提供的一种应用于通过联邦学习对模型进行训练的场景的基于联邦学习进行模型参数更新的方法的处理流程图，具体包括以下步骤：
[0152]
步骤202：服务器基于训练数据集对联邦模型进行初始化。
[0153]
其中，训练数据集可以理解为上述实施例中的non-iid数据集，联邦模型可以理解为上述实施例中的聚合模型。
[0154]
具体地，服务器将k个训练成员加密上传的训练数据构成non-iid数据集，其中，k个训练成员中的每个训练成员的数据为xi，{i＝1,2,...,k}。
[0155]
基于所述non-iid数据集生成联邦模型，该联邦模型可以有n层，例如w＝[w1,w2,...,wn]，其中，w为联邦模型，w1,w2,...,wn为联邦模型中的层(权重矩阵)。
[0156]
通过服务器初始化联邦模型的参数，且将该联邦模型分别发送至各训练成员。比如，服务器中的联邦模型为ws＝[w
s,1
,w
s,2
,...,w
s,j
,...,w
s,n
]，ws为s个联邦模型；w
s,1
,w
s,2
,...,w
s,j
,...,w
s,n
为联邦模型的层。
[0157]
步骤204：训练成员对接收到的联邦模型进行迭代优化，获得本地模型。
[0158]
训练成员i基于本地训练数据对接收到联邦模型进行迭代优化，获得训练成员i的本地模型为wi＝[w
i,1
,w
i,2
,...w
i,j
，...,w
i,n
]，其中，w
i,1
,w
i,2
,...w
i,j
，...,w
i,n
为本地模型的层。并将该本地模型发送至服务器。
[0159]
步骤206：服务器基于接收的本地模型对联邦模型进行更新。
[0160]
具体地，服务器基于接收到的本地模型对联邦模型进行更新，获得更新后的联邦模型；并将该更新后的联邦模型发送至训练成员进行迭代优化。
[0161]
步骤208：训练成员确定本地模型与更新后的联邦模型的相关性系数。
[0162]
具体地，在第t次联邦模型的迭代优化过程中，训练成员i接收第t次优化后的联邦模型分别计算中与中各层之间的相关性系数其中为第t次联邦学习中训练成员i的本地模型，可以为相关性距离。其中，该可以为相关性距离基于上述公式(1)计算获得。
[0163]
步骤210：训练成员基于更新后的联邦模型对本地模型的权重层进行替换。
[0164]
具体地，训练成员对进行降序排序，按照从上到下的顺序，选择值最大的p个相关性系数；训练成员i从联邦模型中确定与p个相关性系数对应的权重矩阵(权重层)；以及本地模型中确定与p个相关性系数对应的权重矩阵(权重层)。并根据相关性系数为权重矩阵确定更新参数(即上述实施例中的更新标识参数)，其中，本地模型中与p个相关性系数对应的权重矩阵所对应的更新参数为1；本地模型中与p个相关性系数不对应的权重矩阵所对应的更新参数为0。在确定更新参数之后，训练成员i将本地模型中每个权重矩阵对应的更新参数，存储至index列表i中，获得p个模型权重矩阵对应的index列表i。
[0165]
从本地模型的多个层中，确定与联邦模型中的p个模型权重矩阵所对应的关联层，并通过该p个模型权重矩阵对本地模型中的层进行替换，本地模型中其余权重矩阵(权重层)保持不变，从而保留训练成员中全局化信息最多的模型权重矩阵，最终得到替换后的本
地模型的模型权重列表
[0166]
步骤212：训练成员基于样本数据对替换后的模型进行训练。
[0167]
具体地，训练成员i读取一个batch的样本数据对替换后的模型的前向传播和后向传播，得到训练后的模型(即上述实施例中的最终模型)。
[0168]
步骤214：训练成员通过index列表i对训练后的模型进行运算处理。
[0169]
具体地，训练成员i获取index列表i中更新参数，并将训练后的模型中的权重矩阵进行element-wise乘法，得到需要上传的模型权重列表(即上述实施例中的待发送模型参数)。
[0170]
步骤216：训练成员将本地模型中的模型权重列表上传至服务器。
[0171]
具体地，训练成员利用差分隐私、同态加密等加密算法将模型权重列表加密上传至的服务器中。
[0172]
并且，在将代替模型的模型权重列表加密上传至服务器的同时，同样利用差分隐私、同态加密等加密算法将当前的样本量加密上传至服务器。
[0173]
步骤218：服务器基于模型权重列表对联邦模型进行迭代更新。
[0174]
具体地，服务器通过模型权重列表以及样本量(即训练样本)，对服务器中的联邦模型进行第t 1次的迭代更新，获得第t 1次的迭代更新的联邦模型其中，第t 1次的迭代更新联邦模型是通过公式(2)计算获得的。
[0175][0176]
该n
t
为服务器中对联邦模型进行第t次迭代更新的样本量。
[0177]
在获得联邦模型之后，服务器继续将该联邦模型返回至各个训练成员(即训练成员设备)，直至达到相应的模型终止条件，完成模型训练。
[0178]
实际应用中，步骤208以及步骤210与步骤212的执行先后顺序可以根据实际需要进行调整，本说明书不做具体限定。
[0179]
本说明书实施例提供的基于联邦学习进行模型参数更新的方法，基于联邦模型和本地模型的相关性，针对本地模型中相关性系数更强的层进行联邦更新，保留训练成员自身个性化的模型层，提高了针对non_iid数据集模型性能，并且，采用上传部分模型层的方式，降低了联邦训练过程中整体的通信量，提高了训练效率。
[0180]
与上述方法实施例相对应，本说明书还提供了基于联邦学习进行模型参数更新的系统实施例，图3示出了本说明书一实施例提供的一种基于联邦学习进行模型参数更新的系统的结构示意图。如图3所示，所述系统置于参与方中的任一训练成员设备处，其中，所述参与方包括多个训练成员设备以及服务器，
[0181]
所述系统用于对模型参数进行多轮迭代更新，所述系统包括：
[0182]
模型获取模块302，用于获取所述训练成员设备的当前轮的待训练模型以及所述服务器当前轮下发的聚合模型；
[0183]
相关性系数计算模块304，用于计算所述待训练模型和所述聚合模型对应的模型参数之间的相关性系数，其中，所述对应的模型参数之间的相关性越高，所述相关性系数越大；
[0184]
相关性系数确定模块306，用于从所述相关性系数中确定第一相关性系数以及第二相关性系数，其中，所述第一相关性系数大于所述第二相关性系数；
[0185]
模型更新模块308，用于将所述待训练模型的、与所述第一相关性系数对应的模型参数更新为所述聚合模型的、与所述第一相关性系数对应的模型参数，并使所述待训练模型的、与所述第二相关性系数对应的模型参数维持不变；以及
[0186]
模型训练模块310，用于基于所述训练成员设备自身持有的训练样本，对更新后的所述待训练模型进行训练。
[0187]
可选地，所述基于联邦学习进行模型参数更新的系统，还包括发送模块，用于：
[0188]
将训练完成的所述待训练模型，作为所述训练成员设备的当前轮的最终模型；
[0189]
基于所述相关性系数从所述最终模型的模型参数中确定待发送模型参数，并将所述待发送模型参数发送至所述服务器。
[0190]
可选地，所述发送模块，还用于：
[0191]
确定所述最终模型的模型参数对应的更新标识参数，其中，所述更新标识参数基于所述第一相关性系数以及所述第二相关性系数确定，与所述第一相关性系数对应的更新标识参数不为0，与所述第二相关性系数对应的更新标识参数为0；
[0192]
通过将所述最终模型中与第二相关性系数对应的模型参数，与所述第二相关性系数对应的更新标识参数相乘，删除所述最终模型中与第二相关性系数对应的模型参数；
[0193]
将所述最终模型中剩余的、与所述第一相关性系数对应的模型参数，与所述第一相关性系数对应的更新标识参数相乘，获得待发送模型参数。
[0194]
可选地，所述发送模块，还用于：
[0195]
确定所述训练成员设备自身持有的训练样本；
[0196]
通过预设加密算法对所述训练样本以及所述待发送模型参数进行加密处理，获得加密后的训练样本以及待发送模型参数；
[0197]
将所述加密后的训练样本以及待发送模型参数发送至所述服务器。
[0198]
可选地，所述相关性系数计算模块304，还用于：
[0199]
分别确定所述待训练模型中的模型参数，以及所述聚合模型中的模型参数的序列信息；
[0200]
基于所述序列信息确定所述待训练模型和所述聚合模型之间对应的模型参数；
[0201]
将所述对应的模型参数进行相关性计算，获得所述对应的模型参数之间的相关性系数。
[0202]
可选地，所述相关性系数计算模块304，还用于：
[0203]
确定所述待训练模型中的第一模型参数，以及从所述聚合模型中确定与所述第一模型参数对应的第二模型参数；
[0204]
将所述第一模型参数进行转置处理，获得第一转置模型参数，以及将所述第二模型参数进行转置处理，获得第二转置模型参数；
[0205]
将第一模型参数以及第一转置模型参数相乘，获得第一待处理模型参数；
[0206]
将第二模型参数以及第二转置模型参数相乘，获得第二待处理模型参数；
[0207]
将第一模型参数、第一转置模型参数、第二模型参数以及第二转置模型参数相乘，获得第三待处理模型参数；
[0208]
根据所述第一待处理模型参数、所述第二待处理模型参数以及所述第三待处理模型参数分别对应的迹，确定第一模型参数与第二模型参数的相关性距离。
[0209]
可选地，所述相关性系数确定模块306，还用于：
[0210]
将所述相关性系数进行降序排序，获得所述相关性系数对应的降序排序结果；
[0211]
从所述降序排序结果中从上到下选取预设数量的相关性系数作为第一相关性系数；
[0212]
将所述降序排序结果中除所述第一相关性系数之外的相关性系数，确定为第二相关性系数。
[0213]
可选地，所述基于联邦学习进行模型参数更新的系统，还包括模型生成模块，用于：
[0214]
获取所述训练成员设备的模型生成数据，并将所述模型生成数据发送至所述服务器；
[0215]
接收所述服务器发送的待训练聚合模型，其中，所述待训练聚合模型为基于所述模型生成数据生成的模型；
[0216]
基于所述训练成员设备自身持有的、且针对所述待训练聚合模型的训练样本对所述待训练聚合模型进行训练；
[0217]
将训练后的待训练聚合模型发送至服务器，以使所述服务器基于待训练聚合模型生成聚合模型。
[0218]
可选地，所述模型获取模块302，还用于：
[0219]
接收所述服务器当前轮下发的聚合模型，以及将所述待训练聚合模型确定为所述训练成员设备的当前轮的待训练模型。
[0220]
本说明书提供的实施例中，基于联邦学习进行模型参数更新的系统，通过计算待训练模型与聚合模型对应的模型参数之间的相关性系数，并将待训练模型的、与第一相关性系数对应的模型参数更新为聚合模型的、与第一相关性系数对应的模型参数，从而保留了待训练模型的个性化模型参数，且在基于训练样本对更新后的待训练模型进行训练，从而获得个性化的模型，保证了模型的多样性。
[0221]
上述为本实施例的一种基于联邦学习进行模型参数更新的系统的示意性方案。需要说明的是，该基于联邦学习进行模型参数更新的系统的技术方案与上述的基于联邦学习进行模型参数更新的方法的技术方案属于同一构思，基于联邦学习进行模型参数更新的系统的技术方案未详细描述的细节内容，均可以参见上述基于联邦学习进行模型参数更新的方法的技术方案的描述。
[0222]
图4示出了根据本说明书一实施例提供的一种计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接，数据库450用于保存数据。
[0223]
计算设备400还包括接入设备440，接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网
(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
[0224]
在本说明书的一个实施例中，计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
[0225]
计算设备400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备400还可以是移动式或静止式的服务器。
[0226]
其中，处理器420用于执行计算机可执行指令，该计算机可执行指令被处理器420执行时实现任意所述基于联邦学习进行模型参数更新的方法的步骤。
[0227]
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的基于联邦学习进行模型参数更新的方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述基于联邦学习进行模型参数更新的方法的技术方案的描述。
[0228]
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述基于联邦学习进行模型参数更新的方法的步骤。
[0229]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的基于联邦学习进行模型参数更新的方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述基于联邦学习进行模型参数更新的方法的技术方案的描述。
[0230]
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行任意所述基于联邦学习进行模型参数更新的方法的步骤。
[0231]
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的示意性方案与上述的基于联邦学习进行模型参数更新的方法的技术方案属于同一构思，计算机程序的示意性方案未详细描述的细节内容，均可以参见上述基于联邦学习进行模型参数更新的方法的技术方案的描述。
[0232]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0233]
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所
述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，randomaccess memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0234]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
[0235]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0236]
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。