一种模型训练中的权重聚合方法、装置及系统与流程

1.本技术涉及多方安全计算技术领域和隐私计算技术领域，尤其涉及一种模型训练中的权重聚合方法、装置及系统。


背景技术：

2.在机器学习技术领域，可以使用历史数据进行机器学习模型的训练，其训练过程往往是一个迭代的过程，通过迭代不断优化机器学习模型的参数。例如，在逻辑回归模型中，模型的参数可以称作权重，每个迭代过程的训练中，使用训练数据和当前权重进行计算，并基于计算结果和模型的标签计算出用于调整权重的梯度，并使用梯度调整当前权重得到新的权重，用于下一次迭代过程的训练。
3.在机器学习技术的实际应用中，为了提高训练效率，提出了异步机器学习的训练方式，利用分布式数据和计算资源实现机器学习模型的联合训练。
4.如图1所示，全部的训练数据分布在多个模型训练设备，每个模型训练设备持有一部分训练数据，在完成一次训练后，向中心化权重聚合节点发送本次训练得到的梯度，例如，模型训练设备1向中心化权重聚合节点发送梯度g1，中心化权重聚合节点将接收的梯度与当前权重进行聚合，得到最新的权重w，并在模型训练设备请求权重时，将最新的权重返回给模型训练设备，供模型训练设备使用最新的权重进行训练。
5.在异步机器学习的训练方式，不需要各模型训练设备同步上传各自训练得到的梯度，各模型训练设备又可以同步执行训练过程，因此，提高了训练效率，并且能够更有效的利用计算资源。
6.多方安全计算（mpc）可以在保护个人隐私信息的前提下，实现隐私数据共享。mpc是指某一组互相不信任的参与者在保护个人隐私的同时，还可以进行协同计算。mpc需要确保输入数据的独立性、传递数据的准确性、计算过程的正确性，同时不能将个人的隐私数据泄露给其他参与者。
7.隐私保护计算（privacy-preserving computing）是指在保护隐私信息的前提下，实现数据价值的分析和挖掘，即实现数据在加密的、非透明的状态下的计算，以保护计算各参与方的隐私信息安全。隐私保护计算的技术，可应用于多方安全计算。
8.目前，在机器学习技术的一些应用场景中，当多个训练设备基于各自持有的训练数据进行联合训练时，为了保护各自训练数据的安全，防止数据泄露，在训练过程中需要引入多方安全计算技术和隐私保护计算技术。


技术实现要素：

9.本技术实施例提供一种模型训练中的权重聚合方法、装置及系统，用以解决现有技术中存在的如何采用多方安全技术实现对机器学习模型的联合训练的问题。
10.本技术实施例提供一种模型训练中的权重聚合方法，应用于模型训练系统中的每个分片聚合设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述方
法，包括：接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与所述多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；向模型训练设备发送所述权重分片。
11.进一步的，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片，包括：当需要进行梯度聚合时，针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。
12.进一步的，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，包括：当聚合周期到达时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合。
13.进一步的，所述当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，包括：当接收到模型训练设备发送的权重请求时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合；所述向模型训练设备发送所述权重分片，包括：向发送所述权重请求的该模型训练设备发送所述权重分片。
14.本技术实施例提供一种模型训练中的权重聚合方法，应用于模型训练系统中的每个模型训练设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述方法，包括：将本次模型训练得到的梯度拆分为多个梯度分片，该多个梯度分片的数量与所述多个分片聚合设备的数量相同；向所述多个分片聚合设备一一对应的发送所述多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，使得分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。
15.进一步的，还包括：接收所述多个分片聚合设备发送的本次聚合的权重分片；将属于本次聚合的多个权重分片进行聚合，得到用于下次训练的权重。
16.进一步的，在所述接收所述多个分片聚合设备发送的本次聚合的权重分片之前，还包括：
向所述多个分片聚合设备发送权重请求。
17.本技术实施例提供一种模型训练中的权重聚合装置，应用于模型训练系统中的每个分片聚合设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述装置，包括：梯度分片接收模块，用于接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与所述多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；梯度聚合模块，用于当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；权重分片发送模块，用于向模型训练设备发送所述权重分片。
18.进一步的，所述梯度聚合模块，具体用于当需要进行梯度聚合时，针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。
19.进一步的，所述梯度聚合模块，具体用于当聚合周期到达时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合。
20.进一步的，所述梯度聚合模块，具体用于当接收到模型训练设备发送的权重请求时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合；所述权重分片发送模块，具体用于向发送所述权重请求的该模型训练设备发送所述权重分片。
21.本技术实施例提供一种模型训练中的权重聚合装置，应用于模型训练系统中的每个模型训练设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，所述装置，包括：梯度拆分模块，用于将本次模型训练得到的梯度拆分为多个梯度分片，该多个梯度分片的数量与所述多个分片聚合设备的数量相同；梯度分片发送模块，用于向所述多个分片聚合设备一一对应的发送所述多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，使得分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。
22.进一步的，该装置，还包括：权重分片接收模块，用于接收所述多个分片聚合设备发送的本次聚合的权重分片；权重聚合模块，用于将属于本次聚合的多个权重分片进行聚合，得到用于下次训练的权重。
23.进一步的，还包括：
权重请求发送模块，用于在所述权重分片接收模块接收所述多个分片聚合设备发送的本次聚合的权重分片之前，向所述多个分片聚合设备发送权重请求。
24.本技术实施例提供一种模型训练系统，包括：多个分片聚合设备和多个模型训练设备，所述分片聚合设备包括上述任一应用于分片聚合设备的模型训练中的权重聚合装置，所述模型训练设备包括上述任一应用于模型训练设备的模型训练中的权重聚合装置。
25.本技术实施例提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述任一应用于分片聚合设备的模型训练中的权重聚合方法，或者，实现上述任一应用于模型训练设备的模型训练中的权重聚合方法。
26.本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一应用于分片聚合设备的模型训练中的权重聚合方法，或者，实现上述任一应用于模型训练设备的模型训练中的权重聚合方法。
27.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一应用于分片聚合设备的模型训练中的权重聚合方法，或者，执行上述任一应用于模型训练设备的模型训练中的权重聚合方法。
28.本技术有益效果包括：本技术实施例提供的方法中，模型训练系统包括多个分片聚合设备和多个模型训练设备，模型训练设备在每次模型训练后，将得到的梯度拆分为多个梯度分片，其数据与多个分片聚合设备的数量相同，并向多个分片聚合设备一一对应的发送该多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，并当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片，并返回给模型训练设备，供其下次模型训练时使用。采用本方案，多个模型训练设备基于各自持有的训练数据实现了联合训练，并且，在权重聚合的过程中，由于将训练得到的梯度进行了分片，从而防止了梯度的泄露，进而可以防止基于梯度导致的训练数据的泄露，即实现了采用多方安全技术对机器学习模型的联合训练。
29.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
30.附图用来提供对本技术的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中：图1为现有技术中异步机器学习的训练方式的示意图；图2为本技术实施例提供的应用于分片聚合设备的模型训练中的权重聚合方法的流程图；图3为本技术实施例提供的应用于模型训练设备的模型训练中的权重聚合方法的流程图；图4为本技术实施例基于模型训练系统实现的权重聚合方法的示意图；
图5为本技术实施例基于模型训练系统实现的权重聚合方法的示意图；图6为本技术实施例提供的权重聚合方法的流程图；图7为本技术实施例基于模型训练系统实现的权重聚合方法的示意图；图8为本技术实施例提供的应用于分片聚合设备的模型训练中的权重聚合装置的结构示意图；图9为本技术实施例提供的应用于模型训练设备的模型训练中的权重聚合装置的结构示意图；图10为本技术另一实施例提供的应用于模型训练设备的模型训练中的权重聚合装置的结构示意图；图11为本技术另一实施例提供的应用于模型训练设备的模型训练中的权重聚合装置的结构示意图；图12为本技术实施例提供的电子设备的结构示意图。
具体实施方式
31.为了给出采用多方安全技术对机器学习模型的联合训练的实现方案，本技术实施例提供了一种模型训练中的权重聚合方法、装置及系统，以下结合说明书附图对本技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术。并且在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
32.本技术实施例提供一种模型训练中的权重聚合方法，应用于模型训练系统中的每个分片聚合设备，模型训练系统包括多个分片聚合设备和多个模型训练设备，如图2所示，该方法包括：步骤21、接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；步骤22、当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；步骤23、向模型训练设备发送权重分片。
33.相应的，本技术实施例还提供了一种模型训练中的权重聚合方法，应用于模型训练系统中的每个模型训练设备，模型训练系统包括多个分片聚合设备和多个模型训练设备，如图3所示，该方法包括：步骤31、将本次模型训练得到的梯度拆分为多个梯度分片，该多个梯度分片的数量与多个分片聚合设备的数量相同；步骤32、向多个分片聚合设备一一对应的发送多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，使得分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。
34.采用本技术实施例提供的上述方法，多个模型训练设备基于各自持有的训练数据
实现了联合训练，并且，在权重聚合的过程中，由于将训练得到的梯度进行了分片，从而防止了梯度的泄露，进而可以防止基于梯度导致的训练数据的泄露，即实现了采用多方安全技术对机器学习模型的联合训练。
35.本技术实施例中的模型训练系统，包括多个分片聚合设备和多个模型训练设备，模型训练设备可以是多方安全计算系统中的设备，多个分片聚合设备的数量，以及多个模型训练设备的数量，均可以基于实际需要进行灵活设置，例如，当采用多方安全计算中的ss2分片机制时，可以包括2个分片聚合设备，当采用多方安全计算中的ss4分片机制时，可以包括4个分片聚合设备。
36.如图4所示，以ss2分片机制为例，模型训练系统包括2个分片聚合设备和3个模型训练设备，分别是：分片聚合设备a和分片聚合设备b，以及模型训练设备1、模型训练设备2和模型训练设备3。
37.如图4所示，各模型训练设备在一次模型训练后，模型训练设备1、模型训练设备2和模型训练设备3分别得到了梯度g1、g2和g3，并将各自的梯度拆分为2个梯度分片，分别得到g11和g12，g21和g22，以及g31和g32，每个模型训练设备将各自得到的2个梯度分片，分别一一对应发送给分片聚合设备a和分片聚合设备b。
38.如图5所示，分片聚合设备a和分片聚合设备b在接收到来自各模型训练设备的梯度分片后，计算本次聚合的权重分片，具体的，分片聚合设备a计算权重分片w1=g11 g21 g31，分片聚合设备b计算权重分片w2=g12 g22 g32，并返回给各模型训练设备，模型训练设备在接收到权重分片w1和权重分片w2之后，将两个权重分片相加，得到最新的权重，用于下一次的模型训练。
39.在上述图4和图5所示的权重聚合方法的流程中，实现了采用多方安全技术对机器学习模型的联合训练。
40.下面结合附图，用具体实施例对本技术提供的方法及装置和相应系统进行详细描述。
41.本技术实施例提供一种模型训练中的权重聚合方法，如图6所示，该方法包括：步骤61、模型训练设备在使用当前权重进行模型训练得到梯度后，将本次模型训练得到的该梯度拆分为多个梯度分片，该多个梯度分片的数量与多个分片聚合设备的数量相同。
42.如图7所示，模型训练系统包括2个分片聚合设备和3个模型训练设备，则本步骤中，将梯度拆分为2个梯度分片，其中，模型训练设备2将梯度g2拆分为梯度分片g21和梯度分片g22，模型训练设备3将梯度g3拆分为梯度分片g31和梯度分片g32。
43.步骤62、向多个分片聚合设备一一对应的发送该多个梯度分片。
44.本步骤中，每个分片聚合设备接收到其中一个梯度分片，且不同分片聚合设备接收到的梯度分片不同。
45.如图7所示，模型训练设备2向分片聚合设备a和分片聚合设备b，一一对应的发送梯度分片g21和梯度分片g22，模型训练设备3向分片聚合设备a和分片聚合设备b，一一对应的发送梯度分片g31和梯度分片g32。
46.从图7中可知，分片聚合设备a接收到梯度分片g21和梯度分片g31，分片聚合设备b接收到梯度分片g22，而未能接收到梯度分片g31，即模型训练设备3向分片聚合设备b发送
g32失败。
47.步骤63、分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。
48.本步骤中，需要进行梯度聚合的条件，可以基于实际应用的需要进行灵活的设置，例如，可以是周期的进行梯度聚合，即当聚合周期到达时，启动执行梯度聚合的步骤，也可以是当接收到模型训练设备发送的权重请求时，启动执行梯度聚合的步骤。
49.本步骤中，本次聚合所接收到的来自各模型训练设备的各梯度分片，可以是自上一次聚合之后接收到的来自各模型训练设备的各梯度分片。
50.在实际应用中，有可能存在梯度分片发送失败的情况，针对这一问题，本技术实施例中，在进行梯度聚合之前，可以先针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；然后，将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。
51.如图7所示，分片聚合设备a接收到模型训练设备1发送的权重请求后，确定接收到的梯度分片g21和梯度分片g31中是否存在不参与聚合的梯度分片，通过与分片聚合设备b之间的信息交互，确定分片聚合设备b未接收到梯度分片g32，即与梯度分片g31属于同一梯度的梯度分片g32未被分片聚合设备b接收到，所以，将梯度分片g31确定为不参与聚合的梯度分片。
52.相应的，分片聚合设备a计算权重分片w1=g21，分片聚合设备b计算权重分片w2=g22。
53.步骤64、分片聚合设备向模型训练设备发送权重分片。
54.本步骤中，具体可以向请求权重的模型训练设备发送权重分片，如图7所示，分片聚合设备a向模型训练设备1发送权重分片w1，分片聚合设备b向模型训练设备2发送权重分片w2。
55.本技术实施例中，分片聚合设备在计算出最新的权重分片后，可以进行缓存，在接收到新的梯度分片之前，当还需要向其他模型训练设备发送权重分片时，可以直接从缓存中获取最新的权重分片，并发送给相应的模型训练设备。
56.本技术实施例中，针对不同的分片聚合设备所计算出的权重分片，为了便于确定其是否为相对应的属于同一次聚合的权重分片，分片聚合设备在计算出最新的权重分片后，还可以为其分配最新的版本号，与计算出的该最新的权重分片对应缓存。
57.在向模型训练设备发送权重分片时，可以同时发送对应的版本号。
58.步骤65、模型训练设备在接收到多个分片聚合设备各自发送的权重分片之后，将接收到的属于本次聚合的多个权重分片进行聚合，得到用于下次训练的权重。
59.如图7所示，模型训练设备1在接收到分片聚合设备a发送的权重分片w1和分片聚合设备b发送的权重分片w2之后，将权重分片w1和权重分片w2进行聚合，即可以计算权重w=w1 w2，得到用于下次训练的权重w。
60.采用本技术实施例提供的上述图6所示的权重聚合方法的流程中，实现了采用多
方安全技术对机器学习模型的联合训练，并且，针对可能发生的梯度分片发送失败的情况，提出了解决方案，并且，多个模型训练设备之间，不需要同步进行训练和梯度分片的发送，实现了异步机器学习的训练。
61.基于同一发明构思，根据本技术上述实施例提供的应用于分片聚合设备的模型训练中的权重聚合方法，相应地，本技术另一实施例还提供了一种模型训练中的权重聚合装置，应用于模型训练系统中的每个分片聚合设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，其结构示意图如图8所示，具体包括：梯度分片接收模块81，用于接收模型训练设备发送的梯度分片，该梯度分片为该模型训练设备将模型训练得到的梯度进行拆分得到的多个梯度分片之一，该多个梯度分片的数量与所述多个分片聚合设备的数量相同，该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送给其他分片聚合设备，其他每个分片聚合设备接收到其中一个梯度分片；梯度聚合模块82，用于当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片；权重分片发送模块83，用于向模型训练设备发送所述权重分片。
62.进一步的，所述梯度聚合模块82，具体用于当需要进行梯度聚合时，针对本次聚合所接收到的来自各模型训练设备的各梯度分片，确定其中是否存在不参与聚合的梯度分片，当一个梯度分片的其他属于同一梯度的梯度分片未全部被其他分片聚合设备接收到时，该梯度分片为不参与聚合的梯度分片；将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分片进行聚合，得到本次聚合的权重分片。
63.进一步的，所述梯度聚合模块82，具体用于当聚合周期到达时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合。
64.进一步的，所述梯度聚合模块82，具体用于当接收到模型训练设备发送的权重请求时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合；所述权重分片发送模块83，具体用于向发送所述权重请求的该模型训练设备发送所述权重分片。
65.基于同一发明构思，根据本技术上述实施例提供的应用于模型训练设备的模型训练中的权重聚合方法，相应地，本技术另一实施例还提供了一种模型训练中的权重聚合装置，应用于模型训练系统中的每个模型训练设备，所述模型训练系统包括多个分片聚合设备和多个模型训练设备，其结构示意图如图9所示，具体包括：梯度拆分模块91，用于将本次模型训练得到的梯度拆分为多个梯度分片，该多个梯度分片的数量与所述多个分片聚合设备的数量相同；梯度分片发送模块92，用于向所述多个分片聚合设备一一对应的发送所述多个梯度分片，每个分片聚合设备接收到其中一个梯度分片，使得分片聚合设备在接收到梯度分片后，当需要进行梯度聚合时，基于本次聚合所接收到的来自各模型训练设备的各梯度分片，进行梯度聚合，得到本次聚合的权重分片。
66.进一步的，该装置，如图10所示，还包括：权重分片接收模块93，用于接收所述多个分片聚合设备发送的本次聚合的权重分
片；权重聚合模块94，用于将属于本次聚合的多个权重分片进行聚合，得到用于下次训练的权重。
67.进一步的，该装置，如图11所示，还包括：权重请求发送模块95，用于在所述权重分片接收模块93接收所述多个分片聚合设备发送的本次聚合的权重分片之前，向所述多个分片聚合设备发送权重请求。
68.上述各模块的功能可对应于图2、图3和图6所示流程中的相应处理步骤，在此不再赘述。
69.本技术的实施例所提供的权重聚合装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的模块划分方式仅是众多模块划分方式中的一种，如果划分为其他模块或不划分模块，只要权重聚合装置具有上述功能，都应该在本技术的保护范围之内。
70.本技术实施例提供一种模型训练系统，包括：多个分片聚合设备和多个模型训练设备，所述分片聚合设备包括上述任一应用于分片聚合设备的模型训练中的权重聚合装置，所述模型训练设备包括上述任一应用于模型训练设备的模型训练中的权重聚合装置。
71.本技术实施例提供一种电子设备，如图12所示，包括处理器121和机器可读存储介质122，所述机器可读存储介质122存储有能够被所述处理器121执行的机器可执行指令，所述处理器121被所述机器可执行指令促使：实现上述任一应用于分片聚合设备的模型训练中的权重聚合方法，或者，实现上述任一应用于模型训练设备的模型训练中的权重聚合方法。
72.本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一应用于分片聚合设备的模型训练中的权重聚合方法，或者，实现上述任一应用于模型训练设备的模型训练中的权重聚合方法。
73.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一应用于分片聚合设备的模型训练中的权重聚合方法，或者，执行上述任一应用于模型训练设备的模型训练中的权重聚合方法。
74.上述电子设备中的机器可读存储介质可以包括随机存取存储器（random access memory，ram），也可以包括非易失性存储器（non-volatile memory，nvm），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
75.上述的处理器可以是通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）等；还可以是数字信号处理器（digital signal processing，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
76.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质，计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
77.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实
体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
78.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
79.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
80.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
81.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。