模型训练方法及装置、电子设备、存储介质、程序产品与流程

本公开涉及计算机，特别涉及一种模型训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品。

背景技术：

1、随着计算机技术和人工智能技术的不断发展，神经网络模型被广泛地应用在各种业务场景中，用于解决用户的实际业务需求；而神经网络模型在应用之前需要对其进行模型训练。

2、当前在利用多个节点训练神经网络模型的过程中，需要汇总多个节点的梯度信息并进行模型更新；但由于多个节点中可能存在恶意节点，而恶意节点会恶意的提供错误梯度信息，从而降低了模型训练的安全性，因此，如何提高模型训练过程的安全性成为亟需解决的技术问题。

技术实现思路

1、本公开提供一种模型训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品。

2、第一方面，本公开提供了一种模型训练方法，应用于计算集群，该方法包括：

3、确定计算集群的多个节点发出的当前轮的梯度信息，并确定多个节点对应的节点信息，其中，梯度信息是多个节点对当前轮的模型进行模型训练后获得的；

4、确定梯度信息的信息安全等级；

5、根据信息安全等级和节点信息对梯度信息进行更新，获得第一更新梯度信息；

6、根据第一更新梯度信息对当前轮的模型进行更新，获得下一轮的模型。

7、第二方面，本公开提供了一种模型训练装置，应用于计算集群，模型训练装置包括：第一信息确定模块、第二信息确定模块、梯度更新模块以及模型更新模块。

8、第一信息确定模块，用于确定计算集群的多个节点发出的当前轮的梯度信息，并确定多个节点对应的节点信息，其中，梯度信息是多个节点对当前轮的模型进行模型训练后获得的。

9、第二信息确定模块，用于确定梯度信息的信息安全等级。

10、梯度更新模块，用于根据信息安全等级和节点信息对梯度信息进行更新，获得第一更新梯度信息。

11、模型更新模块，用于根据第一更新梯度信息对当前轮的模型进行更新，获得下一轮的模型。

12、第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述的模型训练方法。

13、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序在被处理器执行时实现上述的模型训练方法。

14、第五方面，本公开提供了一种计算机程序产品，其包括计算机可读代码，当计算机可读代码在电子设备的处理器中运行时，电子设备中的处理器执行上述的模型训练方法。

15、本公开实施例提供了一种应用于计算集群的模型训练方法，该计算集群中的多个节点可以对当前轮的模型进行模型训练，在模型训练后可以获得多个节点发出的当前轮的梯度信息，并确定梯度信息的信息安全等级；根据信息安全等级和多个节点对应的节点信息对该梯度信息进行更新，获得安全性较高的第一更新梯度信息，从而降低恶意节点的影响；然后，利用安全性较高的第一更新梯度信息对当前轮的模型进行更新，从而进一步降低了模型被攻击的风险，提高了模型训练过程的安全性。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种模型训练方法，其特征在于，应用于计算集群，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述节点信息包括容错信息、所述多个节点的节点状态信息和节点权重；

3.根据权利要求1所述的方法，其特征在于，所述节点信息包括所述多个节点的节点权重；

4.根据权利要求3所述的方法，其特征在于，所述根据多个梯度信息确定目标梯度信息，根据多个节点权重确定目标节点权重，包括：

5.根据权利要求1所述的方法，其特征在于，所述确定所述梯度信息的信息安全等级，包括：

6.根据权利要求2所述的方法，其特征在于，所述容错信息包括拜占庭容错参数，所述更新信息包括梯度裁剪数量；

7.根据权利要求6所述的方法，其特征在于，所述根据所述多个节点的节点数量和所述第二节点安全等级的节点的节点数量，确定所述第二节点安全等级的节点对应的节点比值之后，还包括：

8.根据权利要求2所述的方法，其特征在于，所述梯度信息包括梯度向量，所述梯度向量包括多个维度的梯度值，所述第一更新梯度信息包括第一更新梯度向量，所述更新信息包括梯度裁剪数量；

9.根据权利要求1所述的方法，其特征在于，所述节点信息还包括所述多个节点对应的节点标识；

10.根据权利要求1所述的方法，其特征在于，所述确定所述计算集群的多个节点发出的当前轮的梯度信息，并确定所述多个节点对应的节点信息之前，还包括：

11.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一更新梯度信息对所述当前轮的模型进行更新，获得下一轮的模型之后，还包括：

12.一种模型训练装置，其特征在于，应用于计算集群，所述模型训练装置包括：第一信息确定模块、第二信息确定模块、梯度更新模块以及模型更新模块；

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-11中任一项所述的方法。

15.一种计算机程序产品，其特征在于，包括计算机可读代码，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行如权利要求1-11中任一项所述的方法。