基于时空均衡的神经网络计算方法及装置

本申请涉及神经网络，特别是涉及一种基于时空均衡的神经网络计算方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着数据处理能力的不断提升，神经网络技术也逐渐蓬勃发展，神经网络通常作为各类模型的推理层来使用，用于帮助模型实现推理、映射、预测等功能，针对于大语言模型而言，神经网络可帮助大语言模型实现自然语言处理、语义分析、意图识别等功能，而神经网络通常需要经过训练才可有效实现相应的功能。

2、目前，神经网络在进行训练的过程中，可通过并行计算的方式进行训练，以实现自然语言处理、语义分析、意图识别等功能，但是，目前的神经网络训练方式还存在训练效率不足的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高神经网络的训练效率的基于时空均衡的神经网络计算方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种基于时空均衡的神经网络计算方法，包括：获取待训练的神经网络的重计算策略，重计算策略用于表征各训练流水段的存储资源和训练时间，各训练流水段用于对神经网络进行并行计算；根据重计算策略识别各训练流水段中的发送端流水段和接收端流水段，并确定各发送端流水段的第一存储资源和各接收端流水段的第二存储资源；通过各发送端流水段根据第一存储资源，以及通过各接收端流水段根据第二存储资源，对神经网络进行训练得到训练完成的目标神经网络，目标神经网络用于进行自然语言处理。

3、在其中一个实施例中，获取待训练的神经网络的重计算策略，包括：获取神经网络的并行计算配置，并行计算配置用于表征为待训练的神经网络分配的算力资源和存储资源；根据并行计算配置，确定重计算策略。

4、在其中一个实施例中，根据并行计算配置，确定重计算策略，包括：为神经网络分配各训练流水段，并根据并行计算配置确定各训练流水段的存储资源和训练时间；基于各训练流水段的存储资源和训练时间，确定重计算策略。

5、在其中一个实施例中，根据并行计算配置确定各训练流水段的存储资源和训练时间，包括：基于并行计算配置，确定训练时间确定函数；将各算力资源和存储资源作为约束条件，对训练时间确定函数进行最小值求解，得到各训练流水段的存储资源和训练时间。

6、在其中一个实施例中，根据重计算策略识别各流水段中的发送端流水段和接收端流水段，包括：针对每个训练流水段，根据存储资源和训练流水段对应的本地存储资源进行比对；若存储资源大于本地存储资源，确定训练流水段为发送端流水段；若存储资源小于或者等于本地存储资源，确定训练流水段为接收端流水段。

7、在其中一个实施例中，确定各发送端流水段的第一存储资源和各接收端流水段的第二存储资源，包括：对各发送端流水段对应的存储资源进行求和处理，得到各发送端流水段的第一候选存储资源；对各接收端流水段对应的存储资源进行求和处理，得到各接收端流水段的第二候选存储资源；若第一候选存储资源和第二候选存储资源之间的差值大于差值阈值，则确定各发送端流水段或者各接收端流水段的通信参数，根据各通信参数、第一候选存储资源和第二候选存储资源确定各第一存储资源和各第二存储资源，通信参数根据最短通信距离和并行通信负载确定。

8、在其中一个实施例中，根据各通信参数、第一候选存储资源和第二候选存储资源确定各第一存储资源和各第二存储资源，包括下述任意一项：若第一存储资源大于第二存储资源，则将各发送端流水段中通信参数最小的发送端流水段更新为接收端流水段，得到各第一存储资源和各第二存储资源；若第二存储资源大于第一存储资源，则将各接收端流水段中通信参数最小的接收端流水段更新为发送端流水段，得到各第一存储资源和各第二存储资源。

9、第二方面，本申请还提供了一种基于时空均衡的神经网络计算装置，包括：策略获取模块，用于获取待训练的神经网络的重计算策略，重计算策略用于表征各训练流水段的存储资源和训练时间，各训练流水段用于对神经网络进行并行计算；识别模块，用于根据重计算策略识别各训练流水段中的发送端流水段和接收端流水段，并确定各发送端流水段的第一存储资源和各接收端流水段的第二存储资源；训练模块，用于通过各发送端流水段根据第一存储资源，以及通过各接收端流水段根据第二存储资源，对神经网络进行训练得到训练完成的目标神经网络，目标神经网络用于进行自然语言处理。

10、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面方法的步骤。

11、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面方法的步骤。

12、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面方法的步骤。

13、上述基于时空均衡的神经网络计算方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，针对待训练的神经网络，首先获取待训练的神经网络的重计算策略，重计算策略用于表征各训练流水段的存储资源和训练时间的策略，训练流水段是用于对神经网络进行并行计算的，根据重计算策略识别各训练流水段中的发送端流水段和接收端流水段，确定各发送端流水段的第一存储资源和各接收端流水段的第二存储资源，通过各发送端流水段根据第一存储资源，以及通过各接收端流水段根据第二存储资源，对神经网络进行训练得到训练完成的进行自然语音处理的目标神经网络，实现了重计算与训练的统一优化，解决了重计算开销和存储不均衡的问题，提升了神经网络的训练效率。

1.一种基于时空均衡的神经网络计算方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待训练的神经网络的重计算策略，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述并行计算配置，确定所述重计算策略，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述并行计算配置确定各所述训练流水段的存储资源和训练时间，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述重计算策略识别各所述流水段中的发送端流水段和接收端流水段，包括：

6.根据权利要求5所述的方法，其特征在于，所述确定各所述发送端流水段的第一存储资源和各所述接收端流水段的第二存储资源，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据各所述通信参数、所述第一候选存储资源和所述第二候选存储资源确定各所述第一存储资源和各所述第二存储资源，包括下述任意一项：

8.一种基于时空均衡的神经网络计算装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。