批量数据处理方法、装置、网络设备、介质和程序产品与流程

本公开涉及网络，尤其涉及一种批量数据处理方法、一种批量数据处理装置、一种网络设备、一种计算机可读存储介质和一种计算机程序产品。

背景技术：

1、随着ai大模型应用的普及，智算网络规模逐步向千卡、万卡级分布式架构演进，受算存拉远、算算拉远的异地部署架构约束，训练过程需持续开展梯度同步的参数面通信、训练样本拉取的样本面通信两类跨域数据交互，跨计算节点的多节点同步通信（all-reduce梯度聚合）带来的网络时延，成为了限制训练扩容能力、降低集群算力利用率的主要瓶颈。

2、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的目的在于提供一种批量数据处理方法、装置、网络设备、介质和程序产品，至少在一定程度上克服相关技术中由于网络时延过高导致训练扩容受限、集群算力利用率偏低的问题。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本公开的一个方面，提供一种批量数据处理方法，包括：在一个迭代训练周期中，采集用于大模型分布式训练任务的网络逻辑拓扑中的每条通信链路的网络性能指标值；将所述网络性能指标值和所述大模型分布式训练任务的配置信息参数输入用于迭代训练周期的时延预测的轻量级预测模型，以由所述轻量级预测模型预测下一迭代训练周期的多维训练时延；以最小化单次迭代训练周期的时长为优化目标，基于预测的所述多维训练时延之间的关系确定所述训练任务在下一迭代训练周期中使用的训练样本的批量调整决策；将所述批量调整决策下发至所述参数面网络中对应的计算节点，以使所述计算节点基于所述批量调整决策向所述样本面网络的存储服务器请求对应数量的训练样本。

4、在本公开的一个实施例中，在采集用于大模型分布式训练任务的网络逻辑拓扑中的每条通信链路的网络性能指标之前，还包括：基于样本面网络、数据中心互联网络和参数面网络构建所述网络逻辑拓扑。

5、在本公开的一个实施例中，基于样本面网络、数据中心互联网络和参数面网络构建所述网络逻辑拓扑，包括：从参与所述大模型分布式训练任务的所有计算进程中筛选出在反向传播阶段进行梯度聚合所使用的通信进程组；建立所述通信进程组与所述参数面网络之间的映射关系，以基于所述映射关系确定所述计算节点之间的梯度聚合链路，并确定每一所述梯度聚合链路中的第一通信跳数；确定贯穿所述样本面网络、所述数据中心互联网络以及所述参数面网络且用于传输所述训练样本的样本传输链路，以确定每一所述样本传输链路中的第二通信跳数；基于所述梯度聚合链路与对应的所述第一通信跳数，以及所述样本传输链路与对应的所述第二通信跳数，构建所述网络逻辑拓扑。

6、在本公开的一个实施例中，采集构建所述网络逻辑拓扑的每条通信链路的网络性能指标，包括：周期性采集每条所述通信链路的所述网络性能指标，其中，所述通信链路包括梯度聚合链路和样本传输链路，所述单次迭代训练周期包括多个所述网络性能指标的采集周期，所述网络性能指标包括通信链路带宽、通信链路传输延迟、丢包率、交换机端口队列深度以及所述通信链路产生的拥塞事件中的至少一种。

7、在本公开的一个实施例中，所述多维训练时延包括样本传输时延、本地计算时延和参数更新时延。

8、在本公开的一个实施例中，在将所述网络性能指标和所述大模型分布式训练任务的配置信息输入用于迭代训练周期的时延预测的轻量级预测模型之前，还包括：基于第一组网络性能指标和第一组配置信息构建预测所述样本传输时延的第一子模型；基于第二组配置信息构建预测所述本地计算时延的第二子模型；基于第二组网络性能指标和第三组配置信息构建预测所述参数更新时延的第三子模型；基于所述第一子模型、所述第二子模型和所述第三子模型构建所述轻量级预测模型。

9、在本公开的一个实施例中，所述第一组配置信息包括当前迭代训练周期中所述训练样本的单节点批量，所述第一组网络性能指标包括所述样本传输链路的第一带宽、第一传输延迟和第一丢包率，基于第一组网络性能指标和第一组配置信息构建预测所述样本传输时延的第一子模型，包括：基于所述单节点批量和所述第一带宽确定样本参考延时模型；基于所述第一传输延迟、所述第一丢包率和所述训练样本的历史传输时延偏差中的至少一种确定第一修正模型，所述历史传输时延偏差与第二通信跳数相关；基于所述样本参考延时模型和所述第一修正模型构建所述第一子模型。

10、在本公开的一个实施例中，所述第二组配置信息包括当前迭代训练周期中所述训练样本的单节点批量、全局批量、用于更新所述大模型的模型参数的优化器函数、以及所述计算节点的负载，基于第二组配置信息构建预测所述本地计算时延的第二子模型，包括：基于所述单节点批量、所述全局批量和所述优化器函数确定本地参考延时模型；基于所述计算节点的负载确定第二修正模型；基于所述本地参考延时模型和所述第二修正模型构建所述第二子模型。

11、在本公开的一个实施例中，所述第三组配置信息包括所述计算节点的数量和所述单次迭代训练周期产生的梯度数据量，所述第二组网络性能指标包括所述梯度聚合链路的第二带宽、第二传输延迟和第二丢包率，基于第二组网络性能指标和第三组配置信息构建预测所述参数更新时延的第三子模型，包括：基于所述计算节点的数量、所述梯度数据量和所述第二带宽确定参数同步时延模型；基于所述第二传输延迟、所述第二丢包率和第一通信跳数中的至少一种，以及所述计算节点的数量确定第三修正模型；基于所述参数同步时延模型和所述第三修正模型构建所述第三子模型。

12、在本公开的一个实施例中，以最小化单次迭代训练周期的时长为优化目标，基于预测的所述多维训练时延之间的关系确定所述训练任务在下一迭代训练周期中使用的训练样本的批量调整决策，包括：基于所述本地计算时延和所述参数更新时延之和，以及配置的参考比值确定比较时延，所述参考比值用于表征所述样本传输时延允许占用的所述本地计算时延和所述参数更新时延之和的最大比值；检测所述样本传输时延和所述比较时延之间的关系；若所述样本传输时延小于所述比较时延，则所述批量调整决策为在所述下一迭代训练周期中增大所述训练样本的单节点批量；若所述样本传输时延大于所述比较时延，则所述批量调整决策为在所述下一迭代训练周期中减小所述训练样本的单节点批量。

13、在本公开的一个实施例中，将所述批量调整决策下发至所述参数面网络中对应的计算节点，还包括：向部署于所述计算节点，并且以所述通信进程组为交互范围的集合通信库下发批量调整指令，以使所述集合通信库基于更新后的单节点批量确定对应的梯度数据量，并基于所述梯度数据量重新配置梯度同步缓冲区容量、数据分片粒度与通信调度策略。

14、根据本公开的另一个方面，提供一种批量数据处理装置，包括：采集模块，用于在一个迭代训练周期中，采集用于大模型分布式训练任务的网络逻辑拓扑中的每条通信链路的网络性能指标值；预测模块，用于将所述网络性能指标值和所述大模型分布式训练任务的配置信息参数输入用于迭代训练周期的时延预测的轻量级预测模型，以由所述轻量级预测模型预测下一迭代训练周期的多维训练时延；确定模块，用于以最小化单次迭代训练周期的时长为优化目标，基于预测的所述多维训练时延之间的关系确定所述训练任务在下一迭代训练周期中使用的训练样本的批量调整决策；下发模块，用于将所述批量调整决策下发至所述参数面网络中对应的计算节点，以使所述计算节点基于所述批量调整决策向所述样本面网络的存储服务器请求对应数量的训练样本。

15、根据本公开的再一个方面，提供一种网络设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的批量数据处理方法。

16、根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的批量数据处理方法。

17、根据本公开的又一个方面，提供一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的批量数据处理方法。

18、本公开的实施例所提供的批量数据处理方案，通过预先构建完成的轻量级预测模型，接收当前迭代训练周期采集的网络逻辑拓扑内各通信链路实时网络性能指标值与实时配置信息参数，输出下一迭代训练周期的多维训练时延，以缩短单次迭代训练周期时长为目标判定链路瓶颈并生成批量调整决策，批量调整决策下发至对应计算节点后调整节点拉取样本的数量；基于网络逻辑拓扑与实时链路指标预判训练各阶段时延，依据链路负载动态调节样本传输的数据体量，减轻样本传输链路拥堵程度，降低跨节点梯度交互产生的网络损耗，改善大规模分布式训练场景下网络时延过高的问题，从而提升集群扩容能力与集群整体算力利用率。

19、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。