数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品与流程

摘要: 本申请涉及计算机技术,尤其涉及一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。背景技术:1、在大模型训练和推理场景下,分布式计算是处理海量...
数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品与流程

本申请涉及计算机技术,尤其涉及一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术:

1、在大模型训练和推理场景下,分布式计算是处理海量数据的核心手段,其中通用矩阵乘算子与集合通信中的分散规约算子组合具有广泛的应用。在相关技术中,为了节省计算节点的存储空间,通常会对待处理的数据矩阵进行特定维度的切分并分配至各个节点,各节点在完成局部的矩阵乘法计算后,再调用分散规约算子进行节点间的数据通信以合并输出最终结果。然而,由于强数据依赖导致计算与通信过程难以并行执行,且分散规约过程会产生大量受限于芯片性能瓶颈的元素级加法操作,相关技术中的方法无法充分发挥全互联网络拓扑结构的通信优势,导致整体数据处理效率低下。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够实现数据交换与数据计算的并行重叠,从而提升数据处理效率。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种数据处理方法,应用于包含多个计算节点的计算系统,所述方法包括:

4、获取待处理的第一数据矩阵和第二数据矩阵;

5、针对每一所述计算节点,从所述第一数据矩阵中获取所述计算节点对应的第一行数据,从所述第二数据矩阵中获取所述计算节点对应的第二行数据;

6、基于所述第二行数据,与所述多个计算节点中的其他计算节点进行第一列维度的数据交换,得到所述第二数据矩阵中与所述第一列维度对应的第一列数据;

7、将所述第一列维度确定为当前列维度,并迭代执行以下过程:

8、基于所述当前列维度对应的所述第一行数据和所述第一列数据,确定所述当前列维度对应的子结果;

9、在确定所述当前列维度对应的子结果的同时,基于所述第二行数据,与所述其他计算节点进行所述当前列维度的下一列维度的数据交换,得到所述第二数据矩阵中与所述下一列维度对应的第一列数据,并将所述下一列维度确定为新的当前列维度;

10、当所述当前列维度为最后一列维度时,基于各个列维度对应的子结果生成所述计算节点对应的目标计算结果。

11、本申请实施例提供一种数据处理装置,应用于包含多个计算节点的计算系统,所述装置包括:

12、获取模块,用于获取待处理的第一数据矩阵和第二数据矩阵;

13、所述获取模块,还用于针对每一所述计算节点,从所述第一数据矩阵中获取所述计算节点对应的第一行数据,从所述第二数据矩阵中获取所述计算节点对应的第二行数据;

14、数据交换模块,用于基于所述第二行数据,与所述多个计算节点中的其他计算节点进行第一列维度的数据交换,得到所述第二数据矩阵中与所述第一列维度对应的第一列数据;

15、迭代处理模块,用于将所述第一列维度确定为当前列维度,并迭代执行以下过程:

16、基于所述当前列维度对应的所述第一行数据和所述第一列数据,确定所述当前列维度对应的子结果;在确定所述当前列维度对应的子结果的同时,基于所述第二行数据,与所述其他计算节点进行所述当前列维度的下一列维度的数据交换,得到所述第二数据矩阵中与所述下一列维度对应的第一列数据,并将所述下一列维度确定为新的当前列维度;

17、生成模块,用于当所述当前列维度为最后一列维度时,基于各个列维度对应的子结果生成所述计算节点对应的目标计算结果。

18、本申请实施例提供一种电子设备,所述电子设备包括:

19、存储器,用于存储计算机可执行指令或者计算机程序;

20、处理器,用于执行所述存储器中存储的计算机可执行指令或者计算机程序时,实现本申请实施例提供的数据处理方法。

21、本申请实施例提供一种计算机可读存储介质,存储有计算机程序或计算机可执行指令,用于被处理器执行时实现本申请实施例提供的数据处理方法。

22、本申请实施例提供一种计算机程序产品,包括计算机程序或计算机可执行指令,所述计算机程序或计算机可执行指令被处理器执行时,实现本申请实施例提供的数据处理方法。

23、本申请实施例具有以下有益效果:

24、在本申请实施例中,通过对多计算节点间数据交互与本地计算逻辑的统筹设计,实现了分布式矩阵数据处理性能的显著提升。具体而言,首先通过针对每一计算节点分别从第一、第二数据矩阵中获取对应的第一、第二行数据,实现了大规模矩阵数据在多个节点上的分布式加载,为系统并发处理奠定了数据基础;随后,在首次迭代前基于第二行数据与其他节点进行第一列维度的数据交换以得到第一列数据,有效完成了跨节点的数据重组,为首轮局部矩阵运算提供了初始的列向数据支撑;在迭代执行阶段,本申请将基于当前列维度的数据确定子结果的计算过程,与基于第二行数据进行下一列维度数据交换的通信过程设定为同时进行,这一机制实现了数据计算任务与数据通信任务在时间轴上的并行重叠,使得各个计算节点在执行当前维度矩阵运算的同时,能够提前并行获取下一维度所需的数据,从而将跨节点数据交换的时间与本地数据计算时间相互融合,保障了计算资源的持续运转并大幅提升了时间利用率;最后,在执行到最后一列维度时,基于各个列维度的子结果生成目标计算结果,保障了多维度分步迭代结束后各个中间子结果的有效聚合,确保了最终矩阵计算结果的完整性。因此,本申请实施例通过在每一计算节点内部构建计算与数据交换的并行协同机制,显著提升了多节点计算系统在处理数据矩阵时的整体处理效率以及系统资源的综合利用率。

1.一种数据处理方法,应用于包含多个计算节点的计算系统,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从所述第一数据矩阵中获取所述计算节点对应的第一行数据,包括:

3.根据权利要求2所述的方法,其特征在于,在接收所述其他计算节点发送的与所述第一行维度对应的第二元素的同时,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述第二行数据,与所述多个计算节点中的其他计算节点进行第一列维度的数据交换,得到所述第二数据矩阵中与所述第一列维度对应的第一列数据,包括:

5.根据权利要求1所述的方法,其特征在于,所述第一行数据中包括多个第五元素,所述第一列数据中包括多个第六元素,且所述第五元素的数量与所述第六元素的数量相等;

6.根据权利要求1所述的方法,其特征在于,所述计算系统中任意两个所述计算节点之间建立有直连数据通道;

7.根据权利要求1所述的方法,其特征在于,所述基于各个列维度对应的子结果生成所述计算节点对应的目标计算结果,包括:

8.一种数据处理装置,应用于包含多个计算节点的计算系统,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,存储有计算机可执行指令或者计算机程序,其特征在于,所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

11.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。