一种数据处理方法以及装置与流程
本技术涉及人工智能领域,尤其涉及一种数据处理方法以及装置。
背景技术:
1、在机器学习和深度学习模型的开发流程中,数据预处理及其效率优化是影响模型性能的核心环节。数据预处理主要包括两个环节:首先通过离线数据预处理将原始数据处理为训练样本数据,随后,由计算节点从存储系统中读取训练样本数据,通过在线数据预处理得到预处理后的数据。
2、目前,在线数据预处理主要是将训练样本数据传输至神经网络处理单元(neuralnetwork processing unit,npu)上进行数据预处理,再将预处理结果通过广播发送至tp域内其他npu,以及将预处理数据中的部分数据传输至中央数据处理器(central processingunit,cpu)。
3、然而,仅在npu上进行数据预处理,针对部分计算任务可能需要频繁与cpu进行数据同步,通过h2d(host to device)/d2h(device to host)进行数据传输,传输效率低且等待时间长,进而导致数据预处理效率低。
技术实现思路
1、本技术提供了一种数据处理方法以及装置,用于将在npu中执行的部分计算任务前移至cpu中,以实现并行调度,提高数据预处理效率以及资源利用率。
2、第一方面,本技术提供了一种数据处理方法,包括:确定在中央数据处理器cpu中执行的第一计算任务;随后,将该第一计算任务的第一预处理结果存储于共享内存,其中,第一预处理结果为第一计算任务在cpu中计算得到的,共享内存用于多个计算进程共享第一预处理结果,多个计算进程用于根据第一预处理结果和第二预处理结果对神经网络模型进行训练或推理,第二预处理结果为第二计算任务在神经网络处理单元npu中计算得到的。
3、本技术实施例中,通过将部分预处理计算任务前移至cpu执行,利用cpu与npu的计算资源协同并行,构建异构流水线,实现数据预处理与训练的并发运行,从而提高了数据预处理的效率和系统的资源利用率。此外,将计算任务前移至cpu执行之后,通过共享内存进行传输,不需要通过npu广播传输数据,再从npu传输至cpu,减少了部分cpu和npu之间的数据传输。多个计算进程之间通过共享内存进行数据共享,最大化进程间的数据传输,从而提高了整体的数据传输效率。
4、在一种可能的实施方式中,前述的共享内存包括数据版本标识、数据已读标志位和数据区,数据已读标志位用于指示多个计算进程中的目标计算进程是否读取目标预处理结果,目标预处理结果为目标计算任务在cpu中计算得到的,数据区用于存储不同数据版本的目标预处理结果,一个目标预处理结果对应唯一的数据版本标识,前述的将第一计算任务的第一预处理结果存储于共享内存之后,该方法还可以包括:当多个数据已读标志位表示多个计算进程已读取第一预处理结果时,将第三预处理结果存储于共享内存,第三预处理结果与第一预处理结果为基于第一计算任务计算得到的不同版本数据。
5、本技术实施例中,通过构建共享内存,可以使得多个计算进程通过共享内存直接读取预处理结果,不需要通过cpu广播传输数据或其他传输通道传输,从而提高了数据传输效率。
6、在一种可能的实施方式中,前述的确定中央处理器cpu中执行的第一计算任务,可以包括:根据第三计算任务的类型,从第三计算任务中筛选出第一计算任务,第三计算任务为在npu中执行的计算任务,第三计算任务包括第一计算任务和第二计算任务。
7、在一种可能的实施方式中,根据第三计算任务的类型,从第三计算任务筛选出第一计算任务之后,该方法还可以包括:将第一计算任务卸载至cpu中进行计算,得到第一预处理结果。
8、在一种可能的实施方式中,前述的将第一计算任务的第一预处理结果存储于共享内存,可以包括:将第一预处理结果进行编码,得到编码数据,编码数据包括数据名称、数据类型、数据长度与数据内容中的一种或多种字段;将编码数据存储于共享内存。
9、本技术实施例中,将预处理结果按照统一的数据编码格式进行组织,可以实现多组结构化数据在共享内存中的并存、解析与高效访问,提升数据传输通用性与系统拓展能力。
10、第二方面,本技术提供一种数据处理方法,包括:确定在中央处理器cpu中执行的第一计算任务;将第一计算任务的第一预处理结果发送至多个计算进程,多个计算进程用于根据第一预处理结果和第二预处理结果对神经网络模型进行训练或推理,第二预处理结果为第二计算任务在神经网络处理单元npu中计算得到的。
11、本技术实施例中,通过将计算任务前移至cpu上执行,以使得可以同时在cpu和npu上进行数据预处理和模型训练,构建异构流水线,从而提高了数据预处理的效率,并提高了资源利用率。
12、在一种可能的实施方式中,该方法还可以包括:在cpu中对第一计算任务进行计算,得到第一预处理结果。
13、第三方面,本技术提供一种数据处理装置,包括:确定模块,用于确定在中央处理器cpu中执行的第一计算任务;存储模块,用于将第一计算任务的第一预处理结果存储于共享内存,第一预处理结果为第一计算任务在cpu中计算得到的,共享内存用于多个计算进程共享第一预处理结果,多个计算进程用于根据第一预处理结果和第二预处理结果对神经网络模型进行训练或推理,第二预处理结果为第二计算任务在神经网络处理单元npu中计算得到的。
14、在一种可能的实施方式中,前述的共享内存包括数据版本标识、数据已读标志位和数据区,数据已读标志位用于指示多个计算进程中的目标计算进程是否读取目标预处理结果,目标预处理结果为目标计算任务在cpu中计算得到的,数据区用于存储不同数据版本的目标预处理结果,一个目标预处理结果对应唯一的数据版本标识,前述的将第一计算任务的第一预处理结果存储于共享内存之后,前述的存储模块,还用于当多个数据已读标志位表示多个计算进程已读取第一预处理结果时,将第三预处理结果存储于共享内存,第三预处理结果与第一预处理结果为基于第一计算任务计算得到的不同版本数据。
15、在一种可能的实施方式中,前述的确定模块,具体用于:根据第三计算任务的类型,从第三计算任务筛选出第一计算任务之后,该方法还可以包括:将第一计算任务卸载至cpu中进行计算,得到第一预处理结果。
16、在一种可能的实施方式中,根据第三计算任务的类型,从第三计算任务筛选出第一计算任务之后,该装置还可以包括:计算模块,用于将第一计算任务卸载至cpu中进行计算,得到第一预处理结果。
17、在一种可能的实施方式中,前述的存储模块,具体用于:将第一预处理结果进行编码,得到编码数据,编码数据包括数据名称、数据类型、数据长度与数据内容中的一种或多种字段;将编码数据存储于共享内存。
18、第四方面,本技术提供一种数据处理装置,包括:确定模块,用于确定在中央处理器cpu中执行的第一计算任务;发送模块,用于将第一计算任务的第一预处理结果发送至多个计算进程,多个计算进程用于根据第一预处理结果和第二预处理结果对神经网络模型进行训练或推理,第二预处理结果为第二计算任务在神经网络处理单元npu中计算得到的。
19、在一种可能的实施方式中,该装置还可以包括:计算模块,用于在cpu中对第一计算任务进行计算,得到第一预处理结果。
20、第五方面,本技术提供一种数据处理装置,该数据处理装置包括:处理器,用于执行程序,使得前述的数据处理装置执行如权利要求前述第一方面、第一方面任意一种实现方式、第二方面或第二方面任意一种实现方式所述的方法。
21、可选的,该数据处理装置还包括存储器,所述处理器与所述存储器耦合;所述存储器,用于存储程序。
22、第六方面,本技术实施例提供一种计算机可读存储介质。该计算机可读存储介质中存储有计算机指令;当该计算机指令在计算机上运行时,使得该计算机执行如第一方面、第一方面任意一种可能的实现方式、第二方面或第二方面任意一种实现方式所述的方法。
23、第七方面,本技术实施例提供一种计算机程序产品。该计算机程序产品包括计算机程序或指令,当该计算机程序或指令在计算机上运行时,使得该计算机执行如第一方面、第一方面任意一种可能的实现方式、第二方面或第二方面任意一种实现方式所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com