数据搬运方法及相关设备与流程
本技术涉及计算机,尤其涉及一种数据搬运方法及相关设备。
背景技术:
1、在人工智能芯片及高性能计算领域中,直接存储器访问(direct memory access,dma)技术被广泛用于外部存储与片上缓存之间的大规模数据搬运。dma通过独立于中央处理器及计算核心的专用硬件通道,在无需核心处理器干预的情况下自动完成数据在不同存储层级间的迁移,使处理器得以从数据搬移任务中解放,专注执行算术逻辑运算。
2、然而,dma的操作机制为:软件向dma控制器下发单条搬运指令后,dma控制器须将该指令指定的全部数据一次性完整搬运至目标地址,待整条指令完全执行完毕后,dma控制器才向处理器发出中断或更新完成标志,此后数据处理单元(如人工智能计算核心)方能开始读取目标地址中的数据进行计算。在此模式下,数据处理单元在dma执行搬运的整个期间内无法获取任何中间数据,只能处于空闲等待或执行无关任务的状态,导致整体吞吐率下降。
3、相关技术中,一般将总数据切分为若干大小固定的数据块,dma依次将各块搬运至指定缓存,计算单元紧随其后逐块消费,使搬运与计算在时间上相互重叠,进而形成粗粒度的流水线并行,在一定程度上提升数据供给效率。然而,该方案受限于固定块大小,dma控制器在每次搬运任务启动时均需经历指令解析、地址锁存、总线仲裁、寄存器配置等一系列固定开销,导致启动开销占比过高,流水线难以保持连续运转,进而使得系统整体吞吐率下降,降低了数据搬运效率。
技术实现思路
1、本技术提出一种数据搬运方法及相关设备,能够有效提升系统的整体吞吐率。
2、为实现上述目的,本技术实施例的第一方面提出了一种数据搬运方法,所述方法包括:
3、获取数据搬运任务,并基于所述数据搬运任务确定多个数据搬运请求以及所述多个数据搬运请求的预定顺序,其中,各所述数据搬运请求分别对应目标存储区域中的一个目标数据区间,所述预定顺序与各所述目标数据区间相对于所述目标存储区域的预定起始位置的排列顺序一致;
4、响应于按照所述预定顺序位于前的数据搬运请求不满足执行条件,执行按照所述预定顺序位于后且满足所述执行条件的数据搬运请求,并分别记录各所述数据搬运请求对应的请求进度值,所述请求进度值用于表征对应目标数据区间中自所述目标数据区间的起始位置连续完成写入的数据量;
5、根据所述预定顺序以及各所述数据搬运请求对应的请求进度值,确定所述目标存储区域中自所述预定起始位置连续完成写入的就绪数据量,其中,位于按照所述预定顺序排列的首个未完成写入的目标数据区间之后的已写入数据量不计入所述就绪数据量;
6、根据所述就绪数据量更新目标进度记录中的目标进度值,所述目标进度记录供数据处理单元读取,以使所述数据处理单元在所述数据搬运任务完成之前,处理所述目标存储区域中与所述就绪数据量对应的数据。
7、相应地,本技术实施例的第二方面提出了一种数据搬运装置,所述装置包括:
8、获取模块,用于获取数据搬运任务,并基于所述数据搬运任务确定多个数据搬运请求以及所述多个数据搬运请求的预定顺序,其中,各所述数据搬运请求分别对应目标存储区域中的一个目标数据区间,所述预定顺序与各所述目标数据区间相对于所述目标存储区域的预定起始位置的排列顺序一致;
9、执行模块,用于响应于按照所述预定顺序位于前的数据搬运请求不满足执行条件,执行按照所述预定顺序位于后且满足所述执行条件的数据搬运请求,并分别记录各所述数据搬运请求对应的请求进度值,所述请求进度值用于表征对应目标数据区间中自所述目标数据区间的起始位置连续完成写入的数据量;
10、确定模块,用于根据所述预定顺序以及各所述数据搬运请求对应的请求进度值,确定所述目标存储区域中自所述预定起始位置连续完成写入的就绪数据量,其中,位于按照所述预定顺序排列的首个未完成写入的目标数据区间之后的已写入数据量不计入所述就绪数据量;
11、更新模块,用于根据所述就绪数据量更新目标进度记录中的目标进度值,所述目标进度记录供数据处理单元读取,以使所述数据处理单元在所述数据搬运任务完成之前,处理所述目标存储区域中与所述就绪数据量对应的数据。
12、在一些实施方式中,所述装置还包括:
13、请求进度记录单元组,包括多个请求进度记录单元,每个所述请求进度记录单元与一个数据搬运请求对应,并用于记录对应数据搬运请求的请求进度值,所述请求进度记录单元不接受所述数据处理单元发起的读取操作;
14、目标进度记录单元,用于记录所述目标进度值,并接受所述数据处理单元发起的读取操作;
15、顺序状态记录单元,用于记录按照所述预定顺序排列的首个未完成写入的数据搬运请求的标识信息。
16、在一些实施方式中,所述数据搬运任务包括源地址、目标地址和搬运数据总长度;
17、各所述目标数据区间从所述目标地址开始按照所述预定顺序排列,各所述目标数据区间占用的数据存储空间之和等于所述搬运数据总长度。
18、在一些实施方式中,所述数据搬运任务还包括进度记录标识信息;所述方法还包括:
19、根据所述进度记录标识信息,从多个候选进度记录中确定所述目标进度记录;
20、在执行所述多个数据搬运请求之前,将所述目标进度记录中的目标进度值设置为预设初始值。
21、在一些实施方式中,所述数据搬运任务包括源地址、目标地址和搬运数据总长度,所述获取模块,还用于:
22、根据所述源地址、所述搬运数据总长度以及预设请求数据量,从所述数据搬运任务对应的源存储区域中,确定连续排列的多个源数据范围;
23、结合所述目标地址以及各所述源数据范围,确定各所述源数据范围在所述目标地址的目标存储区域中对应的目标数据区间;
24、分别根据各所述源数据范围的源起始地址、对应目标数据区间的目标起始地址以及所述预设请求数据量,生成对应的数据搬运请求,以确定所述数据搬运任务对应的多个所述数据搬运请求。
25、在一些实施方式中,所述执行模块,还用于:
26、按照所述预定顺序确定当前数据搬运请求,检测所述当前数据搬运请求是否满足执行条件;
27、在所述当前数据搬运请求不满足执行条件时,按照所述预定顺序从尚未完成的数据搬运请求中选择满足所述执行条件的其他数据搬运请求;
28、执行所述其他数据搬运请求,并根据所述其他数据搬运请求对应的数据写入情况,更新所述其他数据搬运请求对应的请求进度值;
29、其中,在所述其他数据搬运请求按照所述预定顺序位于所述当前数据搬运请求之后,且所述当前数据搬运请求对应的数据部分尚未完成写入时,所述其他数据搬运请求对应的请求进度值不计入就绪数据量。
30、在一些实施方式中,所述执行模块,还用于:
31、确定按照所述预定顺序位于后且满足所述执行条件的数据搬运请求,并将所述数据搬运请求对应的待搬运数据按照预设搬运数据粒度划分为多个搬运子数据;
32、按照各所述搬运子数据在对应目标数据区间中的排列顺序,将各所述搬运子数据写入所述目标数据区间;
33、每完成一个所述搬运子数据的写入,根据所述搬运子数据的数据量更新所述数据搬运请求对应的请求进度值。
34、在一些实施方式中,所述执行模块,还用于:
35、向所述数据搬运请求对应的目标存储单元发送所述搬运子数据对应的写入请求,所述写入请求包括请求标识信息;
36、接收所述目标存储单元返回的写入响应,所述写入响应包括响应标识信息;
37、根据所述请求标识信息和所述响应标识信息,将所述写入响应与对应的搬运子数据进行匹配;
38、在所述写入响应表明对应的搬运子数据已经完成写入后,根据所述搬运子数据的数据量更新对应数据搬运请求的请求进度值。
39、在一些实施方式中,所述确定模块,还用于:
40、按照所述预定顺序,从所述预定起始位置开始,依次确定各所述目标数据区间是否完成写入;
41、对排列在所述首个未完成写入的目标数据区间之前且已经完成写入的各目标数据区间的数据量进行累加,得到第一数据量;
42、将所述首个未完成写入的目标数据区间对应的请求进度值确定为第二数据量;
43、将所述第一数据量与所述第二数据量之和确定为所述就绪数据量。
44、在一些实施方式中,所述数据搬运装置还包括检测模块,用于:
45、在所述首个未完成写入的目标数据区间完成写入后,按照所述预定顺序,依次检测排列在完成写入的所述目标数据区间之后的其他目标数据区间的写入状态;
46、在检测到的其他目标数据区间已经完成写入时,将所述其他目标数据区间的全部数据量计入所述就绪数据量,并继续检测下一目标数据区间;
47、在检测到的其他目标数据区间部分完成写入时,将所述其他目标数据区间对应的请求进度值计入所述就绪数据量,基于更新的所述就绪数据量更新目标进度记录中的目标进度值,并停止检测排列在所述其他目标数据区间之后的目标数据区间,直至所述其他目标数据区间全部完成写入。
48、在一些实施方式中,所述更新模块,还用于:
49、获取所述目标进度记录中的当前目标进度值;
50、确定所述就绪数据量与所述当前目标进度值之间的增加量;
51、在所述增加量达到预设更新数据量时,将所述目标进度值更新为所述就绪数据量。
52、在一些实施方式中,所述数据搬运装置还包括判断模块,用于:
53、在所述多个数据搬运请求均已完成时,判断所述目标进度记录中的当前目标进度值是否小于所述搬运数据总长度;
54、在所述当前目标进度值小于所述搬运数据总长度时,将所述目标进度值更新为所述搬运数据总长度。
55、在一些实施方式中,所述更新模块,还用于:
56、在所述就绪数据量增加后,将所述目标进度值更新为增加后的所述就绪数据量。
57、在一些实施方式中,所述数据搬运还包括读取模块,用于:
58、读取所述目标进度记录中的目标进度值;
59、获取已处理进度值,所述已处理进度值用于表征所述数据处理单元已经处理的累计数据量;
60、基于所述目标进度值与所述已处理进度值之间的差异,确定待处理数据量;
61、在所述待处理数据量达到预设处理数据量时,从所述目标存储区域中自所述已处理进度值对应的位置开始,读取所述预设处理数据量对应的目标数据并进行处理;
62、根据本次处理的所述目标数据对应的数据量,更新所述已处理进度值。
63、在一些实施方式中,数据搬运方法应用于数据搬运单元,所述目标进度记录为设置于所述数据搬运单元内部的标量寄存器;所述标量寄存器通过总线接口与所述数据处理单元连接,并接受所述数据处理单元发起的读取操作。
64、相应地,本技术实施例的第三方面提出了一种数据处理系统,包括:
65、数据搬运单元,用于获取数据搬运任务,并基于所述数据搬运任务确定多个数据搬运请求以及所述多个数据搬运请求的预定顺序,其中,各所述数据搬运请求分别对应目标存储区域中的一个目标数据区间,所述预定顺序与各所述目标数据区间相对于所述目标存储区域的预定起始位置的排列顺序一致;
66、所述数据搬运单元还用于响应于按照所述预定顺序位于前的数据搬运请求不满足执行条件,执行按照所述预定顺序位于后且满足所述执行条件的数据搬运请求;
67、目标存储单元,用于分别记录各所述数据搬运请求对应的请求进度值,所述请求进度值用于表征对应目标数据区间中自所述目标数据区间的起始位置连续完成写入的数据量;
68、所述目标存储单元还用于根据所述预定顺序以及各所述数据搬运请求对应的请求进度值,确定所述目标存储区域中自所述预定起始位置连续完成写入的就绪数据量,并根据所述就绪数据量更新目标进度记录中的目标进度值,其中,位于按照所述预定顺序排列的首个未完成写入的目标数据区间之后的已写入数据量不计入所述就绪数据量;
69、数据处理单元,用于读取所述目标进度记录中的所述目标进度值,并在所述数据搬运任务完成之前,根据所述目标进度值从所述目标存储区域中读取与所述就绪数据量对应的数据进行处理。
70、相应地,本技术实施例的第四方面提出了一种芯片,包括数据搬运电路、进度记录电路和数据处理电路;所述数据搬运电路用于执行多个具有预定顺序的数据搬运请求,并在按照所述预定顺序位于前的数据搬运请求不满足执行条件时,执行按照所述预定顺序位于后且满足所述执行条件的数据搬运请求;
71、所述进度记录电路用于分别记录各所述数据搬运请求对应的请求进度值,根据所述预定顺序以及各所述请求进度值确定目标存储区域中自预定起始位置连续完成写入的就绪数据量,并根据所述就绪数据量更新目标进度值,其中,位于首个未完成写入的目标数据区间之后的已写入数据量不计入所述就绪数据量;
72、所述数据处理电路用于根据所述目标进度值处理所述目标存储区域中与所述就绪数据量对应的数据。
73、本技术实施例通过获取数据搬运任务,并基于数据搬运任务确定多个数据搬运请求以及多个数据搬运请求的预定顺序,其中,各数据搬运请求分别对应目标存储区域中的一个目标数据区间,预定顺序与各目标数据区间相对于目标存储区域的预定起始位置的排列顺序一致;响应于按照预定顺序位于前的数据搬运请求不满足执行条件,执行按照预定顺序位于后且满足执行条件的数据搬运请求,并分别记录各数据搬运请求对应的请求进度值,请求进度值用于表征对应目标数据区间中自目标数据区间的起始位置连续完成写入的数据量;根据预定顺序以及各数据搬运请求对应的请求进度值,确定目标存储区域中自预定起始位置连续完成写入的就绪数据量,其中,位于按照预定顺序排列的首个未完成写入的目标数据区间之后的已写入数据量不计入就绪数据量;根据就绪数据量更新目标进度记录中的目标进度值,目标进度记录供数据处理单元读取,以使数据处理单元在数据搬运任务完成之前,处理目标存储区域中与就绪数据量对应的数据。以此,能够通过将单条dma指令的数据搬运任务拆分为多个按目标地址顺序排列的搬运请求,并在后序请求因前序阻塞而先行完成写入时,依据各请求进度值仅将自目标存储区域起始地址连续完成写入的数据量累加为目标进度值,使处理单元无需等待整条指令完成即可在搬运过程中按序消费已就绪数据,从而以单次dma启动替代固定切块方案中多次独立启动,避免重复的指令解析、地址锁存与总线仲裁开销,同时通过先行执行后序请求隐藏数据访问延迟,确保dma通道持续有效运转。综上,本技术能够有效提升系统的整体吞吐率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com