缓存管理方法、装置、计算芯片、设备及介质与流程
本技术涉及处理器,特别是涉及一种缓存管理方法、装置、计算芯片、设备及介质。
背景技术:
1、在采用分层存储体系的计算架构中,为平衡计算单元对高带宽与低延迟的极致需求,通常设置片上存储与片外存储两级存储,例如采用高速暂存存储器(scratch padmemory,spm)作为片上存储,与大容量的动态随机存取存储器(dynamic random accessmemory,dram)作为片外存储。spm作为软件管理的缓存,其数据一致性维护是系统设计的关键挑战。相关技术中,图形处理器(graphics processing unit,gpu)等架构普遍采用硬件自动维护的缓存一致性协议,软件层无需参与,但该方案硬件逻辑复杂、功耗较高,且无法适应由软件显式管理的spm的管理需求。而传统数字信号处理器或嵌入式领域的spm管理方案通常仅处理单层分配与释放,缺乏spm与dram间的缓存一致性维护机制,亦不支持多计算单元共享spm时的灵活分区分配。
技术实现思路
1、本技术实施例提供了一种缓存管理方法、装置、计算芯片、设备及介质,旨在避免硬件逻辑控制的复杂性,同时提高数据管理灵活性,改善计算芯片存储资源的使用效率。
2、第一方面,本技术实施例提供了一种缓存管理方法,应用于包括片上存储的计算芯片,计算芯片连接有片外存储,方法包括:
3、维护片上存储中每一片上数据块的脏位状态和块状态,其中,脏位状态用于指示片上存储与片外存储之间的数据一致性,块状态用于指示片上数据块的生命周期阶段;
4、接收针对片上存储的数据分配请求,基于数据分配请求确定待分配数据空间;
5、若片上存储中不存在满足待分配数据空间的空闲块,执行空间回收操作,空间回收操作包括:选择至少一个块状态为活跃状态的片上数据块作为目标片上数据块,释放目标片上数据块占用的存储空间,并更新目标片上数据块的块状态为淘汰状态,其中,当目标片上数据块的脏位状态为片外过期状态,将目标片上数据块的数据写回至片外存储,片外过期状态表示片上存储的数据被修改且未同步至片外存储;
6、若片上存储存在满足待分配数据空间的空闲块,将空闲块分配给数据分配请求,建立空闲块与片外存储对应地址的存储映射关系,将空闲块的块状态更新为活跃状态、脏位状态更新为片上过期状态,其中,片上过期状态表示片外存储的数据被修改且需重新加载至片上存储。
7、在本技术实施例提供的缓存管理方法中,若片上存储存在满足待分配数据空间的空闲块,将空闲块分配给数据分配请求,包括:
8、若片上存储中存在满足待分配数据空间的连续空闲块,直接将连续空闲块分配给数据分配请求。
9、在本技术实施例提供的缓存管理方法中,若片上存储存在满足待分配数据空间的空闲块,将空闲块分配给数据分配请求,还包括:
10、若片上存储的总空闲容量满足待分配数据空间,且不存在满足待分配数据空间的连续空闲块,对片上存储执行碎片整理操作,得到满足待分配数据空间的连续空闲块,将连续空闲块分配给数据分配请求;
11、碎片整理操作包括:
12、将块状态为活跃状态和/或锁定状态的片上数据块作为待整理数据块;
13、对待整理数据块按照地址顺序在片上存储进行紧凑排列,并更新存储映射关系;
14、将紧凑排列后形成的连续空闲区域整理为至少一个连续空闲块。
15、在本技术实施例提供的缓存管理方法中,对待整理数据块按照地址顺序在片上存储进行紧凑排列之前,还包括:
16、将当前脏位状态为片外过期状态的待整理数据块的数据,从片上存储写回至片外存储,并更新待整理数据块的脏位状态为一致状态,一致状态表示片上数据块的数据与片外存储中的数据一致。
17、在本技术实施例提供的缓存管理方法中,计算芯片还包括多个计算单元,基于数据分配请求确定待分配数据空间,包括:
18、若数据分配请求的访问模式为独立模式,将计算单元的数量和数据分配请求指示的待分配数据大小相乘,得到待分配数据空间;
19、若数据分配请求的访问模式为共享模式,对数据分配请求指示的待分配数据大小按照预设对齐字节进行对齐,并将对齐后的数据大小作为待分配数据空间。
20、在本技术实施例提供的缓存管理方法中,所述脏位状态包括一致状态、片上过期状态和片外过期状态;当片上数据块对应在片外存储的数据被修改时,将片上数据块的脏位状态更新为片上过期状态。
21、在本技术实施例提供的缓存管理方法中,当片上存储的数据被修改时,将被修改的数据对应的片上数据块的脏位状态更新为片外过期状态。
22、在本技术实施例提供的缓存管理方法中,当存在脏位状态为片上过期状态的片上数据块,基于存储映射关系从片外存储加载数据至片上存储,并将片上数据块的脏位状态更新为一致状态。
23、在本技术实施例提供的缓存管理方法中,当存在脏位状态为片外过期状态的片上数据块,基于存储映射关系将片上数据块的数据写回至片外存储,并将片上数据块的脏位状态更新为一致状态。
24、在本技术实施例提供的缓存管理方法中,还包括:
25、响应于对片上数据块的懒释放请求,将片上数据块的块状态更新为空闲状态;
26、当块状态为空闲状态的片上数据块对应的关联事件完成,释放块状态为空闲状态的片上数据块占用的存储空间,关联事件表示与片上数据块相关的数据访问事件、数据搬运事件或计算单元执行事件。
27、在本技术实施例提供的缓存管理方法中,还包括:
28、响应于对片上数据块的锁定请求,将片上数据块的块状态更新为锁定状态,锁定状态表示片上数据块被锁定在片上存储中;
29、响应于对片上数据块的解锁请求,将块状态为锁定状态的片上数据块的块状态恢复为活跃状态。
30、在本技术实施例提供的缓存管理方法中,还包括:
31、当需要访问块状态为淘汰状态的片上数据块,基于存储映射关系从片外存储加载数据至片上存储,并将片上数据块的块状态从淘汰状态恢复为活跃状态,将脏位状态更新为一致状态,淘汰状态的片上数据块表示经过空间回收操作后产生的空闲块。
32、在本技术实施例提供的缓存管理方法中,片上数据块的脏位状态与块状态通过预定义的软件接口显式设置进行维护与更新。
33、第二方面,本技术还提出了一种缓存管理装置,包括存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线,程序被处理器运行时实现上述缓存管理方法。
34、第三方面,本技术还提出了一种计算芯片,包括片上存储,多个计算单元以及上述缓存管理装置,所述计算芯片连接有片外存储。
35、第四方面,本技术还提出了一种电子设备,包括上述计算芯片。
36、第五方面,本技术实施例还提出了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器运行,以实现如上述的缓存管理方法。
37、本技术提供的缓存管理方法、装置、计算芯片、设备及介质,维护片上数据块的脏位状态和块状态,从而能够实时追踪数据在片上与片外存储间的同步情况及生命周期阶段,为后续的存储分配与回收决策提供准确的状态依据。接收针对片上存储的数据分配请求,基于数据分配请求确定待分配数据空间,查找片上存储中满足待分配数据空间的空闲块;若片上存储中不存在满足待分配数据空间的空闲块,执行空间回收操作,空间回收操作包括:选择至少一个块状态为活跃状态的片上数据块作为目标片上数据块,释放目标片上数据块占用的存储空间,并更新目标片上数据块的块状态为淘汰状态,其中,当目标片上数据块的脏位状态为片外过期状态,将目标片上数据块的数据写回至片外存储,确保了在释放空间的同时不会丢失已修改的数据,从而在有限的片上存储资源下保障了数据的一致性。若存在或者在执行空间回收操作后存在满足待分配数据空间的空闲块,将空闲块分配给数据分配请求,建立空闲块与片外存储对应地址的存储映射关系,将空闲块的块状态更新为活跃状态、脏位状态更新为片上过期状态,明确标识该数据块当前处于需要从片外加载数据的状态,以使执行数据分配请求时基于存储映射关系从片外存储加载数据至空闲块。因此,本技术通过引入软件显式可控的脏位状态与块状态管理机制,将缓存一致性的维护逻辑改为软件显式控制,实现了对片上存储数据生命周期与一致性状态的管控,从而摆脱了对复杂硬件一致性逻辑的依赖,同时提高数据管理灵活性,提升了计算芯片存储资源的使用效率。
38、本技术的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com