缓存资源分配方法、缓存驻留控制器及异构计算系统与流程
本技术涉及资源分配,具体而言,涉及一种缓存资源分配方法、缓存驻留控制器及异构计算系统。
背景技术:
1、在异构计算系统中,多个不同类型的计算处理单元,例如,图形处理单元(gpu)、神经网络处理单元(npu)、显示处理单元(dpu)、视频处理单元(vpu)、图像信号处理单元(isp)之间经常会进行图像数据的传递与交互,通常会分配一组共享内存(ddr)来减少数据在处理单元之间的拷贝,即使如此,处理单元仍然需要频繁地读写ddr内存,这对性能和带宽都有一定的压力。
2、近些年提出了利用axi总线上的系统级缓存(slc)来缓存图像数据以减少ddr的读写。但slc内存空间有限,在图像数据读写的过程中需要频繁的移除缓存到ddr,通常在写数据时先通过固定的移除缓存的算法移除早期缓存后再将新数据写入slc,对于多个计算处理单元固定读写频率的图像数据(例如相机录像为例,isp写图像数据,vpu读数据编码,dpu读数据预览显示,一写两读之后,数据无效),这种移除缓存的方式具有一定的滞后性,严重制约了异构计算系统的整体运行性能。
技术实现思路
1、有鉴于此,本技术的目的在于提供一种缓存资源分配方法、缓存驻留控制器及异构计算系统,能够解决现有异构计算系统中系统级缓存的缓存清理滞后的技术问题。
2、第一方面,本技术实施例提供了一种缓存资源分配方法,应用于异构计算系统,所述异构计算系统包括主控处理单元、主存储单元与多个异构处理单元,所述主控处理单元、主存储单元以及多个异构处理单元通过axi总线互连,所述axi总线上挂载有系统级缓存与缓存驻留控制器,所述方法包括:
3、步骤s101、通过所述主控处理单元配置多个异构处理单元共享的目标内存组,为所述目标内存组的各内存页配置内存页硬件属性,并依据各内存页硬件属性划分系统级缓存的逻辑区段,以使所述缓存驻留控制器为各个逻辑区段配置与对应内存页硬件属性匹配的读阈值和写阈值;
4、步骤s102、当携带目标内存页硬件属性的异构处理单元作为生产者向目标内存组写入目标数据时,所述缓存驻留控制器根据所述目标内存页硬件属性匹配对应的目标逻辑区段,并将所述目标数据缓存至该目标逻辑区段,同步记录所述目标数据对应的存储地址信息并更新所述目标逻辑区段对应的写次数;
5、步骤s103、当携带所述目标内存页硬件属性的至少一个异构处理单元作为消费者读取所述目标逻辑区段内的目标数据时,所述缓存驻留控制器实时更新所述目标逻辑区段对应的读次数;
6、步骤s104、若检测到所述目标逻辑区段对应的写次数达到所述写阈值且所述目标逻辑区段对应的读次数达到所述读阈值,则判定目标逻辑区段缓存失效,所述缓存驻留控制器对所述目标逻辑区段执行缓存资源回收复位操作。
7、一种可选的实施例中,所述缓存资源回收复位操作指的是清除所述目标逻辑区段内的目标数据,重置该目标逻辑区段对应的存储地址信息、写次数与读次数,并将所述目标逻辑区段恢复至空闲可用状态。
8、一种可选的实施例中,所述通过所述主控处理单元配置多个异构处理单元共享的目标内存组,为所述目标内存组的各内存页配置内存页硬件属性,并依据各内存页硬件属性划分系统级缓存的逻辑区段,包括:
9、在异构计算系统运行至目标应用场景时,根据所述目标应用场景的数据交互请求,将所述主存储单元的内存空间配置为可供多个异构处理单元共同访问的目标内存组;
10、通过所述主控处理单元为所述目标内存组内的每一个内存页分别配置对应的内存页硬件属性;
11、通过所述主控处理单元依据各内存页硬件属性对系统级缓存进行分区,生成与各内存页硬件属性一一对应的逻辑区段。
12、一种可选的实施例中,在步骤s103之后,所述方法还包括:
13、步骤s105、若所述目标逻辑区段对应的读次数未达到所述读阈值,则保留所述目标逻辑区段内的目标数据,以等待后续消费者读取。
14、一种可选的实施例中,所述方法还包括:
15、当持续产生新目标数据时,循环执行步骤s102、步骤s103、步骤s105和步骤s104;
16、当整体业务结束后,重置共享的目标内存组以及缓存驻留控制器的全部配置与记录。
17、一种可选的实施例中,当所述目标应用场景为相机预览录像及物体识别融合场景时,所述写阈值设为1,所述读阈值设为3。
18、一种可选的实施例中,当携带目标内存页硬件属性的异构处理单元作为生产者向目标内存组写入目标数据时,所述缓存驻留控制器根据所述目标内存页硬件属性匹配对应的目标逻辑区段的步骤,包括:
19、当携带目标内存页硬件属性的异构处理单元作为生产者向目标内存组写入目标数据时,将所述目标内存页硬件属性封装axi传输报文,通过axi总线将所述axi传输报文传输至缓存驻留控制器,所述缓存驻留控制器解析所述axi传输报文内的目标内存页硬件属性,以匹配对应的目标逻辑区段。
20、一种可选的实施例中,所述异构处理单元至少包括以下两种:cpu、alu、gpu、npu、dsp、tpu、isp、dpu以及vpu。
21、第二方面,本技术实施例还提供了一种缓存驻留控制器,应用于如上所述的缓存资源分配方法,包括:阈值设置单元、缓存移除单元以及多个驻留记录单元,所述阈值设置单元分别与多个驻留记录单元连接,每个驻留记录单元与所述缓存移除单元连接;
22、所述阈值设置单元,用于为各个逻辑区段配置与对应内存页硬件属性匹配的读阈值和写阈值;
23、所述驻留记录单元,用于根据所述目标内存页硬件属性匹配对应的目标逻辑区段,同步记录所述目标数据对应的存储地址信息并更新所述目标逻辑区段对应的写次数;以及实时更新所述目标逻辑区段对应的读次数;
24、所述缓存移除单元,用于在目标逻辑区段对应的写次数达到所述写阈值且所述目标逻辑区段对应的读次数达到所述读阈值时,对所述目标逻辑区段执行缓存资源回收复位操作。
25、第三方面,本技术实施例还提供一种异构计算系统,所述异构计算系统包括主控处理单元、主存储单元与多个异构处理单元,所述主控处理单元、所述主存储单元与多个异构处理单元通过axi总线互连,所述axi总线上挂载有系统级缓存与如上所述的缓存驻留控制器。
26、本技术实施例提供的缓存资源分配方法、缓存驻留控制器及异构计算系统,通过为异构处理单元共享内存配置专属内存页硬件属性,实现系统级缓存的精细化逻辑分区,针对性匹配不同业务场景的读写阈值,有效提升了异构计算系统中缓存资源的适配性与利用率;通过实时统计缓存数据的读写次数,精准判定缓存数据失效状态,摒弃了传统固定算法被动滞后清理缓存的模式,大幅提升了无效缓存的回收效率;通过即时回收失效缓存、释放slc空闲空间,有效解决了现有技术中slc缓存空间浪费、缓存调度滞后、ddr频繁读写导致的带宽瓶颈与数据读写速度慢的技术问题,全方位提升了异构计算系统的数据交互整体性能。
27、为使本技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com