一种模型数据访问方法、装置、设备及计算机存储介质与流程
本申请属于人工智能领域,尤其涉及一种模型数据访问方法、装置、设备及计算机存储介质。
背景技术:
1、随着物联网的快速发展,端侧实时推理与特征匹配已成为实现人机交互、环境感知与即时响应的核心技术路径。当前主流方案普遍将深度学习模型部署于终端设备,依托神经网络处理单元(neural processing unit,npu)本地完成实时运算,以在低功耗约束下实现各类识别、检测与匹配功能。
2、然而,现有技术在实际应用中存在明显的技术瓶颈:由于终端设备片上缓存资源有限,长期为权重预留固定缓存空间会挤占系统资源,系统资源进一步告急;若不对权重做缓存保护,运算过程中权重易被替换,响应延迟波动大,降低任务响应速度。
3、因此,本技术领域亟需一种能够适配资源受限条件,同时保障任务响应速度的方法,以解决上述技术问题。
技术实现思路
1、本申请实施例提供一种模型数据访问方法、装置、设备及计算机存储介质,能够适配资源受限条件,同时保障任务响应速度。
2、一方面,本申请实施例提供一种模型数据访问方法,方法包括:
3、确定目标模型的目标执行层;
4、根据目标执行层的权重数据在内存中的理论访问地址与历史推理轨迹数据中实际访问地址之间的偏移,修正理论访问地址,得到权重数据在内存中的访问地址区间;
5、将权重数据的访问地址区间划分为多个子区间,并依据预设级缓存的行长度生成权重预取指令序列;
6、通过权重预取指令序列,从多个子区间中预取权重数据至预设级缓存;
7、在权重数据写入预设级缓存后,锁定权重数据所在的缓存行,以便目标执行层从被锁定的缓存行中读取权重数据进行运算。
8、另一方面,本申请实施例提供了一种模型数据访问装置,装置包括:
9、确定模块,用于确定目标模型的目标执行层;
10、修正模块,用于根据目标执行层的权重数据在内存中的理论访问地址与历史推理轨迹数据中实际访问地址之间的偏移,修正理论访问地址,根据修正后的理论访问地址,得到权重数据在内存中的访问地址区间;
11、生成模块,用于将权重数据的访问地址区间划分为多个子区间,并依据预设级缓存的行长度生成权重预取指令序列;
12、预取模块,用于通过权重预取指令序列,从多个子区间中预取权重数据至预设级缓存;
13、处理模块,用于在权重数据写入预设级缓存后,锁定权重数据所在的缓存行,以便所目标执行层从被锁定的缓存行中读取权重数据进行运算。
14、再一方面,本申请实施例提供了一种电子设备,设备包括:处理器以及存储有计算机程序指令的存储器;
15、处理器执行计算机程序指令时实现第一方面任意一项的模型数据访问方法。
16、再一方面,本申请实施例提供了一种计算机存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面任意一项的模型数据访问方法。
17、再一方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行第一方面任意一项的模型数据访问方法。
18、本申请实施例的模型数据访问方法、装置、设备、计算机存储介质及计算机程序产品,确定目标模型的目标执行层,再通过目标执行层确定目标模型推理所需的权重数据在内存中的理论访问地址,再根据历史推理轨迹中的实际访问地址之间的偏移,修正理论访问地址,最后得到权重数据在内存中的访问地址区间。确定目标执行层是后续步骤中预取权重数据的前置决策依据,决定了后续访存操作的计算逻辑,由于权重数据存放于双倍数据率内存(double data rate,ddr)中,因此需要根据具体的目标执行层,来确定权重数据在ddr中的具体的访问地址区间,以此能够根据访问地址区间,将权重数据预取至预设级缓存,锁定权重数据所在的缓存行。而预设级缓存是可以被直接内存访问(direct memoryaccess,dma)或缓存控制器直接写入的一级缓存,其他级别的缓存无法被直接进行操作,以此基于预设级缓存的特性,能够实现从被锁定的缓存行中读取权重数据,再基于权重数据进行目标模型的运算,从而实现在适配资源受限条件的情况下,保障任务响应速度。
1.一种模型数据访问方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述权重数据在内存中的访问地址区间通过以下算式计算得到:
3.根据权利要求1所述的方法,其特征在于,所述确定目标模型的目标执行层,包括:
4.根据权利要求3所述的方法,其特征在于,所述任务场景复杂度通过以下算式计算得到:
5.根据权利要求4所述的方法,其特征在于,所述将所述权重数据的所述访问地址区间划分为多个子区间,并依据预设级缓存的行长度生成权重预取指令序列,具体包括:
6.根据权利要求5所述的方法,其特征在于,所述本次预取允许的带宽比例通过以下算式计算得到:
7.根据权利要求5所述的方法,其特征在于,所述在所述权重数据写入所述预设级缓存后,锁定所述权重数据所在的缓存行,包括:
8.根据权利要求3-7任意一项所述的方法,其特征在于,所述触发信息为语音唤醒信息,所述方法应用于智能语音终端,所述目标执行层的运算结果用于生成语音唤醒判断结果。
9.一种模型数据访问装置,其特征在于,所述装置包括:
10.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的模型数据访问方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com