一种权重传输优化方法及装置与流程

摘要: 本技术涉及边缘计算与神经网络加速,尤其涉及一种权重传输优化方法及装置。背景技术:1、在工业视觉、车载感知和机器人控制等边缘计算场景中,神经网络加速器配备高带宽存...
一种权重传输优化方法及装置与流程

本技术涉及边缘计算与神经网络加速,尤其涉及一种权重传输优化方法及装置。

背景技术:

1、在工业视觉、车载感知和机器人控制等边缘计算场景中,神经网络加速器配备高带宽存储器(hbm)用于高速读取权重数据。当模型权重容量超过hbm可用容量时,超出部分存储于设备本地主机侧ddr中,加速器通过pcie总线从主机侧ddr读取权重数据。

2、但是,权重传输的启动时机与计算单元的实际需求时刻之间存在匹配难度,若传输启动过晚将导致计算单元等待停顿。同时,pcie链路的实际传输能力会因链路状态变化而波动,且权重传输中的completion可能乱序到达,若在全部分片写入完成前更改地址映射,将导致计算单元读取到不完整的数据。

技术实现思路

1、为克服相关技术中存在的问题,本技术提供一种神经网络加速器权重传输优化方法及装置,能够基于边缘推理任务的触发事件和pcie链路实测状态实现权重传输与计算之间的时序协同,并通过多路信号联合判决保证地址映射刷新期间的数据完整性。

2、根据本技术实施例的第一方面,提供一种权重传输优化方法,应用于权重块分布存储于主机侧ddr与加速器侧hbm的边缘计算设备,该方法包括:

3、响应于边缘推理任务的触发事件,锁存事件时间戳、并根据层执行偏移确定各权重块的实际需求时刻;

4、采样pcie链路中completion返回的时间戳及链路状态,更新有效带宽和停滞周期;

5、根据所述实际需求时刻、所述有效带宽和所述停滞周期计算各权重块的发送窗口起始时刻,并将所述发送窗口起始时刻与当前时间戳的差值编码为发送时序等级;

6、以所述发送时序等级为第一级、缓存优先级为第二级对内存读请求排序并生成发送使能信号,由加速器发起内存读请求;

7、接收completion数据并写入所述hbm,当分片位图全满、完成字节数等于块长、未完成标签计数归零、hbm写完成确认有效且版本校验通过同时成立时,刷新双槽地址映射表中的活动地址选择字段。

8、在一些实施例中,所述采样pcie链路中completion返回的时间戳及链路状态,更新有效带宽和停滞周期,包括:

9、以固定周期数或固定completion有效负载字节数划分采样窗口;

10、在每个采样窗口内,锁存首个completion有效负载写入hbm时的第一时间戳和末个completion有效负载写入hbm时的第二时间戳,并累加成功写入hbm的有效负载字节数;

11、根据所述有效负载字节数与所述第一时间戳和所述第二时间戳之差的比值,通过指数移动平均更新所述有效带宽。

12、在一些实施例中,所述停滞周期包括尾部停滞周期和停滞补偿周期;

13、其中,所述尾部停滞周期为内存读请求发出至首个completion有效负载写入的周期数与末个completion有效负载写入至hbm写完成确认之间的周期数之和;所述停滞补偿周期为未完成标签计数达到上限或非转发请求头信用量低于发送阈值期间的累计停滞周期数;

14、所述发送窗口起始时刻按下式计算:

15、tsi=tdi-[(li-ci)/be+lt+tw+δg];

16、其中,tdi为第i个权重块的所述实际需求时刻,li为第i个权重块的总字节数,ci为当前已写入hbm的所述完成字节数,be为所述有效带宽的当前值,lt为所述尾部停滞周期,tw为所述停滞补偿周期,δg为配置寄存器给出的固定保护周期。

17、在一些实施例中,将所述发送窗口起始时刻与当前时间戳的差值编码为发送时序等级,包括:

18、计算发送时间余量mi=tsi-tn,其中,tn为所述当前时间戳;

19、将所述发送时间余量编码为发送时序等级,所述发送时序等级包括无效等级、远期等级、临近等级和紧急等级:

20、当候选权重块无效时,所述发送时序等级为无效等级;

21、当所述发送时间余量大于临近发送窗口周期阈值时,所述发送时序等级为远期等级;

22、当所述发送时间余量大于零且不大于所述临近发送窗口周期阈值时,所述发送时序等级为临近等级;

23、当所述发送时间余量不大于零时,所述发送时序等级为紧急等级。

24、在一些实施例中,所述缓存优先级按下式计算:

25、

26、其中,为第i个权重块的缓存优先级,为归一化访问活跃度,为根据层依赖关系或门控结果得到的归一化预计后续访问次数,为静态层依赖有效位或门控有效位,为归一化hbm占用字节数,、、和分别为对应项的非负定点系数。

27、在一些实施例中,在权重块的传输过程中,将新接收的completion数据的字节数累加至该权重块的所述完成字节数,并根据累加后的所述完成字节数重新计算该权重块的所述发送窗口起始时刻和所述发送时序等级;

28、当所述hbm的空闲块数低于待传输的权重块数时,对各权重块进行回收扫描;

29、在所述回收扫描中,对所述发送时序等级高于预设保护等级或处于传输进行中的权重块维持驻留,对其余权重块中所述缓存优先级最低的权重块执行回收。

30、在一些实施例中,所述双槽地址映射表中每个权重块对应一个映射表项,所述映射表项包括:

31、两个映射槽,每个映射槽包含地址字段和版本号字段;

32、与每个映射槽对应的读者计数器;

33、控制寄存器,所述控制寄存器包含所述活动地址选择字段、主机侧副本有效位、hbm副本有效位、切换序号、传输状态字段和写锁定位;

34、其中,所述主机侧副本有效位和所述hbm副本有效位与所述活动地址选择字段分开存储。

35、在一些实施例中,所述方法还包括:

36、计算单元发出权重读请求时,锁存所述活动地址选择字段和所述切换序号,在下一拍递增所选映射槽对应的读者计数器,并复核所述切换序号;

37、在所述切换序号复核不一致的情况下,撤回本次递增并在下一拍重发查表请求;

38、在回收权重块的hbm空间时,仅在对应映射槽的所述读者计数器归零后产生hbm块释放脉冲。

39、在一些实施例中,所述方法还包括:

40、当所述停滞周期的统计值超过预设停滞阈值或所述pcie链路的非转发请求头信用量低于预设信用阈值时,将并发标签上限减小并将所述内存读请求的实际请求长度减半;

41、当所述pcie链路的非转发请求头信用量和所述hbm的空闲块数连续多个监测周期内均高于各自阈值时,将所述并发标签上限逐级增大。

42、根据本技术实施例的第二方面,提供一种神经网络加速器权重传输优化装置,应用于权重块分布存储于主机侧ddr与加速器侧高带宽存储器hbm的边缘计算设备,该装置包括:

43、时间确定模块,配置为响应于边缘推理任务的触发事件,锁存事件时间戳,并根据层执行偏移确定各权重块的实际需求时刻;

44、链路采样模块,配置为采样pcie链路中completion返回的时间戳及链路状态,更新有效带宽和停滞周期;

45、发送判决模块,配置为根据所述实际需求时刻、所述有效带宽和所述停滞周期计算各权重块的发送窗口起始时刻,将所述发送窗口起始时刻与当前时间戳的差值编码为发送时序等级;

46、请求排序模块,配置为以所述发送时序等级为第一级、缓存优先级为第二级对内存读请求进行排序,生成发送使能信号,由加速器自主发起内存读请求;

47、映射刷新模块,配置为接收completion数据并写入所述hbm,当分片位图全满、完成字节数等于块长、未完成标签计数归零、hbm写完成确认有效且版本校验通过同时成立时,通过原子写入刷新双槽地址映射表中的活动地址选择字段。

48、本技术的实施例提供的技术方案可以包括以下有益效果:

49、边缘推理任务的触发事件直接形成实际需求时刻,发送窗口判决使用completion实测时间戳、未完成标签计数和非转发请求头信用量计算发送窗口起始时刻和发送时间余量,链路返回周期发生变化时发送时序等级可随即改变。事务优先级队列先比较发送时序等级、等级相同时再比较缓存优先级,使近期实际需要的权重先于远期高访问权重发出内存读请求,权重传输由此可与当前层计算流水线重叠,从而减少计算单元因权重未就绪而产生的等待停顿周期。

50、活动地址选择字段只在分片位图全满、完成字节数等于块长、未完成标签计数归零、hbm写完成确认有效且版本校验通过同时成立后才执行刷新,计算单元在任何时刻只会看到旧映射槽或已最终化的新映射槽。配合双槽读者计数器的保护机制,hbm块回收脉冲延迟至最后一个在途读请求完成之后,映射刷新和计算访问可以在不同时钟拍上并行进行,兼顾了数据完整性与访问并发性。

51、此外,由于在传输过程中将新接收的completion字节数动态累加并重新计算发送窗口起始时刻和发送时序等级,发送时序等级能够跟踪传输进度和链路状态的实时变化。在回收扫描中,对发送时序等级高于预设保护等级的权重块维持驻留,使时间紧迫的权重块在获得传输优先的同时得到驻留保护,从而保证了发送排序与驻留回收之间的协同一致性。