基于FPGA的显存解耦式稀疏梯度聚合与误差补偿方法及系统

本发明属于深度学习、类脑计算与网络通信，具体涉及基于fpga的显存解耦式稀疏梯度聚合与误差补偿方法及系统。

背景技术：

1、脉冲神经网络（snn）作为类脑计算的核心载体，能够高效模拟生物神经元脉冲发放、突触传递特性，复刻大脑并行处理、稀疏编码的优势。随着类脑运算向大规模、高精度发展，snn参数量与计算量激增，单一节点已无法满足大规模snn高效训练的要求。分布式训练成为突破单节点性能瓶颈、实现snn规模化部署的关键技术路径。其通过拆分模型与任务实现并行协同训练，突破单一节点的限制，显著提升训练效率，是类脑运算工程化落地的关键。然而，在大规模模型与脉冲神经网络的分布式训练的实际部署过程中，节点间的网络通信带宽成为系统扩展的显著瓶颈。

2、面对这一挑战，现有通信带宽优化技术常采用高压缩比量化梯度，但为保证模型收敛必须引入误差补偿机制，然而现有的误差补偿机制需要gpu在显存中额外维护庞大的残差状态矩阵，造成显著的显存资源消耗。现有网内计算或梯度压缩算法通常直接对原始梯度进行压缩，这导致在应用adam等需要维护历史动量状态的非线性优化器时，直接压缩原始梯度会破坏其历史状态更新逻辑，导致学习率计算异常和模型发散。在snn的时间反向传播过程中，由于代理梯度的物理特性，网络中会产生大量微小的游离态梯度，现有标准通信库无法在底层硬件高效剔除这些无效的微小数值，导致极大的通信带宽浪费。在多租户或跨数据中心环境中，现有的网内计算方案通常仅能处理明文数据，然而明文传输存在数据泄露风险，若在主机端提前加密，则中间网络设备无法对密文进行算术聚合。

3、综上所述，在大规模脉冲神经网络分布式训练场景中，现有通信带宽优化技术仍存在诸多显著缺陷，具体如下：误差补偿机制导致显存资源占用过高，对adam等非线性优化器兼容性较差，难以有效滤除snn训练过程中高稀疏梯度带来的通信冗余，无法在提升计算效率的同时保障数据安全。

技术实现思路

1、为解决现有技术的不足，实现计算资源与通信资源高效解耦的目的，本发明采用如下的技术方案：

2、一种基于fpga的显存解耦式稀疏梯度聚合与误差补偿方法，包括如下步骤：

3、步骤1，主机端gpu在节点本地显存中维护adam优化器动量状态，并采用连续可导代理梯度函数计算脉冲神经网络snn局部梯度，将得到局部权重更新量与二阶动量状态参数一同卸载至节点fpga智能网卡端；

4、步骤2，网卡端读取板载内存中蓄积的上一轮误差残差，经量级匹配缩放、方向感知调制、时变补偿、双分支遗忘调制进行联合误差补偿后，与当前的权重更新量融合得到修正更新量；

5、步骤3，对修正更新量进行冲突感知的传输周期门控，依据动态调整的死区阈值进行量化过滤，将低于死区阈值的微小更新蓄积为新的误差残差存入所述板载内存，将高于阈值的更新结合节点聚合权重后打包为带索引的稀疏数据流；

6、步骤4，稀疏数据流通过密钥进行线速加密后，在多节点间传输并进行网内的全局聚合，聚合传输过程中，通过统计带宽利用率调整所述死区阈值，聚合完成后将全局密文更新量返回主机端，同时根据全局聚合结果动态派生新的所述密钥。

7、进一步地，所述步骤1中，主机端gpu在节点本地显存中维护adam优化器的一阶动量状态和二阶动量状态；

8、所述步骤2中的误差补偿包括量级匹配缩放，基于上一轮和当前轮优化器二阶动量计算缩放因子，将板载残差的幅值范围与当前权重更新量对齐，缩放因子计算公式为：

9、

10、其中，表示上一轮优化器二阶动量，表示当前轮优化器二阶动量，、为缩放因子的上下限，表示钳位函数，用于抑制训练过程中因梯度稀疏性导致的极端数值，避免更新量爆炸或消失，将缩放因子与上一轮板载截断残留误差相乘，得到量级匹配后的当前板载截断残留误差：，其中为板载内存中存储的上一轮截断残留误差。

11、进一步地，所述步骤2中的误差补偿还包括方向感知调制，基于所述权重更新量与上一轮的截断残留误差，计算残差与当前更新量的方向一致性系数：

12、

13、其中，表示当前轮gpu下发的权重更新量，表示上一轮的截断残留误差，表示预设的方向平滑参数，用于调节方向一致性系数的平滑程度；

14、并通过双曲正切函数，对方向一致性系数进行软限幅，得到方向感知系数：

15、

16、其中，表示灵敏系数，用于控制方向感知的反应强度，当取值较大时，函数的曲线更陡峭，系数对方向变化更敏感，能快速放大一致性/对抗性残差的影响，当取值较小时，曲线更平缓，对方向变化的响应更温和，避免因单次梯度波动导致残差处理剧烈变化；

17、将方向感知系数结合随迭代次数指数衰减的方向调制强度，以生成方向增强因子，使训练初期的高调制强度加速梯度方向稳定，训练后期的低调制强度避免更新过程震荡：

18、

19、

20、其中，为方向增强因子，实现对残差的自适应增强或抑制；

21、利用所述方向增强因子对残差进行调制，以对同向残差进行增强，对反向残差进行抑制，从而提升残差补偿的有效性，得到更新后的截断残留误差：

22、。

23、进一步地，所述步骤2中的误差补偿还包括时变补偿，根据训练阶段动态调整补偿强度，采用分段式补偿适配不同阶段的残差置信度；

24、训练极早期，模型处于随机初始化状态，梯度方向波动剧烈，权重更新的随机性极强，此时，定点计算产生的截断残差几乎不包含有效量化误差信息，残差的置信度极低，若直接引入高强度补偿，会将随机噪声放大为伪更新信号，极易导致模型参数在初始阶段就偏离有效优化路径，甚至直接发散，采用线性增长的低强度试探性补偿：

25、

26、其中，表示该阶段的最大补偿强度上限，表示极早期阶段的结束轮次；

27、训练早期，模型梯度方向性逐渐增强，定点计算的截断残差中，能有效量化误差的占比开始提升，残差的置信度逐步提高，此时，过低的补偿强度无法有效利用残差信息，会导致量化误差持续累积，延缓收敛速度，因此，采用线性加速提升的补偿强度：

28、=

29、其中，表示该阶段的补偿强度增量，表示训练早期阶段的结束轮次；

30、训练中期，模型梯度方向趋于稳定，定点计算的截断残差已能真实反映低精度量化带来的系统性损失，残差的置信度达到峰值，此时，采用高强度的稳定补偿，可确保每一轮的残差都能被充分利用，实现稳定高效的残差补偿，因此，采用恒定峰值补偿强度：

31、

32、训练后期，模型接近最优解，权重更新的幅度显著减小，优化过程进入精细调优阶段，此时，残差的绝对值也随之降低，若仍维持高强度补偿，微小的残差波动就可能被放大为较大的权重震荡，导致模型在最优解附近来回抖动，甚至破坏已收敛的参数状态，为了避免过补偿引发的震荡，又能保留基础的误差校正能力，确保模型在收敛阶段的稳定性，防止因补偿不当导致的精度回退，采用指数衰减的补偿强度：

33、

34、其中，表示补偿强度的下限，表示衰减时间常数，表示峰值补偿阶段的结束轮次；

35、通过动态调整的补偿强度，对所述更新后的截断残留误差进行调制，得到时变补偿后的截断残留误差：

36、。

37、进一步地，所述步骤2中的误差补偿还包括双分支遗忘调制的联合误差补偿，基础遗忘因子随迭代轮次平滑递减，从初始的低遗忘强度逐步过渡到后期的高遗忘强度，既解决了初期残差校正不足的问题，又解决了后期残差累积导致的偏置漂移的问题，实现遗忘强度随训练进程的自适应变化：

38、

39、其中，值越大表示遗忘强度越低，值越小表示遗忘强度越高，表示最大遗忘因子，表示最小遗忘因子，表示遗忘时间常数，用于控制遗忘率从递增至的速度，决定了残差遗忘机制的响应节奏，可根据模型类型、训练任务动态调整；

40、采用双分支遗忘结构，设置快速遗忘因子以适应短期波动，慢速遗忘因子以保持长期稳定，使用融合系数实现两者的动态加权融合，得到最终的遗忘因子；、可分别设置、、等参数；

41、

42、其中，快速遗忘因子的核心功能是快速响应短期梯度波动，当梯度活跃、参数分布发生突变时，能快速提升遗忘速率，避免历史残差干扰新的优化方向；慢速遗忘因子的核心功能是保障训练长期稳定性，避免因短期梯度波动导致遗忘速率剧烈变化，确保长期有效残差信息的稳定保留；为融合系数，用于平衡两个分支的权重；

43、基于遗忘因子，对所述时变补偿后的截断残留误差进行修正，得到最终残差修正值：

44、

45、完成上述四级补偿后，将修正后的残差与所述当前的权重更新量相加，得到修正更新量：

46、。

47、进一步地，所述步骤3中冲突感知的传输周期门控，是基于节点的聚合权重与权重变化量，构建全局冲突系数，以表征不同节点对同一权重更新方向的一致性；

48、

49、其中，表示第轮，编号的权重的全局冲突系数，取值越大表示各节点对该元素的更新方向越不一致，冲突越严重，在聚合中被抵消的比例越高，表示第个节点的聚合权重，表示第个节点，编号的权重变化量；

50、根据冲突系数动态调整权重元素的传输间隔，以使冲突越严重，传输间隔越大，所有节点一致降低对所述权重元素的传输频率，冲突越轻微，传输间隔越小，传输频率越高，保证有效梯度的及时更新：

51、

52、其中，表示上一轮传输间隔，初始值为0，为间隔调整系数，冲突越严重，传输间隔越大，节点一致降低对高冲突元素的传输频率，避免无效通信。

53、进一步地，所述步骤3中，基于目标带宽利用率与实际带宽利用率的偏差，动态调整的死区阈值，以使实际带宽利用率高于目标带宽利用率时，死区阈值升高以加强稀疏化，释放带宽余量；反之降低阈值以保留更多有效信息；

54、

55、其中，表示目标带宽利用率，表示实际带宽利用率，表示带宽调节系数，控制带宽利用率对阈值的影响强度；

56、结合所述传输间隔与动态死区阈值，对不同类型的权重更新量采用差异化处理，将权重更新分为延迟传输、误差蓄存与稀疏传输，以最大化压缩通信数据量，同时保证有效梯度的传输，实现精细化的通信优化；

57、对于传输间隔的权重，本轮不进行传输，通过延迟传输将高冲突的更新量暂存本地，避免无效通信，同时通过误差蓄水池累积这些更新量，后续在传输时一次性发送，减少通信次数。残差更新为。

58、对于传输间隔的权重，进行死区量化判定，根据更新量幅值与动态死区阈值的关系，分为两种情况：

59、若权重变化量小于动态死区阈值即，则不进行稀疏编码，直接存入误差蓄水池；这类更新量幅值低于死区阈值，对模型优化的影响较小，通过误差蓄水池累积，后续合并传输，能够避免频繁发送低有效信息数据。残差更新为；

60、若权重变化量大于等于动态死区阈值即，则将权重变化量乘以节点聚合权重，将生成的结果打上稀疏索引标签，稀疏编码打包模块采用[地址+变化量]的结构打包为稀疏数据流输出至线速加密/解密子系统，同时残差置0，即；这类更新量幅值高于死区阈值，对模型优化的影响较大，直接进行稀疏编码传输，保证有效梯度的及时更新，同时通过置零残差避免重复累积。

61、进一步地，所述步骤4中，初始化时从主机端获取统一的初始对称密钥，硬件加密模块将稀疏数据流进行线速加密后，按照环形拓扑在多节点间传输并进行网内聚合，每轮聚合完成后，所有节点根据相同的全局聚合结果通过硬件密钥派生函数生成下一轮会话密钥；最终各节点将全局权重更新量传回主机端；环形拓扑的聚合，是对n个节点，每个节点进行n-1轮传输，第k轮传输，每个节点将第(id+1-k) mod n号分片加密后发送给下游设备点，传输的数据包括节点所在的设备号id、稀疏数据流，环形聚合拓扑下，每个节点在本地统计权重变化量的绝对值加权和用于计算每个权重的全局冲突系数。

62、一种基于fpga的显存解耦式稀疏梯度聚合与误差补偿系统，包括主机交互与全局控制子系统、板载内存管理子系统、残差融合与误差补偿子系统、死区量化与稀疏编码子系统、线速加密/解密子系统、分布式稀疏梯度聚合运算子系统，根据所述的基于fpga的显存解耦式稀疏梯度聚合与误差补偿方法进行梯度聚合与误差补偿；

63、所述主机交互与全局控制子系统，接收主机端gpu下发的局部权重更新量与adam优化器二阶动量状态参数，解析控制命令并调度其他子系统工作，待网内聚合完成后将全局权重更新量按协议组包回传至主机端；

64、所述板载内存管理子系统，对运行过程中的各类数据进行统一的存储与读写管理；

65、所述残差融合与误差补偿子系统，读取板载内存中的上一轮误差残差并进行多级修正后，与当前权重更新量融合，得到修正更新量，以解决显存解耦架构下残差与gpu端更新量不兼容的问题；

66、死区量化与稀疏编码子系统，对修正后的更新量进行冲突感知门控与动态死区量化，生成稀疏数据流并更新误差残差矩阵，以降低通信带宽需求；

67、所述线速加密/解密子系统，采用对称密码算法进行线速加解密与密钥动态派生；

68、所述分布式稀疏梯度聚合子系统，对解密后的稀疏数据流进行网内聚合，同时同步完成梯度冲突系数的分布式统计与全局分发。

69、进一步地，所述残差融合与误差补偿子系统，包括量级匹配缩放模块、方向感知调制模块、时变补偿模块、双分支遗忘调制模块、残差融合模块，依次对上一轮误差残差进行联合误差补偿后，将修正后的误差残差与当前权重更新量相加，得到修正后的权重更新量；

70、所述死区量化与稀疏编码子系统，包括传输间隔门控模块、动态死区量化模块、稀疏编码打包模块，分别用于执行冲突感知的传输周期门控，动态死区阈值调整、权重更新量进行死区量化并更新截断残留误差，以及将高于死区阈值的更新量打包为稀疏格式；

71、所述线速加密/解密子系统，包括线速加密/解密模块、高速串行传输模块、密钥派生模块，分别用于对稀疏索引与量化数值进行线速加密，板间数据传输与接收，每轮根据统一的全局聚合结果自动生成下一轮会话密钥；

72、所述分布式稀疏梯度聚合子系统，包括聚合控制模块、索稀疏索引对齐模块，分别用于节点加权系数等相关参数的配置，将本地稀疏索引集与上游聚合结果进行索引对齐与聚合运算。

73、本发明的优势和有益效果在于：

74、本发明有效降低显存资源消耗，实现梯度高压缩比与误差补偿的高效协同，无需额外占用大量显存维护冗余状态参数，可显著削减gpu显存开销，保障模型收敛性能的同时，提升硬件资源利用率，突破误差补偿环节的性能瓶颈，助力大规模模型训练的高效推进。

75、本发明具备良好的非线性优化器适配能力，可稳定支持adam等需维护历史动量状态的优化器正常运行，保障优化器历史动量状态更新逻辑的完整性，确保学习率计算精准、参数更新有序，维持模型训练的收敛稳定性，提升复杂网络训练的适配通用性与可靠性。

76、本发明可精准识别并剔除snn时间反向传播过程中产生的微小游离态无效梯度，大幅减少无效数据传输量，显著节约分布式训练中的通信带宽资源，提升多节点协同训练的传输效率，适配snn高稀疏性训练场景的通信需求。

77、本发明实现了计算性能与数据安全的双向兼顾，支持网内梯度聚合运算，无需主机端解密即可完成中间节点算术聚合操作，既保障多租户、跨数据中心场景下的训练数据隐私安全，规避数据泄露风险，又保留网内计算的协同加速优势，确保分布式训练的高效推进。