面向具身智能系统的结构化模型压缩方法、设备及介质与流程
本发明涉及具身智能,尤其涉及一种面向具身智能系统的结构化模型压缩方法、设备及介质。
背景技术:
1、在具身智能系统中,机器人需要基于机器视觉对周围环境进行实时感知,并结合物理模型完成运动规划与闭环控制,这对端侧推理的实时性与可靠性提出了严苛要求。部署于机器人本体的深度神经网络模型通常规模庞大,计算量与存储占用远超嵌入式平台的承载能力,因此必须通过剪枝等手段进行压缩。
2、目前,在现有技术中,一类方法是训练后非结构化剪枝,即独立地将视觉网络或物理推理网络中不重要的单个权重置零。该方法得到的权重矩阵稀疏分布不规则,在端侧通用处理器上实际运行时,内存访问呈现散乱模式,无法有效利用硬件的并行计算资源,导致推理延迟难以满足具身智能任务中毫秒级的实时响应需求。进一步地,另一类方法是训练完成后直接对滤波器或通道等结构化单元进行整体移除并微调,但由于物理模型参数与机器视觉特征提取层之间存在紧密的耦合关系,训练后才进行的硬剪枝操作极易破坏这种跨模块的协同表达,造成目标检测精度骤降或物理交互预测偏差,且这种结构性的能力损伤在微调阶段难以充分修复。上述局限性使得在具身智能终端上部署高精度模型时,实际可用性高度依赖反复的人工试错,系统集成效率低下。
技术实现思路
1、本发明提供了一种面向具身智能系统的结构化模型压缩方法、设备及介质,旨在解决的技术问题是:如何提供一种能够兼顾端侧实时推理加速与机器视觉及物理模型精度保持的有效压缩方案。
2、第一方面,本发明提供了一种面向具身智能系统的结构化模型压缩方法,其包括:
3、获取初始神经网络模型及训练数据集;
4、在训练所述初始神经网络模型时,于损失函数中加入组lasso正则化项,所述组lasso正则化项作用于卷积层的滤波器或通道,利用所述训练数据集对加入所述组lasso正则化项后的损失函数进行优化,得到稀疏化模型,其中,所述稀疏化模型中部分滤波器或通道的权重的绝对值小于预设稀疏阈值;
5、基于所述稀疏化模型,计算所述稀疏化模型中各滤波器或通道的权重范数;
6、基于所述权重范数与所述预设剪枝阈值的比较,对所述稀疏化模型执行结构化剪枝,得到压缩模型。
7、可选地,所述初始神经网络模型包括机器视觉子网络和物理推理子网络;所述在训练所述初始神经网络模型时,于损失函数中加入组lasso正则化项,包括:
8、构建所述机器视觉子网络对应的第一组lasso正则化项和所述物理推理子网络对应的第二组lasso正则化项;
9、获取所述机器视觉子网络与所述物理推理子网络之间预设的通道耦合约束条件,所述通道耦合约束条件用于维持两个子网络之间信息流动的比例关系;
10、基于所述第一组lasso正则化项、所述第二组lasso正则化项、任务损失函数和所述通道耦合约束条件,确定总损失函数,对所述总损失函数进行优化,得到所述稀疏化模型。
11、可选地,所述构建所述机器视觉子网络对应的第一组lasso正则化项,包括:
12、确定所述机器视觉子网络所要执行的目标视觉任务的类型;
13、根据所述目标视觉任务的类型,将所述机器视觉子网络中各卷积层的通道划分为感知敏感通道组和感知冗余通道组;
14、为所述感知敏感通道组设定第一正则化惩罚系数,为所述感知冗余通道组设定第二正则化惩罚系数,所述第一正则化惩罚系数小于所述第二正则化惩罚系数;
15、基于所述第一正则化惩罚系数和所述第二正则化惩罚系数,对相应通道的权重范数加权求和,得到所述第一组lasso正则化项;
16、构建所述物理推理子网络对应的第二组lasso正则化项,包括:
17、确定所述物理推理子网络所要执行的物理交互任务的类型;
18、根据所述物理交互任务的类型,将所述物理推理子网络中各层的通道划分为物理敏感通道组和物理冗余通道组;
19、为所述物理敏感通道组设定第三正则化惩罚系数,为所述物理冗余通道组设定第四正则化惩罚系数,所述第三正则化惩罚系数小于所述第四正则化惩罚系数;
20、基于所述第三正则化惩罚系数和所述第四正则化惩罚系数,对相应通道的权重范数加权求和,得到所述第二组lasso正则化项。
21、可选地,所述预设剪枝阈值通过以下步骤确定:
22、获取所述机器视觉子网络所要执行的目标视觉任务的类型,基于所述目标视觉任务的类型确定所述机器视觉子网络中的感知敏感层集合;
23、对所述感知敏感层集合中的每一层,计算所述层内所有通道权重范数的分布,将所述分布的下四分位数作为所述层的层阈值;
24、对所述机器视觉子网络中不属于所述感知敏感层集合的其他层,将各层内所有通道权重范数的中位数作为对应层的层阈值;
25、将所有层的层阈值组合为所述预设剪枝阈值。
26、可选地,所述基于所述权重范数与所述预设剪枝阈值的比较,对所述稀疏化模型执行结构化剪枝,得到压缩模型,包括:
27、s10:设定单次剪枝上限比例和目标总剪枝比例;
28、s20:将第一待剪枝模型中各滤波器或各通道按权重范数升序排列,所述第一待剪枝模型的初始状态为所述稀疏化模型;
29、s30:依次取出权重范数最小的滤波器或通道,将对应的权重范数低于所述预设剪枝阈值的滤波器或通道标记为待移除单元,直至标记的待移除单元数量达到所述单次剪枝上限比例;
30、s40:将标记的待移除单元从所述第一待剪枝模型中整体移除,得到第二待剪枝模型;
31、s50:计算所述第二待剪枝模型在验证集上的物理交互预测误差,并判断所述物理交互预测误差是否小于预设误差容限;
32、s60:若所述物理交互预测误差小于所述预设误差容限,则累计已移除单元总数,判断所述累计已移除单元总数占所述稀疏化模型原始单元总数的比例是否达到所述目标总剪枝比例;若未达到,则将所述第二待剪枝模型作为新的第一待剪枝模型,重复执行步骤s20至s60;
33、s70:若所述累计已移除单元总数占所述稀疏化模型原始单元总数的比例达到所述目标总剪枝比例,或所述物理交互预测误差超出所述预设误差容限,则终止移除,并将最近一次满足所述预设误差容限的模型作为所述压缩模型。
34、可选地,所述计算所述第二待剪枝模型在验证集上的物理交互预测误差,包括:
35、从所述验证集中获取时序视觉输入序列和对应的物理交互真值序列,所述物理交互真值序列包括物体在受力后的位移轨迹;
36、将所述时序视觉输入序列逐帧输入所述第二待剪枝模型,由所述机器视觉子网络提取视觉特征,并由所述物理推理子网络基于所述视觉特征预测各帧对应的物体位移,形成预测位移轨迹;
37、基于所述预测位移轨迹与所述物理交互真值序列中的真实位移轨迹,计算轨迹累积偏差,将所述轨迹累积偏差作为所述物理交互预测误差。
38、可选地,基于所述权重范数与所述预设剪枝阈值的比较,对所述稀疏化模型执行结构化剪枝,得到压缩模型之后,所述方法还包括:
39、将所述压缩模型部署于仿真环境中,所述仿真环境基于物理引擎生成视觉输入和对应的刚体运动真值;
40、通过所述压缩模型对所述视觉输入进行前向推理,得到预测运动参数以及所述物理推理子网络输出的不确定性估计值,将所述预测运动参数输入所述仿真环境的物理引擎,生成下一时刻的预测视觉观测;
41、计算所述预测视觉观测与所述仿真环境中的真实视觉观测之间的视觉重构误差,以及所述预测运动参数与所述刚体运动真值之间的运动误差;
42、将所述视觉重构误差与所述运动误差加权求和,得到物理一致性损失,利用所述物理一致性损失反向传播,仅更新所述压缩模型中保留的滤波器或通道的参数,直至所述物理一致性损失收敛。
43、可选地,所述将所述视觉重构误差与所述运动误差加权求和,得到物理一致性损失,包括:
44、获取所述不确定性估计值、所述视觉重构误差和所述运动误差;
45、判断所述不确定性估计值是否高于预设不确定性阈值;
46、若所述不确定性估计值高于所述预设不确定性阈值,则增大所述运动误差的权重,得到调整后的运动误差权重,将所述调整后的运动误差权重与所述运动误差相乘得到加权运动误差,并将所述视觉重构误差与未调整的视觉重构误差权重相乘得到加权视觉重构误差;
47、若所述不确定性估计值低于或等于所述预设不确定性阈值,则增大所述视觉重构误差的权重,得到调整后的视觉重构误差权重,将所述调整后的视觉重构误差权重与所述视觉重构误差相乘得到加权视觉重构误差,并将所述运动误差与未调整的运动误差权重相乘得到加权运动误差;
48、将所述加权运动误差与所述加权视觉重构误差求和,得到所述物理一致性损失。
49、第二方面,本发明还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
50、第三方面,本发明还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述方法。
51、本发明提供了一种面向具身智能系统的结构化模型压缩方法、设备及介质,在模型训练阶段向损失函数中加入作用于滤波器或通道的组lasso正则化项,通过训练优化使部分滤波器或通道的权重绝对值衰减至小于预设稀疏阈值,从而在训练过程中自然形成结构化的稀疏模式;进一步地,由于稀疏化过程与任务学习同步进行,模型在训练中已自适应地调整保留单元的权重以补偿被衰减单元的功能贡献,为后续剪枝操作对模型精度的影响提供了缓冲。进一步地,在此基础上,计算稀疏化模型中各滤波器或通道的权重范数,以此作为衡量各单元重要性的量化依据。进而基于权重范数与预设剪枝阈值的比较结果执行结构化剪枝,将权重范数低于阈值的完整滤波器或通道整体移除,直接削减模型的计算单元数量。由于移除的对象是完整的计算单元,压缩后的模型保持规整的权重矩阵形态,硬件推理时能够直接跳过被移除单元对应的计算操作,将参数量的减少切实转化为端侧推理延迟的降低,实现实时推理加速。进一步地,因被移除的滤波器或通道在稀疏化训练阶段已被充分衰减,其移除对模型精度的冲击被有效控制,机器视觉特征提取能力与物理推理预测准确性得以保持,从而兼顾了端侧实时推理加速与模型精度保持的双重需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com