基于跨模态注意与硬件在环蒸馏的外骨骼感知系统和方法与流程

摘要: 本申请涉及深度学习与嵌入式智能感知,尤其涉及一种基于跨模态注意与硬件在环蒸馏的外骨骼感知系统和方法。背景技术:1、外骨骼机器人的感知系统需要融合多类异构传感器信...
基于跨模态注意与硬件在环蒸馏的外骨骼感知系统和方法与流程

本申请涉及深度学习与嵌入式智能感知,尤其涉及一种基于跨模态注意与硬件在环蒸馏的外骨骼感知系统和方法。

背景技术:

1、外骨骼机器人的感知系统需要融合多类异构传感器信息以实现步态相位识别和地形判断。现有外骨骼多模态感知方案通常采用固定权重加权融合策略,将各传感器数据按预设比例合并后送入统一的神经网络进行推理。然而,外骨骼在不同运动相位下各模态信息的有效性差异显著,固定融合规则无法自适应运动状态变化,导致信息利用效率低下。此外,现有方案在模型部署时通常采用训练后压缩的方式将大模型适配至嵌入式硬件,由于模型在训练过程中未感知目标硬件的资源约束,事后压缩往往造成推理精度的不可控退化。

技术实现思路

1、针对现有技术中外骨骼多模态感知系统采用固定权重融合规则无法自适应运动相位变化、且训练后压缩部署导致模型精度不可控退化的不足,本申请提供了一种基于跨模态注意与硬件在环蒸馏的外骨骼感知系统和方法。该方法通过以本体运动特征为查询向量、环境感知特征为键值对执行跨模态注意力融合,并将目标硬件的实测性能约束作为正则化信号内化到蒸馏训练过程中,能够实现融合权重随运动相位自适应分配且模型在训练阶段即满足硬件部署约束。具体地,本申请提供了以下技术方案:

2、第一方面,本申请提供了一种基于跨模态注意与硬件在环蒸馏的外骨骼感知方法,包括:获取多模态传感器数据,将所述多模态传感器数据按模态类型分流为本体模态数据和环境模态数据;对所述本体模态数据通过时序特征编码网络提取第一特征向量作为查询向量,对所述环境模态数据通过空间特征编码网络提取第二特征向量作为键向量和值向量;其中所述第一特征向量与所述第二特征向量的维度一致;基于所述查询向量与所述键向量的缩放内积计算注意力权重,利用所述注意力权重对所述值向量加权获得环境贡献,通过残差门控将所述环境贡献与所述查询向量的线性变换融合,获得融合决策特征向量,基于所述融合决策特征向量获得感知决策结果;构建与所述时序特征编码网络和所述空间特征编码网络对应的轻量级学生网络,以教师网络的输出作为软监督信号训练所述学生网络;在训练过程中周期性地将所述学生网络部署到目标硬件并实测推理性能指标,将所述推理性能指标与预设硬件预算的偏差作为正则化损失项加入训练目标。

3、可选地,所述注意力权重通过对所述缩放内积施加sigmoid归一化函数获得。

4、可选地,所述残差门控的门控系数与所述注意力权重共享,所述融合决策特征向量通过以所述注意力权重对所述值向量进行加权并以互补权重对所述查询向量的线性变换进行加权后叠加获得,其中所述互补权重为1减去所述注意力权重所得。

5、可选地,所述软监督信号包括所述教师网络的注意力权重分布,所述训练目标还包括所述学生网络与所述教师网络之间的注意力转移损失。

6、可选地,所述正则化损失项的权重根据所述推理性能指标与所述硬件预算的比值自适应调整,当所述推理性能指标超出所述硬件预算时增大所述正则化损失项的权重。

7、可选地,在所述训练过程中以随机概率将任一模态的特征向量置零,使所述学生网络学习单模态退化条件下的感知推理能力。

8、可选地,所述时序特征编码网络和所述空间特征编码网络的特征通道响应根据历史注意力权重的滑动统计量进行自适应调制,将所述注意力权重的指数移动平均值映射为特征通道的增益因子。

9、第二方面,本申请提供了一种基于跨模态注意与硬件在环蒸馏的外骨骼感知系统,包括:多模态数据获取模块,用于获取多模态传感器数据并将所述多模态传感器数据按模态类型分流为本体模态数据和环境模态数据;特征编码模块,用于对所述本体模态数据通过时序特征编码网络提取第一特征向量作为查询向量,对所述环境模态数据通过空间特征编码网络提取第二特征向量作为键向量和值向量;其中所述第一特征向量与所述第二特征向量的维度一致;跨模态注意力融合模块,用于基于所述查询向量与所述键向量的缩放内积计算注意力权重,利用所述注意力权重对所述值向量加权获得环境贡献,通过残差门控将所述环境贡献与所述查询向量的线性变换融合,获得融合决策特征向量,基于所述融合决策特征向量获得感知决策结果;硬件在环蒸馏训练模块,用于构建与所述时序特征编码网络和所述空间特征编码网络对应的轻量级学生网络,以教师网络的输出作为软监督信号训练所述学生网络;在训练过程中周期性地将所述学生网络部署到目标硬件并实测推理性能指标,将所述推理性能指标与预设硬件预算的偏差作为正则化损失项加入训练目标。

10、可选地,所述跨模态注意力融合模块采用单头缩放点积注意力结构,以所述第一特征向量为查询、所述第二特征向量为键和值执行注意力计算。

11、可选地,所述硬件在环蒸馏训练模块包括硬件敏感度图谱构建子模块,用于根据所述学生网络各层对硬件性能的贡献度差异化分配量化精度。

12、本申请的有益效果在于:通过以本体运动特征为查询向量对环境感知特征执行跨模态注意力融合,使融合权重能够根据当前运动相位自适应分配,在本体信息充分的运动相位降低环境信息干扰,在环境信息关键的运动相位提升环境特征贡献度,从而提高多模态信息的利用效率。同时,通过在蒸馏训练过程中将目标硬件的实测推理性能指标作为正则化损失项,使学生网络在训练阶段即感知并适应硬件资源约束,避免训练后压缩带来的精度不可控退化,实现模型精度与硬件可部署性的协同优化。

1.一种基于跨模态注意与硬件在环蒸馏的外骨骼感知方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述注意力权重通过对所述缩放内积施加sigmoid归一化函数获得。

3.根据权利要求2所述的方法,其特征在于,所述残差门控的门控系数与所述注意力权重共享,所述融合决策特征向量通过以所述注意力权重对所述值向量进行加权并以互补权重对所述查询向量的线性变换进行加权后叠加获得。

4.根据权利要求1所述的方法,其特征在于,所述软监督信号包括所述教师网络的注意力权重分布,所述训练目标还包括所述学生网络与所述教师网络之间的注意力转移损失。

5.根据权利要求4所述的方法,其特征在于,所述正则化损失项的权重根据所述推理性能指标与所述硬件预算的比值自适应调整,当所述推理性能指标超出所述硬件预算时增大所述正则化损失项的权重。

6.根据权利要求1所述的方法,其特征在于,在所述训练过程中以随机概率将任一模态的特征向量置零,使所述学生网络学习单模态退化条件下的感知推理能力。

7.根据权利要求1所述的方法,其特征在于,所述时序特征编码网络和所述空间特征编码网络的特征通道响应根据历史注意力权重的滑动统计量进行自适应调制,将所述注意力权重的指数移动平均值映射为特征通道的增益因子。

8.一种基于跨模态注意与硬件在环蒸馏的外骨骼感知系统,其特征在于,包括:

9.根据权利要求8所述的系统,其特征在于,所述跨模态注意力融合模块采用单头缩放点积注意力结构,以所述第一特征向量为查询、所述第二特征向量为键和值执行注意力计算。

10.根据权利要求8所述的系统,其特征在于,所述硬件在环蒸馏训练模块包括硬件敏感度图谱构建子模块,用于根据所述学生网络各层对硬件性能的贡献度差异化分配量化精度。