一种基于VLA融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法及装置与流程

摘要: 本发明涉及机器人控制与具身智能,特别涉及一种基于vla融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法及装置。背景技术:1、视觉语言动作模型将图像、自然语言指...
一种基于VLA融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法及装置与流程

本发明涉及机器人控制与具身智能,特别涉及一种基于vla融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法及装置。

背景技术:

1、视觉语言动作模型将图像、自然语言指令和机器人本体状态输入统一模型,直接输出机器人动作或动作令牌,借助大规模视觉语言预训练知识理解“抓取何物、放置何处、按照何种语义关系操作”等任务,并通过跨本体数据集和通用策略证明不同机器人平台之间存在可迁移的任务知识。在装配、插接、旋拧、柔性物体抓取等接触密集操作场景中,现有技术尝试将触觉或力觉信号作为额外输入引入视觉语言动作模型,利用多模态融合增强模型对物理接触状态的感知能力,例如将触觉图像或力/力矩信号与视觉特征拼接后输入transformer架构,使模型在训练阶段能够学习视觉特征与触觉特征之间的关联。

2、然而,现有技术在如下两方面存在根本性缺陷:其一,视觉语言动作模型与触觉反馈之间缺乏统一的物理表征基准,不同机器人配置的触觉传感器类型(阵列压力、视触觉、六维力/力矩、关节力矩)、采样频率、量纲和空间分辨率各异,直接将原始触觉数据拼接至模型使模型绑定具体传感器类型,当更换机器人平台或触觉传感器时需重新收集数据并训练,无法实现跨本体泛化;其二,视觉语言动作模型的推理频率远低于触觉采样频率,现有方案通常在视觉推理时刻读取一次触觉值或将高频触觉样本降采样后输入模型,短时滑移、冲击和接触建立事件被平均化或丢失,导致模型无法在控制周期内根据实时触觉变化对已生成的动作块进行即时修正。上述缺陷使得同一视觉语言动作模型难以在不同机器人平台间迁移部署,在接触密集任务中无法同时满足跨本体泛化与实时闭环修正的需求,限制了视觉语言动作模型在机器人操作领域的实际应用。

3、因此,本发明提出一种基于vla融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法及装置。

技术实现思路

1、本发明提供一种基于vla融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法及装置,通过物理量纲统一表征和闭环残差修正,解决了异构触觉数据与跨本体动作适配的技术难题,实现了视觉语言动作模型在接触密集任务中的跨平台迁移与实时自适应控制。

2、本发明提供一种基于vla融合触觉反馈的端到端跨本体泛化视觉语言动作处理方法,包括:

3、获取语言指令、视觉观测数据、机器人本体状态数据、触觉相关数据和目标机器人本体描述符;

4、对视觉观测数据、机器人本体状态数据、触觉相关数据和语言指令进行多速率时间同步,获得时间同步后的多模态数据;

5、将时间同步后的触觉相关数据转换为工具坐标系下的标准接触令牌,标准接触令牌包含接触位置、接触法向、法向力、切向力、接触力矩、滑移概率、接触刚度、振动特征、温度、置信度、传感器类型编码和有效字段掩码;不同机器人之间仅共享标准接触令牌,不共享触觉原始数据的图像尺寸、阵列分辨率或量纲单位;

6、利用视觉语言动作模型对语言指令、视觉观测数据、机器人本体状态数据和标准接触令牌进行编码,按物理量纲将编码结果分组为位移组、力组和触觉组,各组内按物理单位归一化使不同机器人本体的同类特征在统一量纲下可比,组间进行跨组信息交互,生成统一状态表示;

7、根据统一状态表示生成通用动作块和预测接触轨迹,通用动作块包含末端位姿变化量、抓取协同量、目标接触力、期望刚度、期望阻尼和接触模式;

8、根据目标机器人本体描述符将通用动作块转换为目标机器人的控制指令并执行,本体描述符包含关节拓扑、自由度、关节限位、运动学参数、末端执行器类型、控制模式、最大速度、最大力矩、控制周期和故障状态;

9、获取执行控制指令后的实际接触令牌,根据实际接触令牌与预测接触轨迹中对应时刻的预测接触令牌之间的接触误差生成残差动作,利用残差动作修正尚未执行的通用动作块;

10、对修正后的通用动作块施加安全约束后继续控制目标机器人,直至任务完成或触发安全停止。

11、进一步地,将触觉相关数据转换为工具坐标系下的标准接触令牌,包括:

12、当触觉相关数据为阵列压力传感器数据时,通过阵列单元坐标和压力加权中心计算接触位置,根据压力梯度和传感器表面法向估计接触法向;

13、当触觉相关数据为视触觉传感器数据时,通过标记点位移场或光流估计接触形状和剪切力;

14、当触觉相关数据为六维力或力矩传感器数据时,通过坐标变换得到工具坐标系下的合力和合力矩;

15、当触觉相关数据为关节力矩或电机电流数据时,通过动力学模型扣除重力项、惯性项和摩擦项后估计外力,并附加对应置信度值;

16、当同一机器人同时存在多种触觉传感器时,利用传感器外参将多个接触令牌投影到统一坐标系,通过置信度加权或非极大值抑制生成接触令牌集合。

17、进一步地,多速率时间同步包括:

18、建立统一时间基准,对视觉帧、机器人状态、触觉采样和控制指令分别记录采集时间戳和到达时间戳;当设备不共享硬件时钟时,通过周期同步报文、往返时延估计或对共同运动事件进行相关分析估计时钟偏移与漂移;

19、以目标控制时刻为中心构造滑动时间窗口;

20、对视觉观测数据采用最近邻或特征插值方式进行时间对齐;

21、对机器人本体状态数据采用线性或样条插值方式进行时间对齐;

22、对触觉相关数据在时间窗口内提取最大法向力、切向力积分、冲击峰值、滑移频谱、接触建立时刻、接触释放时刻和接触持续时间,将数量可变的触觉样本压缩为固定数量的触觉事件令牌,触觉事件令牌经触觉编码器处理后转换为标准接触令牌;

23、当检测到冲击、滑移或力超限趋势时,在不等待下一视觉帧的情况下触发快速残差推理。

24、进一步地,利用视觉语言动作模型对语言指令、视觉观测数据、机器人本体状态数据和标准接触令牌进行编码,按物理量纲将编码结果分组为位移组、力组和触觉组,包括:

25、通过语言编码器输出任务令牌和约束令牌;

26、通过视觉编码器输出场景特征、目标物特征、工具特征和空间关系特征;

27、通过本体状态编码器输出关节位置、关节速度、末端位姿和当前控制模式特征;

28、通过触觉编码器输出标准接触令牌及其时间特征;

29、将视觉编码器输出的空间关系特征和本体状态编码器输出的末端位姿特征归入位移组;

30、将本体状态编码器输出的关节力矩特征和触觉编码器输出的法向力、切向力、接触力矩特征归入力组;

31、将触觉编码器输出的接触位置、滑移概率、接触刚度、振动特征、温度、置信度、传感器类型编码和有效字段掩码特征归入触觉组;

32、组间跨组信息交互通过量纲感知注意力机制实现,量纲感知注意力机制根据物理量纲关系施加跨组约束:力组与位移组之间通过刚度矩阵耦合约束,位移组的时间差分与力组之间通过动力学关系耦合约束,触觉组与力组之间通过接触力学关系耦合约束,获得跨组交互特征;

33、计算触觉注入门控系数,门控系数根据跨组交互特征、语言特征、视觉特征、本体特征和触觉置信度确定;

34、利用门控系数控制跨组交互特征中触觉组特征与位移组、力组特征及语言特征的跨模态注意力融合强度;

35、在靠近目标阶段降低门控系数以主要依赖视觉特征,在夹紧易碎物阶段提高法向力特征对应的门控权重,在旋拧瓶盖阶段提高切向力特征、滑移特征和接触力矩特征对应的门控权重,经门控融合后生成统一状态表示。

36、进一步地,生成通用动作块和预测接触轨迹,并根据实际接触令牌与预测接触轨迹之间的接触误差生成残差动作修正通用动作块,包括:

37、动作生成头一次性输出长度为h个控制步的名义动作块,名义动作块为通用动作块在当前控制时刻的预测实例,同时输出与名义动作块对应的预测接触轨迹;

38、通用动作块按物理量纲分层组织为位姿层、力控层和接触层,各层独立归一化且层间通过物理关系耦合;

39、位姿层包含工具坐标系下的末端平移增量、旋转增量或六维速度旋量;

40、力控层包含目标法向力、目标切向力范围、目标扭矩、期望末端刚度、期望阻尼和柔顺方向;

41、接触层包含接触模式、归一化抓取协同量、动作持续时间、动作置信度和预测接触状态;

42、执行名义动作块的第一段后获取实际接触令牌,计算实际接触令牌与预测接触轨迹中对应时刻的预测接触令牌之间的接触误差,接触误差包含法向力误差、切向力误差、滑移概率误差、接触位置误差和接触力矩误差;

43、残差动作头根据接触误差、当前语义特征、动作阶段和本体描述符生成残差动作;

44、利用残差动作修正尚未执行的通用动作块,修正方式为将残差动作与名义动作块中尚未执行部分进行叠加,并通过误差门控函数调节残差动作的注入强度;

45、响应于指示滑移发生的接触误差,生成提高抓取协同量、改变接触方向或降低切向速度的残差动作;

46、响应于指示过力发生的接触误差,生成降低法向位移、降低刚度或执行回撤的残差动作;

47、响应于指示插接卡滞发生的接触误差,生成执行搜索运动的残差动作;

48、响应于指示失触发生的接触误差,生成控制末端重新靠近或重新定位的残差动作;

49、响应于指示力矩超限发生的接触误差,生成减小旋转增量或改变旋转方向的残差动作。

50、进一步地,本体描述符包含形态图结构,形态图结构以关节、连杆、末端执行器和触点为节点,以运动学连接、机械耦合和对称关系为边;

51、根据目标机器人本体描述符将通用动作块转换为目标机器人的控制指令,包括:

52、将本体描述符输入形态图编码器,获得本体向量;

53、根据通用动作块和本体向量,通过动作适配器输出对解析运动学映射的可学习残差;

54、利用目标机器人的雅可比矩阵的广义逆或阻尼广义逆将末端动作映射为关节空间动作;

55、将关节空间动作投影到目标机器人的关节限位约束、速度约束、力矩约束和碰撞约束集合内;

56、当目标机器人仅支持位置控制接口时,将通用动作块中的目标接触力、期望刚度和期望阻尼转换为微小位置偏置;当目标机器人支持力矩控制或阻抗控制接口时,直接输出力矩控制参数或阻抗控制参数。

57、进一步地,还包括跨本体联合训练步骤:

58、获取多个机器人平台的训练轨迹,每条训练轨迹包含任务指令、视觉序列、本体状态序列、触觉序列、机器人动作序列、成功或失败标记和对应本体描述符;

59、将各机器人动作转换为通用动作空间表示;

60、将各触觉序列转换为标准接触令牌序列;

61、按照自由空间阶段、预接触阶段、接触建立阶段、稳定操作阶段、异常恢复阶段和释放阶段对训练轨迹进行阶段切分;

62、按照物理量纲分组对不同机器人特征进行对齐:不同机器人的位移组特征相互对齐、力组特征相互对齐、触觉组特征相互对齐,同组内特征在统一量纲下计算对齐损失;

63、以动作模仿损失、接触令牌预测损失、按物理量纲分组对齐损失、通用动作块经本体适配器转换为目标机器人关节动作后再经逆向映射还原为通用动作块并与原始通用动作块比较的循环一致性损失、安全约束惩罚损失和随机模态遮蔽损失作为联合训练目标进行模型训练;随机模态遮蔽损失为在训练过程中以预设概率随机遮蔽视觉特征、语言特征或触觉特征中的至少一种模态后,模型仍能预测正确动作的交叉熵损失。

64、进一步地,还包括新机器人适配步骤:

65、冻结视觉语言动作模型的视觉编码器、语言编码器和触觉标准化模块的参数;

66、获取新机器人的标定轨迹,标定轨迹包含自由空间运动轨迹、基础抓取轨迹和接触标定轨迹;

67、利用标定轨迹训练新机器人的本体描述符编码器和动作适配器的参数,或通过低秩适配层进行参数高效微调。

68、进一步地,安全约束包含力约束、速度约束、加速度约束、关节限位约束、碰撞距离约束和置信度约束;

69、安全约束通过安全过滤器实现,安全过滤器采用规则约束、控制屏障函数、模型预测控制、碰撞检测或独立安全控制器中的一种或多种方式构建;

70、当触觉置信度低于阈值或触觉传感器通信中断时,将置信度置零并产生故障令牌,降低残差动作权重,限制末端速度和最大夹持力,切换至视觉和本体状态保守模式;进入接触阶段前要求重新获得有效触觉,否则停止任务;

71、当力超限、碰撞风险或模型置信度低于阈值时,安全过滤器执行停止、卸力或回撤。

72、本发明提供一种基于vla融合触觉反馈的端到端跨本体泛化视觉语言动作处理装置,包括:

73、多模态采集模块,获取语言指令、视觉观测数据、机器人本体状态数据、触觉相关数据和目标机器人本体描述符;

74、时间同步模块,对视觉观测数据、机器人本体状态数据、触觉相关数据和语言指令进行多速率时间同步,获得时间同步后的多模态数据;

75、触觉标准化模块,将时间同步后的触觉相关数据转换为工具坐标系下的标准接触令牌,标准接触令牌包含接触位置、接触法向、法向力、切向力、接触力矩、滑移概率、接触刚度、振动特征、温度、置信度、传感器类型编码和有效字段掩码;

76、多模态融合模块,利用视觉语言动作模型对语言指令、视觉观测数据、机器人本体状态数据和标准接触令牌进行编码,按物理量纲将编码结果分组为位移组、力组和触觉组,各组内按物理单位归一化使不同机器人本体的同类特征在统一量纲下可比,组间进行跨组信息交互,生成统一状态表示;

77、通用动作生成模块,用于根据统一状态表示生成通用动作块和预测接触轨迹,通用动作块包含末端位姿变化量、抓取协同量、目标接触力、期望刚度、期望阻尼和接触模式;

78、本体适配模块,根据目标机器人本体描述符将通用动作块转换为目标机器人的控制指令并执行,本体描述符包含关节拓扑、自由度、关节限位、运动学参数、末端执行器类型、控制模式、最大速度、最大力矩、控制周期和故障状态;

79、触觉残差修正模块,获取执行控制指令后的实际接触令牌,根据实际接触令牌与预测接触轨迹中对应时刻的预测接触令牌之间的接触误差生成残差动作,利用残差动作修正尚未执行的通用动作块;

80、安全控制模块,对修正后的通用动作块施加安全约束后输出至目标机器人,直至任务完成或触发安全停止。

81、本发明相对于现有技术产生的有益效果为:现有视觉语言动作模型在接触密集任务中无法有效融合异构触觉反馈,触觉感知与语义决策相互割裂;不同机器人的触觉传感器类型、采样频率、量纲和控制接口各异,直接拼接原始数据导致模型绑定具体传感器和机器人平台,数据难以合并、跨本体迁移需大量重新训练。本发明通过将异构触觉信号统一转换为标准接触令牌并仅共享令牌不共享原始数据,按物理量纲分组归一化使跨本体特征可比,并利用预测接触轨迹与实际触觉的残差进行闭环修正,实现了同一模型在不同机器人平台间的迁移部署,在接触密集任务中根据实时触觉反馈自适应调整操作参数。

82、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。

83、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。