一种基于扩散模型的VLA动作序列随机生成方法及系统

本发明涉及人工智能与具身智能机器人控制，尤其涉及一种基于扩散模型的vla动作序列随机生成方法及系统。

背景技术：

1、在动态人机协同作业场景中，执行设备需根据自然语言指令与视觉感知环境完成连续物理作业。当前业内普遍采用视觉语言动作大模型结合扩散策略重构生成动作序列。然而，当作业空间内存在随机穿行的动态移动障碍物时，传统扩散去噪网络生成的趋向作业目标的语义任务特征，与外部安全系统强加的远离移动障碍物的排斥特征，会在同一个高维动作流形空间中发生直接的时变矢量耦合。由于障碍物持续产生物理位移，特征同向叠加会导致系统在逆向迭代求解过程中，于执行任务和躲避障碍之间产生相反的梯度对抗，导致底层伺服系统陷入动态时空死锁，进而引发执行设备的执行轨迹剧烈振荡，甚至在轨迹交叉点与移动障碍物发生直接物理碰撞，造成装配产线作业中断。

2、具体的，传统的扩散控制方案通常采用‘生成-后处理’的串行架构，即先由扩散模型生成完整的动作序列，随后再送入独立的碰撞检测模块或人工势场模块进行安全校验。当检测到碰撞风险时，通常以外加惩罚项的形式叠加至损失函数中。通过上述外挂校验方式，虽然能够实现基础避障，但导致了动作生成与安全约束处于分离的计算流形空间，进而造成执行设备在动态环境中面临任务与避障矢量对抗冲突，陷入时空死锁。

技术实现思路

1、为了弥补以上不足，本发明提供了一种基于扩散模型的vla动作序列随机生成方法及系统，旨在改善传统的扩散控制大多采用梯度直接叠加，由于任务与避障矢量对抗冲突，从而造成执行设备在动态环境中陷入时空死锁的问题。

2、第一方面，本发明提供了如下技术方案，一种基于扩散模型的vla动作序列随机生成方法，包括以下步骤：

3、s1、获取视觉图像、语言指令、目标执行设备的关节运动状态及移动障碍物轨迹矩阵；

4、s2、将所述视觉图像与所述语言指令输入特征提取网络得到原始特征，利用语义映射矩阵对所述原始特征映射生成语义引导向量，同时基于所述关节运动状态与所述移动障碍物轨迹矩阵构建控制障碍函数；

5、s3、采样初始噪声序列启动逆向去噪迭代，并在当前迭代步中，对所述控制障碍函数关于当前动作状态求偏导数，提取法向量梯度矩阵，所述法向量梯度矩阵指示指向安全区域边界的最速上升方向；

6、s4、依据所述法向量梯度矩阵构建零空间投影算子，利用所述零空间投影算子对去噪网络基于所述语义引导向量生成的任务得分梯度进行正交映射，提取安全任务梯度；

7、s5、依据所述控制障碍函数解算安全补偿标量，将经所述安全补偿标量加权的所述法向量梯度矩阵叠加至所述安全任务梯度，获取更新动作梯度以更新当前动作状态，循环所述逆向去噪迭代直至满足停止条件，输出目标动作序列；

8、s6、将所述目标动作序列转化为驱动指令以控制所述目标执行设备。

9、通过采用上述技术方案，构建零空间投影算子对任务得分梯度进行正交映射，进而剥离语义意图与避障梯度的特征耦合，从而改善了传统的扩散控制大多采用梯度直接叠加，由于任务与避障矢量对抗冲突，从而造成执行设备在动态环境中陷入时空死锁的问题。

10、第二方面，本发明提供以下技术方案，一种基于扩散模型的vla动作序列随机生成系统，包括以下模块：

11、状态数据获取模块，配置为获取视觉图像、语言指令、目标执行设备的关节运动状态及移动障碍物轨迹矩阵；

12、语义映射与障碍构建模块，配置为将所述视觉图像与所述语言指令输入特征提取网络得到原始特征，利用语义映射矩阵对所述原始特征映射生成语义引导向量，同时基于所述关节运动状态与所述移动障碍物轨迹矩阵构建控制障碍函数；

13、噪声采样与梯度提取模块，配置为采样初始噪声序列启动逆向去噪迭代，并在当前迭代步中，对所述控制障碍函数关于当前动作状态求偏导数，提取法向量梯度矩阵，所述法向量梯度矩阵指示指向安全区域边界的最速上升方向；

14、零空间正交映射模块，配置为依据所述法向量梯度矩阵构建零空间投影算子，利用所述零空间投影算子对去噪网络基于所述语义引导向量生成的任务得分梯度进行正交映射，提取安全任务梯度；

15、动作状态重构模块，配置为依据所述控制障碍函数解算安全补偿标量，将经所述安全补偿标量加权的所述法向量梯度矩阵叠加至所述安全任务梯度，获取更新动作梯度以更新当前动作状态，循环所述逆向去噪迭代直至满足停止条件，输出目标动作序列；

16、伺服驱动控制模块，配置为将所述目标动作序列转化为驱动指令以控制所述目标执行设备。

17、本发明具有如下有益效果：

18、1、本发明中，通过构建零空间投影算子对任务得分梯度进行正交映射，进而剥离语义意图与避障梯度的特征耦合，从而改善了传统的扩散控制大多采用梯度直接叠加，由于任务与避障矢量对抗冲突，从而造成执行设备在动态环境中陷入时空死锁的问题。

19、2、本发明中，通过利用正向运动学解算物理包络坐标构建控制障碍函数，进而将空间防碰撞边界转化为连续可导的约束等式，从而改善了传统的动作规划大多采用独立于生成网络的离散碰撞检测模块，由于离散搜索独立于生成网络之外，从而造成响应滞后的问题。

20、3、本发明中，通过依据障碍变化率与约束函数解算安全补偿标量，进而在逼近边界临界点时按需施加最小避障干预力，从而改善了传统的动作生成大多采用固定静态惩罚势垒，由于全局强制惩罚限制了系统泛化空间，从而造成探索能力丧失的问题。

21、4、本发明中，通过引入逆动力学求解器将空间位姿张量转化为力矩与电流数值，进而剥离了实体机械的重力偏置与离心力耦合，从而改善了传统的控制指令下发链路大多采用纯运动学位置下发，由于忽略了设备惯性特征，从而造成物理执行轨迹偏差的问题。

1.一种基于扩散模型的vla动作序列随机生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s1中，所述获取视觉图像、语言指令、目标执行设备的关节运动状态及移动障碍物轨迹矩阵，包括：

3.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s2中，所述将所述视觉图像与所述语言指令输入特征提取网络得到原始特征，利用语义映射矩阵对所述原始特征映射生成语义引导向量，包括：

4.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s2中，所述基于所述关节运动状态与所述移动障碍物轨迹矩阵构建控制障碍函数，包括：

5.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s3中，所述采样初始噪声序列启动逆向去噪迭代，并在当前迭代步中，对所述控制障碍函数关于当前动作状态求偏导数，提取法向量梯度矩阵，所述法向量梯度矩阵指示指向安全区域边界的最速上升方向，包括：

6.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s4中，所述依据所述法向量梯度矩阵构建零空间投影算子，利用所述零空间投影算子对去噪网络基于所述语义引导向量生成的任务得分梯度进行正交映射，提取安全任务梯度，包括：

7.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s5中，所述依据所述控制障碍函数解算安全补偿标量，包括：

8.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s5中，所述将经所述安全补偿标量加权的所述法向量梯度矩阵叠加至所述安全任务梯度，获取更新动作梯度以更新当前动作状态，循环所述逆向去噪迭代直至满足停止条件，输出目标动作序列，包括：

9.根据权利要求1所述的一种基于扩散模型的vla动作序列随机生成方法，其特征在于，在s6中，所述将所述目标动作序列转化为驱动指令以控制所述目标执行设备，包括：

10.一种基于扩散模型的vla动作序列随机生成系统，其特征在于，用于权利要求1-9任一项所述的一种基于扩散模型的vla动作序列随机生成方法，包括以下模块：