一种结合空间信息增强的人形机器人视觉-语言-动作模型训练方法与流程

本发明涉及人形机器人训练领域，具体涉及一种结合空间信息增强的人形机器人视觉-语言-动作模型训练方法。

背景技术：

1、传统的 vla 模型在人形机器人进行高精度交互任务时，存在以下核心技术缺陷：

2、缺乏准确的三维空间意识与几何深度感知：vla 模型的视觉骨干网络仅在 2d 图像数据集上进行预训练，其提取出的视觉标记特征完全缺乏对物理世界 3d 几何结构和相对距离的理解，容易导致机械臂在空间中抓取悬空或发生物理碰撞。例如，在实际机器人操作中，经常出现机器人移动到目标物体上方但由于缺少深度信息导致抓取失败的情况。

3、动作归一化策略的局限：现有 vla 模型在处理连续动作序列时，通常采用基于全局统计量的归一化方式，即在整个训练集范围内，对所有时间步的动作统一计算均值与标准差，并使用同一组归一化参数对 action chunk 中所有 timestep 的动作进行标准化处理。换言之，不同 action chunk 中处于相同位置的 timestep（如 step 0、step 8 或step 16），并不会单独建模其动作分布，而是与其他所有时间步共同共享全局统计量。然而，这种全局归一化方式隐含了一个较强的假设：即所有时间步的动作服从相似的数据分布。但在实际机器人操作任务中，动作序列具有明显的阶段性与时序异质性，不同timestep 的动作分布往往存在显著差异。在全局归一化条件下，统计量会被动作幅度较大的时间步主导。例如，前期大动作会显著提高整体标准差，使得后期本身幅度较小的精细控制动作在归一化后被进一步压缩，其数值动态范围减弱。这样会导致模型对于动作的预测精度下降。

4、动作块间动作不连续与关节机械抖动问题：为了使机器人具备实时闭环调整能力，现有通用 vla 模型在部署时通常采用滚动滑窗控制或动作分块策略，即模型每次前向推理预测出一段动作序列，控制系统仅下发执行其中的前一部分时间步，随后便触发下一次前向推理以引入最新的视觉反馈。然而，在这种传统的滚动控制机制中，相邻两个控制周期的前向推理过程在时间轴上是完全孤立。

5、一方面，传统的扩散模型或流匹配网络在每个控制周期开始时，均采用完全随机的独立同分布高斯白噪声进行状态初始化，导致不同周期的生成轨迹在本质上缺乏时序层面的底层关联；另一方面，传统的动作流生成缺乏有效的边界历史约束与跨时域误差传导机制。这导致上一周期的控制终点与下一周期的控制起点之间，在滑窗滚动切换的瞬间会产生统计学上的“边界接缝断层”。

技术实现思路

1、本发明的目的在于克服现有技术的缺点，提供一种结合空间信息增强的人形机器人视觉-语言-动作模型训练方法，实现了在不改变人形机器人原生 2d 网络架构的前提下，提高精细操作动作的控制精度。

2、本发明采取如下技术方案实现上述目的，本发明提供一种结合空间信息增强的人形机器人视觉-语言-动作模型训练方法，包括以下步骤：

3、s1、逐时间步动作标签预处理；

4、在训练开始前，统计人形机器人轨迹训练集中动作序列在每个独立时间步上的特征分布，对于预测窗口h内的每一个具体时间步t∈[0,h-1]，分别计算其独立的均值向量和标准差向量，其中d为动作维度；在训练的每一次前向传播中，对于真实的动作标签序列，逐时间步进行相互隔离的归一化处理：

5、；

6、s2、 通过vla中间层输出对齐dust3r提取的空间语义表征信息以增强空间感知能力；

7、获取人形机器人当前环境的多视角rgb图像i以及对应的自然语言操作文本指令；

8、将图像i输入vla骨干网络提取指定隐藏中间层的视觉标记表征特征；

9、将相同的图像i输入预训练三维密集几何感知网络，输出与各个视觉标记像素位置对应的三维潜在几何坐标表征；

10、在上附加累加位置嵌入向量e构造空间监督目标特征；

11、通过批量归一化层γ和包含两层线性映射的非线性感知机对进行维度投影，得到映射特征向量；

12、利用余弦相似度度量函数构建3d信息对齐损失函数：

13、；

14、其中n为视觉标记数量，为余弦相似度度量函数；

15、s3、结合对齐损失的端到端训练；

16、将步骤s1得到的逐时间步归一化后的动作序列进行扩散加噪，得到加噪动作noisy；

17、将noisy、去噪时间步、人形机器人当前的具身状态特征共同输入到扩散transformer网络中；

18、预测当前的动作速度场并与原始动作噪声计算均方误差损失；

19、结合与构成总目标损失函数，对网络参数进行端到端联合梯度优化训练；

20、s4、推理执行期的软性动作修复控制；

21、在模型训练完成后的人形机器人实机部署与在线实时推理阶段，移除3d基础模型路径，执行基于时序相关性传播与动态松弛的软性动作修复算法。

22、进一步的是，所述步骤s2中，所述预训练三维密集几何感知网络采用dust3r架构网络，利用其内部的交叉注意力机制整合多视角上下文，直接前向输出包含隐式深度与局部3d拓扑结构信息的几何表征。

23、进一步的是，所述步骤s4中，基于时序相关性传播与动态松弛的软性动作修复算法具体包括以下步骤：

24、时序滚动滑窗定义：设定vla模型单次前向推理预测的动作时序窗口总长度为步，在当前控制周期内，系统实际下发并执行前步动作，将当前预测序列中剩余的最后步作为历史重叠上下文保存为下一控制周期的衔接初始动作向量，在下一个控制周期的前向去噪中定义为已知约束区域o区域，其余未知预测部分定义为自由去噪区域u区域；

25、噪声初始化：在当前控制周期的扩散模型前向去噪初始化阶段，生成本周期全时域多元相关噪声z，提取并记录o区域对应的固定噪声分量，同时获取由上一周期缓存的约束动作目标值；

26、流匹配路径引导下的动态软修复演化：在流匹配从时间步t=1.0向t=0.0逆向去噪演化的迭代过程中，每一演化步通过条件分支执行带有动态松弛特征的动作修复与误差传播；

27、动作序列反归一化与伺服下发：演化至t=0后，提取前步动作序列，利用步骤s1保存的逐时间步均值和标准差进行反归一化恢复，下发给机器人关节电机执行。

28、进一步的是，所述流匹配路径引导下的动态软修复演化中，当去噪时间步时执行强约束与相关性传播阶段：

29、基于流匹配的线性边值条件性质计算o区域在当前演化步下的理论期望轨迹值；

30、提取当前网络预测的o区域原始隐状态值，计算硬性修正差值：

31、；

32、利用条件高斯分布的统计学性质，通过预计算的时序协方差矩阵将该修正量平滑传播至u区域，计算u区域的自适应修正补偿量：

33、；

34、其中表示o区域内部的时序自相关矩阵，表示u区域与o区域之间的时序互相关矩阵；

35、将修正补偿叠加至自由区域实现全时域动作轨迹的协同收敛，强制将o区域对齐至流匹配标准轨道。

36、进一步的是，所述强约束与相关性传播阶段还包括动态安全阀机制：计算的最大绝对值，若该值小于或等于设定的安全阈值，则将修正补偿叠加至自由区域；若超出阈值，则保持u区域原状。

37、进一步的是，所述流匹配路径引导下的动态软修复演化中，当去噪时间步时执行动态松弛自由微调阶段：完全解除o区域的硬性轨道约束及相关性传播机制，放开模型全部自由度，允许模型结合当前最新的视觉环境特征和本体状态，对包括o区域和u区域在内的全时域动作点进行联合平滑与细微调整。

38、进一步的是，所述时序滚动滑窗中，=30步，=26步，o区域索引为0~3，u区域索引为4~29。

39、进一步的是，所述步骤s3中，所述扩散transformer网络采用流匹配范式进行训练，预测当前的动作速度场并与原始动作噪声计算均方误差损失。

40、进一步的是，所述步骤s4中，在推理执行期移除3d基础模型路径的同时，保留步骤s1中各时间步的均值向量和标准差向量用于动作序列反归一化。

41、本发明的有益效果为：

42、本发明打破了传统具身智能vla模型在时间滑窗滚动时，各控制周期独立推理、缺乏时间连续性约束的局限。本发明创新性地提出了一种软性动作修复机制。该机制在流匹配前向去噪中，将前一控制周期的末端动作作为先验硬性嵌入当前周期的起始段（区域）；更重要的是，利用条件高斯分布的协方差数学特性（），将硬性校正引起的突变扰动按时序相关性比例平滑传播至未知的未来动作域（区域），从根本上消除了 chunk拼接处的接缝断层；最后配合去噪末端 30% 时间步的动态松弛放开，使模型既保留了历史时序的连贯性，又具备了根据实时视觉反馈进行在线微调的动态柔顺性，解决了机器人高频控制中的机械抖动与轨迹不连贯现象。

43、本发明打破了传统全局混同归一化的限制，为action chunk内的每个时间步定制独立的  均值和标准差矩阵。在训练和推理中实施空间隔离归一化，极大提高了精细交互阶段的信号信噪比。

44、本发明在训练期通过空间信息增强模块将 2d vla 的指定中间层特征与预训练三维密集几何感知网络（dust3r）的几何表征拉近，使模型具备3d 几何与深度感知能力。