基于状态自适应动作空间的推理方法、装置、设备及介质

本发明涉及人工智能，尤其涉及一种基于状态自适应动作空间的推理方法、装置、设备及介质。

背景技术：

1、视觉语言动作生成模型（vla）作为具身智能领域的核心架构，通过利用大语言模型，从多模态输入生成可执行输出动作，实现从高层指令理解到底层机器人控制的映射。这类模型通常可分为两大范式：自回归式和并行解码式，自回归方法模仿大语言模型逐步生成文本的过程，以顺序方式生成动作，具有较强的上下文一致性与表达能力；并行解码方法采用生成式结构，在单次前向传播中直接预测整段动作序列，显著提升了推理速度，并可通过动作分块进一步降低查询频率，实现更平滑的执行。这两种范式在延迟、控制精度与计算需求之间各有取舍，凸显了探索混合式或更高效优化方法以更好平衡这些因素的重要性。

2、针对vla模型在实际机器人控制中的高效推理需求，现有方法主要分为结构优化方法和重用策略方法两类，结构优化方法旨在通过动作分段、并行化改造或模型剪枝等手段降低计算开销，例如将自回归模式改造为并行解码以减少推理步数；重用策略则试图通过缓存机制来规避重复计算，其在连续交互的时间步中保留静态的视觉或语言特征，仅重新计算与当前任务动态相关的token，以此减少延迟。

3、然而，现有架构在推理阶段通常不加区分地对所有动作维度进行全量计算，忽略了在特定任务状态下，并非所有动作维度都对任务达成有实质性贡献，这种冗余计算在并行解码模式下尤为严重，造成了硬件功耗与时间的极大浪费，而在自回归模式中，动作维度的冗余则直接导致推理延迟随维度数线性增长。另外，传统的模型压缩与结构优化技术往往需要对原模型进行额外微调，资源消耗大且高度依赖具体任务，更致命的是，这类技术引入的精度损失在具有累积误差效应的连续控制任务中极易被放大，导致轨迹偏移甚至任务失败，同样地，重用策略与基于空间相似性的结构优化方法虽然能降低延迟，但往往在缓存和近似计算的过程中牺牲了动作的精细度，在动态解耦时容易丢失关键维度的控制信息，最终在性能与效率之间形成难以调和的权衡。

技术实现思路

1、本发明提供一种基于状态自适应动作空间的推理方法、装置、设备及介质，用以解决现有技术中对所有可能的动作维度进行全量计算以致计算开销巨大和时间延迟显著的缺陷，既规避了无关动作维度对指令执行逻辑的干扰与特征稀释，又大幅削减了视觉语言动作生成模型的自回归或生成计算开销，确保智能体在面对复杂跨模态指令时能够输出高度内洽、精准且高效的物理执行动作。

2、本发明提供一种基于状态自适应动作空间的推理方法，包括：获取视觉观测图像与文本指令；将视觉观测图像与文本指令输入掩码预测模型，提取视觉观测图像与文本指令的多模态特征，预测视觉观测图像的动作维度掩码；其中，掩码预测模型是利用基于动态一致性检验筛选出的最优掩码标签训练得到的；将动作维度掩码输入视觉语言动作生成模型中，根据动作维度掩码，对待解码动作维度进行解码，跳过无需解码的动作维度，组合解码得到的动作维度与跳过解码的动作维度，生成完整的执行动作。

3、根据本发明提供的一种基于状态自适应动作空间的推理方法，在将视觉观测图像与文本指令输入掩码预测模型之前，包括：获取视觉观测样本、原始策略在视觉观测样本下生成的预测动作以及执行预测动作后得到的下一时刻的基准观测状态；利用预先生成的多个带有不同掩码模式的策略，分别生成对应掩蔽动作，并获取执行各掩蔽动作后得到的下一时刻的掩蔽观测状态；针对各掩蔽观测状态，分别与基准观测状态进行比较，基于比较结果确定差异符合预设动态一致性条件时，将对应掩码模式作为视觉观测样本的最优掩码标签，对待训练的掩码预测模型进行训练。

4、根据本发明提供的一种基于状态自适应动作空间的推理方法，针对各掩蔽观测状态，分别与基准观测状态进行比较，包括：针对各掩蔽观测状态，将每个掩蔽观测状态分别结合基准观测状态，确定对应掩蔽观测状态的差异度量值；确定掩蔽观测状态的差异度量值小于或等于预设阈值时，确定对应掩码模式符合预设动态一致性条件。

5、根据本发明提供的一种基于状态自适应动作空间的推理方法，基于比较结果确定差异符合预设动态一致性条件时，将对应掩码模式作为视觉观测样本的最优掩码标签，对待训练的掩码预测模型进行训练，包括：基于比较结果确定差异符合预设动态一致性条件时，确定存在至少两个掩码模式符合预设动态一致性条件时，确定符合条件的掩码模式中被掩蔽的维度数量，选择被掩蔽维度数量最多的掩码模式作为对应视觉观测样本的最优掩码标签，对待训练的掩码预测模型进行监督训练；或者，将所有符合条件的掩码模式进行加权平均，得到一个连续的软标签作为对应视觉观测样本的最优掩码标签，对待训练的掩码预测模型进行监督训练；其中，各符合条件的掩码模式的权重根据其对应的掩蔽观测状态与基准观测状态的差异度量值确定；或者，将所有符合条件的掩码模式作为正样本，将不满足条件的掩码模式作为负样本，基于正样本和负样本构建对比损失函数，以训练待训练的掩码预测模型。

6、根据本发明提供的一种基于状态自适应动作空间的推理方法，在利用预先生成的多个带有不同掩码模式的策略，分别生成对应掩蔽动作之前，包括：基于动作空间中各维度的物理耦合关系，生成预设结构的掩码模式；其中，物理耦合关系用于表征不同动作维度在执行时产生的物理影响存在关联关系，预设结构的掩码模式包括仅掩蔽属于同一物理分组的动作维度的掩码模式，或按照预设递增规则逐步增加掩蔽维度数量的渐进式掩码模式；和/或，利用历史交互数据训练的掩码生成器，生成多个不同的掩码模式；和/或，确定动作空间维度低于预设维度阈值时，根据预设动作维度，生成所有非空子集作为对应掩码模式；其中，非空子集用于表征保留的动作维度不全为默认掩蔽值；确定动作空间维度大于或等于预设维度阈值时，基于各动作维度的预设保留概率，独立生成对应掩码模式，或，基于随机选择的保留维度数，从所有动作空间维度中随机抽取对应数量的动作维度进行保留，生成对应掩码模式。

7、根据本发明提供的一种基于状态自适应动作空间的推理方法，在对待解码动作维度进行解码，跳过无需解码的动作维度之前，包括：确定动作维度掩码中存在动作维度的标志为非默认掩蔽值，则判定对应动作维度为关键维度，确定需要通过动作解码器进行解码；确定动作维度掩码中存在维度的标志为默认掩蔽值，则判定对应动作维度为冗余维度，不需要进行解码。

8、根据本发明提供的一种基于状态自适应动作空间的推理方法，在生成完整的执行动作之后，包括：将执行动作下发给智能体底层执行。

9、本发明还提供一种基于状态自适应动作空间的推理装置，包括：数据获取模块，获取视觉观测图像与文本指令；掩码模块，将视觉观测图像与文本指令输入掩码预测模型，提取视觉观测图像与文本指令的多模态特征，预测视觉观测图像的动作维度掩码；其中，掩码预测模型是利用基于动态一致性检验筛选出的最优掩码标签训练得到的；动作生成模块，将动作维度掩码输入视觉语言动作生成模型中，根据动作维度掩码，对待解码动作维度进行解码，跳过无需解码的动作维度，组合解码得到的动作维度与跳过解码的动作维度，生成完整的执行动作。

10、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于状态自适应动作空间的推理方法。

11、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于状态自适应动作空间的推理方法。

12、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于状态自适应动作空间的推理方法。

13、本发明提供的基于状态自适应动作空间的推理方法、装置、设备及介质，通过将视觉观测图像与文本指令联合输入掩码预测模型，以提取多模态特征并预测动作维度掩码，实现从高维跨模态语义空间到结构化动作空间的直接映射；通过利用基于动态一致性检验筛选出的最优掩码标签训练该掩码预测模型，使得模型能够精准识别并剥离与当前文本指令及视觉语境无关的动作冗余维度，从而在多模态融合阶段即完成对非控制特征的物理级滤除；同时，通过将预测出的动作维度掩码作为结构化先验路由引导视觉语言动作生成模型的解码过程，使得解码器仅对判定为核心动力学的维度执行精细推理，并旁路跳过冗余维度，最终将关键维度的解码值与冗余维度的默认值组合生成完整执行动作，从而在多模态指令驱动的任务中，既规避了无关动作维度对指令执行逻辑的干扰与特征稀释，又大幅削减了视觉语言动作生成模型的自回归或生成计算开销，确保智能体在面对复杂跨模态指令时能够输出高度内洽、精准且高效的物理执行动作。