视觉-语言-动作模型在线动作优化方法、系统、设备及介质

本发明属于人工智能与边缘计算，特别涉及视觉-语言-动作模型在线动作优化方法、系统、设备及介质。

背景技术：

1、视觉-语言-动作（vision-language-action，vla）模型是一类将视觉感知、语言理解和动作生成统一于单一深度学习框架的多模态模型。以qwen-vla为代表的vla模型在广域机器人数据集上完成预训练后，可根据语言指令和视觉输入生成末端执行器的动作参数，在机器人自主作业领域具有广泛应用前景。

2、然而，vla模型在推理阶段输出的动作轨迹本质上是开环的：模型一次性生成完整的末端执行器位姿后直接执行，无法感知和响应执行过程中环境的瞬时变化。特别地，vla模型的推理计算开销大、频率低（通常在2-5hz），与实时动作控制所需的高频响应（通常需100hz以上）之间存在根本性矛盾。当vla模型部署于移动平台（如救护车、农业车辆等）时，这一矛盾因物理环境扰动而进一步加剧。

3、现有的闭环控制方法存在以下不足：（1）基于梯度的视觉伺服方法在强扰动下容易陷入局部最优；（2）基于学习的反应式策略需要大量标注的扰动数据进行训练，在实际目标平台上难以收集，且训练得到的策略难以泛化到未见过的扰动模式。

4、模拟退火（simulatedannealing，sa）是一种通用的概率优化算法，其通过在高温阶段接受劣化解来避免陷入局部最优，在低温阶段精细收敛至高质量近似解。传统模拟退火采用单调递减的温度调度策略，适用于静态或缓慢变化的环境。然而，在动态扰动环境中，当环境突变导致优化景观发生剧烈变化时，单调递减的温度无法使优化器重新跳出已形成的局部最优，导致优化器"冻结"在次优状态。

5、现有技术中，公开号为cn120480906a的中国专利公开了一种基于强化学习与模拟退火结合的机器人自适应决策方法，通过q值函数梯度信息和即时奖励值动态调整模拟退火的温度参数的衰减系数，以实现探索与利用的平衡。然而，该方法中的温度调整始终在初始温度以下、沿单调递减框架进行——其本质上仅调节温度下降的速率，无法在环境发生剧烈突变时将温度主动提升以重新启动全局探索。该发明依赖于强化学习的迭代更新机制，需要大量环境交互数据，难以直接应用于需要即时响应的在线动作修正场景。

6、公开号为cn122200228a的中国专利公开了一种基于强化学习的vla模型后训练方法，其通过动态环境扰动策略在训练数据生成阶段构造多样化仿真场景以提升模型泛化性。然而，该方法作用于离线训练阶段，无法解决vla模型在在线推理阶段面对真实物理环境突变（如车辆颠簸、动态遮挡）时的动作自适应修正问题。

7、因此，现有技术中存在以下亟待解决的技术空白：（i）缺乏一种将vla模型的低频推理能力与高频在线优化能力有效衔接的异步双环架构；（ii）缺乏一种能够在环境突变时主动打破模拟退火温度单调递减范式、实现温度回升重启动全局探索的事件触发调度机制；（iii）缺乏一种能够在无需实际执行末端执行器动作的条件下高效评估候选位姿能量值的替代评估机制；（iv）缺乏一种将vla模型的内在不确定性输出与在线优化器能量函数参数动态关联的跨模块信息融合机制。亟需一种能够在动态扰动环境下对vla模型的开环动作进行实时闭环修正，并在环境突变时主动跳出局部最优的在线动作优化方法。

技术实现思路

1、为了解决上述现有技术中存在的问题，本发明提出了视觉-语言-动作模型在线动作优化方法、系统、设备及介质，通过在模拟退火算法在线优化过程中引入事件触发再加热温度调度策略，使优化器在环境突变时能够主动跳出局部最优，实现vla模型在物理不稳定环境中的鲁棒动作输出。

2、本发明的技术方案如下：

3、一方面，本发明提供一种视觉-语言-动作模型在线动作优化方法，包括以下步骤：

4、基于采集的实时图像与任务指令以第一频率采用视觉-语言-动作模型进行动作推理输出粗粒度末端执行器位姿，构成低频慢环；

5、以所述粗粒度末端执行器位姿为初始状态、以位姿偏移参数为状态向量、以任务特定能量函数为目标函数，对所述粗粒度末端执行器位姿以高于所述第一频率的第二频率采用模拟退火算法进行实时精细化调整，输出精细化末端执行器位姿，构成高频快环，与所述低频慢环形成异步双环架构；

6、基于实时检测的环境扰动信号和末端执行器抓取置信度变化动态生成预设阈值，进行事件触发再加热机制判定：若超出所述预设阈值则提升模拟退火算法的退火温度至再加热温度，并对模拟退火算法按照预设非对称加速降温策略恢复下降，收敛并冻结输出精细化末端执行器位姿。

7、优选的，所述异步双环架构的工作机制具体为：

8、低频慢环以第一频率fvla运行，完成单次动作推理并输出粗粒度末端执行器位姿；所述模拟退火算法以第二频率fsa运行，其中fsa>fvla，在相邻两次动作推理之间完成多次模拟退火迭代；

9、当完成新一轮动作推理并输出新的粗粒度末端执行器位姿时，所述模拟退火算法将当前状态重置为新的粗粒度末端执行器位姿，重新初始化退火温度并启动新一轮在线优化，实现低频慢环与高频快环的异步交接；

10、所述模拟退火算法基于最近一个执行周期内的传感器数据确定下一周期的目标位姿；模拟退火算法优化迭代与机械臂物理运动异步执行，仅在当前机械臂运动完成后才将新的精细化末端执行器位姿送入运动控制器，使模拟退火算法优化结果的更新频率与机械臂的实际运动带宽匹配。

11、优选的，在振动环境下的图像采集场景中，以图像清晰度度量函数的负值定义所述任务特定能量函数；

12、在遮挡环境下的目标抓取场景中，以抓取置信度与碰撞惩罚的加权组合负值构建所述任务特定能量函数，所述任务特定能量函数的权重系数与所述视觉-语言-动作模型动作解码器输出的动作令牌的原始对数概率值的分布特征动态关联，关联方式为：获取所述视觉-语言-动作模型动作解码器输出的动作令牌的原始对数概率值，对每个动作维度的原始对数概率值计算softmax归一化概率分布并求其信息熵，将所有动作维度的信息熵取均值或最大值作为不确定性度量；当所述不确定性度量低于预设熵值阈值时，增大抓取置信度权重与碰撞惩罚权重的比值以强化任务优化倾向；当所述不确定性度量高于预设熵值阈值时，减小所述抓取置信度权重与碰撞惩罚权重的比值以强化避碰安全倾向。

13、优选的，所述任务特定能量函数基于替代模型计算，所述替代模型的具体实现为：

14、在振动环境下的图像采集场景中，所述替代模型为基于惯性测量单元数据和相机模型的解析点扩散函数模型，所述任务特定能量函数值通过所述解析点扩散函数模型的frobenius范数解析计算得到；惯性测量单元的数据采集与相机曝光时间严格同步，采样时间戳覆盖曝光周期的开窗区间；

15、在遮挡环境下的目标抓取场景中，所述替代模型为基于当前帧rgb-d图像、实例分割结果和深度图的几何投影模型，抓取置信度通过候选位姿下目标边界框投影区域与可见像素区域的交并比计算得到，碰撞惩罚通过候选位姿与障碍物点云簇的最短欧氏距离计算得到。

16、优选的，所述基于实时检测的环境扰动信号和末端执行器抓取置信度变化动态生成预设阈值，进行事件触发再加热机制判定具体为：

17、基于预设监测周期内所述环境扰动信号的统计特征与所述末端执行器抓取置信度变化动态生成第一预设阈值和第二预设阈值，并根据当前环境扰动信号和环境能量景观粗糙度动态计算再加热温度；

18、当检测到环境扰动强度超过所述第一预设阈值或末端执行器抓取置信度下降速率超过所述第二预设阈值，且距上一次再加热事件的时间间隔超过预设再加热冷却间隔时，将所述模拟退火算法的当前退火温度提升至所述再加热温度，随后按照预设非对称加速降温策略恢复下降，收敛并冻结输出精细化末端执行器位姿。

19、优选的，所述第一预设阈值的生成方式具体为：在预设滑动时间窗口内计算所述环境扰动信号的均值和标准差，构建动态阈值t1=μ+α·σ，其中μ为滑动窗口内的环境扰动信号均值，σ为滑动窗口内的环境扰动信号标准差，α为预设灵敏度系数；所述第二预设阈值采用指数加权移动平均法计算所述末端执行器抓取置信度下降的预期速率基线并取预设倍数得到。

20、优选的，所述再加热温度treheat的生成方式为：treheat=t0·f(d,r)，其中t0为初始退火温度，d为当前检测到的环境扰动信号归一化值，r为当前环境能量景观粗糙度，f(·)为预设的单调递增映射函数；所述环境能量景观粗糙度r通过计算所述模拟退火算法最近预设数量次迭代中任务特定能量函数值的局部方差得到；

21、所述预设再加热冷却间隔具有环境自适应性：预设再加热冷却间隔tcool=tbase·g(dd/dtfiltered)，其中tbase为基础冷却间隔，g(·)为预设单调递增函数，tfiltered为经低通滤波处理后的时间变量，dd/dtfiltered为经过低通滤波处理后的环境扰动信号变化率。

22、优选的，所述预设非对称加速降温策略具体为：

23、更新退火温度tk+1=tk·λreheat，其中λreheat为加速降温系数，且λreheat<λinitial，λinitial为所述模拟退火算法在初次退火阶段从初始温度t0下降时的降温系数，tk为第k次退火温度，tk+1为第k+1次退火温度；当所述预设非对称加速降温策略使退火温度降至预设终止温度以下、且距最近一次再加热事件起已完成的迭代次数不低于预设最小冻结迭代次数时，冻结输出精细化末端执行器位姿。

24、另一方面，本发明提供一种视觉-语言-动作模型在线动作优化系统，包括图像采集模块、语言输入模块、动作推理模块、模拟退火在线优化模块、扰动检测模块以及事件触发再加热调度模块；

25、图像采集模块，用于采集实时图像；

26、语言输入模块，用于输入任务指令；

27、动作推理模块，用于基于采集的实时图像与任务指令以第一频率采用视觉-语言-动作模型进行动作推理输出粗粒度末端执行器位姿，构成低频慢环；

28、模拟退火在线优化模块，用于以所述粗粒度末端执行器位姿为初始状态、以位姿偏移参数为状态向量、以任务特定能量函数为目标函数，对所述粗粒度末端执行器位姿以高于所述第一频率的第二频率采用模拟退火算法进行实时精细化调整，输出精细化末端执行器位姿，构成高频快环，与所述低频慢环形成异步双环架构，其中模拟退火算法中施加的随机扰动幅值随退火温度自适应调节；

29、扰动检测模块，用于实时检测环境扰动信号和末端执行器抓取置信度变化；

30、事件触发再加热调度模块，用于基于实时检测的环境扰动信号和末端执行器抓取置信度变化动态生成预设阈值，进行事件触发再加热机制判定：若超出所述预设阈值则提升模拟退火算法的退火温度至再加热温度，并对模拟退火算法按照预设非对称加速降温策略恢复下降，收敛并冻结输出精细化末端执行器位姿。

31、再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一实施例所述的视觉-语言-动作模型在线动作优化方法。

32、与现有技术相比，本发明具有以下技术效果：

33、1.动态扰动下的自适应动作修正：本发明提出的事件触发再加热机制使模拟退火算法能够在环境突变时主动跳出局部最优，而非"冻结"在次优状态。相比传统单调退火的停滞以及现有连续温度调节方法仅能减缓收敛而不能重启搜索的局限，本发明在强扰动环境中仍能持续搜索最优动作。非对称加速降温使跳出局部最优后的恢复时间大幅缩短。

34、2.无需扰动训练数据且无需实际执行动作进行评估：本发明基于sa算法的零阶优化特性，仅需定义任务特定能量函数即可工作，不依赖任何扰动数据集。关键地，任务特定能量函数通过imu-相机解析模型或深度图几何投影模型进行替代评估，无需在优化迭代过程中实际驱动末端执行器移动至候选位姿进行实测，因此优化过程不消耗机械执行时间、不产生物理碰撞风险。

35、3.低计算开销适合边缘部署：本发明所述sa算法在4至7维低维空间中进行，单次迭代仅涉及状态扰动和标量能量评估（微秒至毫秒级），适合算力受限的边缘场景。

36、4.异步双环架构实现大模型推理与实时优化的解耦：本发明所述方法中vla低频推理环与sa高频优化环异步运行、独立工作，并在vla新推理结果到达时完成状态重置与交接，解决了大模型推理延迟与实时控制需求之间的根本矛盾。

37、5.任务特定能量函数与vla模型不确定性输出的联动实现了跨模块信息融合：sa优化器通过vla模型的动作token logits分布熵值（零额外计算开销）感知决策不确定性，自适应地在任务精度与安全性之间调整优化策略。