面向电力设备操作的VLA模型物理约束加固方法与流程

摘要: 本发明属于具身智能与机器人控制领域,具体涉及一种面向电力设备操作的vla(visionlanguageaction,视觉语言动作)模型物理约束加固方法。背景技术...
面向电力设备操作的VLA模型物理约束加固方法与流程

本发明属于具身智能与机器人控制领域,具体涉及一种面向电力设备操作的vla(vision language action,视觉语言动作)模型物理约束加固方法。

背景技术:

1、随着电力系统自动化水平提升,搭载vla模型的机械臂或智能巡检机器人的应用场景逐渐从结构化的输变电设备操作扩展至配电自动化、智能巡检与运维等非结构化、动态复杂场景,如高压开关柜操作、互感器读数与拧动、电缆接头插拔等。该类vla系统通常以摄像头采集的视觉观测图像和自然语言任务指令(如“闭合隔离开关”)为输入,经视觉语言大模型(vision language model, vlm)编码后直接映射输出连续控制动作(关节角速度或末端位姿增量),形成感知-动作闭环。

2、在这些场景中,设备操作涉及高压设备、复杂拓扑结构及不确定的物体运动,环境干扰与安全要求对vla系统的物理可信性与决策鲁棒性提出了严峻挑战。然而,现有vla模型在复杂电力环境中普遍缺乏对物理可行性与接触约束的显式建模,导致在分布外扰动和动力学变化下易出现越界、碰撞、滑移等不安全行为,严重制约其在电力设备操作中的可靠部署。

3、目前,主流的电力设备操作vla系统大多基于端到端的监督学习范式,将视觉观测与语言指令直接映射为控制动作。这类方法虽能实现感知—动作闭环,但本质上仍是数据驱动的黑箱拟合,缺乏对物理规律与电力设备操作约束的内置理解。例如,现有模型在复杂拓扑、遮挡或非典型设备状态下容易输出物理不可行的操作序列,表现为高频抖动、动作越界或末端碰撞,最终可能导致操作失败或设备损坏。

4、为引入对物理规律的感知,一些研究尝试将机器人物理仿真与强化学习结合,如通过仿真生成带物理标注的数据或利用域随机化进行策略迁移。但仿真与电力现场存在本质差异:接触动力学、摩擦特性、设备柔性及环境约束的建模无法完全匹配现实,使得在仿真中安全的策略在现场仍可能出现不可预测失效。此外,这类方法通常将物理可行性作为隐式训练目标,缺乏在推理阶段的可解释约束验证,难以构建可信的操作安全边界。

5、近年来,世界模型为环境动态建模提供了新路径。通过循环状态空间预测潜在未来状态,能够辅助长程任务规划。然而,这类模型对物理动力学(如连续动作、接触一致性)缺乏显式约束,容易产生“物理幻觉”,即预测场景违反现实物理规律,如设备接触错误或动作轨迹穿透物体。当此类预测用于电力设备操作的策略生成时,将引入累积误差与决策漂移,严重威胁操作安全。

6、同时,大语言模型及视觉-语言模型在高层任务规划与语义推理中展现潜力。一些方法尝试通过cot分解任务、规划子目标,但cot推理与连续动作控制之间存在语义鸿沟,且缺乏对电力设备操作物理可行性的验证能力,即模型无法评估“操作轨迹是否满足设备安全约束”,也无法根据物理反馈动态修正规划,导致高层推理与实际操作脱节。

技术实现思路

1、本发明的目的是提供一种面向电力设备操作的vla模型物理约束加固方法、计算机设备、计算机可读存储介质和计算机程序产品,能够通过将物理先验知识与动力学约束深度嵌入vla模型的推理、预测与执行全链路,实现电力设备操作中vla模型的可信决策与安全执行。

2、为了实现上述目的,本发明的一个方面提供一种面向电力设备操作的vla模型物理约束加固方法,所述vla模型包括高层规划模型、规划投影器、动作条件世界模型和低层vla模型,所述方法包括:

3、步骤s1,获取自然语言操作指令、当前视觉观测以及当前任务的历史执行状态,构建当前动态思维图,高层规划模型根据自然语言操作指令、当前视觉观测和动态思维图生成多条候选高层规划,通过组相对策略优化公式优化各高层候选规划的选择概率,利用规划投影器将每条候选高层规划转换为计划潜在表示;

4、步骤s2,根据候选高层规划及其计划潜在表示,针对每条候选高层规划,根据当前视觉观测、自然语言操作指令和计划潜在表示,生成对应的候选动作序列并输入动作条件世界模型,预测各候选高层规划对应的未来视觉状态和运动状态,并根据未来状态的任务推进程度、物理风险以及物理幻觉程度形成综合评价分值,选择评价分值最高的候选高层规划作为最优候选高层规划;

5、步骤s3,引入非穿透与碰撞约束、动作时序平滑约束和摩擦一致性约束,形成总体训练损失,根据总体训练损失更新低层vla模型,将最优候选高层规划的当前视觉观测、自然语言操作指令和计划潜在表示输入低层vla模型,得到实际连续控制动作。

6、本发明的另一个方面提供一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述的方法的步骤。

7、本发明的又一个方面提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。

8、本发明的又一个方面提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。

9、根据本发明上述方面的面向电力设备操作的vla模型物理约束加固方法、计算机设备、计算机可读存储介质和计算机程序产品,能够通过将物理先验知识与动力学约束深度嵌入vla模型的推理、预测与执行全链路,实现电力设备操作中vla模型的可信决策与安全执行。

1.一种面向电力设备操作的vla模型物理约束加固方法,其特征在于,所述vla模型包括高层规划模型、规划投影器、动作条件世界模型和低层vla模型,所述方法包括:

2.如权利要求1所述的方法,其特征在于,步骤s1包括:

3.如权利要求2所述的方法,其特征在于,动态思维图包括子目标节点、宏动作节点和约束节点,其中,子目标节点用于表示电力设备操作过程中的阶段性任务目标,宏动作节点用于表示接近、对准、抓握、旋转、插拔、释放中的至少一种操作,约束节点用于表示操作顺序、安全距离、禁止侵入区域、设备状态条件和接触要求中的至少一种约束项,有向边用于表示子目标之间的先后依赖关系、宏动作与子目标之间的实现关系以及约束项对相应宏动作的作用关系。

4.如权利要求3所述的方法,其特征在于,步骤s12中,如下计算综合回报:

5.如权利要求4所述的方法,其特征在于,组相对策略优化公式为:

6.如权利要求1-5中任一项所述的方法,其特征在于,步骤s2包括:

7.如权利要求6所述的方法,其特征在于,世界模型总体训练损失为:

8.如权利要求7所述的方法,其特征在于,如下构建候选方案评价分值:

9.如权利要求1-5中任一项所述的方法,其特征在于,步骤s3包括:

10.一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求 1-9中任一项所述的方法的步骤。