一种基于未来潜在表征一致性约束的视觉语言的图像处理方法与流程

摘要: 本发明涉及智能机器人控制、视觉语言动作模型、深度神经网络鲁棒训练及视觉扰动防护,具体涉及一种基于未来潜在表征一致性约束的视觉语言的图像处理方法。背景技术:1、在...
一种基于未来潜在表征一致性约束的视觉语言的图像处理方法与流程

本发明涉及智能机器人控制、视觉语言动作模型、深度神经网络鲁棒训练及视觉扰动防护,具体涉及一种基于未来潜在表征一致性约束的视觉语言的图像处理方法。

背景技术:

1、在机器人实际运行或仿真训练过程中,视觉输入可能受到局部图案、遮挡、噪声、光照变化、纹理干扰、数字贴片、实体贴片的数字模拟或经优化生成的对抗贴片影响。此类视觉扰动可能改变视觉语言动作模型内部的视觉语义表征,使模型输出的连续动作序列偏离正确操作轨迹,从而导致抓取失败、放置位置错误、机械臂运动方向异常或任务执行中断。

2、对于同时接收多路视觉输入的机器人系统,不同摄像视角受到扰动后的影响程度可能不同。例如,主视角图像中的局部视觉扰动可能改变目标物体和场景关系判断,腕部视角图像中的局部视觉扰动可能影响末端执行器与目标之间的局部几何关系判断。因此,提高视觉语言动作模型在视觉扰动条件下的动作输出稳定性和任务执行鲁棒性,是机器人安全控制中的重要技术问题。

3、现有针对视觉输入扰动的鲁棒训练方法,通常采用以下方式之一:一是通过在干净图像和受扰图像上共同执行动作监督训练,使模型在不同输入条件下均输出接近专家动作的结果;二是通过约束受扰图像对应的视觉特征接近干净图像或冻结参考模型产生的视觉特征,降低视觉扰动对中间表示的影响。

4、上述方法仍至少存在以下不足:(1)主要关注当前视觉特征是否稳定或当前预测动作是否接近专家动作,缺少对预测动作执行后所对应未来场景状态是否合理的约束;(2)在多视角视觉输入场景中,不同摄像视角对视觉扰动的敏感程度不同,简单统一处理各视角特征可能削弱高价值视角的鲁棒训练作用;(3)部分未来状态预测模型使用内部潜在动作标记作为条件输入,不能直接接收视觉语言动作模型输出的连续机器人动作序列,因而难以直接用于连续动作策略的鲁棒训练;(4)若缺少与连续动作序列直接对应的未来潜在表征约束机制,策略网络即便在局部动作监督下接近专家动作,也仍可能产生与合理未来场景演化不一致的动作序列。

5、例如,vla-jepa(zhengetal.,arxiv2602.10098)通过jepa风格的targetencoder生成未来潜在表征监督信号,提升策略在正常视觉条件下的泛化能力;flare(arxiv2505.15659)通过未来潜在观察对齐辅助策略推理;基于predictivelatentworldmodels的可扩展后训练方案(arxiv2603.08519)利用冻结预测模型在潜在空间对候选动作打分。

6、上述方案均以提升正常视觉条件下的策略泛化、样本效率或规划能力为目标,其目标编码器或对齐模块通常直接参与策略网络推理路径,在部署阶段仍需参与前向计算;并且并未针对视觉扰动场景设计专用的鲁棒训练损失,也未建立“受扰视觉输入诱导的连续动作序列—干净当前视觉表征下的预测未来潜在表征—真实未来潜在表征”的端到端一致性约束梯度路径。

7、因此,现有方法难以直接解决视觉扰动条件下连续动作后果不一致的问题,尤其难以在不增加部署阶段辅助预测计算负担的前提下,提高视觉语言动作策略网络在受扰多视角输入下的连续动作输出鲁棒性。

技术实现思路

1、为了克服现有技术存在的缺陷,本发明提供一种基于未来潜在表征一种基于未来潜在表征一致性约束的视觉语言的图像处理方法,该方法在训练阶段对当前视觉输入施加视觉扰动,使视觉语言动作策略网络在受扰视觉条件下输出连续预测动作序列;同时,将干净当前视觉表征、机器人状态和所述连续预测动作序列输入冻结的连续动作未来潜在表征预测模块,获得预测未来潜在表征,并与真实未来潜在表征进行一致性约束。部署阶段仅使用鲁棒训练后的视觉语言动作策略网络进行机器人动作输出。具有视觉扰动鲁棒性强、未来表征一致性约束提升泛化能力、训练与部署解耦高效的特点。该方法通过潜在空间一致性学习增强模型对视觉噪声的抵抗能力,同时保持部署阶段计算开销低、实时性高的优势。

2、为了实现上述目的,本发明采用的技术方案是:

3、一种基于未来潜在表征一致性约束的视觉语言的图像处理方法,包括以下步骤;

4、s101,获取机器人操作轨迹样本;

5、s102,根据所述机器人操作轨迹样本获取当前机器人的状态,以及构造干净当前视觉窗口、专家连续动作窗口和真实未来视觉窗口,得到受扰视觉窗口;

6、s103,利用视觉编码器eψ分别对干净当前视觉窗口和受扰视觉窗口进行编码,获得干净当前视觉表征和受扰当前视觉表征;利用真实未来潜在表征编码模块eω对真实未来视觉窗口进行编码,获得真实未来潜在表征;

7、s104,在预测模块预训练阶段,将干净当前视觉表征、专家连续动作序列以及机器人状态输入连续动作未来潜在表征预测模块dφ,获得预测未来潜在表征;

8、s105,基于预测未来潜在表征,冻结所述连续动作未来潜在表征预测模块、视觉编码器和真实未来潜在表征编码模块的参数,并将冻结后的连续动作未来潜在表征预测模块记为dφ*;

9、s106,在策略网络鲁棒训练阶段,对至少一路当前视觉输入施加视觉扰动,获得受扰图像;

10、s107,将受扰图像进行编码、机器人状态以及任务指令送入到策略主干网络参数θ之后得到连续预测动作序列;将所述受扰视觉条件下的专家连续预测动作序列、由干净当前图像获得的干净当前视觉表征以及机器人状态输入冻结的dφ*,获得与所述连续预测动作序列对应的预测未来潜在表征;

11、s108,将所述预测未来潜在表征与由真实未来图像获得的真实未来潜在表征进行比较,得到未来潜在表征一致性损失;

12、s109,基于动作监督损失和未来潜在表征一致性损失构建联合训练目标;

13、s110,在上述策略网络鲁棒训练阶段,仅更新视觉语言动作策略网络中的策略主干网络参数θ;所述视觉编码器eψ、真实未来潜在表征编码模块eω和连续动作未来潜在表征预测模块dφ*的参数保持冻结;

14、s111,在部署阶段,将实时任务指令、实时视觉输入以及实时机器人状态输入鲁棒训练后的视觉语言动作策略网络,获得用于控制机器人执行机构的连续动作序列。

15、所述s101具体为:

16、所述机器人操作轨迹样本包括任务指令、多视角图像序列、机器人状态序列以及与所述图像序列对应的连续动作序列;

17、样本使用现有数据集,比如libero,opren-x-embodiment,bridge-data等;

18、设机器人多视角集合为:

19、

20、其中,p表示主视角,w表示腕部视角;或包括环境视角或其他传感器视角。

21、所述s102具体为:

22、其中,当前视觉窗口对应机器人执行连续动作窗口之前或与其起始时刻对齐的视觉信息,所述真实未来视觉窗口对应机器人执行所述连续动作窗口之后的视觉信息;

23、对于任一训练样本,在时刻t和视角v构造:

24、

25、

26、

27、其中,表示干净当前视觉窗口,at*表示专家连续动作窗口,表示真实未来视觉窗口;,hc为当前视觉窗口的长度;,ha表示专家连续动作窗口的长度;hf为真实未来视觉窗口的长度,real表示真是,ha为经过了at的action长度;

28、对于视角v,受扰视觉窗口定义为:

29、

30、其中,mv表示扰动区域掩膜,pv表示施加到相应视角的视觉扰动图案,⊙表示逐元素乘法。

31、所述s103具体为:设视觉编码器为eψ,分别得到干净的当前图像编码以及受干扰图像编码:

32、

33、

34、在多视角组合情况下,可将不同视角的表征拼接:

35、

36、

37、,是受扰图片编码在两个视角编码之后拼接的结果;

38、设真实未来潜在表征编码模块为eω,则真实未来潜在表征为:

39、

40、。

41、是未来真实视觉窗口不同视角的编码拼接之后的结果。所述真实未来潜在表征编码模块采用jepa编码器、自监督视频表征编码器、视觉transformer编码器或其他能够生成未来潜在目标表征的编码器。

42、所述s104中,连续的机器人状态构成机器人状态序列,按视频帧对序列切片即可得到;

43、依据所述预测未来潜在表征与真实未来潜在表征之间的差异,更新dφ的参数;

44、在预测模块预训练阶段,输入干净当前视觉表征、专家动作序列和机器人状态后得到预测未来潜在表征:

45、

46、

47、。

48、dφ为一个世界模型,里面的参数分别是干净当前视觉表征、归一化专家动作序列和归一化机器人状态。

49、所述s106中,将任务指令、受扰图像对应的受扰视觉表征以及机器人状态输入视觉语言动作策略网络的策略主干网络,获得受扰视觉条件下的连续预测动作序列;

50、。

51、为指令,为输入状态,为受干扰图片的编码到主干模型。

52、所述s107中,获得与所述连续预测动作序列对应的预测未来潜在表征的公式为:

53、

54、所述s108中,得到未来潜在表征一致性损失的公式为:

55、。

56、所述s109具体为:

57、动作监督损失用于约束受扰视觉条件下的连续预测动作序列接近真实动作序列,未来潜在表征一致性损失用于约束所述连续预测动作序列在干净当前视觉表征和机器人状态条件下对应的预测未来潜在表征接近真实未来潜在表征;

58、

59、最终的策略鲁棒训练目标为:

60、

61、

62、潜在表征距离函数可定义为:

63、

64、其中,m为潜在表征维度,η≥0为余弦距离项权重,ε>0为防止分母为零的常数,用来判断真实未来表征和预测未来潜在表征的差异。

65、所述s111中,部署阶段不调用视觉扰动构造模块、真实未来潜在表征编码模块、连续动作未来潜在表征预测模块和鲁棒训练损失计算模块。

66、本发明的有益效果:

67、(1)本发明在动作监督之外,引入连续动作对应的未来潜在表征一致性约束,使视觉语言动作模型的鲁棒训练目标由即时动作对齐扩展至动作执行后未来场景演化的一致性。

68、(2)本发明中的连续动作未来潜在表征预测模块能够直接接收视觉语言动作策略网络输出的连续动作序列,避免将连续机器人动作强制映射为离散动作类别、文本动作标签或模型内部潜在动作标记,提高了与连续控制策略网络集成的可行性。

69、(3)本发明通过干净当前视觉表征、受扰视觉条件下预测动作序列和真实未来潜在表征之间的联合约束,使策略网络在视觉扰动条件下学习输出具有合理未来后果的动作序列,从而提高机器人操作任务的鲁棒性。

70、(4)本发明中的真实未来潜在表征编码模块eω和连续动作未来潜在表征预测模块dφ*仅在训练阶段参与损失计算;部署阶段仅保留鲁棒训练后的视觉语言动作策略网络,因此不增加由辅助预测支路引起的在线推理计算负担。

71、(5)本发明可适用于对抗贴片、实体贴片模拟、局部遮挡、纹理干扰、噪声扰动、投影图案以及未见过扰动图案条件下的机器人策略鲁棒训练,能够提高视觉扰动条件下连续动作输出的合理性和任务成功率。