基于对象-属性-关系图的模型训练方法、装置及设备

本技术涉及人工智能与机器人控制，特别涉及一种基于对象-属性-关系图的模型训练方法、装置及设备。

背景技术：

1、基于模型的强化学习通过世界模型在隐空间中预测状态演化，智能体可据此进行想象推演以训练控制策略。对象中心世界模型进一步将场景分解为若干槽位，每个槽位对应一个物体。

2、然而，现有对象中心世界模型在多物体交互场景中普遍存在表征漂移问题，即：槽位缺乏语义锚定，当物体发生接触、遮挡时槽位内容易串位交换；物体间关系完全依赖注意力机制隐式涌现，缺乏显式结构化约束。由于世界模型的想象推演是逐步自回归的，单步表征错误会被后续步骤不断放大，最终导致基于该想象轨迹训练的控制策略性能崩塌。

3、目前缺乏有效的技术手段来抑制上述交互引发的表征漂移，使得对象中心世界模型在下游控制任务中的表现不足。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种基于对象-属性-关系图的模型训练方法、装置及设备，以便克服上述问题或者至少部分地解决上述问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、本技术实施例的第一方面，公开了一种基于对象-属性-关系图的模型训练方法，所述方法包括：

4、通过关系提取器对样本图像进行关系提取，得到样本图像的对象级关系图，样本图像的对象关系图中的一个节点表征样本图像中的一个对象，一条边表征样本图像中的两个对象之间的关系种类；

5、通过预训练槽位编码器对样本图像进行槽位编码，得到样本图像的k个槽位向量和k个分割掩码；

6、根据样本图像的k个槽位向量和k个分割掩码，以及样本图像中各个对象的真值实例掩码，将样本图像的对象级关系图转写为样本图像的槽位级关系张量；

7、将样本图像的槽位级关系张量注入待训练槽位动力学模型并进行第1步预测，输出样本图像的第1步预测关系和第1步k个预测槽位向量；

8、依次取h从2至h-1，将待训练槽位动力学模型输出的第h-1步预测关系注入待训练槽位动力学模型并进行第h步预测，输出样本图像的第h步预测关系和第h步k个预测槽位向量；

9、至少基于样本图像的h步预测轨迹和样本图像序列的对象-属性-关系图序列，对待训练槽位动力学模型进行训练，得到训练完毕的槽位动力学模型；样本图像序列为以样本图像为起始帧的连续h帧样本图像；

10、通过训练完毕的槽位动力学模型对目标图像进行h步预测，输出目标图像的h步预测轨迹，h步预测轨迹表征目标图像中各个对象之间的关系的演化过程。

11、可选地，还包括：

12、将样本图像的k个槽位向量输入待训练策略模型和待训练奖励模型，分别输出样本图像的第1步机械臂动作和第1步奖励值；

13、将第1步k个预测槽位向量输入待训练策略模型和待训练奖励模型，分别输出样本图像的第2步机械臂动作和第2步奖励值；

14、将样本图像的槽位级关系张量注入待训练槽位动力学模型并进行第1步预测，输出样本图像的第1步预测关系和第1步k个预测槽位向量，包括：

15、通过待训练槽位动力学模型对策略模型输出的第1步机械臂动作、样本图像的槽位级关系张量和样本图像的k个槽位向量进行处理，输出样本图像的第1步预测关系和第1步k个预测槽位向量；

16、依次取h从2至h-1，将待训练槽位动力学模型输出的第h-1步预测关系注入待训练槽位动力学模型并进行第h步预测，输出样本图像的第h步预测关系和第h步k个预测槽位向量，包括：

17、依次取h从2至h-1，执行以下步骤：

18、通过待训练槽位动力学模型对策略模型输出的第h步机械臂动作、待训练槽位动力学模型输出的第h-1步预测关系和第h-1步k个预测槽位向量进行处理，输出样本图像的第h步预测关系和第h步k个预测槽位向量；

19、至少基于样本图像的h步预测轨迹和样本图像序列的对象-属性-关系图序列，对待训练槽位动力学模型进行训练，得到训练完毕的槽位动力学模型，包括：

20、基于样本图像的h步预测轨迹和样本图像序列的对象-属性-关系图序列，对待训练策略模型和待训练奖励模型、待训练槽位动力学模型进行训练，得到训练完毕的槽位动力学模型、训练完毕的策略模型以及训练完毕的奖励模型。

21、可选地，根据样本图像的k个槽位向量和k个分割掩码，以及样本图像中各个对象的真值实例掩码，将样本图像的对象级关系图转写为样本图像的槽位级关系张量，包括：

22、根据样本图像的k个分割掩码和样本图像中各个对象的真值实例掩码，确定每个分割掩码与每个真值实例掩码的iou；

23、以每个分割掩码与每个真值实例掩码的iou为边权重，以每个分割掩码对应的槽位与每个真值实例掩码对应的对象分别为节点，构建带权二分图；

24、基于带权二分图，以最大化k个分割掩码对应的k个槽位的边权重总和为目标，进行k个槽位与样本图像中各个对象之间的绑定；

25、在样本图像的对象级关系图中第i个对象与第j个对象之间具有第r种关系的情况下，确定槽位级关系张量中槽位对ij的第r个元素为1；

26、在样本图像的对象级关系图中第i个对象与第j个对象之间不具有第r种关系的情况下，确定槽位级关系张量中槽位对ij的第r个元素为0。

27、可选地，至少基于样本图像的h步预测轨迹和样本图像序列的对象-属性-关系图序列，对待训练槽位动力学模型进行训练，得到训练完毕的槽位动力学模型，包括：

28、基于样本图像的第h步预测关系，与样本图像序列中第h帧样本图像对象-属性-关系图中的关系标签，确定第h步关系损失值；

29、基于样本图像的第h步预测槽位向量，与样本图像序列中第h帧样本图像对象-属性-关系图中的对象标签和属性标签，确定第h步槽位损失值；

30、至少基于h步关系损失值和h步槽位损失值，对待训练槽位动力学模型进行模型参数更新，得到训练完毕的槽位动力学模型。

31、可选地，还包括：

32、将第h步k个预测槽位向量输入待训练奖励模型，输出目标图像的第h步奖励值；

33、基于样本图像的h步预测轨迹和样本图像序列的对象-属性-关系图序列，对待训练策略模型和待训练奖励模型、待训练槽位动力学模型进行训练，得到训练完毕的槽位动力学模型、训练完毕的策略模型以及训练完毕的奖励模型，包括：

34、基于第1步奖励值至第h步奖励值，得到h步奖励值；

35、基于h步奖励值、h步关系损失值和h步槽位损失值，对待训练策略模型和待训练奖励模型、待训练槽位动力学模型进行模型参数更新，得到训练完毕的槽位动力学模型、训练完毕的策略模型以及训练完毕的奖励模型。

36、可选地，通过训练完毕的槽位动力学模型对目标图像进行h步预测，输出目标图像的h步预测轨迹，包括：

37、通过所述预训练槽位编码器对目标图像进行槽位编码，得到目标图像的k个槽位向量；

38、将目标图像的k个槽位向量输入训练完毕的策略模型，输出目标图像的第1步机械臂动作；

39、按照目标图像的第1步机械臂动作，对机械臂进行控制；

40、通过训练完毕的槽位动力学模型对策略模型输出的第1步机械臂动作、目标图像的k个槽位向量进行处理，输出目标图像的第1步预测关系和第1步k个预测槽位向量；

41、将第1步k个预测槽位向量输入训练完毕的策略模型，输出目标图像的第2步机械臂动作；

42、按照目标图像的第2步机械臂动作，对机械臂进行控制；

43、依次取h从2至h-1，通过训练完毕的槽位动力学模型对策略模型输出的第h步机械臂动作、训练完毕的槽位动力学模型输出的第h-1步预测关系和第h-1步k个预测槽位向量进行处理，输出目标图像的第h步预测关系和第h步k个预测槽位向量；

44、将目标图像的第h步k个预测槽位向量输入训练完毕的策略模型，输出目标图像的第h步机械臂动作；

45、按照目标图像的第h步机械臂动作，对机械臂进行控制。

46、本技术实施例的第二方面，公开了一种基于对象-属性-关系图的模型训练装置，所述装置包括：

47、关系提取模块，用于通过关系提取器对样本图像进行关系提取，得到样本图像的对象级关系图，样本图像的对象关系图中的一个节点表征样本图像中的一个对象，一条边表征样本图像中的两个对象之间的关系种类；

48、槽位编码模块，用于通过预训练槽位编码器对样本图像进行槽位编码，得到样本图像的k个槽位向量和k个分割掩码；

49、关系转写模块，用于根据样本图像的k个槽位向量和k个分割掩码，以及样本图像中各个对象的真值实例掩码，将样本图像的对象级关系图转写为样本图像的槽位级关系张量；

50、关系槽位预测模块，用于将样本图像的槽位级关系张量注入待训练槽位动力学模型并进行第1步预测，输出样本图像的第1步预测关系和第1步k个预测槽位向量；依次取h从2至h-1，将待训练槽位动力学模型输出的第h-1步预测关系注入待训练槽位动力学模型并进行第h步预测，输出样本图像的第h步预测关系和第h步k个预测槽位向量；

51、模型训练模块，用于至少基于样本图像的h步预测轨迹和样本图像序列的对象-属性-关系图序列，对待训练槽位动力学模型进行训练，得到训练完毕的槽位动力学模型；样本图像序列为以样本图像为起始帧的连续h帧样本图像；

52、轨迹预测模块，用于通过训练完毕的槽位动力学模型对目标图像进行h步预测，输出目标图像的h步预测轨迹，h步预测轨迹表征目标图像中各个对象之间的关系的演化过程。

53、本技术实施例的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术实施例第一方面所述的基于对象-属性-关系图的模型训练方法的步骤。

54、本技术实施例的第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例第一方面所述的基于对象-属性-关系图的模型训练方法的步骤。

55、本技术实施例的第五方面，公开了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本技术实施例第一方面所述的基于对象-属性-关系图的模型训练方法的步骤。

56、本技术实施例包括以下优点：

57、在本技术实施例中，首先通过关系提取器获取样本图像的对象级关系图，并通过槽位编码器得到k个分割掩码，根据k个分割掩码与各个对象的真值实例掩码将对象级关系图转写为槽位级关系张量，使原本按对象定义的关系被准确映射到无名槽位对上。在此基础上，将槽位级关系张量注入槽位动力学模型，使每一步预测均具备显式的类型化关系约束，在接触、遮挡等交互瞬间为模型提供稳定的结构化先验，降低槽位内容串位交换的概率，从根源上抑制表征漂移。

58、同时，在槽位动力学模型的预测过程中，将第h-1步预测关系注入模型后执行第h步预测，实现关系预测与槽位预测的自回归耦合。由于每一步注入的关系均为模型自身预测的结构化关系，该关系在预测轨迹的每一步持续提供显式约束，使得单步预测误差不会在后续步骤中被无约束地放大，降低了多步预测轨迹的累积偏差，提高了h步预测轨迹的整体准确性。

59、并且，至少基于h步预测轨迹与样本图像序列的对象-属性-关系图序列对槽位动力学模型进行训练，使模型学习到从槽位向量预测关系的能力。在推理阶段，通过训练完毕的槽位动力学模型对目标图像进行h步预测时，无需依赖外部关系真值即可输出每步的预测关系并继续推进后续预测，摆脱对仿真物理状态或外部场景图识别网络的依赖，便于实际部署。

60、综上，由于预测轨迹准确性提升，基于该预测轨迹训练的下游控制策略能够获得更可靠的训练信号，在多物体操作任务中实现更高的控制成功率与样本效率。