基于多源真实交互数据构建图像预测样本的方法及装置与流程

本技术涉及人工智能，尤其涉及一种基于多源真实交互数据构建图像预测样本的方法及装置。

背景技术：

1、随着图像生成模型和世界模型的快速发展，评价其根据当前视觉状态与语言指令预测后续视觉状态的能力已成为一项关键需求。当前主流图像编辑数据集多由静态图像与文字编辑指令合成获得，目标图像往往仅体现外观层面的修改，难以验证模型对真实物理动作所引发状态转移的理解程度。与此同时，真实机器人操作数据或第一视角交互数据通常以长视频、轨迹或片段形式存储。以上多源数据在帧率、时间戳精度、指令粒度、拍摄视角及标注字段等方面存在显著差异。

2、相关技术中，从真实机器人操作数据或第一视角交互数据中随机抽取前后帧作为状态对，无法反映真实的因果时序。此外，仅依赖像素级差异对数据进行筛选，无法准确获知目标对象的有效状态转移。

3、因此，如何从机器人操作数据和第一视角交互数据构成的多源数据中，获取逻辑有效的图像预测评价样本，是亟待解决的技术问题。

技术实现思路

1、本技术提供一种基于多源真实交互数据构建图像预测样本的方法及装置，用以解决现有技术中的上述缺陷，从机器人操作数据和第一视角交互数据构成的多源数据中，获取逻辑有效的图像预测评价样本。

2、本技术提供一种基于多源真实交互数据构建图像预测样本的方法，包括如下步骤。

3、获取多源真实交互数据；从所述多源真实交互数据的各条交互数据中，提取候选预测样本；其中，所述候选预测样本包含目标交互指令、与所述目标交互指令关联的初始状态图像和目标状态图像；所述初始状态图像中，呈现目标对象的可辨识视觉特征且所述目标对象未与所述目标交互指令指示的交互动作关联；所述目标状态图像中，呈现所述目标对象的可辨识视觉特征且所述目标对象已与所述目标交互指令指示的交互动作关联；所述目标对象是所述交互动作所作用的对象；基于所述候选预测样本，得到目标预测样本，以利用所述目标预测样本，训练或评估具身智能体的目标任务执行能力。

4、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，所述交互数据包含携带时间戳的多帧图像和交互指令信息；所述从所述多源真实交互数据的各条交互数据中，提取候选预测样本，包括：针对每条交互数据，执行如下操作，得到所述交互数据对应的候选预测样本：根据所述多帧图像的时序信息和各帧图像中交互主体和所述目标对象的交互状态，确定动作前窗口和结果稳定窗口；其中，所述动作前窗口是交互主体‌尚未执行所述交互动作的时间窗口；所述结果稳定窗口是显现所述交互动作的执行结果的时间窗口；所述多帧图像的时序信息是由各帧图像携带的时间戳确定的；从所述多帧图像中选取动作前窗口内的第一图像，作为所述初始状态图像；从所述多帧图像中选取结果稳定窗口内的第二图像，作为所述目标状态图像；对所述交互指令信息进行结构化处理，得到所述目标交互指令。

5、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，通过以下方式确定所述动作前窗口：根据所述多帧图像的时序信息和各帧图像中交互主体和所述目标对象的交互状态，基于检测到的交互时序线索确定所述交互动作的开始时刻；其中，所述交互时序线索包括所述执行动作的启动信息、交互执行部件与所述目标对象的接触触发信息、目标对象状态变化信息以及针对所述交互执行部件的多模态事件识别信息中的至少一种；其中，所述交互执行部件包括人类的手、具身智能体的末端执行器，或被人类或所述具身智能体操控的工具；将所述多帧图像对应的时间区间中，位于所述交互动作开始时刻之前的时间区间，确定为所述动作前窗口。

6、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，通过以下方式确定所述结果稳定窗口：

7、确定自所述交互动作的开始时刻起，所述交互动作导致的交互结果的变化首次超过预设变化阈值的时刻，作为交互结果显现时刻；在所述交互结果显现时刻之后，确定所述交互结果是否在连续预设数量的图像帧中保持稳定；若是，则将所述连续预设数量的图像帧所对应的连续时间区间，确定为所述结果稳定窗口。

8、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，所述基于所述候选预测样本，得到目标预测样本，包括：

9、对所述候选预测样本进行至少一种类型的筛选；根据所述至少一种类型的筛选的结果，从所述候选预测样本中确定目标预测样本；其中，所述至少一种类型的筛选包括时序合法性筛选、交互状态变化显著度筛选和真实交互约束筛选；所述时序合法性筛选用于校验候选预测样本中初始状态图像与目标状态图像的时序信息是否合理；所述交互状态变化显著度筛选用于剔除目标对象的状态变化不显著的候选预测样本；所述真实交互约束筛选用于评估目标状态图像相对于初始状态图像的变化是否符合真实性约束。

10、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，通过以下方式确定所述候选预测样本通过所述时序合法性筛选：针对每个候选预测样本包含的初始状态图像和目标状态图像，若所述初始状态图像的采集时刻早于所述交互动作开始时刻，且所述目标状态图像的采集时刻不早于所述交互结果显现时刻，则确定所述候选预测样本通过所述时序合法性筛选。

11、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，通过以下方式确定所述候选预测样本是否通过所述交互状态变化显著度筛选：针对每个候选预测样本中的初始状态图像和目标状态图像，执行如下操作：在所述初始状态图像中，确定所述目标对象所在的第一对象区域，以及同时存在所述目标对象和交互执行部件的第一交互区域；在所述目标状态图像中，确定所述目标对象所在的第二对象区域，以及同时存在所述目标对象和交互执行部件的第二交互区域；确定第一交互状态变化量；其中，其中，所述第一交互状态变化量是基于所述第一交互区域和所述第二交互区域内的第一感知差异量、所述目标对象的第一属性变化量以及所述目标对象的第一关系变化量中的至少一种确定的；确定第二交互状态变化量；其中，所述第二交互状态变化量是根据所述第一对象区域和所述第二对象区域内的第二感知差异量、所述目标对象的第二属性变化量以及所述目标对象的第二关系变化量中的至少一种确定的；根据所述第一交互状态变化量和/或所述第二交互状态变化量，确定所述候选预测样本是否通过所述交互状态变化显著度筛选。

12、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，所述根据所述第一交互状态变化量和/或所述第二交互状态变化量，确定所述候选预测样本是否通过所述交互状态变化显著度筛选，包括：若所述初始状态图像与所述目标状态图像之间的全局像素变化量大于预设全局阈值，且满足预设判定条件，则确定所述候选预测样本未通过所述交互状态变化显著度筛选；其中，所述预设判定条件包括以下至少一种：所述第一感知差异量和/或所述第二感知差异量未超过预设的感知差异阈值；所述第一属性变化量和/或所述第二属性变化量未超过预设的属性变化阈值；所述第一关系变化量和/或所述第二关系变化量未超过预设的关系变化阈值。

13、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，所述根据所述第一交互状态变化量和/或所述第二交互状态变化量，确定所述候选预测样本是否通过所述交互状态变化显著度筛选，包括：确定所述第一感知差异量、所述第一属性变化量和所述第一关系变化量的第一加权结果；确定所述第二感知差异量、所述第二属性变化量和所述第二关系变化量的第二加权结果；根据所述第一加权结果与第一变化显著度阈值的比较结果，和/或所述第二加权结果与第二变化显著度阈值的比较结果，确定所述候选预测样本是否通过所述交互状态变化显著度筛选。

14、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，通过以下方式确定候选预测样本是否通过所述真实交互约束筛选：针对每个候选预测样本，利用多个评审模型从至少一个维度进行真实交互约束评测，得到各评审模型针对所述候选预测样本在所述至少一个维度上的真实交互约束评分；针对每个候选预测样本，根据其在所述至少一个维度上的真实交互约束评分，确定所述候选预测样本是否通过所述真实交互约束筛选；其中，所述至少一个维度的真实交互约束评分包括：动作执行符合度评分、场景一致性评分和物理合理性评分中的至少一种评分；其中：所述动作执行符合度评分用于表征所述目标状态图像是否呈现了所述目标交互指令对应的预期结果的量化评分；所述场景一致性评分用于表征交互主体、图像的背景和图像对应的拍摄场景是否发生不合理改变的量化评分；所述物理合理性评分用于表征所述目标对象的状态变化是否符合物理约束条件的量化评分。

15、根据本技术提供的一种基于多源真实交互数据构建图像预测样本的方法，所述针对每个候选预测样本，根据其在所述至少一个维度上的真实交互约束评分，确定所述候选预测样本是否通过所述真实交互约束筛选，包括：针对每个候选预测样本，将其在每个维度上来自所述多个评审模型的真实交互约束评分进行加权平均聚合，得到所述候选预测样本在所述维度上的维度聚合评分；针对每个候选预测样本，根据其在所述每个维度上的真实交互约束评分的离散程度，得到所述候选预测样本在每个维度上的维度分歧度；针对每个候选预测样本，根据其对应的各维度聚合评分的加权和，得到所述候选预测样本的综合质量评分；针对每个候选预测样本，根据其对应的各维度分歧度的加权和，得到所述候选预测样本的评审分歧度；若所述综合质量评分达到质量阈值，且各维度对应的维度聚合评分均达到对应维度阈值，且所述评审分歧度不超过分歧阈值，确定所述候选预测样本通过所述真实交互约束筛选。

16、本技术还提供一种基于多源真实交互数据构建图像预测样本的装置，包括如下模块：

17、第一获取模块，用于获取多源真实交互数据；提取模块，用于从所述多源真实交互数据的各条交互数据中，提取候选预测样本；其中，所述候选预测样本包含目标交互指令、与所述目标交互指令关联的初始状态图像和目标状态图像；所述初始状态图像中，呈现目标对象的可辨识视觉特征且所述目标对象未与所述目标交互指令指示的交互动作关联；所述目标状态图像中，呈现所述目标对象的可辨识视觉特征且所述目标对象已与所述目标交互指令指示的交互动作关联；所述目标对象是所述交互动作所作用的对象；第二获取模块，用于基于所述候选预测样本，得到目标预测样本，以利用所述目标预测样本，训练或评估具身智能体的目标任务执行能力。

18、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于多源真实交互数据构建图像预测样本的方法。

19、本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多源真实交互数据构建图像预测样本的方法。

20、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多源真实交互数据构建图像预测样本的方法。

21、本技术提供的基于多源真实交互数据构建图像预测样本的方法及装置，获取多源真实交互数据；从多源真实交互数据包含的各条交互数据中提取候选预测样本。该候选预测样本包含目标交互指令，以及分别与该指令关联的初始状态图像和目标状态图像。其中，初始状态图像呈现目标对象的可辨识视觉特征且尚未执行交互动作，而目标状态图像中呈现目标对象的可辨识视觉特征且已完成交互动作。通过多源数据的统一接入和交互时序的精准锚定，使得提取出的初始状态图像、目标交互指令与目标状态图像之间形成了清晰的前后因果绑定关系，从而完全避免了从长交互序列中任意抽取前后帧所导致的初始帧已包含动作结果或目标帧尚未呈现稳定结果的问题，为后续生成高质量的预测样本提供了时序层面的基础。