具身智能视频数据的处理方法及系统与流程

摘要: 本技术涉及人工智能,尤其涉及一种具身智能视频数据的处理方法及系统。背景技术:1、随着具身智能的快速发展,具身大脑模型(例如视觉-语言-动作(vision-lan...
具身智能视频数据的处理方法及系统与流程

本技术涉及人工智能,尤其涉及一种具身智能视频数据的处理方法及系统。

背景技术:

1、随着具身智能的快速发展,具身大脑模型(例如视觉-语言-动作(vision-language-action,vla)模型)在机器人操作任务中展现出巨大潜力。这类模型的训练需要大规模、高质量的动作标注数据作为监督信号。传统的数据采集方式,如遥操作或动捕系统,成本高昂、效率低下,难以满足模型对海量数据的需求。为此,学术界和工业界开始探索利用大规模、低成本的人类自我中心视频作为替代性的训练数据源。

2、现有技术主要围绕如何从人类自我中心视频中提取可用的机器人训练信号展开。部分现有研究通过手部3d重建算法直接从视频中提取手部轨迹,并将其作为伪动作标签用于训练机器人策略。例如,通过重建手部姿态并利用逆向运动学将人类动作映射到机器人动作空间,可在大规模自我中心视频上进行模型预训练。

3、然而,上述研究直接利用伪动作标签进行具身大脑模型的训练,导致所训练策略在复杂或高动态的操作场景中性能显著退化,难以满足实际应用需求。

技术实现思路

1、本技术实施例提供一种具身智能视频数据的处理方法及系统,用以解决解决现有技术中因伪动作标签噪声导致模型在复杂、高动态场景下性能退化严重的技术问题,实现通过噪声类型识别和动态权重分配的有机结合,提升伪标签数据的利用效率及具身大脑模型的训练性能。

2、第一方面、本技术实施例提供一种具身智能视频数据的处理方法,包括:获取自我中心视频数据的噪声类型和伪动作标签对应的多个动作维度;

3、根据预设的噪声类型与各动作维度的映射关系,动态调整多个所述动作维度的权重,生成各所述动作维度的动态维度权重;

4、基于各所述动作维度的动态维度权重,生成用于具身大脑模型训练的数据。

5、在一种可能的实施方式中,所述获取自我中心视频数据的噪声类型的步骤,包括:获取所述自我中心视频数据的帧级视觉特征以及相邻帧之间的运动特征;基于所述帧级视觉特征与所述运动特征,确定所述伪动作标签对应的噪声类型,其中,所述噪声类型包括遮挡噪声、运动模糊噪声、非交互噪声以及非稳态运动噪声中的至少一种。

6、在一种可能的实施方式中,所述基于所述帧级视觉特征与所述运动特征,确定所述伪动作标签对应的噪声类型的步骤,包括:基于所述帧级视觉特征,获取所述自我中心视频数据中各帧的手部关键点置信度;当所述手部关键点置信度小于预设的手部置信度阈值、且连续小于预设的手部置信度阈值的帧数大于预设的遮挡帧数阈值时,确定对应帧存在所述遮挡噪声。

7、在一种可能的实施方式中,所述基于所述帧级视觉特征与所述运动特征,确定所述伪动作标签对应的噪声类型的步骤,包括:基于所述帧级视觉特征,获取所述自我中心视频数据中各帧图像的清晰度评价指标;当所述清晰度评价指标小于预设清晰度阈值时,确定对应帧存在所述运动模糊噪声。

8、在一种可能的实施方式中,所述基于所述帧级视觉特征与所述运动特征,确定所述伪动作标签对应的噪声类型的步骤,包括:基于所述帧级视觉特征,获取所述自我中心视频数据中各帧的手部关键点置信度和手部在连续帧间的位移量;当所述手部关键点置信度大于预设的手部置信度阈值、且所述手部在连续帧间的位移量小于预设位移阈值时,确定对应帧存在所述非交互噪声。

9、在一种可能的实施方式中,所述基于所述帧级视觉特征与所述运动特征,确定所述伪动作标签对应的噪声类型的步骤,包括:基于所述运动特征,获取所述自我中心视频数据中相邻帧间的光流方向一致性指标和运动幅度指标;当所述光流方向一致性指标小于预设一致性阈值、且所述运动幅度指标大于预设幅度阈值时,确定对应帧存在所述非稳态运动噪声。

10、在一种可能的实施方式中,所述根据预设的噪声类型与各动作维度的映射关系,动态调整多个所述动作维度的权重,生成各所述动作维度的动态维度权重的步骤,包括:根据预设的噪声类型与各动作维度的映射关系,获取所述噪声类型对应的各动作维度的权重调整量;根据各所述动作维度的权重调整量,分别调整各所述动作维度的权重,生成各所述动作维度的动态维度权重。

11、在一种可能的实施方式中,所述基于各所述动作维度的动态维度权重,生成用于具身大脑模型训练的数据的步骤,包括:基于各所述动作维度的动态维度权重,构建多动作维度加权矩阵;根据所述自我中心视频数据、所述自我中心视频数据对应的伪动作标签及所述多动作维度加权矩阵,生成用于具身大脑模型训练的数据。

12、在一种可能的实施方式中,所述基于各所述动作维度的动态维度权重,构建多动作维度加权矩阵的步骤,包括:对所述自我中心视频数据进行动作序列语义分析,生成全局时序一致性评分;获取所述自我中心视频数据对应的数据集质量权重;根据所述全局时序一致性评分和所述数据集质量权重,修正各所述动作维度的动态维度权重,得到多动作维度加权矩阵。

13、在一种可能的实施方式中,所述根据所述自我中心视频数据、对应的伪动作标签以及所述多动作维度加权矩阵,生成用于具身大脑模型训练的数据的步骤,包括:根据所述伪动作标签中存在的噪声类型,从预设的处理策略库中匹配对应的差异化数据处理策略,采用所述差异化数据处理策略对所述自我中心视频数据和/或所述伪动作标签进行修正,获得修正后的自我中心视频数据和/或修正后的伪动作标签;将所述修正后的自我中心视频数据、所述修正后的伪动作标签以及所述多动作维度加权矩阵按时间步进行对齐与关联映射,生成用于具身大脑模型训练的数据。

14、在一种可能的实施方式中,所述采用所述差异化数据处理策略对所述自我中心视频数据和/或所述伪动作标签进行修正,获得修正后的自我中心视频数据和/或修正后的伪动作标签的标签,包括:当所述噪声类型包含遮挡噪声时,获取所述遮挡噪声对应的遮挡时间区间,并基于所述遮挡时间区间前后有效帧的动作轨迹,对所述遮挡时间区间内的所述伪动作标签执行时序插值修复,生成所述修正后的伪动作标签。

15、在一种可能的实施方式中,所述采用所述差异化数据处理策略对所述自我中心视频数据和/或所述伪动作标签进行修正,获得修正后的自我中心视频数据和/或修正后的伪动作标签的标签,包括:当所述噪声类型包含运动模糊噪声时,对存在所述运动模糊噪声的帧图像进行清晰度复原,生成所述修正后的自我中心视频数据;和/或,基于图像质量指标从所述自我中心视频数据中筛选出高清晰度帧,并根据所述高清晰度帧重新估计对应的所述伪动作标签,生成所述修正后的伪动作标签。

16、在一种可能的实施方式中,所述采用所述差异化数据处理策略对所述自我中心视频数据和/或所述伪动作标签进行修正,获得修正后的自我中心视频数据和/或修正后的伪动作标签的标签,包括:当所述噪声类型包含非交互噪声时,识别所述自我中心视频数据中手部未与目标物体发生有效交互的非交互时间片段;从所述自我中心视频数据及对应的伪动作标签中剔除所述非交互时间片段,获得所述修正后的自我中心视频数据与所述修正后的伪动作标签。

17、在一种可能的实施方式中,所述采用所述差异化数据处理策略对所述自我中心视频数据和/或所述伪动作标签进行修正,获得修正后的自我中心视频数据和/或修正后的伪动作标签的标签,包括:当所述噪声类型包含非稳态运动噪声时,对所述伪动作标签的动作轨迹进行滤波平滑,生成修正后的伪动作标签。

18、在一种可能的实施方式中,所述生成用于具身大脑模型训练的数据之后,还包括:利用所述数据对具身大脑模型进行迭代训练,所述迭代训练包括:在训练过程中,将所述多动作维度加权矩阵引入所述具身大脑模型的损失函数中,对各动作维度的预测损失进行加权调节;在每一轮迭代训练完成后,获取所述具身大脑模型在包含不同噪声类型的训练数据子集上的训练状态指标;根据所述训练状态指标,更新所述多动作维度加权矩阵。

19、在一种可能的实施方式中,所述获取所述具身大脑模型在包含不同噪声类型的训练数据子集上的训练状态指标的步骤,包括:按照所述数据中各个训练样本对应的噪声类型,将所述数据划分为多个训练数据子集,每个训练数据子集对应一种噪声类型;分别获取所述具身大脑模型在各所述训练数据子集上的训练状态指标。

20、第二方面、本技术实施例还提供一种具身智能视频数据的处理系统,包括:

21、噪声识别模块,用于获取自我中心视频数据的噪声类型和伪动作标签对应的多个动作维度;

22、动态权重生成模块,用于根据预设的噪声类型与各动作维度的映射关系,动态调整多个所述动作维度的权重,生成各所述动作维度的动态维度权重;

23、数据生成模块,用于基于各所述动作维度的动态维度权重,生成用于具身大脑模型训练的数据。

24、在一种可能的实施方式中,所述系统还包括:模型训练与反馈模块;所述模型训练与反馈模块,用于利用所述数据对具身大脑模型进行迭代训练,所述迭代训练包括:在训练过程中,将所述多动作维度加权矩阵引入所述具身大脑模型的损失函数中,对各动作维度的预测损失进行加权调节;在每一轮迭代训练完成后,获取所述具身大脑模型在包含不同噪声类型的训练数据子集上的训练状态指标;根据所述训练状态指标,更新所述多动作维度加权矩阵。

25、第三方面、本技术实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述具身智能视频数据的处理方法。

26、第四方面、本技术实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述具身智能视频数据的处理方法。

27、第五方面、本技术实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述具身智能视频数据的处理方法。

28、本技术实施例提供的具身智能视频数据的处理方法及系统,通过获取自我中心视频数据的噪声类型和伪动作标签对应的多个动作维度;根据预设的噪声类型与各动作维度的映射关系,动态调整多个所述动作维度的权重,生成各所述动作维度的动态维度权重;基于各所述动作维度的动态维度权重,生成用于具身大脑模型训练的数据。通过获取自我中心视频数据的噪声类型并确定伪动作标签所包含的多个动作维度,实现从源头对数据质量的细粒度感知;然后根据预设的噪声类型与各动作维度之间的映射关系,动态调整各维度的可靠性权重,将静态、统一的人工先验权重升级为随噪声特性自适应变化的动态维度权重;最后基于动态维度权重生成用于具身大脑模型训练的数据,将噪声感知能力嵌入模型训练过程。通过从“噪声感知”到“动态权重分配”再到“加权训练数据生成”的环环相扣的技术手段,解决了现有技术中可靠性权重缺乏动态适应性、噪声处理粗放的问题,使得模型训练能够自适应地抑制高噪声维度的干扰、保留高可靠性维度的有效监督信号,从而提升了含噪人类演示数据在具身大脑模型训练中的利用效率与模型性能。