人类行为采集信息处理方法、装置、设备及存储介质与流程

摘要: 本公开涉及视频数据处理、人体姿态估计与姿态推理,可应用于视频动作分析、姿态驱动、人形机器人控制、大模型训练数据采集与标注等场景,具体涉及人类行为采集信息处理方法...
人类行为采集信息处理方法、装置、设备及存储介质与流程

本公开涉及视频数据处理、人体姿态估计与姿态推理,可应用于视频动作分析、姿态驱动、人形机器人控制、大模型训练数据采集与标注等场景,具体涉及人类行为采集信息处理方法、装置、设备及存储介质。

背景技术:

1、在人形机器人的数据采集、遥操作与运动恢复等任务中,机器人系统常需从人类操作员的演示视频中提取出与原始视频逐帧对齐的致密人体姿态序列,作为模仿学习、动作重定向或运动先验等下游环节的训练与控制数据来源。当前主流做法是对视频逐帧执行人体检测、目标跟踪与姿态网络推理,计算量随视频长度近似线性增长。为降低开销,已有方案采用固定步长采样,或依据周期性动作的关节角度极值选取关键帧进行稀疏推理。然而,固定步长难以兼顾低速片段的计算冗余与高速片段的细节保持;仅依据全身运动量选取关键帧,主体近似静止而手部等局部快速运动的帧容易被漏选;同时对未推理帧缺乏有效的姿态补全,难以输出与原视频逐帧对齐的致密姿态序列。内部测试显示,相关方案处理一段约10秒的单目视频需9分30秒,约为实时处理时长的57倍,难以支持交互式使用与长序列批处理。因此,在面向人形机器人数据采集、遥操作与运动恢复的应用场景下,如何在显著减少高成本姿态推理调用次数的同时,保留高速动作与局部快速运动的细节,并输出与输入视频逐帧对齐的致密姿态序列,已成为本领域亟待解决的技术问题。

技术实现思路

1、本公开提供了一种人类行为采集信息处理方法、装置、设备及存储介质。

2、根据本公开的第一方面,提供了一种人类行为采集信息处理方法,包括:获取视频帧序列;根据视频帧序列确定目标对象的全身运动信息,根据全身运动信息自适应确定基础关键帧采样参数,并按照基础关键帧采样参数确定基础关键帧;在相邻基础关键帧之间确定目标对象的局部部位区域,根据局部部位区域的时序变化确定局部部位运动信息,并在存在满足预设选帧条件的候选帧时确定一个或多个局部精化帧;将基础关键帧和局部精化帧合并为最终关键帧集合,并对最终关键帧集合中的帧执行姿态推理,得到稀疏关键帧姿态;根据相邻关键帧的时间戳和稀疏关键帧姿态,对未推理帧进行姿态补全,得到初始致密姿态序列;对初始致密姿态序列执行质量检查,并在对应区间不满足质量条件时,在对应区间内插入中间帧执行姿态推理并重新进行姿态补全,得到与视频帧序列逐帧对齐的致密姿态序列。

3、根据本公开的第二方面,提供了一种人类行为采集信息处理装置,包括:获取模块,用于获取视频帧序列;运动信息确定模块,用于根据视频帧序列确定目标对象的全身运动信息;基础关键帧确定模块,用于根据全身运动信息自适应确定基础关键帧采样参数,并按照基础关键帧采样参数确定基础关键帧;局部精化帧确定模块,用于在相邻基础关键帧之间确定目标对象的局部部位区域,根据局部部位区域的时序变化确定局部部位运动信息,并在存在满足预设选帧条件的候选帧时确定一个或多个局部精化帧;姿态推理模块,用于将基础关键帧和局部精化帧合并为最终关键帧集合,并对最终关键帧集合中的帧执行姿态推理,得到稀疏关键帧姿态;姿态补全模块,用于根据相邻关键帧的时间戳和稀疏关键帧姿态,对未推理帧进行姿态补全,得到初始致密姿态序列;质量回退模块,用于对初始致密姿态序列执行质量检查,并在对应区间不满足质量条件时,在对应区间内插入中间帧执行姿态推理并重新进行姿态补全,得到与视频帧序列逐帧对齐的致密姿态序列。

4、根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与该至少一个处理器通信连接的存储器;其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。

5、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

6、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

7、采用本公开的方案,能够在显著减少高成本姿态推理调用次数的同时,保留高速动作与局部快速运动细节,并保证输出与输入视频帧序列逐帧对齐的致密姿态序列的完整性,从而降低姿态估计的处理耗时,在计算效率与姿态连续性之间取得平衡。

8、进一步地,根据本公开实施例的方法,在获取视频帧序列之后,还可以接收目标输出类型,并根据目标输出类型关闭与目标输出类型无关的扩散式补全、网格文件生成、网格渲染和可视化编码中的至少一种,保留视频解码、目标跟踪、姿态推理和姿态补全,由此避免执行与目标输出无直接关系的计算分支,减少关键路径占用和磁盘写入量。

9、进一步地,执行姿态推理时,可以对输入形状稳定的骨干网络子图执行图编译,对动态裁剪子图和编译不支持的算子执行原生路径,并根据算子白名单为稠密算子选择第一精度、为稀疏算子或几何求解算子选择第二精度,由此避免频繁重编译并规避算子精度或兼容性错误。

10、进一步地,在处理所述视频帧序列的过程中,可以通过有界队列解耦视频解码、姿态推理和姿态补全,将跟踪结果、图像和掩码中的至少一种缓存于内存或内存盘,并将致密姿态序列以逐行序列化格式按帧顺序流式写出,由此减少图形处理器的输入输出等待,提高整体推理效率。

11、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种人类行为采集信息处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述视频帧序列确定目标对象的全身运动信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述全身运动信息按照以下方式确定:

4.根据权利要求1所述的方法,其特征在于,所述自适应确定基础关键帧采样参数,包括:

5.根据权利要求1所述的方法,其特征在于,所述按照所述基础关键帧采样参数确定基础关键帧,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述局部部位区域的时序变化确定局部部位运动信息,包括:

7.根据权利要求6所述的方法,其特征在于,所述在存在满足预设选帧条件的候选帧时确定一个或多个局部精化帧,包括:

8.根据权利要求7所述的方法,其特征在于,所述局部部位区域为手部区域,所述在相邻基础关键帧之间确定所述目标对象的局部部位区域,包括:

9.根据权利要求1所述的方法,其特征在于,所述将所述基础关键帧和所述局部精化帧合并为最终关键帧集合,并对所述最终关键帧集合中的帧执行姿态推理,得到稀疏关键帧姿态,包括:

10.根据权利要求1所述的方法,其特征在于,所述根据相邻关键帧的时间戳和所述稀疏关键帧姿态,对未推理帧进行姿态补全,得到初始致密姿态序列,包括:

11.根据权利要求10所述的方法,其特征在于,在所述根据相邻关键帧的时间戳,确定插值系数之前,还包括:

12.根据权利要求10所述的方法,其特征在于,所述对所述初始致密姿态序列执行质量检查,包括:

13.根据权利要求12所述的方法,其特征在于,所述在所述对应区间内插入中间帧执行姿态推理并重新进行姿态补全,包括:

14.根据权利要求1所述的方法,其特征在于,在所述获取视频帧序列之后,还包括:

15.根据权利要求1所述的方法,其特征在于,所述执行姿态推理,包括:

16.根据权利要求1所述的方法,其特征在于,在处理所述视频帧序列的过程中,还包括:

17.一种人类行为采集信息处理装置,其特征在于,包括:

18.一种电子设备,其特征在于,包括:

19.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使计算机执行根据权利要求1-16中任一项的方法。

20.一种计算机程序产品,包括存储在存储介质上的计算机程序,其特征在于,计算机程序在被处理器执行时实现根据权利要求1-16中任一项的方法。