一种基于人体运动数据增强的多模态大语言模型推理方法和系统

摘要: 本发明属于多模态大语言模型领域和人体动作理解领域,具体涉及一种将人体运动(骨架)序列作为新型模态融入视频多模态大语言模型(multi-modallargelan...
一种基于人体运动数据增强的多模态大语言模型推理方法和系统

本发明属于多模态大语言模型领域和人体动作理解领域,具体涉及一种将人体运动(骨架)序列作为新型模态融入视频多模态大语言模型(multi-modal large languagemodel, mllm)的方法,通过时空绑定机制实现运动数据与视觉的深度对应感知,以增强模型对以人为中心的细粒度动作理解能力。

背景技术:

1、多模态大语言模型(mllm)通过整合视觉与文本模态,在视频语义理解、字幕生成和问答等任务上展现出卓越能力。然而,现有方法在人体运动这一视频理解核心任务上仍存在明显瓶颈,主要体现在以下两个方面。首先,2d视觉帧缺乏显式结构先验。现有视频mllm将视频帧分割为二维视觉图块,无法直接编码人体关节的空间拓扑结构与运动语义,导致模型难以精确感知细粒度动作动态。其次,稀疏视觉采样会造成时序信息丢失。主流视频mllm通常以低帧率(如16帧或1fps)对视频进行稀疏采样以控制计算开销,这不可避免地丢失了高频运动细节,对重复动作计数等依赖时序密集信号的任务影响尤为严重。

2、为缓解上述问题,部分工作尝试通过视觉提示(visual prompting)方式,将轨迹或检测框直接渲染在rgb帧上以注入运动线索。然而,此类方法会对原始视觉内容造成遮挡和污染,同时可能会显著增加视觉token的计算量,难以规模化。另一类工作探索将3d人体运动序列注入mllm,但存在以下关键局限:数据层面,训练数据主要来源于受控室内环境的标记式运动捕捉(mocap)数据集,缺乏真实场景下的多人、遮挡等多样性;模型层面,现有方法仅通朴素地将运动token与视觉token拼接,缺乏对运动与视觉时空对应关系的建模,限制了跨模态融合效果。因此,如何高效、有效地将人体运动信息融入视频mllm,同时保持通用视频理解能力,是当前领域亟待解决的问题。

技术实现思路

1、针对上述技术问题,本发明提出了一种面向以人为中心视频理解的运动增强多模态大语言模型方法,通过引入非对称双流架构、异构运动表示、时空绑定机制以及三阶段渐进训练策略,实现了运动与视觉的精确时空对应感知,显著提升了细粒度人体动作理解性能,同时保持了通用视频理解能力。

2、本发明采用的技术方案如下:

3、一种基于人体运动数据增强的多模态大语言模型推理方法,包括以下步骤:

4、对输入视频中的人体关键点构建异构运动表示;

5、基于异构运动表示对输入视频进行非对称采样与部位感知运动分词,通过视觉编码器和运动编码器得到视觉词元(视觉token)与运动词元(运动token);

6、通过空间绑定建立视觉词元与运动词元的对应关系,得到运动-视觉交互词元(运动-视觉交互token);

7、将运动-视觉交互词元进行时序绑定,并联合视觉词元、运动词元和文本词元(文本token)输入多模态大语言模型(mllm)进行自回归解码,输出对应任务的文本答案。

8、进一步地,所述对输入视频中的人体关键点构建异构运动表示,包括:对于每一帧中每个人体关键点构造9维特征向量,包含归一化2d图像坐标、相对骨盆中心的3d局部关节坐标、在相机坐标系下的骨盆绝对位置、以及由实例分割掩码导出的二值可见性标志。

9、进一步地,所述基于异构运动表示对输入视频进行非对称采样与部位感知运动分词,通过视觉编码器和运动编码器得到视觉词元与运动词元,包括:对输入视频进行时序下采样,输入到视觉编码器获得个视觉时间步的视觉词元;对从输入视频中提取的多帧异构运动表示组成的人体运动序列利用时序密化因子进行采样,依据身体部位语义将关键点划分为=5个部位,包括躯干、左臂、右臂、左腿、右腿,各部位的关键点沿特征维度拼接后经1d时序卷积压缩至个时间步,再经运动编码器生成运动词元序列。

10、进一步地,所述运动编码器包括8层transformer编码器和2层mlp投影头,生成形状为的运动词元序列,其中为人物数量上限,为多模态大语言模型的隐层维度。

11、进一步地,所述空间绑定包括:利用异构运动表示中的2d关键点坐标派生每个人的边界框,并构造以运动词元为查询、视觉词元为键-值的人物特定交叉注意力模块,通过二值掩码将每个人的运动词元的注意力范围限制在其对应的视觉空间区域内,输出运动-视觉交互词元。

12、进一步地,所述时序绑定包括:基于多模态旋转位置编码为运动词元设计与视觉词元同步的3d位置索引,其中时间轴坐标在同一时刻的视觉词元与运动词元之间共享,空间轴则用人物索引和身体部位索引替换空间维度的行索引和列索引并加入模态隔离偏移量,从而在多模态大语言模型的自注意力层中建立跨模态时序对应学习。

13、进一步地,上述方法采用三阶段渐进训练策略,所述三阶段渐进训练策略包括:

14、阶段1:对比预训练运动编码器,通过将运动序列与运动描述文本对进行对比学习,完成运动编码器的冷启动;

15、阶段2:固定运动编码器中的transformer编码器,训练mlp投影头和空间绑定模块;

16、阶段3:进行全模型有监督微调,使用包含运动配对与纯视觉样本的混合数据,保持多模态大语言模型原生视觉能力的同时学习跨模态动作理解。

17、一种基于人体运动数据增强的多模态大语言模型推理系统,其包括:

18、异构运动表示构建模块,用于对输入视频中的人体关键点构建异构运动表示;

19、编码模块,用于基于异构运动表示对输入视频进行非对称采样与部位感知运动分词,通过视觉编码器和运动编码器得到视觉词元与运动词元;

20、空间绑定模块,用于通过空间绑定建立视觉词元与运动词元的对应关系,得到运动-视觉交互词元;

21、时序绑定模块,用于将运动-视觉交互词元进行时序绑定,并联合视觉词元、运动词元和文本词元输入多模态大语言模型;

22、解码输出模块,用于利用多模态大语言模型进行自回归解码,输出对应任务的文本答案。

23、本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行上述方法的指令。

24、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,所述计算机程序被计算机执行时,实现上述的方法。

25、与现有技术相比,本发明的积极效果为:

26、在细粒度动作理解基准测试上,本发明框架在motionbench和favor-bench上分别超越对应的纯视觉基线模型4.3%和6.3%;在重复动作计数任务上,本发明框架在repcount和ucfrep基准上分别将mae误差降低0.695和0.633,obo精度提升20.7%和15.5%,大幅超越所有现有通用视频mllm。

1.一种基于人体运动数据增强的多模态大语言模型推理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述对输入视频中的人体关键点构建异构运动表示,包括:对于每一帧中每个人体关键点构造9维特征向量,包含归一化2d图像坐标、相对骨盆中心的3d局部关节坐标、在相机坐标系下的骨盆绝对位置、以及由实例分割掩码导出的二值可见性标志。

3.根据权利要求1所述的方法,其特征在于,所述基于异构运动表示对输入视频进行非对称采样与部位感知运动分词,通过视觉编码器和运动编码器得到视觉词元与运动词元,包括:对输入视频进行时序下采样,输入到视觉编码器获得个视觉时间步的视觉词元;对从输入视频中提取的多帧异构运动表示组成的人体运动序列利用时序密化因子进行采样,依据身体部位语义将关键点划分为=5个部位,包括躯干、左臂、右臂、左腿、右腿,各部位的关键点沿特征维度拼接后经1d时序卷积压缩至个时间步,再经运动编码器生成运动词元序列。

4.根据权利要求3所述的方法,其特征在于,所述运动编码器包括8层transformer编码器和2层mlp投影头,生成形状为的运动词元序列,其中为人物数量上限,为多模态大语言模型的隐层维度。

5.根据权利要求1所述的方法,其特征在于,所述空间绑定包括:利用异构运动表示中的2d关键点坐标派生每个人的边界框,并构造以运动词元为查询、视觉词元为键-值的人物特定交叉注意力模块,通过二值掩码将每个人的运动词元的注意力范围限制在其对应的视觉空间区域内,输出运动-视觉交互词元。

6.根据权利要求1所述的方法,其特征在于,所述时序绑定包括:基于多模态旋转位置编码为运动词元设计与视觉词元同步的3d位置索引,其中时间轴坐标在同一时刻的视觉词元与运动词元之间共享,空间轴则用人物索引和身体部位索引替换空间维度的行索引和列索引并加入模态隔离偏移量,从而在多模态大语言模型的自注意力层中建立跨模态时序对应学习。

7.根据权利要求1所述的方法,其特征在于,采用三阶段渐进训练策略,所述三阶段渐进训练策略包括:

8.一种基于人体运动数据增强的多模态大语言模型推理系统,其特征在于,包括:

9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行权利要求1~7中任一项所述方法的指令。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,所述计算机程序被计算机执行时,实现权利要求1~7中任一项所述的方法。