一种基于文本语义方向引导的随机人体动作预测方法
本发明涉及一种基于文本语义方向引导的随机人体动作预测方法,属于计算机科学与人工智能。
背景技术:
1、随机人体动作预测旨在根据视频、三维动作序列等形式的历史动作信息,预测未来可能发生的多样化人体动作序列。随着物联网、智能感知以及边缘视觉计算技术的发展,人体动作预测已广泛应用于智能安防、智慧养老、工业巡检、人机交互和数字人驱动等领域。
2、现有的人体动作预测方法主要基于循环神经网络、图卷积网络、transformer网络以及条件变分自编码网络等模型,通过对历史人体三维动作序列的时空变化规律进行建模,实现未来动作序列预测。部分方法进一步引入动作类别标签作为条件信息,以预测符合指定动作类别的多种未来动作。例如,mao w等人在weakly-supervised actiontransition learning for stochastic human motion prediction中提出了wat方法,通过弱监督的方法解决了在缺少大量真实动作过渡样本的情况下,实现高质量的随机动作过渡预测;但是该方法主要依赖动作类别条件和运动数据隐式学习动作过渡规律,未对不同动作之间的过渡模式以及目标动作的细粒度运动特征进行显式建模,在相似动作类别或复杂动作过渡情况下,可能出现动作辨识度不足、局部关节运动不协调等问题;此外还存在长序列误差累积、多样性受限等缺点。tang j等人在stochastic human motion predictionwith memory of action transition and action characteristic中提出了atacb方法,即利用动作特征记忆和过渡模式记忆,存储不同动作类别之间的过渡特征以及目标动作的代表性运动特征,从而提升动作过渡的平滑性和目标动作的辨识度;但是该方法仍然依赖预先定义的离散动作类别和类别专属记忆单元,并且计算存储开销增加,难以部署到移动端或者实时交互系统上。
3、上述两种方法均利用动作类别条件对随机人体动作预测过程进行约束,使模型能够根据指定动作类别预测相应的未来运动。然而,现有动作驱动的人体动作预测方法通常仅采用独热编码作为控制条件,其本质上是将离散的动作类别标签转化为模型可以处理的数学形式;但是这种方式语义信息贫乏,无法描述复杂的动作序列,并且还可能存在因简单平滑导致的动作失真。此类表示能够区分动作类别,但未能利用动作文本中包含的语义信息,模型对于不同动作之间共享的运动趋势、姿态变化及高层语义关系的建模能力有限,容易影响预测结果的动作辨识度和语义稳定性。
4、此外,现有方法通常在整个预测过程中采用固定的动作控制特征,即整个预测的过程不会随着预测的进展而发生变化,部分方法虽然通过线性调整策略在不同预测阶段融合控制特征,但该调整仅与时间步有关,未能根据随机潜变量、当前人体姿态及动作发展阶段动态调整语义引导强度。同时,现有训练目标主要关注姿态重建、运动平滑和潜变量分布约束,对预测动作与目标动作类别之间的语义一致性约束相对不足。部分方法虽然引入额外动作分类模型进行监督,但同时也增加了训练和部署复杂度。
5、因此,需要设计一种基于文本语义方向引导的随机人体动作预测方法来实现面向指定动作类别的随机人体未来动作预测。
技术实现思路
1、针对上述现有技术存在的问题,本发明提出了一种基于文本语义方向引导的随机人体动作预测方法,该方法基于cvae框架构建motion compass预测模型来实现指定动作类别的人体动作预测;该motion compass预测模型包括数据预处理模块和核心预测网络,在核心预测网络中,通过引入文本信息,构建文本-运动语义方向学习模块,通过对自学习方向矩阵进行qr正交分解并基于文本语义特征生成的权重向量对方向正交基进行线性组合,解决现有方法缺乏语义信息的问题,使得模型预测能够受到文本描述的指导,能够从语义层面区分相似动作;然后再结合当前人体姿态、动作发展阶段及随机潜变量进行动态建模,构建动态方向调制模块,通过随机潜变量提取的全局动作特征与上一帧人体姿态提取的局部运动特征生成门控权重,解决现有方法在预测中的动作控制特征固定不变的问题,使得模型能够自主感知预测阶段,动态调整语义引导强度;通过利用模型内部组件分类构建动作一致性监督模块,复用未来动作编码器并通过同一动作分类头分别监督真实未来动作和预测未来动作,解决了现有方法引入监督的同时增加了复杂度的问题,单次训练即可获得更符合语义一致的行为预测模型。
2、该方法包括:
3、步骤s1:采集三维人体动作序列数据构建人体动作预测数据集,进行预处理并划分为训练集、测试集和验证集;
4、步骤s2:基于历史动作、未来动作、动作类别以及文本特征编码器和cvae预测骨干构建数据预处理模块;
5、步骤s3:通过引入包含动作类别的文本语句,并预设自学习方向矩阵,构建文本-运动语义方向学习模块;
6、步骤s4:通过构建动态方向调制模块以及动作一致性监督模块对步骤s3中的文本-运动语义方向学习模块进行调制和监督,共同构成核心预测网络;
7、步骤s5:将步骤s2中构建的数据预处理模块和步骤s4构建的核心预测网络结合,以构建motion compass预测模型;
8、步骤s6:基于数据集对步骤s5中构建的motion compass预测模型进行训练,并且构建包括交叉熵损失函数的总损失函数对模型的训练过程进行约束以更新模型参数;
9、步骤s7:将待预测的三维人体动作序列数据和指定的目标动作类别输入训练好的motion compass预测模型中实现对随机人体动作的预测。
10、步骤s1包括:基于wat方法的数据处理方式对现有数据集中的人体三维动作序列进行处理,具体过程包括:
11、首先,将现有数据集中的人体三维动作序列统一表示为三维的smpl人体参数模型下的姿态参数序列,对于每一帧人体动作,保留用于描述人体姿态的smpl姿态参数,去除用于描述人体身份差异的形状参数和人体在全局坐标系中的平移参数;而对于原始数据中未直接提供smpl姿态参数的人体三维动作序列,采用人体姿态估计方法将其转换为对应的smpl姿态参数。
12、其次,对人体三维动作序列进行时间处理和类别筛选,根据预设的历史观察长度和未来预测长度筛选样本数据并构建人体动作预测数据集;
13、对于同一人体三维动作序列中的连续动作帧,选取连续t帧人体姿态作为历史动作序列,并选取其后连续h帧人体姿态作为真实未来动作序列;其中t和h分别代表历史观测长度和未来预测长度;
14、将真实未来动作序列对应的类别转化为对应的独热编码a,再对独热编码进行转换得到对应的动作文本语句;
15、进一步地,通过从一个人体三维动作序列中选取历史动作序列,从另一个人体三维动作序列中选取未来动作序列,将二者进行组合得到跨动作类别的样本数据;跨动作类别的样本数据所对应的目标动作类别为未来动作序列所属的动作类别;
16、进一步地,构建的人体动作预测数据集按照7:2:1的比例划分为训练集、测试集和验证集。
17、步骤s2中通过采用历史动作编码器、未来动作编码器、动作类别编码器、文本特征编码器和cvae预测骨干来构建数据预处理模块;
18、历史动作编码器和未来动作编码器分别以历史动作序列和未来动作序列作为输入,将其转化为对应的历史动作特征和未来动作特征,动作类别编码器以表示动作类别的独热编码a为输入,将其转化为未来动作控制条件特征,用于后续进行条件控制;文本特征编码器以对应的动作文本语句为输入,将其转化为文本语义特征,为后续的文本-运动语义方向学习模块提供输入;cvae预测骨干用于从对应的特征中计算对应的概率分布参数,并采样随机潜变量z,用于后续的解码预测过程。
19、历史动作特征、未来动作特征、未来动作控制条件特征以及文本语义特征的维度均统一至,的具体数值根据实际使用情况调整;
20、进一步地,历史动作编码器为一个历史gru单元,用于对步骤s1中的历史动作序列进行时间特征编码,历史动作序列中的各帧人体姿态按照时间顺序输入历史动作编码器,并将历史gru单元的最后一个时刻输出的隐藏状态作为历史动作特征,其表达式为:
21、
22、其中,为历史动作特征,具体可表示为,对于历史动作序列中的每一个分量,执行:
23、
24、当t=t时,输出即为的最终输出历史动作特征。
25、未来动作编码器包括一个未来gru单元,用于对步骤s1得到的真实未来动作序列进行时间特征编码,并将未来gru网络最后一个时刻输出的隐藏状态作为未来动作特征,其表达式为:
26、
27、其中,为未来动作特征,具体可表示为,对于真实未来动作序列中的每一个分量,执行:
28、
29、当t=h时,输出即为的最终输出未来动作特征。
30、动作类别编码器包括一个线性变换层和非线性激活函数,用于将目标动作类别的独热编码a映射为连续的动作类别特征,其表达式为:
31、
32、具体可以拆解为:
33、
34、其中,表示线性变换层的权重,表示线性变换层的偏置。
35、文本特征编码器可采用冻结模型参数的预训练文本编码器,用于将动作类别对应的文本语句映射为文本语义特征,其表达式为:
36、
37、其中,为文本语义特征,的具体细节由使用的文本特征编码器决定。
38、进一步地,cvae预测骨干包括后验概率估计网络、条件先验概率估计网络和随机潜变量采样单元,用于根据数据预处理部分输出的历史动作特征、未来动作特征和动作类别特征计算随机潜变量z的概率分布参数,并从相应的概率分布中采样随机潜变量z,为未来动作解码预测提供随机性条件;
39、进一步地,后验概率估计网络包括特征拼接层、mlp和两个相互独立的线性输出层,其中特征拼接层用于将历史动作特征、未来动作特征和动作类别特征进行拼接;mlp用于对拼接后的特征进行融合;两个线性输出层分别用于计算后验概率分布的均值向量和标准差向量,即:
40、
41、根据后验概率分布的均值向量和后验概率分布的标准差向量,建立随机潜变量z的后验概率分布:
42、
43、其中,后验概率估计网络仅在模型训练阶段使用真实未来动作特征,用于根据已知未来动作估计随机潜变量z的后验概率分布。
44、条件先验概率估计网络的网络结构与后验概率估计网络的结构相同,但二者不共享模型参数。条件先验概率估计网络将历史动作特征和动作类别特征进行拼接,并通过mlp和两个线性输出层分别计算条件先验概率分布的均值向量和标准差向量,即:
45、
46、根据先验概率分布的均值向量和先验概率分布的标准差向量,建立随机潜变量z的条件先验概率分布:
47、
48、条件先验概率估计网络不需要输入真实未来动作特征,因此能够在模型推理阶段根据历史动作和指定动作类别预测随机潜变量z的概率分布。
49、随机潜变量采样单元采用重参数化方法进行随机采样,其表达式为:
50、
51、在模型训练阶段,从后验概率分布中采样随机潜变量z;在模型推理阶段,由于无法获得真实未来动作特征,随机潜变量z从条件先验概率分布中采样。
52、步骤s3中构建的文本-运动语义方向学习模块包括一个mlp投影器、一组自学习方向矩阵d以及一个线性投影层;其中mlp投影器包括线性变换层和非线性变换层,线性变换层的输入维度对应文本语义特征的特征维度,输出维度对应自学习方向矩阵中方向基的数量;非线性变换使用tanh函数实现,该投影器用于将文本语义特征投影为与方向基一一对应的权重向量;
53、自学习方向矩阵d通过一组的可学习参数矩阵随机初始化获得,其中代表预先设定的方向基数量,代表每个方向基的维度,且c大于或等于k,两者可根据实际使用情况进行调整;可学习参数指该矩阵能够跟随模型的反向梯度回传自主更新数值;自学习方向矩阵d用于在文本条件的约束下从数据中学习通用的文本-运动语义方向信息;
54、线性投影层由普通的单层线性变换组成,该线性投影层的输入维度对应自学习方向矩阵中方向基的维度c,输出维度设置为,用于对线性组合后的方向特征进行形状调整;
55、文本-运动语义方向学习模块用于将动作文本语义转换为人体运动表示空间中的动作语义方向;该模块利用动作文本语义特征,在人体运动表示空间中学习并组合与目标动作对应的语义方向,为未来动作预测提供运动方向先验。
56、文本-运动语义方向学习模块中:文本语义特征作为输入,首先被传入mlp投影器中,构建与方向基一一对应的权重向量,其表达式为:
57、
58、其中,,k表示方向基数量;
59、然后定义自学习方向矩阵:
60、
61、该矩阵由可学习参数构成,能够随损失函数以及梯度回传自动更新参数数值。随后通过qr正交分解获得方向正交基:
62、
63、其中,q表示方向正交基矩阵,而qr正交分解能够有效减少不同方向特征之间的冗余耦合关系,有利于后续各方向基之间的线性组合。
64、最终,基于方向权重,各个方向正交基进行线性组合,即得到动作对应的运动方向特征:
65、
66、最后通过线性投影层对的维度形状进行调整,将运动方向特征统一至动作解码空间维度:
67、
68、其中,和分别是线性投影层的权重和偏置。
69、通过上述过程,使得motion compass预测模型能够基于文本引导生成具有方向约束能力的运动方向特征,从而为未来动作生成提供稳定的语义先验。
70、步骤s4中的动态方向调制模块用于根据随机潜变量和当前预测姿态,动态调节动作语义方向的作用强度;包括一个mlp对齐层、一个线性对齐层以及一个未来动作解码器,其中mlp对齐层用于将上一时刻的人体姿态映射到特征空间,并统一特征形状;共包含两层,每一层均包括一个线性变换层和一个非线性变换层;
71、线性对齐层用于将随机潜变量z映射到特征空间,并统一特征形状;
72、未来动作解码器包括一个gru单元和一个mlp映射,用于将包含随机潜变量z的拼接特征映射回人体姿态,形成预测结果;其中mlp映射一共包含2层,每层均包括线性变换层和非线性变换层;
73、动态方向调制模块中:随机潜变量z、预测的上一帧人体姿态、运动方向特征以及输入的原始动作类别特征,最终输出当前时间的预测结果;
74、动态方向调制模块中,同时利用随机潜变量z与预测的上一帧人体姿态对运动方向特征进行联合调制:
75、首先利用线性对齐层和mlp对齐层对潜变量与预测的上一帧人体姿态进行特征变换:
76、
77、
78、其中,表示从随机潜变量z提取得到的全局动作特征,表示线性对齐层的权重,表示线性对齐层的偏置;表示从预测的上一帧人体姿态提取得到的局部运动特征,是应用于预测的上一帧人体姿态映射的mlp对齐层;当t=1时,,即预测第一帧时(t=1),预测的上一帧人体姿态被设置为历史动作序列的最后一帧,预测后续帧时,设置为上一帧的预测输出结果。
79、随后,将全局运动特征与局部运动特征进行元素相加融合,并通过sigmoid激活函数生成门控权重,其表达式为:
80、
81、由于该门控权重同时受到全局运动模式与局部运动状态影响,因此能够根据人体运动演化状态动态调整方向控制强度,并实现对方向特征的动态调制:
82、
83、其中,表示当前时间t的情况下,经过动态调制后的动态方向特征。
84、随后,将动态方向特征注入原始动作条件特征中,形成增强动作控制特征,其表达式为:
85、
86、其中,超参数表示方向调制权重参数,表示动态调制后的增强动作条件特征。
87、在获得增强动作条件特征后,后续动作生成过程通过未来动作解码器实现:
88、首先,对历史动作特征,动态调制后的增强动作条件特征,随机潜变量z,预测的上一帧人体姿态进行特征拼接,其表达式为:
89、
90、随后,使用未来动作解码器对特征进行解码,以获取当前时间步的预测结果,其表达式为:
91、
92、具体而言,首先使用未来动作解码器中的gru单元对拼接后特征进行处理:
93、
94、最后,使用mlp映射将处理后特征映射回人体姿态空间,并与历史动作序列的最后一帧相加,获得预测结果:
95、
96、其中代表当前时间步t的预测动作。基于,循环执行上述步骤,即可预测后续时间步的一系列姿态,最终形成完整的预测未来动作序列。
97、动态方向调制模块根据随机潜变量和当前运动状态,自适应调节语义方向在不同预测时刻的作用强度,以提高动作预测过程的稳定性,并兼顾未来动作的多样性;使得本发明能够利用全局运动模式与局部运动状态共同调节文本方向特征的控制强度,实现语义先验的动态注入。相比传统固定动作条件控制方式,本发明能够增强动作预测的稳定性以及人体运动动态一致性。
98、动作一致性监督模块用于约束预测动作与目标动作类别之间的一致性;包括一个未来动作编码器、一个动作分类头以及两个交叉熵损失计算单元;其中未来动作编码器复用数据预处理模块中的未来动作编码器,不额外构建独立的动作识别网络;用于分别提取真实未来动作序列和预测未来动作序列的动作特征,并且在处理两种动作序列时共享全部网络参数。无需额外训练独立的动作识别模型,从而提高预测结果与目标动作标签之间的动作一致性。
99、动作分类头包括一个单层的线性变换层,其输入维度与未来动作编码器输出的动作特征维度相同,其输出维度与数据集中的动作类别数量相同;用于将动作特征映射为各动作类别对应的分类得分。
100、两个交叉熵损失计算单元用于计算基于真实未来动作和基于预测未来动作的动作一致性分类损失,均不包含可学习参数;
101、动作一致性监督模块中:以真实未来动作和预测未来动作为输入,最终输出两组序列分别的交叉熵损失值,作为动作一致性分类损失:
102、首先,对于真实未来动作序列,利用未来动作编码器提取其动作特征,表达式为:
103、
104、随后,将真实未来动作特征输入动作分类头进行动作类别预测:
105、
106、其中,与分别表示动作分类头的权重与偏置参数,表示真实未来动作对应的分类结果。
107、对于模型输出的预测未来动作序列,同样利用未来动作编码器提取动作语义特征:
108、
109、随后通过同一动作分类头输出预测动作分类结果:
110、
111、在训练过程中,采用交叉熵损失函数对真实未来动作与预测未来动作分别构建动作类别监督。设目标动作标签索引表示为, 那么两组分类logits的动作一致性分类损失定义为:
112、
113、
114、其中,代表基于真实未来动作的动作一致性分类损失,用于约束编码器提取的真实动作特征具有稳定的动作类别判别能力,从而为动作生成网络提供稳定的语义空间表示;代表基于预测未来动作的动作一致性分类损失,用于约束生成动作在高层语义层面与目标动作类别保持一致,从而增强生成结果的动作可控性。
115、基于动作一致性监督模块,增强预测动作与目标动作类别之间的一致性,使模型不仅能够生成运动轨迹合理的人体动作,还能够保证生成结果符合指定动作类别对应的动作语义。相比传统人体动作预测方法,能够提升未来动作预测的动作可控性、语义稳定性以及动作类别辨识能力,尤其适用于物联网环境下的人体行为感知、智能监控、智慧交互以及行为分析等应用场景。
116、通过动态方向调制模块和动作一致性监督模块实现对文本-运动语义方向学习模块进行调制和监督,共同构成核心预测网络,实现针对指定动作类别的人体动作预测。
117、步骤s5中通过将数据预处理模块和核心预测网络结合在一起构建motioncompass预测模型;motion compass预测模型基于数据预处理模块对数据进行预处理,数据预处理模块的输出作为核心预测网络的输入,经过核心预测网络中文本-运动语义方向学习模块、动态方向调制模块以及动作一致性监督模块的处理,最终输出预测结果。
118、步骤s6中根据后验概率分布和条件先验概率分布计算kl散度损失,其表达式为:
119、
120、kl散度损失用于使条件先验概率分布接近后验概率分布,从而使模型在推理阶段能够在缺少真实未来动作特征的情况下,根据历史动作特征和动作类别特征获得有效的随机潜变量。
121、然后再根据预测未来动作序列和真实未来动作序列计算重建均方误差损失,其表达式为:
122、
123、根据预测未来动作序列和真实未来动作序列的相邻帧变化量计算时序平滑损失:
124、
125、在均方误差损失和时序平滑损失的基础上结合kl散度损失,基于真实未来动作的动作一致性分类损失以及基于预测未来动作的动作一致性分类损失构建motion compass预测模型的总损失函数,其表达式为:
126、
127、其中,和分别为基于真实未来动作的动作一致性分类损失和基于预测未来动作的动作一致性分类损失的权重;分别控制基于真实未来动作和基于预测未来动作的动作一致性分类损失在总损失函数中的占比;
128、motion compass预测模型根据总损失函数进行反向传播,并采用adam优化算法更新可学习参数;其中,预训练文本特征编码器的参数保持冻结。重复上述过程,直至motion compass预测模型达到预设训练轮数或验证集上的损失不再下降,得到训练完成的motion compass预测模型。
129、步骤s7包括:将待预测的历史三维人体动作序列和指定的目标动作类别输入训练完成的motion compass预测模型中,通过数据预处理模块得到历史动作特征、动作类别特征和文本语义特征,并将其输入至核心预测网络中进行未来动作预测;由于推理阶段不存在真实未来动作序列,因此不生成未来动作特征,也不使用后验概率估计网络。
130、首先,将历史动作特征和动作类别特征输入条件先验概率估计网络:
131、
132、从条件先验概率分布中采样第n个随机潜变量:
133、
134、然后将文本语义特征输入文本-运动语义方向学习模块,得到指定动作类别对应的运动方向特征。将历史动作特征、第n个随机潜变量、动作类别特征和运动方向特征输入动态方向调制模块中,得到第n个预测未来动作序列。
135、最后通过从条件先验概率分布中独立采样n个随机潜变量,得到未来动作预测集合:。预测集合中的各未来动作序列具有相同的历史动作和目标动作类别,但具有不同的动作细节和姿态变化过程,从而实现指定动作类别下的随机人体动作预测。
136、进一步地,文本-运动语义方向学习模块、动态方向调制模块以及动作一致性监督模块还可用作独立的可插拔组件,集成至现有人体动作预测框架中,在无需改变原有模型主体结构的情况下,进一步增强模型的动作语义理解能力与未来动作生成性能。
137、发明的有益效果是:
138、本发明提供了一种基于文本语义方向引导的随机人体动作预测方法,该方法通过构建文本-运动语义方向学习模块,对自学习方向矩阵进行qr正交分解,并基于文本语义特征生成的权重向量对方向正交基进行线性组合,通过对动作文本进行语义编码,将动作类别从离散空间映射至连续的语义空间,使模型能够学习不同动作在语义层面的特性;增强模型对于复杂动作语义的理解能力,缓解动作混乱以及类别语义模糊等问题。以运动方向特征为基础,通过结合人体历史运动状态和随机潜变量,构建动态方向调制模块实现对动作语义控制强度的动态调制,使模型能够根据全局运动模式和局部运动状态自适应调整文本方向信息对人体动作预测过程的影响程度;提升人体动作生成过程中的方向稳定性与运动连续性,减少长时预测过程中出现的动作趋势偏移问题。还通过引入动作一致性监督模块对预测结果增加动作类别分类约束,使模型在保证人体运动合理性的同时,增强生成动作与目标动作类别之间的语义一致性。对真实未来动作序列的分类约束还能促使模型学习更加稳定的特征提取策略;能够降低预测动作与目标类别不匹配的问题,从而提高预测结果的动作语义准确性与动作可控性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com