一种基于深度学习的运动姿态智能识别系统及方法

摘要: 本技术涉及姿态智能识别,更具体地说,本技术涉及一种基于深度学习的运动姿态智能识别系统及方法。背景技术:1、姿态智能识别是融合计算机视觉、深度学习与人体运动学的前...
一种基于深度学习的运动姿态智能识别系统及方法

本技术涉及姿态智能识别,更具体地说,本技术涉及一种基于深度学习的运动姿态智能识别系统及方法。

背景技术:

1、姿态智能识别是融合计算机视觉、深度学习与人体运动学的前沿技术,旨在通过摄像头或传感器采集的图像、骨骼关键点或惯性数据,自动检测、跟踪并解析人体各部位的空间位置、角度、速度及动态变化,进而理解个体的动作类型、行为模式、运动质量或生理状态。

2、近年来,基于深度学习的运动姿态识别技术已在智能安防、体育训练、医疗康复和人机交互等领域广泛应用。现有识别方法主要分为两类:一类基于单帧姿态图进行独立识别,通过检测人体关键点并输入深度网络进行分类;另一类基于时序建模,利用循环网络或时序卷积对连续多帧姿态序列进行动态特征提取。然而,上述方法均存在共同缺陷,即仅依赖当前时刻或固定时序窗口内的姿态特征,未能充分利用历史时刻中相似姿态的后续演化模式来辅助当前意图判断。当目标对象姿态处于不同运动类别的视觉临界区域时,现有方法缺乏历史经验参考,易导致识别准确率下降和输出结果频繁跳变,系统稳定性不足。因此,如何融合空间拓扑结构与时间序列关系对运动姿态进行智能识别成为业界面临的问题。

技术实现思路

1、本技术提供一种基于深度学习的运动姿态智能识别系统及方法,可融合空间拓扑结构与时间序列关系对运动姿态进行智能识别。

2、第一方面,本技术提供一种基于深度学习的运动姿态智能识别方法,包括如下步骤:

3、获取目标对象在连续运动过程中的多帧姿态图数据;

4、对各帧姿态图数据分别进行人体关键点检测,并以检测出的各个人体关键点以及各人体关键点之间的空间关联关系构建包含多个图谱快照的姿态知识图谱;

5、从所述姿态知识图谱中获取当前时刻之前的预设数量个历史图谱快照,形成历史行为模式集合,从所述姿态知识图谱中提取当前时刻的姿态语义特征向量;

6、从所述历史行为模式集合中匹配与所述姿态语义特征向量对应的历史关联关系类型,作为第一识别结果,将所述姿态语义特征向量输入预先训练的特征编码网络,预测当前姿态对应的关联关系类型,作为第二识别结果;

7、根据所述第一识别结果和所述第二识别结果确定当前姿态所对应的运动意图类别并输出。

8、在一些实施例中,所述多帧姿态图数据包括目标对象在连续运动过程中由图像采集设备以预设帧率采集的二维姿态图像序列或三维深度图像序列中的至少一种;所述人体关键点包括头部关键点、肩部关键点、肘部关键点、腕部关键点、髋部关键点、膝部关键点、踝部关键点中的至少一种。

9、在一些实施例中,对各帧姿态图数据分别进行人体关键点检测,并以检测出的各个人体关键点以及各人体关键点之间的空间关联关系构建包含多个图谱快照的姿态知识图谱具体包括:

10、获取目标对象在各帧姿态图数据中的完整人体轮廓区域,对所述人体轮廓区域进行边界检测与归一化处理,得到标准化的姿态图样本数据;

11、将所述标准化的姿态图样本数据输入至预先训练的人体关键点检测网络中,得到人体关键点检测结果;

12、确定人体关键点检测结果中各人体关键点之间的空间关联关系;

13、将所述人体关键点检测结果中的各个人体关键点分别作为图谱节点,并基于空间关联关系构建各帧姿态图数据对应的单帧姿态图谱;

14、将各帧姿态图数据对应的单帧姿态图谱按照时间顺序依次排列,形成以帧序号为时间索引的多个图谱快照,并将多个图谱快照共同构建为姿态知识图谱。

15、在一些实施例中,从所述姿态知识图谱中获取当前时刻之前的预设数量个历史图谱快照,形成历史行为模式集合具体包括:

16、以当前时刻对应的图谱快照为基准帧,根据各图谱快照携带的时间戳标签从所述姿态知识图谱中向前回溯提取当前时刻之前的预设数量个历史图谱快照;

17、按照时间先后顺序将提取出的各历史图谱快照依次排列,并对每个历史图谱快照分别进行帧内节点特征聚合与帧间节点位移编码,得到每个历史图谱快照对应的快照级行为特征向量;

18、将每个历史图谱快照和对应的快照级行为特征向量按照时间顺序组合为历史行为模式集合。

19、在一些实施例中,从所述姿态知识图谱中提取当前时刻的姿态语义特征向量具体包括:

20、从所述姿态知识图谱中定位当前时刻对应的图谱快照,读取所述图谱快照中所有图谱节点的节点属性特征向量以及所有空间边的边属性特征向量;

21、将所述节点属性特征向量和所述边属性特征向量共同输入至预训练的图神经网络编码器中,通过所述图神经网络编码器的多层图卷积操作对所述图谱快照中的空间关联信息进行逐层聚合与非线性变换,得到融合节点特征与边特征的全局图嵌入向量;

22、将所述全局图嵌入向量输入至预训练的语义映射层,得到当前时刻的姿态语义特征向量。

23、在一些实施例中,从所述历史行为模式集合中匹配与所述姿态语义特征向量对应的历史关联关系类型,作为第一识别结果具体包括:

24、从所述历史行为模式集合中获取各历史图谱快照对应的快照级行为特征向量,计算当前时刻的姿态语义特征向量与各快照级行为特征向量之间的相似度距离;

25、基于各个相似度距离,从所述历史行为模式集合中筛选出相似度距离最小的各个历史图谱快照均作为候选匹配快照;

26、获取各候选匹配快照各自对应的历史关联关系类型标签,并按照相似度距离的倒数进行加权投票,将加权投票得分最高的历史关联关系类型作为第一识别结果。

27、在一些实施例中,将所述姿态语义特征向量输入预先训练的特征编码网络,预测当前姿态对应的关联关系类型,作为第二识别结果具体包括:

28、获取预先训练的特征编码网络;

29、将所述姿态语义特征向量输入所述特征编码网络,经所述特征编码网络的编码层进行非线性特征变换与降维处理,得到降维后的隐层特征表示;

30、将所述隐层特征表示输入所述特征编码网络的分类层,经所述分类层的全连接与归一化指数函数处理,输出当前姿态对应的各候选关联关系类型的预测概率分布,并将所述预测概率最大的关联关系类型作为所述第二识别结果。

31、在一些实施例中,根据所述第一识别结果和所述第二识别结果确定当前姿态所对应的运动意图类别并输出具体包括:

32、确定所述第一识别结果对应的第一置信度分数和所述第二识别结果对应的第二置信度分数;

33、根据所述第一置信度分数与第一预设权重系数确定第一加权分数,根据所述第二置信度分数与第二预设权重系数确定第二加权分数,所述第一预设权重系数与所述第二预设权重系数之和为1;

34、当所述第一加权分数与所述第二加权分数中的最大值超过预设的输出置信度阈值时,将最大值对应的识别结果确定为当前姿态所对应的运动意图类别并输出;当所述第一加权分数与所述第二加权分数均未超过所述输出置信度阈值时,判定当前姿态无法识别并输出无法识别信号。

35、在一些实施例中,所述第一预设权重系数与所述第二预设权重系数的确定方式为:基于包含动作类别的验证数据集对所述第一识别结果和所述第二识别结果分别进行独立测试,计算各自在所述验证数据集上的识别准确率,将第一识别结果的识别准确率除以第一识别结果与第二识别结果的识别准确率之和作为所述第一预设权重系数,将第二识别结果的识别准确率除以所述准确率之和作为所述第二预设权重系数。

36、第二方面,本技术提供一种基于深度学习的运动姿态智能识别系统,包括:

37、获取模块,用于获取目标对象在连续运动过程中的多帧姿态图数据;

38、处理模块,用于对各帧姿态图数据分别进行人体关键点检测,并以检测出的各个人体关键点以及各人体关键点之间的空间关联关系构建包含多个图谱快照的姿态知识图谱;

39、所述处理模块,还用于从所述姿态知识图谱中获取当前时刻之前的预设数量个历史图谱快照,形成历史行为模式集合,从所述姿态知识图谱中提取当前时刻的姿态语义特征向量;

40、所述处理模块,还用于从所述历史行为模式集合中匹配与所述姿态语义特征向量对应的历史关联关系类型,作为第一识别结果,将所述姿态语义特征向量输入预先训练的特征编码网络,预测当前姿态对应的关联关系类型,作为第二识别结果;

41、执行模块,用于根据所述第一识别结果和所述第二识别结果确定当前姿态所对应的运动意图类别并输出。

42、本技术公开的实施例提供的技术方案具有以下有益效果:

43、本技术提供的基于深度学习的运动姿态智能识别系统及方法中,首先,连续多帧姿态图数据的获取为后续分析提供了完整的动态上下文,打破了单帧孤立识别的局限;进而,在人体关键点检测基础上构建含空间关联关系的姿态知识图谱,将肢体骨架显式建模为图谱快照序列,既保留了关节间的几何约束和协同运动模式,又为时序演化提供了结构化的图数据基础。在此基础上,抽取历史快照形成行为模式集合并提取当前语义向量,使得历史时序信息与当前姿态特征得以联合表征,充分捕捉运动过程中的变化规律。随后,采用历史模式匹配与深度特征编码网络双路径并行预测,前者利用先验知识库的确定性匹配优势,后者借助深度学习对复杂非线性映射的强拟合能力,二者相互校验、互补增强,显著提升了系统在遮挡、噪声等挑战下的鲁棒性。最终,融合第一、第二识别结果综合判定运动意图类别,有效抑制了单一途径的误判风险,进一步提高了分类的准确性与可靠性。采用本技术方案,可融合空间拓扑结构与时间序列关系对运动姿态进行智能识别成为业界。