基于深度学习算法的运动姿态校正追踪系统的制作方法

1.本发明属于姿态识别领域，涉及基于深度学习算法的运动姿态校正追踪技术，具体是基于深度学习算法的运动姿态校正追踪系统。


背景技术：

2.随着人机交互技术的飞速发展，人体姿态识别越来越受到重视，也会广泛应用于各种智能家电中，如搭配穿戴设备的智能健身系统，可通过穿戴设备采集用户的运动数据，基于运动数据对用户的运动姿态进行识别和校正。
3.现有技术(公开号为cn110942006a的发明专利申请)公开了一种运动姿态识别方法、运动姿态识别装置、终端设备及介质，通过训练好的双流长短时视频姿态估计模型，对目标时段包含运动体的待识别视频图像进行运动姿态识别，通过模型对待识别视频图像进行特征提取目标预估姿态信息，结合预设参考姿态信息来评估目标预估姿态信息是否正常，提高了对运动体的运动姿态识别效率。现有技术在计算目标预估姿态信息和预设参考姿态信息之间的欧氏距离时，在没有参考点的情况下需要进行大量计算才可实现运动姿态的评估，且无法根据运动姿态识别结果提供校正建议，导致无法高效识别和校正运动姿态；因此，亟须一种基于深度学习算法的运动姿态校正追踪系统。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了基于深度学习算法的运动姿态校正追踪系统，用于解决现有技术在运动姿态识别中需要进行大量计算，且无法根据运动姿态识别结果提供校正建议，导致无法高效识别和校正运动姿态的技术问题。
5.为实现上述目的，本发明的第一方面提供了基于深度学习算法的运动姿态校正追踪系统，包括姿态识别模块，以及与之相连接的若干图像采集设备；若干图像采集设备用于采集运动体的视频图像；
6.通过若干图像采集设备多角度采集运动体的视频图像，将视频图像通过姿态识别模块输入至姿态识别模型；其中，姿态识别模型基于人工智能模型构建；
7.通过姿态识别模型提取视频图像中的运动相关特征，对若干运动相关特征进行匹配整合获取综合姿态；其中，匹配过程以视频图像的采集时刻为基准；
8.基于视频图像确定若干主点和若干辅点，基于主点匹配对齐综合姿态和参考姿态，之后计算综合姿态和参考姿态中对应辅点之间的欧式距离；
9.基于欧式距离判断综合姿态是否需要校正；是，则基于若干欧式距离建立欧式曲线，根据欧式曲线提供校正建议；否，则持续对视频图像进行分析识别。
10.优选的，所述姿态识别模块与若干所述图像采集设备通信和/或电气连接；其中，图像采集设备具体为摄像头；
11.若干所述图像采集设备设置在运动体运动区域的至少两侧；其中，图像采集设备
的位置用于保证采集视频图像中运动姿态的立体完整性。
12.优选的，将所述视频图像输入至训练好的姿态识别模型，包括：
13.提取所述视频图像的rgb图像集合和运动光流图像集合；
14.将rgb图像集合和运动光流图像集合输入至训练好的姿态识别模型；其中，姿态识别模型包括双流3d卷积神经网络。
15.优选的，通过所述姿态识别模型提取视频图像的运动相关特征，对运动相关特征进行匹配整合获取综合姿态，包括：
16.所述姿态识别模型基于rgb图像集合和运动光流图像集合获取运动体的外观特征和运动特征；
17.将所述外观特征和运动特征进行特征拼接，获取运动体的所述综合姿态。
18.优选的，所述姿态识别模块基于视频图像确定主点和辅点，包括：
19.识别所述视频图像中运动体运动时的支撑部位，在支撑部位上确定至少两个点作为主点；其中，支撑部位根据运动类型灵活确定；
20.从所述视频图像中提取运动体运动时的运动部位，在运动部位上确定至少一个点作为辅点；其中，运动部位根据运动类型灵活确定。
21.优选的，在确定主点之后，所述姿态识别模块提取运动体对应的参考姿态，对综合姿态和参考姿态进行匹配对齐，包括：
22.确定主点在综合姿态中的对应位置，并作第一标记；以及对比确定主点在参考姿态中的对应位置，并作第二标记；
23.对第一标记和第二标记进行对齐，实现综合姿态和参考姿态的匹配对齐。
24.优选的，在综合姿态和参考姿态匹配对齐之后，所述姿态识别模块计算对应辅点之间的欧式距离，并根据欧式距离判断是否需要校正综合姿态，包括：
25.将辅点标记为i，将对应辅点间的欧式距离标记为oji；其中，i为正整数；
26.通过公式ojz＝(oj1 oj2
…
oji)/i获取欧式距离的平均值ojz；当ojz≥ojy时，则建立欧式曲线；否则，持续对视频图像进行分析识别；其中，ojy为根据经验设定的欧式距离平均值的阈值。
27.优选的，所述姿态识别模块基于欧式距离建立欧式曲线，根据欧式曲线提供校正建议，包括：
28.沿着辅点对应运动部位的一个方向对欧式距离进行标记，将标记作为自变量，将对应的欧式距离标记为因变量，建立欧式曲线；
29.将欧式曲线中欧式距离最大的辅点作为校正点，以参考姿态作为标准对校正点进行调整，根据调整结果给出校正建议。
30.与现有技术相比，本发明的有益效果是：
31.1.本发明通过视频图像确定主点和辅点；根据主点对齐综合姿态和参考姿态，之后通过计算对应辅点之间的欧式距离，以及各欧式距离的平均值来判定综合姿态相对于参考姿态的偏离程度。本发明计算若干辅点对应的欧式距离，降低了数据计算量，提高了运动姿态识别效率。
32.2.本发明对若干辅点进行标记，结合对应的欧式距离构建欧式曲线；根据欧式曲线的突变情况或者欧式距离的大小确定校正点，对校正点的欧式距离进行调整模拟，根据
模拟结果给出校正建议。本发明能够根据综合姿态识别结果给出校正建议，满足姿态校正需求。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明的工作步骤示意图。
具体实施方式
35.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
36.请参阅图1，本发明第一方面实施例提供了基于深度学习算法的运动姿态校正追踪系统，包括姿态识别模块，以及与之相连接的若干图像采集设备；若干图像采集设备用于采集运动体的视频图像；通过若干图像采集设备多角度采集运动体的视频图像，将视频图像通过姿态识别模块输入至姿态识别模型；通过姿态识别模型提取视频图像中的运动相关特征，对若干运动相关特征进行匹配整合获取综合姿态；基于视频图像确定若干主点和若干辅点，基于主点匹配对齐综合姿态和参考姿态，之后计算综合姿态和参考姿态中对应辅点之间的欧式距离；基于欧式距离判断综合姿态是否需要校正；是，则基于若干欧式距离建立欧式曲线，根据欧式曲线提供校正建议；否，则持续对视频图像进行分析识别。
37.本发明中姿态识别模块与若干图像采集设备通信和/或电气连接；若干图像采集设备设置在运动体运动区域的至少两侧；其中，图像采集设备的位置用于保证采集视频图像中运动姿态的立体完整性。
38.本发明中姿态识别模块相当于综合服务器，主要用于进行数据处理，与多组图像采集设备进行数据交互，也就说姿态识别模块可针对多个运动体进行姿态识别。每组至少包括两个图像采集设备，用于采集运动体运动过程中的视频图像。需要说明的是，本发明的运动体包括人、动物、机械人等。
39.每组图像采集设备的目的是为了获取运动体的多角度视频图像，从多角度视频图像中提取立体完整的运动姿态，因此每组图像采集设备至少包括两个摄像头，如一个设置在运动体左侧，另外一个设置在运动体后侧，或者一个设置在运动体左侧，另外一个设置在运动体前侧。
40.在一个优选的实施例中，将视频图像输入至训练好的姿态识别模型，包括：提取视频图像的rgb图像集合和运动光流图像集合；将rgb图像集合和运动光流图像集合输入至训练好的姿态识别模型；其中，姿态识别模型基于双流3d卷积神经网络训练获取。
41.本发明中除了视频图像的采集过程，均通过姿态识别模块实现，如基于双流3d卷积神经网络构建姿态识别模型，通过姿态识别模块分析视频图像，以及对比综合姿态和参
考姿态。
42.通过姿态识别模型提取视频图像的运动相关特征，对运动相关特征进行匹配整合获取综合姿态，包括：姿态识别模型基于rgb图像集合和运动光流图像集合获取运动体的外观特征和运动特征；将外观特征和运动特征进行特征拼接，获取运动体的综合姿态。
43.在本实施例中，将通过图像采集设备获取的视频图像输入至姿态识别模型中，即可根据输出结果获取运动体的综合姿态，在综合姿态中包括外观特征和运动特征，外观特征可以理解为运动体的外观、形状、轮廓等，运动特征可以理解为运动体的运动信息。关于如何训练使用姿态识别模型可参考公开号为cn110942006a的发明专利申请，其公开了一种运动姿态识别方法、运动姿态识别装置、终端设备及介质，通过训练好的双流长短时视频姿态估计模型，对目标时段包含运动体的待识别视频图像进行运动姿态识别，通过训练好的双流长短时视频姿态估计模型中的双流3d卷积神经网络对待识别视频图像进行运动体综合特征提取，再通过递归神经网络基于第一时段内运动体的第一姿态预估信息与运动体综合特征，得到运动体在目标时段内的目标预估姿态信息，令得到的运动体在目标时段内的目标预估姿态信息表征的预估姿态具有时序连贯性，使得出的预估姿态与预设参考姿态之间的欧几里得距离更加准确，提高了对运动体的运动姿态识别效率。
44.在一个优选的实施例中，姿态识别模块基于视频图像确定主点和辅点，包括：识别视频图像中运动体运动时的支撑部位，在支撑部位上确定至少两个点作为主点；从视频图像中提取运动体运动时的运动部位，在运动部位上确定至少一个点作为辅点。
45.在获取综合姿态之后，需要将综合姿态和参考姿态进行比较来判断综合姿态是否异常，以及是否需要校正。为了更好地比较综合姿态和参考姿态，本实施例通过设置主点来对二者进行对齐。需要说明的是，本实施例中的参考姿态是结合运动体自身条件在理想条件下模拟出的综合姿态，参考姿态作为评估综合姿态是否合格的标准。
46.从运动体运动时支撑部位上选择主点，若仅评估运动体二维平面上的综合姿态，则在支撑部位上选择两个不重合的点作为主点即可，而若评估运动体三维平面上的综合姿态，则需要在支撑部位上选择至少三个不重合的点作为主点。
47.本实施例中的支撑部位和运动部位均是根据运动类型灵活确定，如做引体向上时，则手部可以作为支撑部位，手肘可作为运动部位；如做俯卧撑时，手部可以作为支撑部位，腰部可作为运动部位。
48.确定主点之后，即可根据主点在综合姿态和参考姿态中定位。在一个可选的实施例中，姿态识别模块提取运动体对应的参考姿态，对综合姿态和参考姿态进行匹配对齐，包括：确定主点在综合姿态中的对应位置，并作第一标记；以及对比确定主点在参考姿态中的对应位置，并作第二标记；对第一标记和第二标记进行对齐，实现综合姿态和参考姿态的匹配对齐。
49.举例说明本实施例：在用户作引体向上时，在两个手腕中心线上各选一点作为主点，同时根据这个原则在参考姿态和综合姿态上定位这两个点，将这两个点重合则完成参考姿态和综合姿态的对齐。
50.在一个优选的实施例中，在综合姿态和参考姿态匹配对齐之后，姿态识别模块计算对应辅点之间的欧式距离，并根据欧式距离判断是否需要校正综合姿态，包括：将辅点标记为i，将对应辅点间的欧式距离标记为oji；其中，i为正整数；通过公式ojz＝(oj1 oj2
…
oji)/i获取欧式距离的平均值ojz；当ojz≥ojy时，则建立欧式曲线；否则，持续对视频图像进行分析识别。
51.沿用上述引体向上举例说明本实施例：在做引体向上时，选择肘关节处为辅点，则可以计算处两个欧式距离，当两个欧式距离的均值小于设定的阈值时，则判定运动体的综合姿态正常，持续进行识别分析即可；否则，判定综合姿态异常。
52.在一个可选的实施例中，姿态识别模块基于欧式距离建立欧式曲线，根据欧式曲线提供校正建议，包括：沿着辅点对应运动部位的一个方向对欧式距离进行标记，将标记作为自变量，将对应的欧式距离标记为因变量，建立欧式曲线；将欧式曲线中欧式距离最大的辅点作为校正点，以参考姿态作为标准对校正点进行调整，根据调整结果给出校正建议。
53.沿用上述引体向上举例说明本实施例：作引体向上过程中，沿着手臂方向选择若干个辅点，从主点位置开始，依次对辅点进行标记，结合参考姿态可以获取若干组欧式距离，也就可以建立欧式曲线。在欧式曲线建立之后，判断是否存在突变(可以引入一阶导函数)，将突变的辅点或者欧式距离最大的辅点作为校正点，不断调整校正点出的欧式距离，同步模拟其他辅点的变化，进而形成校正建议。需要理解的是，某一校正点不适合调整之后，应重新确立校正点，或者可以多个校正点同步进行调整模拟。
54.上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。
55.本发明的工作原理：
56.通过若干图像采集设备多角度采集运动体的视频图像，通过姿态识别模型提取视频图像中的运动相关特征，对若干运动相关特征匹配整合获取综合姿态。
57.基于视频图像确定若干主点和若干辅点，基于主点匹配对齐综合姿态和参考姿态，之后计算综合姿态和参考姿态中对应辅点之间的欧式距离。
58.基于欧式距离判断综合姿态是否需要校正；是，则基于若干欧式距离建立欧式曲线，根据欧式曲线提供校正建议；否，则持续对视频图像进行分析识别。
59.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。