基于人体骨骼点检测的多人运动检测方法及装置与流程

1.本发明涉及一种基于人体骨骼点检测的多人运动检测方法，同时也涉及相应的多人运动检测装置，属于计算机视觉技术领域。


背景技术：

2.目前，中小学进行跳绳考试，往往是将一组学生分为两组，其中一组中的多人同时进行跳绳，另外一组中的多人进行跳绳动作计数。这种方式虽然简便易行，但误差较大，容易产生不必要的争议。现有技术中，可以使用带有机械结构或电子传感器的跳绳计数手柄或者具有触压开关式的地毯实现智能计数，但这种智能计数方式需要购买大量具有此类功能的跳绳器材，投入成本高，如果使用不当，容易损坏。还有一种方法是使用可穿戴腕式的智能设备，如智能手环、智能手表等，利用这些智能设备中的运动传感器判断计数。但是，这些智能设备无法准确判断晃动胳膊、踮脚等假动作，仍然存在计数不够准确等问题。因此，现有的智能计数方式不适用于中小学生的跳绳考试。
3.在专利号为zl 202010887939.x的中国发明专利中，公开了一种基于多目标跟踪的跳绳计数方法，包括如下步骤：1)获取跳绳动作的原始视频数据，从原始视频数据中提取出图像数据；2)对图像数据进行单帧处理，得到一组顺序排列的单帧图像；3)获取所有人脸目标的初始位置和尺寸信息；4)对每一帧图像中每一个人脸目标分别进行跟踪，同时在同一帧图像上显示所有人脸目标的跟踪结果；5)判断识别单帧图像中的跳绳人员与非跳绳人员；6)对单帧图像中的所有跳绳人员进行跳绳计数；7)结果输出与显示。通过识别并跟踪人脸所在的高度位置变化来达到识别跳绳与非跳绳人员，并判断多个跳绳人员的跳绳次数，不仅准确、不需要人工计数，而且视频可以回塑，具有很高的应用价值。但是，该跳绳计数方法要求原地跳绳，不能做前后左右水平移动。同时，该方法无法有效判断踩绳、没跳过去等无效动作。


技术实现要素：

4.本发明所要解决的首要技术问题在于提供一种基于人体骨骼点检测的多人运动检测方法。
5.本发明所要解决的另一技术问题在于提供一种基于人体骨骼点检测的多人运动检测装置。
6.为了实现上述目的，本发明采用以下的技术方案：
7.根据本发明实施例的第一方面，提供一种基于人体骨骼点检测的多人运动检测方法，包括以下步骤：
8.s100：发出开始信号，同时启动录像和倒计时；
9.s200：提取时间序列的动作图像，计算人体骨骼关键点的置信度和亲和度，绘制人体骨骼关键点连接图；
10.s300：计算关键骨骼点的时空域特征，通过动作分类和运动追踪来识别有效动作；
11.s400：基于动作分类结果对人体的动作进行计数；
12.s500：发出结束信号，停止录像，计数结束；
13.s600：返回计数结果。
14.其中较优地，所述步骤s200包括以下子步骤：
15.s201：获取多人运动的原始视频；
16.s202：从原始视频中提取基于时间序列的动作图像进行人体关键骨骼点检测；
17.s203：利用openpose模型对动作图像进行检测，获得至少一个人体关键骨骼点的点位图，采集所获取的人体骨骼关键点的参数；
18.s204：根据步骤s203获得的人体骨骼关键点参数，分别计算每个骨骼关键点的置信度和亲和度，计算人体骨骼关键点连接权重并绘制人体骨骼关键点连接图；
19.s205：根据s204中的人体骨骼关键点的连接关系，绘制每个人体的骨骼关键点连接图。
20.其中较优地，所述步骤s300包括以下子步骤：
21.s301：计算关键骨骼点的时空域特征；
22.s302：建立人体骨骼关键点的数据集；
23.s303：搭建堆叠模型并训练；
24.s304：利用所述堆叠模型进行动作分类；
25.s305：根据动作的连贯性来识别有效的跳绳动作。
26.其中较优地，通过匈牙利算法计算人体骨骼关键点连接权重，并绘制人体骨骼关键点连接图。
27.其中较优地，在步骤s203中，获得16个人体关键骨骼点的点位图。
28.其中较优地，在步骤s203中，获得的16个人体关键骨骼点包括头、颈、左肩、左肘、左手腕、右肩、右肘、右手腕、脊柱、臀部中心点、右臀、左臀、右膝、左膝、右踝、左踝。
29.其中较优地，对步骤s203中获取的骨骼关键点参数，进行归一化计算。
30.其中较优地，基于归一化后的参数，计算关键骨骼点的时空域特征。
31.根据本发明实施例的第二方面，提供一种基于人体骨骼点检测的多人运动检测装置，包括处理器、存储器、显示屏和扬声器，
32.其中，所述存储器保存有用于执行前述的基于人体骨骼点检测的多人运动检测方法的计算机程序；
33.所述处理器调用所述计算机程序以实现基于人体骨骼点检测的多人运动检测方法；
34.所述显示屏提供人机交互界面。
35.其中较优地，所述多人运动检测装置是智能手机、平板电脑或个人电脑。
36.与现有技术相比较，本发明具有以下技术效果：
37.(1)基于人体骨骼点检测技术，分析跳绳过程中人体骨骼关键点的时间域与空间域的变化特征，通过动作分类和运动追踪来识别有效跳绳动作，能够提高跳绳计数的准确性。
38.(2)采用多个人体骨骼关键点进行匈牙利算法绘制人体骨骼关键点连接图，有利于区分多人运动中的人体骨骼关键点重叠，提高识别多人运动的准确性。
39.(3)通过计算机视觉的方法来进行跳绳计数，可以降低成本；还可以提高考试效率，实现多人同时计数。
附图说明
40.图1为本发明实施例中，基于人体骨骼点检测的多人运动检测装置的结构示意图；
41.图2为本发明实施例中，基于人体骨骼点检测的多人运动检测方法的流程图；
42.图3为本发明实施例中，绘制骨骼关键点连线图的流程图；
43.图4为本发明实施例中，骨骼关键点连线图的示意图；
44.图5为本发明实施例中，动作识别的流程图；
45.图6为本发明实施例中，训练集与测试集的训练结果图；
46.图7为本发明实施例中，跳绳动作的识别示意图；
47.图8为本发明实施例中，运动中的骨骼关键点的连线示意图；
48.图9为图8中虚线圈所示的骨骼关键点的坐标及角度示意图
49.图10为本发明实施例中，动作识别准确率的示意图。
具体实施方式
50.下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
51.本发明实施例提供的基于骨骼关键点检测的多人运动计数方法，特别适于同时对多人的运动进行计数的场景。为方便理解，以下仅以对同人同时跳绳进行计数为例进行说明。但是，本领域普通技术人员可以理解，本发明提供的基于骨骼关键点检测的多人运动计数方法，也可以用于对其他运动的计数或检测，例如，对多个踢正步的动作进行检测以分析其动作的规范性，或者多人进行游泳的动作检测和分析等。
52.图1为本发明实施例提供的骨骼关键点检测的多人运动计数装置。该装置可以是智能手机、平板电脑或个人电脑等具备图像处理功能的设备，也可以是专用电子设备。该装置包括处理器、存储器、显示屏和扬声器。其中，存储器保存有用于执行骨骼关键点检测的多人运动计数方法的计算机程序，由处理器调用。显示屏提供人机交互界面，能够实现开始、设置、结束、成绩查询、数据导出等功能；扬声器用于发出开始运动或结束运动等指示。
53.如图2所示，本发明实施例公开了一种基于人体骨骼点检测的多人运动检测方法，包括以下步骤：
54.s100：发出开始信号，同时启动录像和倒计时。
55.具体地，跳绳考试开始时，教师在终端设备的显示屏上点击开始按钮，终端设备接收到开始信号后发出开始的语音信号，计时器启动1分钟倒计时程序，摄像头开始录制跳绳视频，计数器开始统计跳绳个数，同时学生在听到语音信号后开始跳绳。
56.具体地，由于跳绳考试是考核1分钟内学生的跳绳个数，则在开始之前，终端设备的计数器处于清零状态，即学生的跳绳计数是从零开始。如果在开始接受到语音信号时，跳绳计数信号所表示的跳绳个数大于1，表明该学生抢跳了。
57.具体地，在考试之前，教师需测试终端设备是否处于正常状态，如：当前计数是否为零，设备电源是否充足，摄像头是否可用，倒计时功能是否可用等。
58.s200：提取时间序列的动作图像，计算人体骨骼关键点的置信度和亲和度，绘制人
体骨骼关键点连接图。该步骤可以区分出每个学生的关键骨骼点，实现多人、同时跳绳计数。
59.如图3所示，步骤s200具体包括子步骤s201～s205：
60.s201：获取多人运动的原始视频。
61.具体地，学生按照学号依次面向教师站立，教师用智能手机等终端设备的摄像头对学生跳绳过程录制所获得的视频流即为原始视频。
62.s202：从原始视频中提取基于时间序列的动作图像进行人体关键骨骼点检测。
63.其中，抽取的动作图像可以是视频流中每一帧的动作图像或者每n帧抽取一帧的动作图像，具体可以根据实时性要求以及系统处理能力来确定。
64.s203：利用openpose模型对动作图像进行检测，获得至少一个人体关键骨骼点的点位图，采集所获取的人体骨骼关键点的参数。
65.具体地，openpose模型可以实现单人或多人的人体动作等姿态估计，它是先将图像中所有的关键点检测出来，再进行关键点聚类，形成多个人体骨骼图，每一个人体骨骼图对应一个人体，不同的人体骨骼图对应到不同的人物个体。其中，人体骨骼关键点主要包括：头、颈、左肩、左肘、左手腕、右肩、右肘、右手腕、脊柱、臀部中心点、右臀、左臀、右膝、左膝、右踝、左踝等16个骨骼关键点。如图4所示，本发明实施例中形成的人体骨骼图为大致t形，
66.将s202中获得的动作图像输入openpose模型,即可提取图像中跳绳者的人体框和人体骨骼的关键点坐标参数。以图片左上角为坐标原点，向右为x轴，向下为(参考图9)。人体关键骨骼点到x轴的距离为纵坐标，到y轴的距离为横坐标。这样能够在各帧获得人体骨骼关键点的坐标值。
67.在用人体骨骼关键点参数进行计算前，先对获得的参数进行检测，如果发现异常点，可以结合前一帧和后一帧的对应骨骼关键点进行插值计算，并用插值计算结果替换异常点；如果发现骨骼关键点缺失，可以利用前一帧的对应骨骼关键点进行补充。
68.s204：根据步骤s203获得的人体骨骼关键点参数，分别计算每个骨骼关键点的置信度和亲和度，计算人体骨骼关键点连接权重并绘制人体骨骼关键点连接图。
69.具体地，骨骼关键点的置信度表示在图像中特定区域的像素点为人体骨骼关键点的概率，其表达式为：
[0070][0071]
其中，x
j,k
表示训练图片数据集中第k个人的第j种骨骼关键点，p为像素点所在坐标。置信度s服从正态分布，多个人体参与计算时取多个正态分布中的最大值作为骨骼关键点的峰值。
[0072]
具体地，骨骼关键点的亲和度表示图像中特定区域像素点在人体中的方向，其表达式为：
[0073]
[0074]
其中，d
j1
、d
j2
为骨骼关键点，lc表示d
j1
、d
j2
之间的距离。e为骨骼关键点连线上的投影长度，数值越大，骨骼关键点连接有效性越高，亲和度越大。所以求得的亲和度可以作为关键点连接有效性的权重，用来评估连接有效的可靠程度。
[0075]
采用匈牙利算法将上述关键点连接权重进行最优匹配，可以确定骨骼关键点的归属，即两个关键点是否为连接关系，其表达式为：
[0076][0077][0078][0079][0080]
其中，表示j类关键点的第m个关键点，e
mn
表示第m个关键点和第n个关键点的连接权重，表示第m个关键点和第n个关键点是否连接，取值1为连接，取值0为不连接。
[0081]
s205：根据s204中通过匈牙利算法确定的骨骼关键点的连接关系，绘制每个学生的骨骼关键点连接图。
[0082]
如图4所示，该步骤通过提取人体骨骼关键点并且将不同个体的骨骼关键点连接，可以准确区分出每个学生的关键骨骼点，达到识别多人同时跳绳的姿态分析的功能。如图4所示，左侧两人的手臂有重叠，但是因为采用16个骨骼关键点形成的t形(或者说是十字形)的人体骨骼关键点连接图，就可以正确区分出不同人的关键骨骼点。与仅用手腕、手臂、脚踝等少量人体骨骼关键点来跟踪人员相比，采用匈牙利算法绘制16个骨骼关键点的连接图，可以更准确区分多个人员之间的重叠，更适于同时监测多个人员的运动。
[0083]
s300：计算关键骨骼点的时空域特征，通过动作分类和运动追踪来识别有效跳绳动作。
[0084]
如图5所示，具体包括子步骤s301～s305：
[0085]
s301：计算关键骨骼点的时空域特征。
[0086]
具体地，时空域特征计算的原始数据来自于步骤s203中所获取的骨骼关键点参数。但是在采集数据之前，需建立归一化机制，减少身高、体重等差异对计数结果的影响。
[0087]
因为人体骨骼段长短与身高有关，所以骨骼关键点提取时需要考虑身高的差异。为此，对步骤s203中所获取的骨骼关键点参数进行归一化计算，以消除身高对人体骨骼关键点提取的影响，其计算公式为：
[0088][0089]
其中，h为头部到脊柱的绝对长度，为时空域特征，得到最终的动作空间位置特征为
[0090]
基于归一化后的参数，计算人体关键骨骼点的时空域特征。时空域特征主要包括时间域特征和空间域特征。时间域特征是指人体骨骼关键点在当前帧和前一帧的相对运动，以及相对于前一帧其它点的位置变化。空间域特征包括人体骨骼的空间位置差特征、空间角度特征、关节夹角特征三个指标。将时空域特征连结作为初步提取的动作序列特征f
p
。
[0091]
在进行数据计算和分析之前，可以运用主成分分析法(pca)对上述四种特征所获取的动作序列特征f
p
进行降维处理，即用其中最重要的几个坐标轴上的投影所取得的低维数据来替代原始数据，既可以很好地概括原始数据，又可以减少计算的复杂性。
[0092]
具体地，人体骨骼的空间运动特征主要是指每一帧相对于前一帧的骨骼关键点的变化，计算每一帧的16个骨骼关键点与前一帧的16个关骨骼关键点的运动特征向量差，其计算公式为：
[0093][0094]
其中，为当前帧骨骼关键点运动特征向量，为前一帧骨骼关键点运动特征向量。公式(5)利用运动特征向量差来描述时间域内人体骨骼关键点的空间运动特征。
[0095]
具体地，人体骨骼关键点的空间位置差特征主要描述的是同一帧图像中人体各个部位在空间所处位置发生的变化，其计算方法为：以臀部中心点为中心原点，分别计算其它15个骨骼关键点的三个坐标轴15个骨骼关键点的三个坐标轴与髋中心点坐标的差值连接成当前帧的位置特征向量一个动作可以表示成所有图像的位置特征向量的连结，即f＝[f1,f2,...,fm]，m表示动作中图像的帧数。每一帧图像获得15*3＝45维位置特征向量。
[0096][0097][0098][0099][0100]
可见，公式(6)利用多维位置特征向量变化来描述时间域内人体骨骼关键点的空间位置差特征。
[0101]
具体地，结合图8和图9，人体骨骼关键点的空间角度特征主要描述的是同一帧图像中人体两个关键点之间的三维空间角度，其计算方法为：在单帧动作图像计算指定的两个骨骼关键点之间的三维空间角度。本发明主要计算左肩-左肘、左肘-左手腕、右肩-右肘、右肘-右手腕、左臀-左膝、左膝-左踝、右臀-右膝、右膝-右踝8组骨骼关键点的空间角度特征，以连接左臀到右臀的直线为x轴，躯干为y轴，计算8组骨骼关键点的方向角α和仰角β。其中，在以x轴-y轴为坐标的坐标平面中，方向角α为两个骨骼关键点连线与x轴的夹角；仰角β为两个骨骼关键点连线与y轴的夹角；夹角θ为相邻的两个骨骼关键点连线之间的夹角。每组骨骼关键点的空间角度an＝(an,βn)，第i帧中，所有骨骼关键点的空间角度特征为：
[0102][0103][0104]
具体地，人体骨骼关键点的关节夹角特征是指同一帧图像中相邻两段骨骼的夹角，本发明主要计算左肩关节、右肩关节、左肘关节、右肘关节、左膝关节、右膝关节、左踝关
节、右踝关节等6个人体关节的夹角，其计算公式为：
[0105][0106]
骨骼关键点p
1i
的空间坐标为骨骼关键点的空间坐标为骨骼关键点的空间坐标为的空间坐标为表示骨骼关键点p
1i
和骨骼关键点的空间向量，的空间向量，表示骨骼关键点和骨骼关键点的空间向量。在第i帧中，得到的骨骼空间角度为：
[0107]
通过空间域特征的计算，不仅可以实现人体关键骨骼点的运动追踪，还能够通过人体关键骨骼点连线图，有效区分人体关键骨骼点重叠情况，准确识别跳绳动作，精确计数。
[0108]
s302：建立人体骨骼关键点的数据集。
[0109]
动作识别数据集来自于实时收集不同动作类型，随机选取多名身高、体型不同的学生，按照多姿态、多数量、多角度的标准，采集跳绳动作的图像数据，将图像数据划分位训练集和测试集。
[0110]
具体实施时，可以随机选取60名身高、体型不同的小学生，按照多姿态、多数量、多角度的标准，采集6000张跳绳动作的图像数据，准备的数据有692条，站立的数据有524条，起跳的数据有1649条，腾空的数据有1632条，落地的数据有1503条，同时将每类图像数据的70％划分为训练集，剩下的30％作为测试集。
[0111]
s303：搭建堆叠模型并训练。
[0112]
具体地，用compile方法搭建堆叠模型，用反向传播对数据进行训练，完成参数调优，然后采用混淆矩阵来评估该模型对动作识别的准确率。
[0113]
如图6所示，训练集与验证集的损失逐渐趋近于0，而精确度逐渐接近于1，并且训练集与验证集的曲线很接近，说明本发明采用的堆叠模型训练效果很好。
[0114]
s304：动作分类。
[0115]
根据人体骨骼点的时空域特征将完整的跳绳动作划分为预备、站立、起跳、落地、腾空等5种动作，如图7所示。
[0116]
其中，预备的动作是在一段连续的动作数据中，手臂往前伸，左手、右手伸直且与身体垂直，双腿并拢站立。
[0117]
其中，起跳的动作是在一段连续的动作数据中，左肩-左肘、左肘-左手腕、右肩-右肘、右肘-右手腕的方向角α和仰角β发生较大变化，达到预设的阈值；左肩-左肘、右肩-右肘的夹角θ呈锐角，左臀-左膝、左膝-左踝的夹角θ由180
°
变为锐角，右臀-右膝、右膝-右踝夹角θ由直角变为锐角。
[0118]
其中，腾空的动作是在一段连续的动作数据中，左肘-左手腕、右肘-右手腕的方向角α和仰角β发生较大变化，达到预设的阈值；左肘-左手腕、右肘-右手腕夹角θ的角度变大，左臀-左膝、右臀-右膝夹角θ由锐角变成180
°
，左膝-左踝、右膝-右踝夹角θ由锐角变为钝
角。与前一帧相比，左手腕、右手腕向下移动，其余人体骨骼关键点向上到最高。
[0119]
其中，落地的动作是在一段连续的动作数据中，左肘-左手腕、右肘-右手腕的方向角α和仰角β发生较大变化，达到预设的阈值；右膝-右踝、左膝-左踝的夹角由钝角变为直角。与前一帧相比，人体骨骼关键点下降到最低。
[0120]
其中，站立的动作是在一段连续的动作数据中，人体关键骨骼点下降到最低，双脚自然站立。
[0121]
如图7所示，为了区分不同肢体的关键点检测结果，相同肢体部分用相同颜色标出，不同部分用不同颜色标出。
[0122]
如图8所示，经验证，采用本发明的方案，通过s303搭建并训练的堆叠模型识别五种动作的识别准确率均达到95％以上，已符合实际使用的需求。
[0123]
s305：根据动作的连贯性来识别有效动作。
[0124]
具体地，若识别到预备动作，则准备计数。若连续识别到起跳-腾空-落地的循环动作，则目标关联人员的跳绳次数加1；否则，计数不变。当计时器到1分钟时，倒计时结束，跳绳计数停止。
[0125]
具体地，在计数环节以人体骨骼关键点连线图为计数单位。
[0126]
具体地，所述计数条件包括在当前视频帧与上次计数成功的帧之间有一个完整的跳绳周期。
[0127]
s400：发出结束信号，停止录像，计数结束。
[0128]
具体地，当计时器到1分钟时，倒计时结束，终端设备自动生成结束信号，基于所述结束信号发出停止语音信号，摄像头停止拍摄视频，计数器停止计数。同时，学生在听到结束语音信号后停止跳绳。
[0129]
s500：返回计数结果。
[0130]
完成计数后，在终端设备的显示屏上展示每个学生跳绳数量。
[0131]
综上所述，本发明实施例提供的基于骨骼关键点检测的多人同时跳绳考试计数方法，通过运动追踪人体目标的多个人体骨骼关键点的运动规律，实现自动、精准地对多名学生同时跳绳进行计数，该方法主要通过用户在终端设备发起跳绳考试开始的信号，终端设备开始拍摄跳绳视频、计时，学生开始跳绳；然后从原始视频中提取基于时间序列的动作图像，绘制学生的骨骼关键点连接图；再通过提取关键骨骼点的时空域特征，通过运动追踪有效跳绳动作；最后基于跳绳动作识别结果对目标关联人员的跳绳动作进行计数。
[0132]
前已述及，本发明实施例还提供一种基于人体骨骼点检测的多人运动检测装置，包括处理器、存储器、显示屏和扬声器。其中，所述存储器保存有用于执行上述基于人体骨骼点检测的多人运动检测方法的计算机程序；所述处理器调用所述计算机程序以实现基于人体骨骼点检测的多人运动检测方法；所述显示屏提供人机交互界面。
[0133]
与现有技术相比较，本发明具有以下优点：
[0134]
(1)基于人体骨骼点检测技术，分析运动过程中人体骨骼关键点的时间域与空间域的变化特征，通过动作分类和运动追踪来识别有效动作，能够提高对运动计数的准确性；
[0135]
(2)采用多个人体骨骼关键点进行匈牙利算法绘制人体骨骼关键点连接图，有利于区分多人运动中的人体骨骼关键点重叠，提高识别多人运动的准确性；
[0136]
(3)通过计算机视觉的方法来进行跳绳计数，可以降低成本；还可以提高考试效
率，实现多人同时计数。
[0137]
上面对本发明所提供的基于人体骨骼点检测的多人运动检测方法及装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。