一种基于视频的健身运动分类与计数方法

1.本发明涉及计算机视觉术领域，特别涉及一种基于视频的健身运动分类与计数方法。


背景技术：

2.人们在健身和做运动时，往往需要量化运动量，将运动量转化为数据，能够助力全民科学健身，为全民健身提供科学指导。在统计运动量时，自动监控执行运动并识别与记录重复次数要比手动跟踪更加高效与方便。目前，通过手环等传感器来实现运动类型识别并进行计数的方法往往需要耗费大量的人力、物力。并且，通过该类传感器进行运动识别与计数又往往依赖于硬件条件，存在可视化效果差、计数不精准等问题，此外，该类传感器的方法大多只能完成计数功能，而无法进行运动识别。
3.例如：中国专利(专利申请号cn202111298269.9)公开了一种基于可穿戴设备的健身动作计数方法，该技术基于可穿戴设备来进行健身动作计数，所使用可穿戴设备具有惯性测量单元，通过所述惯性测量单元获取六轴数据并计算三个姿态角数据，选取一个姿态角,根据选取的姿态角的数据拟合正弦曲线，完成单个动作周期的拟合后，判断单个动作周期内拟合的正弦曲线的特征参数是否符合预设标准范围，若是，则健身动作计数加1；若否，则健身动作计数不变。该技术存在的缺点：1.其是基于穿戴设备进行的计数，使用便利性较差，且穿戴设备往往昂贵；2.实时性不佳，可视化效果差，计数精度依赖于传感器的灵敏性，导致计数精度不佳，且无法进行实时的可视化显示。
4.又如：中国专利(专利申请号cn201921540149.3)公开了一种健身用计数手套，其技术方案通过控制手套上的电路及三轴加速度传感器、控制按钮组件、显示屏、指示灯、蜂鸣器等硬件设备完成健身计数。该手套包括开关键、计数/复位键、菜单键、上调键、下调键，该计数手套采用按扣结构，方便安装与拆卸，可以在使用各种不同重量规格哑铃的时候计数，还可以在使用健身器械的时候计数，具有“一器多用”的功能,使用三轴加速度传感器进行检测，其灵敏度高，计数准确性高，可计数的运动方向不受限制。该技术存在的缺点：1.只能完成运动计数，却无法识别是哪种运动。2.一次只能对一种运动进行计数，对于一次做多种运动的情景，需要频繁按计数复位键，使用便利性差。3.手套价格昂贵，且穿戴便利性不佳。
5.综上所述，目前健身运动与分类计数方法均未能实现对运动的识别，无法从多个维度来科学合理为健身提供对应的指导。


技术实现要素：

6.本发明意在提供一种基于视频的健身运动分类与计数方法，解决了现有的健身运动与分类计数方法无法实现运动识别的问题。
7.为了达到上述目的，本发明的技术方案如下：一种基于视频的健身运动分类与计数方法，包括如下步骤：
8.s1、通过摄像头采集实时的运动视频流，利用mpii数据集训练人体姿态估计模型，得到视频流的每一帧的人体骨骼点信息，mpe轻量化人体姿态估计算法分为四个模块：conv模块、backbone模块、deconv模块、output模块；
9.s2、将步骤s1中提取的人体骨骼点信息处理为向量，基于knn算法，将人体骨骼点形成的向量输入到训练好的分类模型中，得到每一帧所属的运动分类结果；
10.s3、将步骤s2中每一帧所属的运动分类结果序列输入到计数算法中，通过绘制五种运动各自的计数曲线来完成计数，得到每种运动各自的计数结果。
11.技术方案的原理：通过采集运动实施视频流，将运动实时视频流输入后，从视频流中获取单帧图片，然后将单帧图片进行预处理，处理成为固定大小的图片，然后，将该图片输入到本文提出的mpe人体骨架提取模型中，得到人体关节点数据，接着，将人体关节点数据输入到运动分类网络中，实现单帧图片的运动分类，然后再将分类结果输入到计数算法中，计数算法将对该图片的分类结果进行计数逻辑处理。
12.进一步的，所述conv模块包含一个卷积层、一个标准化层和一个激活函数，用来提取输入帧图像的初步特征。
13.进一步的，所述backbone模块为使用1x1的卷积代替mobilenetv3中注意力机制模块的全连接层，将改进后的mobilenetv3网络作为特征提取网络，从输入数据提取特征。
14.进一步的，所述output模块通过卷积操作将通道数变为16，分别对应人体16个关节点的信息。
15.进一步的，主干网络进行初始化时，导入mobilenetv3预训练的网络模型参数，主干网络共包含尺度不一的bottleneck结构共15个，采用两个反卷积层进行上采样来扩大特征图的分辨率，此外，反卷积部分还将分离的上采样过程和卷积操作进行融合，最终使用一个卷积层将特征输出为64x64x16，16个通道分别对应16个关节点数据，使用mpii数据集进行训练，重复训练共140轮。
16.进一步的，在训练时，对mpii数据集进行图片大小的缩减，定制成为256x256的像素的图片大小。
17.进一步的，所述knn算法的输入参数为16个骨骼点位置向量，输出为单帧分类结果，其中每种运动选取两种阈值动作作为该运动的标志分类结果。
18.进一步的，步骤s3的所述计数方法包括如下步骤：
19.步骤一、计数标准制定：针对分类的五种运动，每种运动选择一种标志性动作作为基准，通过标志性动作上的分类置信度来制定计数标准，计数标准的进入条件和完成计数退出的条件为标志动作的置信度阈值，只有当分别达到进入阈值和退出阈值时，计数才加1，倘若由于动作不规范，只达到了进入阈值，而退出阈值未达到，则此次动作不计数；
20.步骤二、数据输入：基于knn模型得到的单帧分类结果，将分类结果转化为每一个动作选取的计数标志动作的置信度，用于输入到五种运动对应的计数器中；
21.步骤三、绘制曲线：基于五种运动对应的计数器，通过步骤二的数据输入来实时绘制标志动作的置信度曲线，从而完成五种运动的计数。
22.与现有技术相比，本方案的有益效果：
23.1、本方案基于计算机视觉技术，将动作识别技术与动作计数技术有效地结合起来，创新的提出了一种基于视频的健身分类与计数的实时算法。
24.2、本方案排除了现有方法对硬件的限制，利用计算机视觉方法训练出模型，将模型植入到手机软件或者网页即可完成实时健身分类与计数。弥补了使用传感器等硬件设备进行计数存在的可视化效果差、计数不精准、便利性不佳等问题。
25.3、本方案提出了一种可用于实时人体姿态估计提取的轻量化深度学习网络模型mpe，该模型的处理帧率可达到26fps，适用于在线实时等对模型速度要求较高的场景。
26.4、本方案提出的算法可用于运动主体一次做多种运动的场景，弥补了现有方法一次计数只能执行一种运动的缺点。
27.5、本方案提出的计数算法不仅可视化效果好，且能够根据使用者对于计数的严格程度自行设置计数标准，使用更灵活。
附图说明
28.图1是本实施例中mpe轻量化人体姿态估计算法的流程图；
29.图2是本实施例中mpe轻量化人体姿态估计算法的网络结构图；
30.图3是本实施例中深蹲计数曲线图；
31.图4是本实施例中开合跳计数曲线图。
具体实施方式
32.下面通过具体实施方式对本发明作进一步详细的说明：
33.实施例
34.如附图1所示：一种基于视频的健身运动分类与计数方法，包括如下步骤：
35.s1、通过摄像头采集实时的运动视频流，基于本方案提出的mpe轻量化人体姿态估计算法，利用mpii数据集训练人体姿态估计模型，得到视频流的每一帧的人体骨骼点信息。在训练时，对mpii数据集进行图片大小的缩减，定制成为256x256的像素的图片大小。
36.如图2所示，mpe轻量化人体姿态估计算法分为四个模块：conv模块、backbone模块、deconv模块、output模块，conv模块包含一个卷积层、一个标准化层和一个激活函数，用来提取输入帧图像的初步特征。backbone模块为使用1x1的卷积代替mobilenetv3中的backbone模块，将改进后的mobilenetv3网络作为特征提取网络，从输入数据提取特征。output模块通过卷积操作将通道数变为16，分别对应人体16个关节点的信息。
37.s2、将步骤s1中提取的人体骨骼点信息处理为向量，基于knn算法，利用本方案标注好的数据集训练运动分类模型，将人体骨骼点形成的向量输入到训练好的分类模型中，得到每一帧所属的运动分类结果。knn算法的输入参数为16个骨骼点位置向量，输出为单帧分类结果，其中每种运动选取两种阈值动作作为该运动的标志分类结果，例如深蹲可以分为蹲下和起立两类，所有运动的中间动作统一归为背景动作。
38.s3、将步骤s2中每一帧所属的运动分类结果序列输入到计数算法中。
39.通过绘制五种运动(即深蹲、开合跳、引体向上、俯卧撑、仰卧起坐等五种运动)各自的计数曲线来完成计数，得到每种运动各自的计数结果。上述计数方法包括如下步骤：
40.步骤一、计数标准制定：针对要识别分类的五种运动开启五个计数器，每种运动选择一种标志性动作作为基准，如深蹲既可以选择蹲下作为基准，也可以设置起立作为基准，通过标志性动作上的分类置信度来制定计数标准，计数标准的进入条件和完成计数退出的
条件为标志动作的置信度阈值，此阈值可以根据计数动作的严格性进行调整，只有当分别达到进入阈值和退出阈值时，计数才加1，倘若由于动作不规范，只达到了进入阈值，而退出阈值未达到，则此次动作不计数；
41.步骤二、数据输入：基于knn模型得到的单帧分类结果，将分类结果转化为每一个动作选取的计数标志动作的置信度，用于输入到五种运动对应的计数器中；
42.步骤三、绘制曲线：基于五种运动对应的计数器，通过步骤二的数据输入来实时绘制标志动作的置信度曲线，从而完成五种运动的计数。
43.如图3和图4所示，图3、图4分别为一次包含深蹲和开合跳训练过程绘制的计数曲线示意图，图4由于第二个动作未达到计数标准，因此计数结果为2。
44.进一步的，主干网络进行初始化时，导入mobilenetv3预训练的网络模型部分参数，主干网络共包含尺度不一的bottleneck结构共15个，采用两个反卷积层进行上采样来扩大特征图的分辨率，此外，反卷积部分还将分离的上采样过程和卷积操作进行融合，最终使用一个卷积层将特征输出为64x64x16，16个通道分别对应16个关节点数据，使用mpii数据集进行训练，重复交替训练共140次。
45.进一步地，将自采集的包含五种运动的共3000张的数据集先输入到mpe网络中得到骨骼点数据，再将骨骼点数据形成向量输入到knn分类模型中完成分类模型构建。
46.以上的仅是本发明的实施例，方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。