一种基于半监督视频目标分割的跳绳计数方法

1.本发明涉及跳绳运动监测方法领域，具体是一种基于半监督视频目标分割的跳绳计数方法。


背景技术：

2.目前利用视频、音频等对跳绳、拍球、踢毽子等健身运动进行自动计数已经有很多的应用，但还是存在着通过身体部位识别容易误计数,或者只能对单人跳绳进行计数等缺陷。
3.现有技术公布号为cn109876416a和cn110210360a的中国专利文献公开的一种基于图像信息的跳绳计数方法和一种基于视频图像目标识别的跳绳计数方法，通过识别绳子和人脸位置的方法来进行计数。公布号为cn110102040a的中国专利文献公开的一种基于互相关系数法的音频跳绳计数方法，该方法通过识别绳子接触地面的声音来达到判断跳绳的次数。公布号为 cn112044046a的中国专利文献公开的基于深度学习的跳绳计数方法，该方法通过对获得的图像数据进行预处理，然后利用训练好的模型分类，并根据分类结果判断当前运动状态，最后统计跳绳状态变化次数进行计数。这几种方法只能对单人跳绳进行计数，无法实现多人跳绳场景的计数。
4.公布号为 cn112044047a的中国专利文献公开的基于多目标跟踪的跳绳计数方法，该方法通过识别人脸位置变化来达到判定跳绳次数，在跳绳过程中当人物靠近或远离摄像头）的影响下，在画面中人脸的位置与占比往往会随着时间发生变化，因此而引起计数误差。
5.公布号为cn 113627396 a的中国专利文献公开的一种基于健康监测的跳绳计数方法，该方法中公开了通过posen et模型对跳绳图像进行处理，由此得到跳绳计数的技术手段。虽然该方法的技术手段可以用于单人和多人跳绳计数，但其需要选择数量较多的多个（文献中为17个）身体姿态关键点，以进行热图编解码，还要针对抖动进行抖动抑制计算，才能得到跳绳计数，因此存在数据处理量大、数据处理过程复杂的问题，无法实现跳绳计数的快速检测。


技术实现要素：

6.本发明的目的是提供一种基于半监督视频目标分割的跳绳计数方法，以解决现有技术基于图像处理的跳绳计数方法存在的数据处理量大、数据处理过程复杂的问题。
7.为了达到上述目的，本发明所采用的技术方案为：一种基于半监督视频目标分割的跳绳计数方法，包括以下步骤：步骤1、获取跳绳运动的原始视频数据，并从原始视频数据中提取出每一帧图像数据；步骤2、基于半监督视频目标分割方法，采用stcn分割网络，引入特征逐像素随机失活机制，从步骤1得到的每一帧图像数据中分割出跳绳人物图像，其中：
当每一帧图像数据中人物为单个时，基于半监督视频目标分割方法以及特征逐像素随机失活机制，从每一帧图像数据中分割得到单个跳绳人物图像；当每一帧图像数据中人物为多个时，基于半监督视频目标分割方法以及特征逐像素随机失活机制，先分割得到所有人物mask图的像素分布，再从每一帧mask图像数据中对各个跳绳人物进行分块，由此得到每一帧图像数据中各个跳绳人物图像；步骤3、从步骤2得到的每一帧对应的每个跳绳人物图像中确定人物手部与绳子的相对位置，然后统计所有帧每个跳绳人物图像中手部与绳子相对位置变化次数，由此得到每个跳绳人物的跳绳计数。
8.进一步的，步骤2中，首先对stcn分割网络使用静态图像与各种视频序列中的连续/间断帧进行分割能力训练，使其能分割出大量不同种类的人物/物体，然后再应用于跳绳视频序列中，分割出单人/多人跳绳mask图像；训练分为两个阶段，第一个阶段为预训练阶段，预训练阶段中从步骤1得到的各帧图像数据中抽取若干图像数据，然后基于特征逐像素失活机制进行训练；第二阶段为公开数据集训练阶段，公开数据集训练阶段采用公开的数据集，两个训练阶段中均纳入了特征逐像素失活机制。
9.进一步的，步骤2中当每一帧图像数据中人物为多个时，根据mask图的像素分布，从左至右按列进行像素统计， 以完成分块，过程如下：步骤2-1、在stcn分割网络分割得到的包含人物与绳子的mask图中从左至右方向的第一列开始，当某一列中不存在人物像素点时，继续向右列检测，当开始检测到人物像素时，标记为人物0，并持续向右检测人物、绳子像素存在情况直至人物消失，当绳子像素存在列数密度值超过预设阈值时，判定该人物为跳绳者，否则判定为旁观者或计数员等非跳绳者，人物0判定结束；步骤2-2、继续向右检测，直至再次检测到人物像素，标记为人物1，向右直至像素列中人物消失，统计包含绳子像素的列数，以判断人物为跳绳者，或是其他无关人物；步骤2-3、重复上述步骤2-1、2-2，直至最后一列像素列，最终完成跳绳人物的分块。
10.进一步的，步骤3中，记录每一帧对应的每个跳绳人物图像中人物手部与绳子的相对位置，并依此构建针对于该视频序列的记忆库，该记忆库为程序中即时创建的一个类，用于存取视频帧中每个跳绳人物图像中手部与绳子相对位置变化次数，由此得到每个跳绳人物的跳绳计数。
11.进一步的，所述记忆库的构建过程如下：（1）、在每一帧对应的每个跳绳人物图像中，找到左、右手最外侧像素在图像中所处的对应高度值，取平均值作为手部在图像中的高度位置,即 =；（2）、通过高度位置为上、下两部分，收集上、下两部分对应的绳子像素数量；（3）、用与的差值（作为最终判定值，正数表明绳子在人物手部上方，负数表明绳子在人物手部下方，由此得到每个跳绳人物图像中人物手部与绳子的相对位置状态；
（4）、记录步骤（3）得到的所述相对位置状态，并以此组建为记忆库。
12.与现有技术相比，本发明的优点为：本发明通过对视频信息采用基于半监督视频目标分割的视频图像分割策略进行处理，然后根据手部与绳子的相对位置关系的判断结果来统计跳绳状态变化次数进行计数，整个过程鲁棒性强、准确率高、计数速度快，相比现有技术具有数据处理量小、数据处理过程简便的优点，不仅可以对单人跳绳进行计数，而且可以对多人跳绳进行实时计数，具有很高的应用价值。
附图说明
13.图1为本发明实施例中基于半监督视频目标分割的跳绳计数方法流程图。
14.图2为本发明实施例中逐像素随机失活架构(以resnet50首个residual block为例)示意图。
15.图3为本发明实施例中分割后的人物与绳子mask图像示意图，其中左为人物0，右为人物1。
16.图4为本发明实施例中手部与绳子相对位置关系示意图。
17.图5为本发明实施例中多人分块示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
20.如图1所示，本实施例一种基于半监督视频目标分割的跳绳计数方法，包括以下步骤：s100、通过摄像头采集获取跳绳运动的原始视频数据，并从原始视频数据中提取出每一帧图像数据。
21.s200、基于半监督视频目标分割方法(semi-supervised video object segmentation，svos)，采用stcn（space-time correspondence networks）分割网络，引入特征逐像素随机失活机制，从步骤1得到的每一帧图像数据中分割出跳绳人物图像。
22.半监督视频目标分割任务是假设在视频序列的第一帧中输入了感兴趣对象的完整mask（本实施例中为跳绳人物），要求算法能够在后续的所有帧中为该对象生成分割mask。
23.如图2所示，本实施例将特征逐像素随机失活机制(pixel-wise stochastic deactivation, pwsd)引入半监督分割算法，算法采用stcn（space-time correspondence networks）分割网络，引入特征逐像素随机失活机制，并应用到单人跳绳重复动作的计数中。即，当每一帧图像数据中人物为单个时，基于半监督视频目标分割方法中特征逐像素随机失活机制，从每一帧图像数据中分割得到单个跳绳人物图像。
24.图2是逐像素随机失活架构的图示，在resnet中的任一residual block中，对第四个卷积核（卷积）得到的特征图，按照既定概率，对所有像素进行下述运算：最后将第一个卷积核（卷积）与maxpool处理后的特征图与通过上述运算的第四个卷积核（卷积）后的特征图相加，得到该residual block的最终输出特征图。
25.具体的，首先对stcn分割网络使用静态图像与各种视频序列中的连续/间断帧进行分割能力训练，使其能分割出大量不同种类的人物/物体，然后再应用于跳绳视频序列中，分割出单人/多人跳绳mask图像；训练分为与两个阶段，第一个阶段为预训练阶段，预训练阶段中从步骤1得到的各帧静态的图像数据中抽取若干图像数据，然后基于特征逐像素失活机制进行训练；第二阶段为公开数据集训练阶段，公开数据集训练阶段采用公开的数据集，两个训练阶段中均纳入了特征逐像素失活机制。
26.当每一帧图像数据中人物为多个时，基于半监督视频目标分割方法对每一帧图像数据进行分割，将产生如图3所示的mask图像，图3中左为人物0，右为人物1。根据mask图的像素分布，从每一帧图像数据中对各个跳绳人物进行分块，由此得到每一帧图像数据中各个跳绳人物图像。
27.由于基于半监督分割的跳绳计数方案可根据mask图的像素分布更迅速地对帧中多个人物进行分块，完成图像切割，而无需引入额外人物检测模型，因此能够更方便地进行多人跳绳同时计数。由于对视频帧的mask图人物像素块更易分割，而且通常连续存在，而绳子目标较小，像素块存在不连续现象，因此可以从左至右按列进行像素统计，具体如图5所示，过程如下：（a）、在stcn网络分割得到的包含人物与绳子的mask图中从左至右方向的第一列开始，当某一列中不存在人物像素点时，继续向右列检测，当开始检测到人物像素时，标记为人物0，并持续向右检测人物、绳子像素存在情况直至人物消失，当绳子像素存在列数密度值超过预设阈值时，判定该人物为跳绳者，否则判定为旁观者或计数员等非跳绳者，人物0判定结束；（b）、继续向右检测，直至再次检测到人物像素，标记为人物1，向右直至像素列中人物消失，统计包含绳子像素的列数，以判断人物为跳绳者，或是其他无关人物；（c）重复上述步骤2-1、2-2，直至最后一列像素列，最终完成跳绳人物的分块。分块后的跳绳人物图像如图5所示，图5中两个人物均为跳绳人物。
28.s300、从步骤s200得到的每一帧对应的每个跳绳人物图像中确定人物手部与绳子的相对位置，然后统计所有帧每个跳绳人物图像中手部与绳子相对位置变化次数，由此得
到每个跳绳人物的跳绳计数。
29.本实施例基于人物手部与绳子的相对位置关系的判断结果来进行计数。在跳绳过程中，人物在诸多因素（摄像头晃动、跳绳过程中人物靠近或远离摄像头）的影响下，在画面中的位置与占比往往会随着时间发生变化。但在一次完整的跳绳动作中，绳子总会出现在手部的上方与下方，由于手部为人物与绳子的交界点，无论人物在画面中位置如何变化，手部与绳子的相对位置关系总会存在绳子在手部上方或者绳子在手部下方的状态，因此以此来判断跳绳次数。
30.因此，本实施例通过记录视频帧序列中每一帧每个跳绳人物图像中人物手部与绳子的相对位置关系，以此来构建并依此构建针对于该视频序列的记忆库，该记忆库为程序中即时创建的一个类，用于存取视频帧中对应的人物手部与绳子的相对位置关系，并具备统计功能。
31.如图4所示，记忆库的构建过程如下：（s3001）、在每一帧对应的每个跳绳人物图像中，找到左、右手最外侧像素在图像中所处的对应高度值，取平均值作为手部在图像中的高度位置 =；（s3002）、通过高度位置为上、下两部分，收集上、下两部分对应的绳子像素数量；（s3003）、用与的差值（作为最终判定值，正数表明绳子在人物手部上方，负数表明绳子在人物手部下方，由此得到每个跳绳人物图像中人物手部与绳子的相对位置状态；（s3004）、记录步骤（s3003）得到的所述相对位置状态，并以此组建为记忆库。
32.在记忆库中，统计所有帧每个跳绳人物图像中手部与绳子相对位置变化次数，由此可得到每个跳绳人物的跳绳计数。
33.s400、输出步骤s300得到的跳绳计数。
34.本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。