一种基于健康监测的跳绳计数方法与流程

1.本发明涉及运动监测方法领域，具体是一种基于健康监测的跳绳计数方法。


背景技术：

2.随着生活水平的提高和健康观念的改变，跳绳、拍球、踢毽子等健身运动已经成为人们日常的一部分，这些运动对心肺系统等各种脏器、协调性、姿态及减肥等都有极大帮助。但在竞技或锻炼过程中需要对这些运动准确有效地判别运动次数，目前已经有很多种基于人工智能技术的跳绳计数方法。
3.如公布号为cn109876416a和cn110210360a的中国专利文献公开的一种基于图像信息的跳绳计数方法和一种基于视频图像目标识别的跳绳计数方法，通过识别绳子和人脸位置的方法来进行计数。公布号为cn110102040a的中国专利文献公开的一种基于互相关系数法的音频跳绳计数方法，该方法通过识别绳子接触地面的声音来达到判断跳绳的次数。公布号为cn112044046a的中国专利文献公开的基于深度学习的跳绳计数方法，该方法通过对获得的图像数据进行预处理，然后利用训练好的模型分类，并根据分类结果判断当前运动状态，最后统计跳绳状态变化次数进行计数。
4.这些方法仅用于跳绳计数，但对跳绳时人体的健康状况，如心率等生理指标并没有进行监测。为了使运动量控制在合理范围、警示心脏猝死风险等，还需要监测该运动与生理信息(如心率等)变化之间的关系,这方面已经有不少采用非接触式技术监测心率的方法。
5.如公布号为cn 112381011 a的中国专利文献公开的基于人脸图像的非接触式心率测量方法、系统及装置,该发明结合cnn特征提取以及lstm长短时记忆神经网络，并嵌入通道注意力网络，实现误差率低、效率高的心率非接触式测量。公布号为cn 112381011 a的中国专利文献公开的一种基于面部视频序列的心率非接触式测量方法，该方法通过获取包含人体面部信息的视频序列，并结合图像的局部纹理特征和肤色模型，检测并实时跟踪人体面部区域实现心率的非接触测量。
6.上述方法主要针对静止的身体进行非接触式心率监测，不能有效地对运动人体进行有效的心率监测。


技术实现要素：

7.本发明的目的是提供一种基于健康监测的跳绳计数方法，以解决现有技术不能对跳绳运动人体进行有效心率监测的问题。
8.为了达到上述目的，本发明所采用的技术方案为：
9.步骤1、获取跳绳运动的原始视频数据，从原始视频数据中提取出图像数据；
10.步骤2、跳绳运动计数；
11.步骤3、跳绳运动时心率监测；
12.步骤4、结果输出并显示。
13.上述技术方案中，利用摄像头拍摄到跳绳运动员全身，且摄像头保持静止、稳定的情况下，对视频信息进行处理，然后统计跳绳状态变化次数进行计数，再根据该视频对跳绳过程中运动员的心率进行监测。该方法准确率高，计数速度快，心率监测的速度能满足实际需要，具有很高的应用价值。
14.步骤2中所述的跳绳运动计数方法，采用基于posenet的跳绳计数方案。作为优选，采用mobilenet模型，具体步骤包括：
15.步骤2
‑
1、posenet姿态估计模型的输入；具体包括：图像；图像比例因子；水平翻转变量；输出步幅。
16.其中，图像比例因子为向模型输入图像前，对图像进行缩放的比例；输出步幅为输入图像与输出图像的比值，输出步幅越大，则网络中特征图及输出图像的尺寸越小，检测准确率降低，速度最快，该参数可选值为8、16或32。
17.步骤2
‑
2、posenet处理图像；当posenet处理图像时，实际输出17个身体姿态关键点的热图(heatmap)与偏移矢量(offset vectors)。posenet检测的17个关键点部位按照索引顺序分别为：鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝。posenet人体部分关键点检测示例如图2所示。具体包含如下步骤：
18.步骤2
‑2‑
1、热图编码；
19.其中热图为通道数为17的3d张量，每个通道对应一个关键点的信息；偏移矢量为通道数为34的3d张量，前17个通道表征x坐标信息，后17个通道表征y坐标信息，可理解为编码过程。
20.步骤2
‑2‑
2、解码；对热图与偏移矢量进行解码可以找出对应的关键点高置信度的区域坐标。解码方案为，先对热图应用激活函数，以获得关键点置信度；对这些置信度作arg max，取回热图中每个身体部位得分最高的p索引与q索引，其中arg max定义如下：
[0021][0022]
式中f(p,q)表示热图经sigmoid计算得到的置信度值。
[0023]
根据热图中的x索引与y索引的偏移量，得到每个部位的偏移矢量；将热图根据输出步幅与相应偏移向量恢复至原图尺寸，得到每个关键点在热图上的x坐标、y坐标与置信度。
[0024]
步骤2
‑
3、跳绳计数：
[0025]
进行跳绳计数，其中，身体17个关键点坐标包含x及y坐标，而在跳绳计数时不关注横向的偏移，纳入x坐标将增大误差，因此算法仅涉及y坐标；式去除了0～4个关键点坐标，即鼻、左眼、右眼、左耳、右耳的坐标，以减小头部晃动而产生的不必要误差，其中y
p
表示原图中第5～17个去除x坐标的关键点的y坐标，此外，实际运行中，排除了左腕、右腕的y坐标，因为跳绳过程中其运动趋势与整体躯干并非保持一致；dy
previous_round
为上一轮计算得到的dy
current_round
，该参数贯穿整个计数过程，使两帧间的计算坐标波动平稳，保证算法稳定性。
[0026]
步骤2
‑
4、抖动抑制：
[0027]
为减小抖动带来的误差影响，如摄像头的意外晃动，导致某些帧间的关键点坐标变化过于剧烈或微小，在d
y
计算时将dy
previous_round
作为抖动抑制参数，利用平方根放大小值、缩小大值的特点，做如下修改：
[0028][0029][0030]
其中，sgn(x)为判断正负性的函数，y
mean_i
，y
mean_i 1
，y
mean_i 2
分别表示第i,i 1,i 2帧的5～17个关键点的y坐标平均值，dy
previous_round
为上一轮计算得到的dy
current_round
，而dy
current_round
由以下公式定义：
[0031]
dy
current_round
＝(dy
previous_round
|y
mean_i 1
‑
y
mean_i
| |y
mean_i 2
‑
y
mean_i 1
|)/3
[0032]
该参数dy
current_round
贯穿整个计数过程，使两帧间的计算坐标波动平稳，保证算法稳定性。
[0033]
步骤3中所述的跳绳运动时心率监测，采用自适应人脸检测与提取的rppg心率检测方法，具体步骤说明如下：
[0034]
步骤3
‑
1、自适应人脸检测与提取，采用基于yolov5的自适应的人脸检测与提取方案，具体包括：
[0035]
步骤3
‑1‑
1、从视频帧图像中取出10帧索引，并根据索引取帧图像；
[0036]
步骤3
‑1‑
2、采用yolov5s网络检测人脸区域，从10坐标中取左上坐标的最小值，以及右下坐标的最大值；
[0037]
步骤3
‑1‑
3、坐标膨胀，并按照膨胀后坐标裁剪；
[0038]
步骤3
‑1‑
4、输入到心率检测网络。
[0039]
自适应人脸检测与提取模块极大地增加了人脸的识别率，使得整个心率检测系统更为稳定可靠，增强鲁棒性。
[0040]
步骤3
‑
2、roi提取；定位提取心率检测所需要的感兴趣区域roi。前额、脸颊区域温度相对恒定，因此选取暴露部分更多、稳定性更强的脸颊区域提取脉搏波信号。
[0041]
步骤3
‑
3、血液容积波信号(bvp)提取及心率提取；完成人脸roi提取后，需要对该区域进行信号提取，采用面部roi区域rbg通道中的绿色通道(g通道)信号作数字信号滤波获取bvp信号，由于脸颊分为两部分，故将两个roi的g通道信号的均值作为输入的脉搏波信号。处理步骤如下：
[0042]
步骤3
‑3‑
1、巴特沃斯带通滤波器(butterworth filter)滤波处理；用来减小环境变化和运动产生的噪声影响。
[0043]
步骤3
‑3‑
2、去趋势(detrend)处理；用来减小光照变化造成的误差，去趋势处理可
以有效减轻传感器偏移量的影响。
[0044]
步骤3
‑3‑
3、汉明(hanmming)窗收集信号；相对于直接截断信号(如矩形窗截断)，可改善频率泄漏问题。
[0045]
步骤3
‑3‑
4、离散傅里叶变换；将信号转至频域提取周期特性，频域中能量谱峰值对应频率可视为心率。
[0046]
与现有技术相比，本发明的有益之处在于：
[0047]
本发明提供一种基于健康监测的跳绳计数方法，采用非接触式的视频图像方法，通过对视频中跳绳的人和跳绳状态的识别，来对跳绳人员的跳绳进行计数；并同时根据视频监测人体跳绳运动时的心率根据跳绳次数变化的状况，来达到使运动量控制在期望的范围内、警示心脏猝死风险等。该方法采用非接触式技术，计数准确率高，计数速度快，而且可以同时监测运动时心率变化等的状况，具有很高的应用价值。
附图说明
[0048]
图1为本发明实施例中基于深度学习的跳绳计数方法的流程图。
[0049]
图2为本发明实施例中posenet人体部分关键点检测示例。
[0050]
图3为本发明实施例中跳绳计数流程图。
[0051]
图4为本发明实施例中自适应人脸检测与提取算法示意图。
[0052]
图5为本发明实施例中roi的定位提取示例图。
[0053]
图6为本发明实施例中经处理后的血液容积波信号(bvp)及心率信号波形图。
具体实施方式
[0054]
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0056]
实施例
[0057]
参见图1至图6，本实施例的一种基于健康监测的跳绳计数方法包括以下步骤：
[0058]
步骤s100，获取跳绳运动的原始视频数据，从原始视频数据中提取出图像数据。
[0059]
步骤s200，跳绳运动计数。本例采用基于posenet的跳绳计数方案。作为优选，本例采用mobilenet模型，具体步骤包括：
[0060]
步骤s210，posenet姿态估计模型的输入；具体包括：图像；图像比例因子；水平翻转变量；输出步幅。
[0061]
步骤s220，posenet处理图像；当posenet处理图像时，实际输出17个身体姿态关键点的热图(heatmap)与偏移矢量(offset vectors)。posenet检测的17个关键点部位按照索引顺序分别为：鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝。posenet人体部分关键点检测示例如图2所示。具体包含如下步骤：
[0062]
步骤s221，热图编码；其中热图为通道数为17的3d张量，每个通道对应一个关键点的信息；偏移矢量为通道数为34的3d张量，前17个通道表征x坐标信息，后17个通道表征y坐标信息，可理解为编码过程。
[0063]
步骤s222，解码；对热图与偏移矢量进行解码可以找出对应的关键点高置信度的区域坐标。解码方案为，先对热图应用激活函数，以获得关键点置信度；对这些置信度作arg max，取回热图中每个身体部位得分最高的p索引与q索引，其中arg max定义如下：
[0064][0065]
式中f(p,q)表示热图经sigmoid计算得到的置信度值。
[0066]
根据热图中的p索引与q索引的偏移量，得到每个部位的偏移矢量；将热图根据输出步幅与相应偏移向量恢复至原图尺寸，得到每个关键点在原图上的x坐标、y坐标与置信度。
[0067]
步骤s230，跳绳计数；其流程如图3所示。
[0068]
其中，身体17个关键点坐标包含x及y坐标，而在跳绳计数时不关注横向的偏移，纳入x坐标将增大误差，因此算法仅涉及y坐标。式去除了0～4个关键点坐标，即鼻、左眼、右眼、左耳、右耳的坐标，以减小头部晃动而产生的不必要误差，其中y
p
表示原图中第5～17个去除x坐标的关键点的y坐标,此外，实际运行中，排除了左腕、右腕的y坐标，因为跳绳过程中其运动趋势与整体躯干并非保持一致。dy
previous_round
为上一轮计算得到的dy
current_round
，该参数贯穿整个计数过程，使两帧间的计算坐标波动平稳，保证算法稳定性。
[0069]
步骤s240，抖动抑制；说明如下：
[0070]
在d
y
计算时将dy
previous_round
作为抖动抑制参数，利用平方根放大小值、缩小大值的特点，做如下修改：
[0071][0072][0073]
其中，sgn(x)为判断正负性的函数。
[0074]
步骤s300，跳绳运动时心率监测。本例采用自适应人脸检测与提取的rppg心率检测方法，具体步骤说明如下：
[0075]
步骤s310，自适应人脸检测与提取；本例采用一种基于yolov5的自适应的人脸检测与提取方案，流程如图4所示，具体包括：
[0076]
步骤s311，从视频帧图像中取出10帧索引，并根据索引取帧图像。
[0077]
步骤s312，采用yolov5s网络检测人脸区域，从10坐标中取左上坐标的最小值，以及右下坐标的最大值。
[0078]
步骤s313，坐标膨胀，并按照膨胀后坐标裁剪。
[0079]
步骤s314，输入到心率检测网络。
[0080]
步骤s320，roi提取；定位提取心率检测所需要的感兴趣区域roi。前额、脸颊区域温度相对恒定，本例选取暴露部分更多、稳定性更强的脸颊区域提取脉搏波信号，如图5所示。
[0081]
步骤s330，血液容积波信号(bvp)提取及心率提取；完成人脸roi提取后，需要对该区域进行信号提取，本例采用面部roi区域rbg通道中的绿色通道(g通道)信号作数字信号滤波获取bvp信号，由于脸颊分为两部分，故将两个roi的g通道信号的均值作为输入的脉搏波信号。处理步骤如下：
[0082]
步骤s331，巴特沃斯带通滤波器(butterworth filter)滤波处理。
[0083]
步骤s332，去趋势(detrend)处理。
[0084]
步骤s333，汉明(hanmming)窗收集信号。
[0085]
步骤s334，离散傅里叶变换。
[0086]
步骤s400，结果输出并显示。
[0087]
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。