一种基于动作状态信息的人体动作评估方法与流程

1.本发明涉及计算机视觉图像处理技术领域，具体涉及一种基于动作状态信息的人体动作评估方法。


背景技术：

2.随着互联网大数据信息技术的广泛应用，基于视觉图像的人体行为侦测和识别技术的应用场景也越来越多。通过对人体的表情、体态等动作特征进行分析，位于人们在公共场合或特定活动空间的行为侦测和预判等技术应用而言，能够提供丰富的识别特征信息，是人类活动大数据信息的一个重要组成部分。
3.例如，在运动竞技及健康筛查等领域就需要对人体的动作进行识别，以便对动作的标准情况进行评估。动作评估需要基于动作评估标准和动作评估决策依据进行。早期常用的评估方法是评估者用眼睛观察测试者的动作，并将测试者的动作与标准动作图样进行人为比较以给予分值；同时，评估者手持摄像机进行视频提取，然后用视频截图保存作为备查。上述现有方法不光浪费人力、物力，并且人为判断时也会由于主观性的原因造成评估结果不够客观和准确。
4.随着计算机技术的发展，现有技术中出现了基于视频进行动作评估的方法。例如，公开号为cn108205654b的中国专利就公开了《一种基于视频的动作检测方法及装置》，其方法包括：检测待检测视频的视频帧中的肢体关键点；根据肢体关键点获得对应的行为特征；基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。
5.上述现有方案中的动作检测方法通过视频帧中的肢体关键点获得行为特征，进而基于行为特征及全局动作评估模型进行动作评估。动作评估，一般是将待测视频中的各个视频帧与模板视频中的对应视频帧进行对比并计算相似度，进而根据相似度来判断动作完成情况，这是一种静态的动作评估。但是，对于某些难度较高的动作而言，其需要评估动作的续性和稳定性。然而，现有静态评估的方式难以有效的体现出测试者动作的续性和稳定性，导致动作评估的准确性偏低。因此，如何设计一种能够有效体现动作续性和稳定性的人体动作评估方法是亟需解决的技术问题。


技术实现要素：

6.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于动作状态信息的人体动作评估方法，以能够有效体现动作连续性和动作稳定性，从而提升动作评估的准确性。
7.为了解决上述技术问题，本发明采用了如下的技术方案：
8.一种基于动作状态信息的人体动作评估方法，包括：
9.s1：获取测试者的待测视频；
10.s2：对待测视频的视频帧进行骨架分析和姿态分析，生成对应的人体关键点坐标
图；
11.s3：基于人体关键点坐标图结合相应的动作评估标准选取对应的多帧最优视频帧；
12.s4：基于多帧最优视频帧计算待测视频的运动状态信息；
13.s5：将待测视频的运动状态信息与模板视频的运动标准信息进行对比，以生成对应的动作评估结果。
14.优选的，步骤s3中，选取多帧最优视频帧时，首先基于人体关键点坐标图计算各个关键点间的角度信息；然后基于关键点间的角度信息确定人体关键点坐标图中的推荐关键点；最后基于人体关键点坐标图中的推荐关键点和动作评估标准选取对应的多帧最优视频帧。
15.优选的，关键点间的角度信息为逆时针旋转角；
16.通过如下步骤计算逆时针旋转角：
17.s301：获取用于计算逆时针旋转角的关键点坐标a、b、c；
18.s302：基于关键点坐标a、b、c计算对应的关键点向量和关键点向量
19.s303：将关键点向量沿逆时针方向旋转，直至与关键点向量重合；然后将关键点向量旋转至关键点向量的角度作为对应的逆时针旋转角。
20.优选的，通过如下步骤确定推荐关键点：
21.s311：计算人体关键点坐标图中各个逆时针旋转角的方差；
22.s312：基于各个逆时针旋转角的方差计算对应的运动信息比例；
23.s313：选取运动信息比例最大的逆时针旋转角所对应的关键点作为推荐关键点。
24.优选的，通过如下公式计算逆时针旋转角的方差：
[0025][0026]
通过如下公式计算逆时针旋转角的运动信息比例：
[0027][0028]
上述式中：σ2表示逆时针旋转角的方差；r表示逆时针旋转角；ur表示人体关键点坐标图中逆时针旋转角的均值；n表示人体关键点坐标图中逆时针旋转角的个数；in表示人体关键点坐标图中第n个逆时针旋转角度的运动信息比例；表示人体关键点坐标图中第n个逆时针旋转角的方差；e表示自然常数。
[0029]
优选的，步骤s4中，待测视频的运动状态信息包括肢体运动速度、肢体动作稳定性和肢体运动趋势。
[0030]
优选的，肢体运动速度通过如下公式计算：
[0031][0032]
上述式中：v(n1,n2)表示最优视频帧n2和最优视频帧n1中对应肢体的运动速度；r1、r2分别表示最优视频帧n2和最优视频帧n1中对应肢体的关键点间的逆时针旋转角；fps表示待测视频的帧率。
[0033]
优选的，通过如下公式判断肢体动作稳定性：
[0034][0035]
上述式中：s2表示对应指体的稳定性特征值；判断肢体动作稳定性时，将s2与设置的稳定性阈值y作比较：若s2≥y，则表示肢体动作稳定，否则，肢体动作不稳定；r＝{r1,r2,
…rn
}表示多帧最优视频帧中对应肢体的关键点间的逆时针旋转角，其中，n表示最优视频帧的帧数；表示r中逆时针旋转角的均值。
[0036]
优选的，通过如下公式判断肢体运动趋势：
[0037]
θ＝r
2-r1；
[0038]
上述式中：θ表示最优视频帧n2和最优视频帧n1中对应肢体的逆时针旋转角r1和r2间的角度差值，判断肢体运动趋势时：若θ＞0，则表示肢体逆时针旋转，若θ＜0，则表示肢体顺时针旋转。
[0039]
优选的，步骤s5中，运动标准信息包括运动速度标准范围和标准的运动趋势；
[0040]
当肢体运动速度处于运动速度标准范围、肢体运动趋势与标准的动趋势对应且肢体动作稳定时，动作评估结果为通过评估；否则，动作评估不通过。
[0041]
本发明中的人体动作评估方法与现有技术相比，具有如下有益效果：
[0042]
1、本发明通过选取多帧最优视频帧并计算待测视频运动状态信息的方式，能够有效的体现测试者的动作连续性和动作稳定性，进而通过待测视频运动状态信息和模板视频运动标准信息对比的方式生成动作评估结果，能够保证人体动作评估的准确性。
[0043]
2、本发明通过骨架分析和姿态分析的方式生成人体关键点坐标图，进而结合动作评估标准选取多帧最优视频帧，使得选取的多帧最优视频帧能够与对应的动作评估标准相关联，能够保证最优视频帧的选择准确性，从而进一步保证动作评估的准确性和效果。
附图说明
[0044]
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0045]
图1为人体动作评估方法的逻辑框图；
[0046]
图2为人体上十个逆时针旋转角的示意图；
[0047]
图3为右大臂和右小臂间的肢体角度示意图；
[0048]
图4为右大臂和右小臂间的逆时针旋转角示意图。
具体实施方式
[0049]
下面通过具体实施方式进一步详细的说明：
[0050]
实施例：
[0051]
首先说明动作评估标准和动作评估决策依据的含义。
[0052]
动作评估标准：是指动作评估时需要评估的项目。
[0053]
以深蹲为例，其动作评估标准包括：1)测试杆是否在头顶正上方；2)躯干与小腿否平行或与地面是否垂直；3)下蹲时大腿是否低于水平线；4)双膝是否保持与双脚方向一致。
[0054]
动作评估决策依据：是指动作评估时的打分标准。
[0055]
以深蹲为例，其动作评估决策依据包括：1)测试杆在头顶正上方，躯干与小腿平行或与地面垂直，下蹲时大腿低于水平线，保持双膝与双脚方向一致，得3分；2)不能完成要求动作或脚跟下垫上木板完成要求动作，得2分；3)脚跟下垫上模板依然不能完成要求动作，得1分；4)测试过程中身体任何部位出现疼痛，得0分。
[0056]
基于上述说明，本实施例中公开了一种基于动作状态信息的人体动作评估方法。
[0057]
如图1所示，基于动作状态信息的人体动作评估方法，包括：
[0058]
s1：获取测试者的待测视频；
[0059]
s2：对待测视频的视频帧进行骨架分析和姿态分析，生成对应的人体关键点坐标图；本实施例中通过上海交通大学提出的alphapose模型对待测视频的待测视频帧进行骨架分析和姿态分析。
[0060]
s3：基于人体关键点坐标图结合相应的动作评估标准选取对应的多帧最优视频帧；
[0061]
s4：基于多帧最优视频帧计算待测视频的运动状态信息；
[0062]
s5：将待测视频的运动状态信息与模板视频的运动标准信息进行对比，以生成对应的动作评估结果。
[0063]
在本发明中，通过选取多帧最优视频帧并计算待测视频运动状态信息的方式，能够有效的体现测试者的动作连续性和动作稳定性，进而通过待测视频运动状态信息和模板视频运动标准信息对比的方式生成动作评估结果，能够保证人体动作评估的准确性。同时，本发明通过骨架分析和姿态分析的方式生成人体关键点坐标图，进而结合动作评估标准选取多帧最优视频帧，使得选取的多帧最优视频帧能够与对应的动作评估标准相关联，能够保证最优视频帧的选择准确性，从而进一步保证动作评估的准确性和效果。
[0064]
具体实施过程中，选取多帧最优视频帧时，首先基于人体关键点坐标图计算各个关键点间的角度信息；然后基于关键点间的角度信息确定人体关键点坐标图中的推荐关键点；最后基于人体关键点坐标图中的推荐关键点和动作评估标准选取对应的多帧最优视频帧。
[0065]
具体的，关键点间的角度信息为逆时针旋转角；结合图2所示，逆时针旋转角的类型包括左小臂与左大臂间角度、左大臂与左肩部间角度、左大臂与躯干间角度、躯干与左大腿间角度、左大腿与左小腿间角度、右大臂与右小臂间角度、右肩部与右大臂间角度、躯干与右大臂间角度、躯干与右大腿间角度、右大腿与右小腿间角度。
[0066]
通过如下步骤计算逆时针旋转角：
[0067]
s301：获取用于计算逆时针旋转角的关键点坐标a、b、c；
[0068]
s302：基于关键点坐标a、b、c计算对应的关键点向量和关键点向量
[0069]
s303：将关键点向量沿逆时针方向旋转，直至与关键点向量重合；然后将关键点向量旋转至关键点向量的角度作为对应的逆时针旋转角。
[0070]
具体实施过程中，通过如下步骤确定推荐关键点：
[0071]
s311：计算人体关键点坐标图中各个逆时针旋转角的方差；
[0072]
s312：基于各个逆时针旋转角的方差计算对应的运动信息比例；
[0073]
s313：选取运动信息比例最大的逆时针旋转角所对应的关键点作为推荐关键点。
[0074]
具体实施过程中，通过如下公式计算逆时针旋转角的方差：
[0075][0076]
通过如下公式计算逆时针旋转角的运动信息比例：
[0077][0078]
上述式中：σ2表示逆时针旋转角的方差；r表示逆时针旋转角；ur表示人体关键点坐标图中逆时针旋转角的均值；n表示人体关键点坐标图中逆时针旋转角的个数；in表示人体关键点坐标图中第n个逆时针旋转角度的运动信息比例；表示人体关键点坐标图中第n个逆时针旋转角的方差；e表示自然常数。
[0079]
在本发明中，通过计算角度信息并基于角度信息选取推荐关键点最终基于推荐关键点和动作评估标准选取多帧最优视频帧的方式，能够保证最优视频帧的选取准确性，并使得选取的多帧最优视频帧能够与对应的动作评估标准相关联，从而能够保证最优视频帧的选择准确性。同时，本发明选取运动幅度大的推荐关键点参与最优视频帧的选取，一方面，推荐关键点能够准确反映出进行主要运动的肢体，从而能够保证动作评估的准确性；另一方面，运动幅度不大或不进行运动的肢体对应的关键点不参与计算，能够降低动作评估的计算量。
[0080]
此外，对视频帧进行骨架分析和姿态分析得到的是二维姿态，人体关键点坐标图中的关键点实际上是真实姿态在二维平面的投影，这导致简单的肢体角度难以准确的表示一个动作肢体特征。如图3所示，当右臂分别弯曲于胸前和弯曲在身体一侧时，右大臂和右小臂间的肢体角度相同。在数据上来看，右臂的动作肢体特征是一样的，因为右大臂和右小臂间的肢体角度大小相同，可实际上，两个动作有很大的差异。
[0081]
为此，本发明在肢体角度的基础上增加了方向信息，即旋转方向，使得生成的逆时针旋转角同时具有角度信息和方向信息(如图4所示)，进而能够解决将真实姿态投影到二维平面时出现的部分姿态信息丢失的问题，能够准确的表示动作肢体特征，从而能够保证人体动作评估的准确性。同时，本发明设计的十个逆时针旋转角能够基本覆盖人体姿态的重要动作肢体特征，从而能够进一步保证人体动作评估的效果。
[0082]
具体实施过程中，待测视频的运动状态信息包括肢体运动速度、肢体动作稳定性和肢体运动趋势。运动标准信息包括运动速度标准范围和标准的运动趋势；当肢体运动速度处于运动速度标准范围、肢体运动趋势与标准的动趋势对应且肢体动作稳定时，动作评估结果为通过评估；否则，动作评估不通过。
[0083]
肢体运动速度通过如下公式计算：
[0084][0085]
上述式中：v(n1,n2)表示最优视频帧n2和最优视频帧n1中对应肢体的运动速度；r1、r2分别表示最优视频帧n2和最优视频帧n1中对应肢体的关键点间的逆时针旋转角；fps表示待测视频的帧率。
[0086]
具体实施过程中，通过如下公式判断肢体动作稳定性：
[0087][0088]
上述式中：s2表示对应指体的稳定性特征值；判断肢体动作稳定性时，将s2与设置的稳定性阈值y作比较：若s2≥y，则表示肢体动作稳定，否则，肢体动作不稳定；r＝{r1,r2,
…rn
}表示多帧最优视频帧中对应肢体的关键点间的逆时针旋转角，其中，n表示最优视频帧的帧数；表示r中逆时针旋转角的均值。
[0089]
具体实施过程中，通过如下公式判断肢体运动趋势：
[0090]
θ＝r
2-r1；
[0091]
上述式中：θ表示最优视频帧n2和最优视频帧n1中对应肢体的逆时针旋转角r1和r2间的角度差值，判断肢体运动趋势时：若θ＞0，则表示肢体逆时针旋转，若θ＜0，则表示肢体顺时针旋转。
[0092]
在本发明，通过肢体运动速度、肢体动作稳定性和肢体运动趋势能够很好的反映测试者的运动状态信息，进而能够有效的体现测试者的动作连续性和稳定性，后续通过待测视频的运动状态信息和模板视频的运动标准信息对比生成动作评估结果，从而能够保证人体动作评估的准确性。同时，本发明的计算公式和方式能够很好的计算得到肢体运动速度、肢体动作稳定性和肢体运动趋势，从而能够更好的反映测试者的运动状态信息。
[0093]
具体的，生成人体关键点坐标图时，首先将对应的视频帧输入经过预先训练的姿态估计模型中，输出对应的热度图；然后通过热度图计算关键点坐标，以得到对应的人体关键点坐标图；
[0094]
其中，训练姿态估计模型时，获取用于训练的姿态数据集；然后将姿态数据集中训练图上预先标注的标签转换为对应的热度图标签，得到对应的标签热度图；最后基于标签热度图训练姿态估计模型；
[0095]
生成标签热度图时，首先设定标签热度图的大小(wh×hh
)，以生成一个大小为wh×hh
的全零矩阵，然后通过如下公式计算预先标注的标签在标签热度图上的热度分布，以生成对应的标签热度图；
[0096][0097]
计算关键点的坐标时，获取大小为wh×hh
的热度图，并将热度图降维成1*wh*hh；然后通过如下公式计算热度图中对应关键点的最大热度值索引；最后通过热度图中最大热度值对应的索引结合热度图尺寸计算对应关键点的坐标，具体的，通过索引除以对应的wh，得到的商是大小为wh×hh
的关键点的行数x，余数是大小为wh×hh
的关键点的列数y，即得到关键点的坐标(x,y)；
[0098][0099]
上述式中：g表示热度值；x0、y0表示预先标注的标签真实坐标；x、y表示标签在标签热度图中的坐标；σ表示标准差，取值为2或3；e表示自然常数；i、j分别表示一维热度图的索引；xi、xj表示对应索引i和j的热度值；β表示校准系数。
[0100]
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参
照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。