基于姿态识别的智能舞蹈评教方法和装置与流程

1.本发明涉及基于姿态识别的智能舞蹈评教方法和装置，属于人工智能技术领域。


背景技术：

2.传统意义上，对于一段舞蹈跳得好坏的评价方法只能通过专业舞蹈老师观看后进行评价打分。但往往由于舞蹈时间长、动作复杂、观察视角局限等因素，舞蹈老师难以客观地、精准地、全面地对一段舞蹈进行系统评价。


技术实现要素：

3.本发明所要解决的技术问题是克服现有技术的缺陷，提供基于姿态识别的智能舞蹈评教方法和装置，解决现有技术中舞蹈老师针对时间过长、动作复杂和角度受限的舞蹈视频无法难以进行客观地、精准地、全面地评价的问题。
4.为达到上述目的，第一方面，本发明提供基于姿态识别的智能舞蹈评教方法，包括如下步骤：
5.预制标准的舞蹈视频；
6.获取待评教的舞蹈视频,并与标准的舞蹈视频进行预处理；
7.基于标准的舞蹈视频和待评教的舞蹈视频中舞者关节的角度数据为待评教的舞蹈视频中舞蹈动作的标准程度进行评分；
8.基于标准的舞蹈视频和待评教的舞蹈视频中舞者逐帧关节点的定位数据，为待评教视频中舞蹈的节奏进行评分；
9.基于舞蹈动作的标准程度和舞蹈节奏的评分数据，生成待评教视频中针对该舞者和舞蹈的评教结果。
10.进一步地，所述标准的舞蹈视频的内容和待评教的舞蹈视频的内容相同。
11.进一步地，预处理包括：
12.对待评教舞蹈视频中的舞者进行人物定位和视频分割操作，将舞者始终置于视频的中心位置；
13.将标准的舞蹈视频和待评教的舞蹈视频进行帧对齐；
14.获取标准舞蹈视频和待评教的舞蹈视频每一帧中用于评判舞蹈动作的标准程度所需的关节角度数据,和用于评判舞蹈的节奏所需的关节点的定位数据；
15.删除标准舞蹈视频和待评教舞蹈视频中的无效帧；
16.补充标准的舞蹈视频和待评教的舞蹈视频缺失帧,并针对补充的帧获取用于评判舞蹈动作的标准程度所需的关节角度数据,和用于评判舞蹈的节奏所需的关节点的定位数据。。
17.进一步地，所述帧对齐包括：
18.对标准的舞蹈视频和待评教的舞蹈视频进行短时傅里叶变换，分析背景音乐；
19.查找短时傅里叶变换后的待评教的舞蹈视频和标准舞蹈视频的背景音乐的起始
帧，并将两起始帧对齐。
20.进一步地，所述无效帧包括没有舞者的帧和对舞者人体关节点的定位置信度低于规定值的帧。
21.进一步地，补充缺失帧的位置包括删除的无效帧的位置；
22.补充缺失帧的方法包括插值法。
23.进一步地，对待评教的舞蹈视频中舞蹈动作的标准程度进行评分包括：
24.获取该舞蹈评教时涉及的关节数据；
25.在每一帧中，获取待测舞蹈视频与标准舞蹈视频各对应关节的角度差数据，构建角度差向量δi，δi＝(d
i1
，d
i2
，...，d
im
)，i＝1，2，...，n，其中m为评教所需的关节个数，n为待测舞蹈视频的帧数，i为待测视频的当下检测时所处的帧数，dim为第i帧视频中第m个关节的角度差；
26.在每一帧中，计算各个关节的得分占总得分的权重，构建权重向量ωi＝(w
i1
，w
i2
，...，w
im
)，i＝1，2，...，m；
27.对待测舞蹈视频进行评分：
[0028][0029]
其中，f(*)是将角度差转换为得分数的评分函数。
[0030]
进一步地，获取该舞蹈评测时涉及的关节数据的方法包括：
[0031]
基于人体姿态识别模型获取人体姿态数据，并对被遮挡的人体部位进行补全；
[0032]
依据专家建议提取用于评测舞蹈动作标准程度的关节的角度数据和用于评教舞蹈节奏的关节点的定位数据。
[0033]
进一步地，对待测的舞蹈视频中舞蹈的节奏进行评分包括：
[0034]
逐帧获取标准舞蹈视频和待测舞蹈视频中关节点的定位数据，并结合时间序列距离度量模型，对舞蹈的节奏进行评分。
[0035]
第二方面，本发明提供一种基于姿态识别的智能舞蹈评教装置，包括存储介质和处理器；
[0036]
所述存储介质用于存储指令；
[0037]
所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。
[0038]
本发明所达到的有益效果：
[0039]
本发明通过预设标准的舞蹈视频，将标准的舞蹈视频与待评教的舞蹈视频进行对比评教，通过对待测舞蹈视频中舞者的动作标准程度和节奏进行评分，以生成整体舞蹈的评教结果；
[0040]
本发明可代替舞蹈老师对舞蹈进行评教，解决由于舞蹈时间过长、舞蹈动作过于复杂以及观察视角局限等因素使得舞蹈老师无法客观地、精准地、全面地对舞蹈进行系统评教的问题。
附图说明
[0041]
图1是本发明实施例一提供的基于姿态识别的智能舞蹈评教方法的流程图；
[0042]
图2是本发明实施例一提供的基于姿态识别的智能舞蹈评教方法中对输入的原始待评教的舞蹈视频的人物定位和视频分割操作的流程；
[0043]
图3是本发明实施例一提供的基于姿态识别的智能舞蹈评教方法中采用插值的方法对视频中缺失的帧数据进行补充的示意图；
[0044]
图4是本发明实施例一提供的基于姿态识别的智能舞蹈评教方法中评教结果的示意图。
具体实施方式
[0045]
下面基于附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0046]
实施例一：
[0047]
本发明实施例提供基于姿态识别的智能舞蹈评教方法，本发明通过将待评教的舞蹈视频与预制的标准的舞蹈视频进行比较对待测的舞蹈视频进行评教：首先对于舞蹈动作的标准性进行评分：在每一帧中，基于规定的关节部位，通过分析待测舞蹈视频与标准舞蹈视频中对应关节部位的角度差进行舞蹈动作标准度的评分；然后对于舞蹈节奏进行评分：基于标准舞蹈视频和待评教的舞蹈视频，逐帧获取关节点的定位数据，进行对比分析后为待评教舞蹈视频中的舞蹈的节奏进行评分；最后舞蹈动作的标准程度和舞蹈节奏的评分数据，生成针对该舞者和舞蹈的评教结果。
[0048]
如图1所示，本发明提供的基于姿态识别的智能舞蹈评教方法包括如下步骤：
[0049]
在对待评教的舞蹈视频进行评教前,提前预制好标准的舞蹈视频,标准的舞蹈视频中的舞蹈内容和背景音乐与待评教的舞蹈视频中的相同.
[0050]
步骤一：获取待评教的舞蹈视频,并与标准的舞蹈视频进行预处理：
[0051]
由于在实际拍摄时，拍摄环境有时较为复杂，使得在识别过程中容易出现误把背景中的物体识别成人的情况，容易对人的定位造成干扰，所以为解决上述问题，如图2所示，对输入的待评教的原始视频首先通过图像定位模型定位视频每帧中的人体位置坐标，再根据所有坐标进行人体图像分割，将每帧定位出的图像重新生成一个新的视频，该视频实现了人体的实时定位于分割，可有效减少复杂图像背景对姿态识别的干扰，同时将此新视频用于后续的舞蹈评教。
[0052]
由于视频长度的不同,无法从视频的开始便进行帧的比对,因此首先需要对两视频进行帧的对齐,本发明的实施例中,通过对两视频中的背景音乐进行短时傅里叶变换,对背景音乐进行分析,比较待评教舞蹈视频和标准舞蹈视频背景音乐开始片段的局部相似性,采用滑动窗口机制设定窗口大小和步长,让窗口在时域信号上滑动,分别计算每个窗口的傅里叶变换,形成不同时间窗口对应的频域信号，提取频域信号的特征进行对比，获得两个呜舞蹈视频相同的起始帧，依据起始帧进行帧对齐。
[0053]
在帧对齐的操作完成后，准备舞蹈评教所需的数据，首先导入人体姿态识别模型，人体自姿态识别模型利用卷积神经网络进行有监督的深度学习，并以caffe框架为基础，进行识别估计人体姿态，其效率与准确性不受人数等因素影响，具有实时性的优点，将其应用
在本发明的实施例中，在丰富的高质量数据集的支持下，该模型可有、高效、准确地提取舞蹈评教所需的
[0054]
同时，由于输入的视频中存在一些帧图像中没有舞者或对于舞者人体关节点的定位置信度较低的无效帧，在预处理时将这些无效帧进行删除。
[0055]
但将无效帧删除后，原来完整的逐帧角度数据便会存在缺失，待评教舞蹈视频和标准舞蹈视频的逐帧数据可能依然存在差异，考虑到舞蹈中的动作较为连续，同时各关节之间的角度也随着舞蹈动作进行连续的变化，而无效帧在总的视频帧中占少数，所以如图3所示，本发明的实施例一中采用插值的方法对视频中缺失的帧数据进行补充，其中attribute1,attribute2和attribute3为各属性的取值,其中存在缺失,由星号标记的曲线段即为插值后的优化结果,可见原图像被补充为连续曲线,符合实际背景中的角度变化情况。
[0056]
再将帧补充完整后，针对补充的帧获取用于评判舞蹈动作的标准程度所需的关节角度数据,和用于评判舞蹈的节奏所需的关节点的定位数据，以便提高舞蹈评教的完整性。
[0057]
步骤二：基于标准的舞蹈视频和待评教的舞蹈视频中舞者关节的角度数据为待评教的舞蹈视频中舞蹈动作的标准程度进行评分：
[0058]
根据标准舞蹈视频与待评教舞蹈视频中舞者舞蹈动作在每一帧中各关节角度的差异进行评分，需要一个评分函数将角度差数据转换为相应的的分数，同时，由于舞蹈涉及人体的多个关节，而对于每个关节都会产生相应的分数，因此需要一个评分权重将各个关节的得分进行整合，从而得到待评教舞蹈视频的总得分，具体包括如下步骤：
[0059]
获取该舞蹈评教时涉及的关节数据；
[0060]
在每一帧中，获取待测舞蹈视频与标准舞蹈视频各对应关节的角度差数据，构建角度差向量δi，δi＝(d
i1
，d
i2
，...，d
im
)，i＝1，2，...，n，其中m为评教所需的关节个数，n为待测舞蹈视频的帧数，i为待测视频的当下检测时所处的帧数，dim为第i帧视频中第m个关节的角度差；
[0061]
在每一帧中，计算各个关节的得分占总得分的权重，构建权重向量ωi＝(w
i1
，w
i2
，...，w
im
)，i＝1，2，...，m；
[0062]
对待测舞蹈视频进行评分：
[0063][0064]
其中，f(*)是将角度差转换为得分数的评分函数。
[0065]
步骤三：基于标准的舞蹈视频和待评教的舞蹈视频中舞者逐帧关节点的定位数据，为待评教视频中舞蹈的节奏进行评分：
[0066]
首先逐帧获取标准舞蹈视频和待测舞蹈视频中关节点的定位数据，然后结合时间序列距离度量模型，对舞蹈的节奏进行评分，本发明的实施例中采用的时间序列度量模型是出现较早的较为经典的算法，具有较高的成熟度和准确度，且所需的训练数据集少，已经在语音识别中得到广泛应用，由于本发明在选取起始帧时选用背景音乐为尺度标准，所以时间序列距离度量模型可在本发明中进行良好的应用。
[0067]
步骤四：基于舞蹈动作的标准程度和舞蹈节奏的评分数据，生成待评教视频中针
对该舞者和舞蹈的评教结果，如图4所示，由于本发明对舞者的关节进行评分，这恰好对关节进行评价提供了方便，本发明的实施例中，在ui界面加上智能评语模块，该模块结合舞蹈动作标准程度的评分和舞蹈节奏的评分，为舞者生成后续的练习建议。
[0068]
实施例二：
[0069]
本发明实施例二提供基于姿态识别的智能舞蹈评教装置，包括存储介质和处理器；
[0070]
存储介质用于存储指令；
[0071]
处理器用于根据指令进行操作以执行根据实施例一任一项所述方法的步骤。
[0072]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。