一种基于标准视频的舞蹈动作可视化分析系统的制作方法

1.本发明属于动作可视化分析领域，具体涉及一种基于标准视频的舞蹈动作可视化分析系统。


背景技术：

2.舞蹈是一种表演艺术，使用身体来完成各种优雅或高难度的动作，一般有音乐伴奏，以有节奏的动作为主要表现手段的艺术形式。
3.目前的舞蹈训练还处在模仿对照阶段，大部分舞者需要到舞蹈工作室或者找舞蹈老师来指导自己，以观察自己的动作是否规范，控制力度是否到位。然而在没有老师或同学在身边帮忙指导纠正的时候，自己独自练习是很难准确、及时地发现自己的舞蹈动作所存在的问题。如果有一种辅助工具可以实时的反映出一段舞蹈视频中那些动作不够标准，速度控制不到位等问题，并把这些数据以形象易懂的方式呈现出来，那么对于舞者来说训练效率将会大大提升。


技术实现要素：

4.针对现有技术的不足，本发明提出了一种基于标准视频的舞蹈动作可视化分析系统，将训练视频上传到系统中与标准动作进行对比，对关键动作的标准程度进行评估，实时生成可视化评估结果。
5.一种基于标准视频的舞蹈动作可视化分析系统，包括用户信息模块、标准数据库模块、视频预处理模块、人体姿态识别模块、动作数据评测模块、数据可视化模块。
6.其中用户信息模块用于保存用户个人信息。标准数据库模块用于上传、保存标准舞蹈视频数据。视频预处理模块接收用户上传的个人训练视频，将个人训练视频转换为统一的格式，然后标注视频中的舞蹈类型，传输到人体姿态识别模块中。
7.人体姿态识别模块通过神经网络，对个人训练视频中每一帧的人体姿态进行识，获取人体重要关节点的坐标信息，并计算得到关节点之间的夹角角度，截取关键动作图像帧，传输到动作数据评测模块中。
8.动作数据评测模块根据得到的坐标信息、关节点之间的夹角角度与关键动作图像帧，与标准数据库模块中存储的标准舞蹈视频中的相应动作进行比较，并将比较结果传输到数据可视化模块中。数据可视化模块以图表的形式展示得到的比较结果。
9.所述用户个人信息包括用户id、性别、年龄、身高、训练偏好和历史训练数据。
10.所述视频预处理模块可以人为标注个人训练视频中感兴趣的动作作为待测评的关键动作。
11.所述重要关节点包括头顶、脖子、右肩、右手肘、右手腕、右手掌指关节、右指尖、左肩、左手肘、左手腕、左手掌指关节、胸腔部、腰部、右臀部、右膝盖、右脚掌、右脚踝、右脚前掌、左臀部、左膝盖、左脚踝、左脚前掌，关节点之间的夹角角度包括头与左肩的角度、左肩与左大臂的角度、左大臂与左小臂的角度、左小臂与右手掌的角度、头与右肩的角度、右肩
与右大臂的角度、右大臂与右小臂的角度、右小臂与右手掌的角度、胸腔与左臀部的角度、胸腔与右臀部的角度、腰部与左大腿的角度、左大腿与左小腿的角度、左小腿与左脚掌的角度、腰部与右大腿的角度、右大腿与右小腿的角度、右小腿与右脚掌的角度。
12.所述比较结果为个人训练视频中关节点之间的夹角角度与标准视频中关节点之间的夹角角度的偏差值，以及偏差值由大到小的关节角度顺序。
13.所述数据可视化模块通过柱状图、折线图、人体热力图、气泡图等显示对比结果。以各肢体角度训练数据与标准数据的角度差值为y轴，各关节部位图标为x轴，生成随舞蹈视频时间变化的动态的柱状图；将整段舞蹈动作中角度偏差值大于预设偏差值的肢体部位按照发生频率进行排序，以折线图展示整体舞蹈动作中角度相似度由低到高的肢体部位数据表；统计每个关键舞蹈动作中肢体角度差值大于预设偏差值的肢体部位数量，根据角度相似度区分不同气泡，生成舞蹈训练动作气泡图。
14.所述数据可视化模块还包括交互按钮，通过交互操作实现不同时间各关节点偏差值的查看或不同时间同一关节点的偏差值查看。
15.本发明具有以下有益效果：
16.将所获取舞蹈技术动作的位置信息和各肢体之间的角度信息与标准数据库中相对应舞蹈动作的各项指标信息进行对比分析，得到用户舞蹈动作与标准数据库中相应舞蹈动作的各项指标评估结果；通过可视化系统将复杂繁琐的舞蹈动作数据可视化为简洁直观的图表，舞蹈练习者可以通过相应的交互窗口用户可以自主选择查看其他相关的舞蹈动作质量信息，直观了解到自己的舞蹈存在的缺点，可以在无他人指导的情况下准确快速的定位到舞蹈动作薄弱的地方，以便在接下来的联系中有针对性的进行纠正练习。
附图说明
17.图1为舞蹈动作可视化分析系统结构框图；
18.图2为舞蹈动作可视化分析系统信息处理流程图；
19.图3为实施例中据可视化模块显示结果。
具体实施方式
20.以下结合附图对本发明作进一步的解释说明；
21.如图1所示，一种基于标准视频的舞蹈动作可视化分析系统，包括用户信息模块、标准数据库模块、视频预处理模块、人体姿态识别模块、动作数据评测模块、数据可视化模块。
22.如图2所示，其中用户信息模块用于建立个人数据库，个人数据库中保存了用户id、性别、年龄、身高、训练偏好和历史训练数据等个人信息，可以选择不同用户的历史数据进行回看。在完成新一轮的训练后，会自动覆盖上一次训练的历史数据，实现训练数据的迭代更新。
23.标准数据库模块用于保存用户上传的标准舞蹈视频数据。还可以将训练时的高分视频保存到标准数据库模块中。
24.视频预处理模块接收用户上传的个人训练视频，将个人训练视频转换为统一的尺度、分辨率和帧率，然后标注视频中的舞蹈类型，在传输到人体姿态识别模块中进行姿态识
别之前，还可以人为将个人训练视频中感兴趣的动作标记为为待测评的关键动作。
25.人体姿态识别模块通过神经网络，对个人训练视频中每一帧的人体姿态进行识，获取人体重要关节点，包括头顶、脖子、右肩、右手肘、右手腕、右手掌指关节、右指尖、左肩、左手肘、左手腕、左手掌指关节、胸腔部、腰部、右臀部、右膝盖、右脚掌、右脚踝、右脚前掌、左臀部、左膝盖、左脚踝、左脚前掌的坐标信息，并计算头与左肩的角度、左肩与左大臂的角度、左大臂与左小臂的角度、左小臂与右手掌的角度、头与右肩的角度、右肩与右大臂的角度、右大臂与右小臂的角度、右小臂与右手掌的角度、胸腔与左臀部的角度、胸腔与右臀部的角度、腰部与左大腿的角度、左大腿与左小腿的角度、左小腿与左脚掌的角度、腰部与右大腿的角度、右大腿与右小腿的角度、右小腿与右脚掌的角度，截取关键动作图像帧，传输到动作数据评测模块中。在本实施例中将舞蹈的定格动作视为关键动作，通过坐标信息计算位移与加速度，得到定格动作。
26.动作数据评测模块根据得到的坐标信息、关节点之间的夹角角度与关键动作图像帧，与标准数据库模块中存储的标准舞蹈视频中的相应动作进行比较，得到不同关节点之间夹角角度的偏差值，根据偏差值的大小进行排序，并将比较结果传输到数据可视化模块中。
27.数据可视化模块以柱状图、人体热力图、折线图、气泡图等图表的形式展示得到的比较结果。如图3所示，以各肢体角度训练数据与标准数据的角度差值为y轴，各关节部位图标为x轴，生成随舞蹈视频时间变化的动态的柱状图；所有舞蹈关键动作中角度偏差值大于预设偏差值的肢体部位的出现频率(0％-100％)为y轴，各肢体部位名称(图标)为x轴，生成折线图表示舞蹈练习者训练舞蹈动作时各肢体部位的角度相似度；点击节点弹出窗口显示关键动作时间段落；生成相应人体热力图，直观显示各肢体部位偏差值大于预设值的情况；舞蹈关键动作中肢体角度差值大于预设偏差值的肢体部位数量划分等级，生成相应气泡图，同级别的关键动作视频帧生成在同一个气泡中。用户可以通过交互按钮，点击暂停查看在某一帧个人练习数据与标准数据的角度差值和练习动作的详细动作信息。