一种针对视频的哈他瑜伽动作可视化分析系统的制作方法

1.本发明属于动作识别与分析技术领域，涉及瑜伽动作的识别与分析，具体涉及一种针对视频的哈他瑜伽动作可视化分析系统。


背景技术：

2.随着科学生活理念的不断推进，瑜伽正以其修身养性之道风靡全球，越来越多的人通过瑜伽锻炼改善身心健康水平。哈他瑜伽是现如今流传最广、最受欢迎的瑜伽流派，但是，哈他瑜伽体式在实践中仍存在规范性和科学性不足、练习标准难以统一的问题。此外，哈他瑜伽体式动作产生的大量时序数据使用人工测量分析的方法不仅会造成一定的偏差，还不够直观，不易被大多数人所接受。
3.大数据发展的时代，越来越多的传统行业应用数据可视化的方式呈现繁冗复杂的抽象信息，将可视化应用在动作分析上，与哈他瑜伽常用体式分析相结合，可以帮助瑜伽爱好者观察到不被注意的细节变化，利用复杂结构提高工作记忆和工作效率，设计一款受众广泛、准确表达的界面是一个可待发展的领域。


技术实现要素：

4.针对现有技术的不足，本发明提出了一种针对视频的哈他瑜伽动作可视化分析系统，使用神经网络进行动作的分类识别与特征提取，然后将分析结果以图表形式进行显示。
5.一种针对视频的哈他瑜伽动作可视化分析系统，包括指标设置模块、分类识别模块、特征提取模块与可视化分析模块。
6.所述指标设置模块保存有标准瑜伽动作的运动学特征，并且根据不同动作对于对称性、稳定性的不同要求，设置用于分析不同动作的关键运动学特征。其中，运动学特征包括人体关节点和身体重心的位移、速度、加速度以及身体关节点的夹角、角位移、角速度。关节点的夹角包括头踝角、头踝-足角、肩踝角、髋踝角、膝踝角、肩关节角、肘关节角、髋外展角、髋关节角、膝关节角、踝关节角、脊柱侧屈角、脊柱回旋角、头与胸段角、胸与腰段角、腰屈伸角、腕-脐-足角。
7.分类识别模块逐帧对待分析的瑜伽训练视频中的动作进行识别，将动作分为山式、风吹树式、幻椅式、站立后弯式、轮式和手拉脚单腿直立式，然后将分类结果输入到特征提取模块中。特征提取模块针对分类后的动作提取关键点坐标，计算动作保持阶段的关键运动学特征，输入可视化分析模块与标准瑜伽动作的运动学特征对比，进行标准程度衡量分析后，通过散点图和矩形树状图的形式分别显示实时动作分析视图和整体动作分析视图。
8.实时动作分析视图的横坐标为视频时间、纵坐标为关节点的夹角角度，以圆环的形式显示不同动作的分析结果。其中不同的圆环颜色表示不同的关节点夹角；圆环的内外直径差越大，表示该关节点夹角与标准动作的关节点夹角相差越大；圆环的外直径越大，动作的稳定性或对称性越差。整体动作分析视图以矩形的颜色表示不同的动作，矩形的面积
越大表示该动作与标准动作的关节点夹角相差越大；矩阵的不透明度越高，表示动作的稳定性或对称性越差。
9.作为优选，分类识别模块基于长短时记忆网络，将瑜伽训练视频表示为时间序列的形式，然后逐帧输入到去掉输出层的正向和反向lstm中，再将隐藏层的输出依次送入mean pooling层和逻辑回归层，得到分类结果。
10.作为优选，特征提取模块基于快速位姿蒸馏模型，提取图像中人体关节的空间坐标信息，再根据空间坐标信息计算得到运动学特征。
11.作为优选，山式的标准程度衡量指标为：头踝角、肩踝角、髋踝角、膝踝角、髋关节角、膝关节角、头踝-足角；风吹树式的标准程度衡量指标为：脊柱侧屈角、脊柱回旋角、肩关节角；幻椅式的标准程度衡量指标为：肩关节角、髋关节角、膝关节角、踝关节角；站立后弯式的标准程度衡量指标为：头与胸段角、胸与腰段角、腰屈伸角、肩关节角；轮式的标准程度衡量指标为：头与胸段角、胸与腰段角、腰屈伸角、膝关节角、肩关节角、肘关节角、腕-脐-足角；手拉脚单腿直立式的标准程度衡量指标为：髋关节角和脊柱回旋角或髋外展角和脊柱侧屈角。
12.作为优选，实时可视化视图的左侧会显示对应动作的分类结果。
13.作为优选，可视化分析模块还提供交互组件，支持通过交互组件实现对实时动作分析视图的播放/暂停、快进或查看每个散点对应的详细信息。
14.作为优选，可视化分析模块以屏幕快照的形式显示上一次训练视频的分析结果，用于与新一轮训练的分析结果形成对比。
15.本发明具有以下有益效果：
16.1、本发明将关节点角度与动作保持稳定性作为哈他瑜伽训练的标准，将体式动作标准程度以更直观更形象的方式呈现出来，方便训练人员更了解自身训练过程，提高科学性、安全性、效率性。
17.2、可视化图表通俗易懂，界面整洁、无歧义，容易被大多数普通用户所接受，受众面广。
18.3、可视化分析模块提供多种交互手段，帮助用户获得信息的同时实现对多次训练过程的对比操作，通过数据呈现分析出高频缺陷动作和异常情况。
附图说明
19.图1为本系统实现可视化分析的流程图；
20.图2为待分析的瑜伽训练视频；
21.图3为可视化分析模块展示的实时动作分析视图；
22.图4为可视化分析模块展示的整体动作分析视图；
23.图5为两次分析结果的对比视图。
具体实施方式
24.以下结合附图对本发明作进一步的解释说明；
25.一种针对视频的哈他瑜伽动作可视化分析系统，包括指标设置模块、分类识别模块、特征提取模块与可视化分析模块。
26.如图1所示，指标设置模块保存有标准瑜伽动作的运动学特征，并且根据不同动作对于对称性、稳定性的不同要求，设置用于分析不同动作的关键运动学特征。其中，运动学特征包括人体关节点和身体重心的位移、速度、加速度以及身体关节点的夹角、角位移、角速度。
27.对于山式，关键特征为对称、脊柱无屈伸回旋、头部摆正，选择头踝角、肩踝角、髋踝角、膝踝角、髋关节角、膝关节角、头踝-足角作为关键运动学特征；风吹树式的关键特征为上半身弯曲幅度，选择脊柱侧屈角、脊柱回旋角、肩关节角作为关键运动学特征；幻椅式的关键特征为下半身弯曲幅度，选择肩关节角、髋关节角、膝关节角、踝关节角作为关键运动学特征；站立后弯式的关键特征为脊柱的屈伸，选择头与胸段角、胸与腰段角、腰屈伸角、肩关节角作为关键运动学特征；轮式的关键特征为脊柱和整体的屈伸，选择头与胸段角、胸与腰段角、腰屈伸角、膝关节角、肩关节角、肘关节角、腕-脐-足角作为关键运动学特征；手拉脚单腿直立式的关键特征为腿的摆动幅度以及摆动过程的稳定性，因此髋关节角和脊柱回旋角或髋外展角和脊柱侧屈角作为关键运动学特征。
28.如图2所示，分类识别模块基于长短时记忆网络，将瑜伽训练视频表示为时间序列的形式，然后逐帧输入到去掉输出层的正向和反向lstm中，再将隐藏层的输出依次送入mean pooling层和逻辑回归层，将动作分为山式、风吹树式、幻椅式、站立后弯式、轮式和手拉脚单腿直立式，然后将分类结果输入到特征提取模块中。
29.特征提取模块基于快速位姿蒸馏模型，针对分类后的动作，提取图像中人体关节的空间坐标信息，通过坐标信息的变化，将加速度为0的动作作为动作保持阶段，计算动作保持阶段的关键运动学特征，输入可视化分析模块与标准瑜伽动作的运动学特征对比，进行标准程度衡量分析后，通过散点图和矩形树状图的形式分别显示实时动作分析视图和整体动作分析视图。
30.如图3所示，实时动作分析视图的左侧会显示对应动作的分类结果，散点图的横坐标为视频时间、纵坐标为关节点的夹角角度，以圆环的形式显示不同动作的分析结果。其中不同的圆环颜色表示不同的关节点夹角；圆环的内外直径差越大，表示该关节点夹角与标准动作的关节点夹角相差越大；圆环的外直径为该关节点在动作保持阶段的夹角角度最大值与最小值的差，因此圆环的外直径越大，动作的稳定性或对称性越差。当动作稳定性或对称性较好，而关节点夹角的标准程度较差时，会出现圆环的外直径很小，但是内外直径差需要很大的情况，针对这种稳定性与关节点夹角标准程度出现冲突的情况，使用额外的虚线圆来表示关节点夹角的标准程度，虚线圆的直径越大表示该关节点夹角与标准动作的关节点夹角相差越大，并使用线框强调标记该散点。此外，可视化分析模块还提供交互组件，支持通过交互组件实现对实时动作分析视图的播放/暂停或快进，鼠标停留散点时，还可以查看每个散点对应的稳定性、对称性、衡量标准的详细信息和评分。
31.如图4所示，整体动作分析视图以矩形的颜色表示不同的动作，矩形的面积越大表示该动作与标准动作的关节点夹角相差越大；矩阵的不透明度越高，表示动作的稳定性或对称性越差。整体动作分析视图可以与实时体式动作视图相对应显示，方便领域专家对哈他瑜伽常用体式动作做更快速的分析指导。如图5所示，可视化分析模块还能以屏幕快照的形式显示上一次训练视频的分析结果，用于与新一轮训练的分析结果形成对比。