基于混合现实的太极拳训练方法及系统、设备及存储介质与流程

1.本技术涉及运动与健康技术领域，特别是涉及一种太极拳训练方法及系统、设备及存储介质。


背景技术：

2.首先，随着计算机技术的发展以及显示硬件和计算芯片硬件的快速迭代升级，虚拟现实、增强显示和混合显示技术高速发展，同时此类技术依托的硬件设备成本也逐渐降低至普通消费者能够承担的地步。依托与此类设备的内容也呈指数式爆发增长，同时其开发难度也大大降低。
3.其次，随着人工智能技术的发展，通过视觉图像识别人体并提取骨骼，进而计算人体各个关节位置，从而进行动作识别的方法已经趋于成熟和稳定，此类体感设备也作为游戏外设逐渐走进了千家万户。
4.然而，目前对于运动训练领域，还停留在通过电视机或者屏幕播放，用户或者患者按照屏幕播放内容进行学习，没有专业老师现场指导，无法确保动作的准确性，同样缺少数据监测，无法客观评价训练成果。


技术实现要素：

5.本技术提供了一种基于混合现实的太极拳训练方法及系统、设备及存储介质。
6.本技术提供了一种基于混合现实的太极拳训练方法，所述太极拳训练方法包括：
7.获取预设全息太极拳动画；
8.播放所述预设全息太极拳动画，以及采集用户的太极拳训练动画；
9.将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。
10.其中，所述获取预设全息太极拳动画，包括：
11.预先录制标准太极拳动作的全息影像；
12.基于所述全息影像提取标准骨架运动信息；
13.将预设三维建模与骨骼动画进行绑定，建立虚拟运动形象；
14.将所述标准骨架运动信息与所述虚拟运动信息进行匹配，得到所述预设全息太极拳动画。
15.其中，所述预先录制标准太极拳动作的全息影像，包括：
16.采用至少三台摄像设备采集标准太极拳动作的动作视频；
17.分别从每台摄像设备的动作视频中识别骨架运动信息；
18.利用所述至少三台摄像设备获取的骨架运动信息交叉验证，得到所述标准骨架运动信息；
19.基于所述标准骨架运动信息构建所述标准太极拳动作的全息影像；
20.其中，所述每台摄像设备与相邻摄像设备的距离和间隔角度相同。
21.其中，所述播放所述预设全息太极拳动画，包括：
22.采用混合显示设备上的陀螺仪和/或惯性传感器检测所述用户头部的位置以及朝向；
23.基于所述用户头部的位置以及朝向在所述混合显示设备中渲染所述预设全息太极拳动画。
24.其中，所述采集用户的太极拳训练动画之后，所述太极拳训练方法还包括：
25.将所述太极拳训练动画和所述预设全息太极拳动画在所述混合显示设备中融合显示。
26.其中，所述将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，包括：
27.基于所述太极拳训练动画提取训练骨架运动信息；
28.基于所述预设全息太极拳动画提取标准骨架运动信息；
29.通过将所述标准骨架运动信息对所述训练骨架运动信息进行映射的方式，对所述预设全息太极拳动画进行缩放和/或移动，以使所述预设全息太极拳动画与所述太极拳训练动画进行匹配和重叠渲染。
30.其中，所述获取所述用户的太极拳标准程度，包括：
31.提取所述太极拳训练动画中的第一目标节点位置；
32.提取所述预设全息太极拳动画中的第二目标节点位置；
33.计算所述第一目标节点位置和所述第二目标节点位置的位置偏移量；
34.基于所述位置偏移量，确定所述用户的太极拳标准程度。
35.其中，所述太极拳训练方法还包括：
36.采集并显示所述用户在运动过程中的生命体征信息；
37.判断所述生命体征信息是否处于预设体征范围内；
38.若否，输出警示信息。
39.本技术还提供了一种基于混合现实的太极拳训练系统，所述太极拳训练系统包括混合现实设备、若干体感摄像头以及处理终端；其中，
40.所述处理终端，用于获取预设全息太极拳动画，将所述预设全息太极拳动画传输至所述混合现实设备；
41.所述混合现实设备，用于播放所述预设全息太极拳动画；
42.所述若干体感摄像头，用于采集用户的太极拳训练动画，将所述太极拳训练动画传输至所述处理终端；
43.所述处理终端，还用于将所述预设全息太极拳动画以及所述太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。
44.本技术还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
45.其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的太极拳训练方法。
46.本技术还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的太极拳训练方法。
47.本技术的有益效果是：太极拳训练系统获取预设全息太极拳动画；播放预设全息
太极拳动画，以及采集用户的太极拳训练动画；将预设全息太极拳动画以及太极拳训练动画进行匹配，获取并输出所述用户的太极拳标准程度。通过上述方式，本技术的太极拳训练方法通过预设全息太极拳动画与用户实时的太极拳训练动画进行匹配的方式，对用户的运动进行实时的动作指导，对用户的运动训练提供很好的辅助作用和指导意义。
附图说明
48.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
49.图1是本技术提供的太极拳训练系统的结构示意图；
50.图2是本技术提供的太极拳训练系统的流程示意图；
51.图3是本技术提供的太极拳训练方法一实施例的流程示意图；
52.图4是本技术提供的随用户视角移动的全时太极拳全息投影指导的示意图；
53.图5是本技术提供的标准太极拳全息投影融合显示和比对指导的示意图；
54.图6是本技术提供的终端设备一实施例的结构示意图；
55.图7是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
56.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
57.随着科学技术的发展和社会经济水平的提高，混合现实设备出现并且以亲民的价格走入了千家万户的生活，各种具备身体数据监测功能的数字手表也成为人们生活中必备的消费品。基于混合现实设备和外置的人体生命体征传感器，通过蓝牙或者无线网络实现数据互联，并构建太极拳训练评估系统，可以有效地解决传统太极拳运动训练过程中缺乏专业指导，缺乏体征监测，缺乏效果评估的痛点，为健康人强身健体和患者重拾健康提供有意义的强化和指导。
58.再次，随着芯片技术的发展，各种生命体征的检测设备逐渐小型化和便携化，具备心肺检测功能的可穿戴式设备已经成为广大群众日常消费品。
59.最后，网络以及蓝牙等通讯方法的普及，使得各种不同类型的设备可以通过无线网络和蓝牙等方式进行数据传输和互联。
60.对此，本技术实施例提供了一种基于混合现实技术的太极拳训练系统，具体请参阅图1和图2，图1是本技术提供的太极拳训练系统的结构示意图，图2是本技术提供的太极拳训练系统的流程示意图。
61.如图1所示，本技术实施例的太极拳训练系统100包括混合现实设备11、若干体感摄像头12、处理终端13以及生命信号采集设备14。上述设备组成的太极拳训练系统100可以用于实现本技术提供的太极拳训练方法。
62.具体地，结合图2对图1的太极拳训练系统100进行介绍。体感摄像头12可以为图2所示的运动捕捉设备，处理终端13可以为图2所示的计算主机。其中，太极拳训练系统100包括硬件系统和软件系统两大部分。
63.硬件系统包括头戴式混合现实设备、动作捕捉设备、电脑主机、各种生命信号体征监测设备。头戴式混合现实设备作为显示终端，向患者展现太极拳训练过程中的所有信息。动作捕捉设备用于识别和捕捉用户的动作；电脑主机用于高性能计算的处理；生命体征信号监测设备用于实时采集用户的生命体征信息。
64.软件系统包括混合现实实时渲染模块，动作识别及三维角色匹配模块，生命体征显示模块，训练数据管理模块。混合现实实时渲染模块主要根据患者当前的体位和朝向，自动将三维的太极拳大师时刻保持在用户的视野前方；动作识别及三维角色匹配模块主要通过机器学习算法，通过多台动作捕捉设备的协同工作，正确识别用户的动作并将其映射在虚拟的角色上，并将其匹配在用户身上；生命体征显示模块主要用于渲染心率等用户实时的生命体征数据；训练数据管理模块主要用于管理用户的训练数据。
65.需要说明的是，本技术实施例所涉及的运动包括多个领域以及多个方向的运动，例如，舞蹈运动、健身运动、生命运动等。在本技术对于以下实施例的介绍中，以太极拳运动为一种具体实施例进行介绍，因此，在后续描述中对于可以适用的运动类型不一一列举。
66.下面继续介绍适用于上述太极拳训练系统的太极拳训练方法，具体请参阅图3，图3是本技术提供的太极拳训练方法一实施例的流程示意图。
67.具体而言，如图3所示，本技术实施例的太极拳训练方法具体包括以下步骤：
68.步骤s31：获取预设全息太极拳动画。
69.在本技术实施例中，用户需要先搭建上述太极拳训练系统，包括搭建硬件系统和软件系统。
70.具体地，需要分别在用户的训练区域每间隔120
°
放置一台体感摄像机或者其他运动捕捉设备，每台摄像机或其他捕捉设备均正对着训练区域中的用户。需要说明的是，太极拳训练系统中的体感摄像机需要至少三台，且每台摄像设备与相邻摄像设备的距离和间隔角度相同。例如，当体感摄像机的数量为三台时，则间隔角度应当设置为120
°
；当体感摄像机的数量为四台时，则间隔角度应当设置为90
°
。后面的描述中，以三台体感摄像机为例进行说明。
71.然后，将三台体感摄像机连接在同一台计算主机上。用户佩戴可穿戴式生命信号采集设备，并戴上混合现实眼镜或头盔。计算主机、混合现实设备和生命信号采集设备均通过无线信号进行连接，例如无线网络或者蓝牙等。
72.太极拳训练系统获取预先存储的全息太极拳动画，例如全息太极拳宗师全息影像。该全息太极拳动画需要在用户使用该太极拳训练系统提前录制制作，制作过程具体如下：
73.邀请太极拳师傅站在三台体感摄像机对准的中心处，启动系统进行全息影像的录制。三台体感摄像机从不同的方位和角度识别太极拳师傅的动作并提取骨架，由于三台体感摄像机的识别结果可以交叉验证，因此可以大大提供太极拳所有招式的识别率，包括含有转身的招式。提取到太极拳师傅的之后，我们将太极拳的不同招式的骨架运动信息保存作为标准的招式指导数据库。然后通过三维建模和骨骼动画绑定，建立虚拟的太极拳师傅
形象，并将招式骨架运动信息绑定在虚拟的太极拳师傅模型上，这样就达到了施展全套太极拳的虚拟太极拳师傅动画。
74.其中，对于识别结果的交叉验证，可以采用三台体感摄像机提取的骨架信息中的骨架位置均值得到最终确定的骨架信息，也可以将某一台体感摄像机提取的骨架位置作为初始值，例如其他两台体感摄像机提取的骨架位置对该初始值进行验证和调整等。
75.下面，即可根据提前录制的全息太极拳动画对用户进行实时的太极拳指导训练。
76.步骤s32：播放预设全息太极拳动画，以及采集用户的太极拳训练动画。
77.在本技术实施例中，太极拳训练系统启动之后，混合现实眼镜或混合现实头盔内部渲染虚拟的三维太极拳师施展太极拳的动画，形成虚拟的太极拳师全息投影。
78.进一步地，由于在运动过程中，用户的位置和朝向都在不同变化，因此需要结合用户的实时位置和实时朝向对虚拟的太极拳师傅全息投影进行位置上的调整。
79.具体地，太极拳训练系统根据混合显示头盔上的陀螺仪和/或惯性传感器检测用户头部的位置以及朝向，然后将三维太极拳师的全息影像渲染到用户头部的朝向，使用户无论在施展太极拳的何种招式，例如包括转身的招式时，均可以在眼前看到全息太极拳师的投影作为动作指导，如图4所示，保持太极拳师傅的全息投影在用户的可视范围内。
80.太极拳训练系统除了可以展示太极拳师傅的全息投影外，还可以利用系统中的体感摄像头实时采集用户的太极拳训练动画。一方面可以将用户的太极拳训练动画和预设全息太极拳动画进行融合显示，使得用户可以实时查看自身太极拳动作和标准太极拳动作之间的差距，以及实时的动作比对指导，如图5所示，可以将太极拳训练动画与预设全息太极拳动画进行叠加显示，使得动作比对效果更明显；另一方面可以通过将太极拳训练动画与预设全息太极拳动画进行匹配，以获取用户的太极拳标准程度。
81.步骤s33：将预设全息太极拳动画以及太极拳训练动画进行匹配，获取并输出用户的太极拳标准程度。
82.在本技术实施例中，太极拳训练系统通过将预设全息太极拳动画以及太极拳训练动画进行匹配，实现实时的太极拳动作标准度评估。
83.由于太极拳训练系统预先存储全息太极拳动画，可以直接提取标准的太极拳的标准骨架运动信息。在用户进行实时的太极拳训练时，三台体感摄像机提取用户的训练骨架运动信息，并将标准的太极拳师的动作与用户的运动骨架进行映射。
84.具体地，太极拳训练系统可以将标准太极拳师傅施展太极拳时的全息影像进行移动，并根据体感数据检测到用户骨架数据进行身高上的缩放，使虚拟的太极拳师与用户的真实位置进行匹配和重叠渲染。这样，当用户施展太极拳时，不仅可以如步骤s32那样在视角的身体朝向的正前方看到标准太极拳师的全息投影指导，还可以看自己身上标准太极拳师打拳的投影，观察自己的肢体与全息太极拳师肢体的偏移角度，从主观上对自己的动作准确度进行评估，并通过移动自己的肢体与全息太极拳师的对应肢体重合的方式对自己的动作进行自主纠正。
85.除此之外，太极拳训练系统根据用户骨架上不同关节节点(肩关节、膝关节、腕关节等)与标准太极拳师傅对应关节的位置偏移量，定量分析用户的太极拳标准程度，为用户的训练提供数据指导。
86.进一步地，太极拳训练系统还可以对用户的生命体征进行实时监测。
array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器42也可以是任何常规的处理器等。
98.本技术还提供一种计算机存储介质，如图7所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的太极拳训练方法。
99.本技术还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本技术实施例所述的太极拳训练方法。该计算机程序产品可以为一个软件安装包。
100.本技术上述实施例所述的太极拳训练方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
101.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。