一种智能居家瑜伽教练信息处理系统、方法、终端、介质与流程

1.本发明属于智能居家设备技术领域，尤其涉及一种智能居家瑜伽教练信息处理系统、方法、终端、介质。


背景技术：

2.目前，随着人们生活水平和健康意识的不断提高，瑜伽这项运动逐渐开始在人群中风靡开来。但是专业的瑜伽课程具有相当高的费用，且需要跟班走，按时上课，这些问题也导致了许多人有意愿学瑜伽，但是现实情况不允许的现象。
3.近年来传感器技术与物联网技术在近些年的不断发展与进步，深度图像识别在生活中的可用领域愈加广泛，例如辅助学习，工作通勤到社会服务等等，逐步涉及到了人们生活中的各个方面。
4.通过上述分析，现有技术存在的问题及缺陷为：
5.(1)现有技术中，居家瑜伽教练设备成本高
6.(2)现有技术中，居家瑜伽教练设备不能实实时获取人体骨架化的图像信息，而且对获取的图像信息处理效果差。
7.(3)现有技术中，居家瑜伽教练设备对于瑜伽练习中的不同姿态图像进行实时分类，而且不能为姿态校准提供依据。
8.解决以上问题及缺陷的难度为：
9.(1)人体骨架化提取处理复杂。
10.(2)实时骨架化提取对算力有很高要求。
11.(3)瑜伽姿态种类多，难以准确识别并给出修改建议。
12.解决以上问题及缺陷的意义为：
13.(1)将现实图像抽象为计算机数据，为项目后续处理提供数据基础。
14.(2)实时骨架化提取，可以准确高效识别动作而给予充分用户反馈。
15.(3)根据用户姿态给出对应的专业建议，帮助用户修正姿态从而达到理想的健身效果。


技术实现要素：

16.为克服相关技术中存在的问题，本发明公开实施例提供了一种智能居家瑜伽教练信息处理系统、方法。
17.所述技术方案如下：一种智能居家瑜伽教练信息处理方法，包括：
18.步骤一，利用摄像头对用户进行rgb图像与deepth数据的采集，获得人体姿态原始图像数据，并将数据传入树莓派；
19.步骤二，经树莓派处理图像数据提取出深度骨架化信息，所述深度骨架化信息包括：多个关节点的二维、深度三维的坐标，将坐标信息传入云服务器进行特征提取；
20.步骤三，服务器提取出人体物理特征，包括人体伸展程度以及各个重要关节夹角
信息；该物理特征经过分类器分类后，获得了姿态分类结果，并与标准姿态库比对，获取校准信息，并返回至web端；
21.步骤四，在web端利用随机森林根据特征预测姿态，并与该姿态标准库校对,获取评估结果与建议；并在web端可视化显示。
22.在本发明一实施例中，所述步骤二树莓派处理图像数据提取出深度骨架化信息包括：利用openpose神经网络确定rgb图像中人体18个骨骼点的二维坐标，以及对应点的深度值；每个关节点的二维坐标和深度值构成当前关节点的原始图像数据。
23.在本发明一实施例中，所述openpose神经网络为自下而上的检测模型，先识别图片中所有可能的关键点，在模型中的输出是色彩丰富的热图，展示人体在图像中的大致位置，以及识别所有关键点之间的连接关系；所述检测模型输出的是paf(part affinity fields部分亲和度)；同时进行人体关键点的检测和连接。
24.在本发明一实施例中，所述openpose神经网络确定rgb图像中人体18个骨骼点的二维坐标的方法包括：
25.1)openpose神经网络一个分支用来预测打分图confidence maps(s)，一个分支用来预测部分亲和度pafs骨骼方向向量；
26.2)利用loss function损失函数进行神经网络收敛；
27.3)采用高斯分布计算出热图heatmap和骨骼方向vectormap；
28.4)进行骨骼关节的相连与姿态识别预测。
29.在本发明一实施例中，步骤1)中，pafs由l*所表示，置信度由s*所表示；若有骨骼点被遮挡或者未被检测到，则刨除该点不予计算；
[0030][0031]
公式揭示骨骼点检测标注点的正态峰值；当人体骨骼点р向标准点k慢慢靠近时，随着推移逐渐达到峰值；
[0032]
步骤2)loss function损失函数为：
[0033][0034][0035][0036]
在本发明一实施例中，所述步骤二中，将每一帧人体18个骨骼点的二维坐标和深度值数据通过云端上传到pc机进行三维重建；
[0037]
利用相机内参数，通过针孔成像模型公式将2d坐标转化为3d坐标x、y、z；针孔成像模型为：
[0038][0039]
在本发明一实施例中，所述步骤三中，服务器提取出人体物理特征包括：
[0040]
使用人体在三维空间内的骨骼角度、人体伸展程度、躯体相对比例。并将其作为随机森林训练集合，相对应人体姿态为标签，训练出姿态分类随机森林模型。在使用时将个体骨架化数据作为随机森林模型输入，获得随机森林分类结果，即获取了人体姿态分类结果。
[0041]
本发明的另一目的在于提供一种智能居家瑜伽教练信息处理系统包括：
[0042]
摄像头，用于采集人体原始rgb图像与深度图像，为人体骨架建模提供基础与依据；
[0043]
计算棒，用于御部署openpose经典神经网络，实现三维人体骨架化实时提取；
[0044]
小熊派，用于读取移动设备wifi信息，通过uart串口将网络信息传递给树莓派；
[0045]
树莓派，接收小熊派网络信息，实现移动设备配置入网；接收神经网络人体数据信息，将骨架化信息上传至服务器。
[0046]
云服务器，用于部署随机森林模型，提供训练集，训练出人体姿态分类器，将骨架化信息读取后，提取特征点，进行姿态分类。
[0047]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行智能居家瑜伽教练信息处理方法。
[0048]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述智能居家瑜伽教练信息处理方法。
[0049]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0050]
本发明提出了基于深度学习的人体骨架实时提取：利用realsense深度摄像头所采集的rgb信息与深度信息，构建人体模型，用来实现人体骨架化的实时提取。实时提取使得用户瑜伽动作识别快速高效，从而给予用户及时的动作反馈以修正姿态。
[0051]
基于openvino的神经网络边缘部署：本发明的另一目的在于提供在英特尔计算棒上部署了openpose经典神经网络，增强算力实现数据信息提取。一方面将现实图片抽象为计算机数据，为项目的后续处理提供数据基础。另一方面计算棒弥补了算力不足的缺陷，使得实时骨架化提取成为现实。
[0052]
基于随机森林的动作精准识别：采集大量标准数据集，将其作为随机森林模型的训练集，训练出人体姿态分类器。该人体姿态分类器是基于人工智能的分类模型，根据标准数据集的输入而不断成长，识别效果高效准确。
[0053]
基于华为云的云边协同姿态检测：人体姿态分类器部署在华为云服务器进行姿态分类与姿态校准。将数据处理部署在华为云服务器，一方面可以缓解硬件设备算力不足的情况，另一方面使得数据处理在云平台处理，且处理数据均为抽象后的骨架化信息，不涉及人物图像和背景图像，充分保护了个人隐私。
[0054]
本发明结合传感器与物联网技术的发展，针对这一问题，本发明提出了“居家瑜伽教练”的设计想法，通过机器学习，深度识别，仅一个摄像头就可以起到教练的效果。不仅降低了学习成本，还打破了时间空间的限制，这必定能使得瑜伽这一项健身运动能够真正的普及大众，为人民的健康做出一份贡献。
[0055]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0056]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0057]
图1是本发明实施例提供的智能居家瑜伽教练信息处理方法流程图。
[0058]
图2是本发明实施例提供的智能居家瑜伽教练信息处理系统示意图；
[0059]
图中：1、摄像头；2、计算棒；3、小熊派；4、树莓派；5、云服务器。
[0060]
图3是本发明实施例提供的智能居家瑜伽教练信息处理系统原理图。
[0061]
图4是本发明实施例提供的智能居家瑜伽教练信息处理方法原理图。
[0062]
图5是本发明实施例提供的关节点原始数据获取流程图。
[0063]
图6是本发明实施例提供的三维重建流程图。
[0064]
图7是本发明实施例提供的实验效果图。
具体实施方式
[0065]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0066]
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0067]
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0068]
如图1所示，本发明实施例提供的智能居家瑜伽教练信息处理方法包括：
[0069]
s101，人体姿态数据采集：是reg与深度叠加图像，为relasense d415采集得到的原始数据，数据传入树莓派4处理。原始数据从用户处采集rgb图像与deepth数据。
[0070]
s102，深度骨架的数据处理：关节点坐标及其可视化，经openpose处理图像数据提取出了深度骨架化信息，此时信息存在形式为十八个关节点的rebd形式，即reg二维，深度三维的坐标，此坐标信息将传入华为云服务器5进行特征提取。
[0071]
其中，openpose获取身体骨架化结点，树莓派4进行对齐处理提取三维数据。
[0072]
s103，三维特征的提取，服务器所提取出的人体物理特征，代表了人体伸展程度以及各个重要关节夹角信息。
[0073]
其中，rgbd三维骨架化结点处理为xyz坐标系数据，并提取出物理特征。
[0074]
该物理特征经过分类器分类后，获得了姿态分类结果，并与标准姿态库比对，获取校准信息，并返回至web端。
[0075]
s104，web端返回信息。随机森林根据特征预测姿态，并与该姿态标准库校对,获取评估结果与建议。
[0076]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0077]
实施例：
[0078]
1.如图2所示，本发明智能居家瑜伽教练信息处理系统是一个基于openpose与随机森林算法的云边协同一体化实时姿态校准方案，使用设备有：
[0079]
英特尔realsense深度摄像头1：采集人体原始rgb图像与深度图像，为人体骨架建模提供基础与依据。
[0080]
英特尔计算棒2：部署openpose经典神经网络，增强算力，实现3维人体骨架化实时提取。
[0081]
小熊派3：利用鸿蒙系统nfc模块，读取移动设备wifi信息，进而通过uart串口将网络信息传递给树莓派4。
[0082]
树莓派4：接收小熊派3网络信息，实现移动设备配置入网。接收神经网络人体数据信息，将骨架化信息上传至服务器。
[0083]
华为云服务器5：部署随机森林模型，提供训练集，训练出人体姿态分类器，将骨架化信息读取后，提取特征点，从而进行姿态分类。
[0084]
在本发明一优选实施例中，realsense深度摄像头1。
[0085]
瑜伽动作成千上万，有些动作不可避免会造成人体的部分遮挡，要实现对人体姿态的精准识别，就需要拍摄人体的摄像头1具有较高的rgb传感器分辨率和帧数以及较广的深度距离范围。所以本发明首选了当今市面上最适合于本发明产品的intel realsense d435深度摄像头1。它的rgb传感器分辨率和帧数可以达到1920
×
1080，30fps，深度距离范围可以达到0.105m～10m。超过了市面上95％的产品。
[0086]
在本发明一优选实施例中，边缘设备包括：
[0087]
为用户提供方便快捷，经济专业的居家瑜伽指导，因而硬件设备不应依赖于搬运过程较为麻烦的pc机。从产业化的角度分析，本发明选择了小巧方便的树莓派4作为边缘设备，为了保证数据的高速率计算与传输，弥补树莓派4性能不足，算力缺乏的问题，本发明选择了算力增强的树莓派4，并配备英特尔神经网络计算棒2来提高系统算力，从而实现实时三位骨架化提取。
[0088]
在本发明一优选实施例中，小熊派3包括：
[0089]
从使用需求来说，难以要求用户学习计算机程序启动过程。为了契合方便使用，轻松便捷的需要，本发明采用了小熊派3的鸿蒙nfc模块，通过碰一碰完成读取移动设备编辑好的网络信息，配合树莓派4进行移动设备配置入网，随即运行脚本自动拉起程序的全过程。
[0090]
图3是本发明实施例提供的智能居家瑜伽教练信息处理系统原理。
[0091]
2.在本发明一实施例中，本发明提供的智能居家瑜伽教练信息处理方法如图4所示。包括：
[0092]
(1)人体骨架化信息提取：
[0093]
为了获取人体18个关节点坐标的原始数据，如图5所示，本发明利用openpose神经网络确定了rgb图像中人体18个骨骼点的二维坐标，以及对应点的深度值。每个关节点的二维坐标和深度值构成当前关节点的原始数据。
[0094]
openpose网络模型是本发明的基础。它广泛应用于人体姿态识别领域。能够有效
的检测一个图像中的多人。通过part affinity fields来学习身体的各部分及关联性。part affinity fields(pafs)方法即连接部分身体关节来形成人体姿态。是利用全局纹理信息，自下而上的方法，达到实时性和高精度。这是一个自下而上的人体姿态检测模型，他不同于自上而下的网络模型，自上而下的检测模型主要是通过先确定图片中的人数，确定人后，对每个人进行关键点检测。而openpose是自下而上的检测模型，他先识别图片中所有可能的关键点，在模型中的输出是heatmap(即色彩丰富的热图，可以展示人体在图像中的大致位置)，以及识别所有关键点之间的连接关系，这种关键点之间的联系被称为矢量场或者人体关键点亲和场，在模型输出的是paf(part affinity fields部分亲和度)。这个模型同时进行人体关键点的检测和连接。openpose的单人姿态估计算法思想，整个算法的流程是：
[0095]
1)其中一个分支用来预测打分图confidence maps(s)，一个分支用来预测部分亲和度pafs。
[0096]
2)利用loss function损失函数保证神经网络可靠收敛。
[0097]
3)采用高斯分布计算出热图heatmap和骨骼方向vectormap。
[0098]
4)进行骨骼关节的相连与姿态识别预测。
[0099]
openpose多人姿态估计的具体算法思想。在原始数据的基础之上，通过前面的十层神经网络校正具体的参数，作为映射f传送到初始阶段中去。pafs，
[0100]
本发明一般称为骨骼方向向量，代表了骨骼中肢体的具体走向。共分为两大部分：蓝色和橙色。蓝色代表的是cnns，一般用于引擎的推理和预测，在经过反复的训练之后提高s，本发明一般称为置信度。橙色代表的是所谓卷积内核，这种方式可以极大地减少本发明的工作量，并且可以提升细化的效率和层数。换句话说，提升了本发明上面提到的置信度s，也就是更为准确的识别出身体所在的具体位置和姿态行为。
[0101][0102][0103][0104]
公式(2-1)、(2-2)、(2-3)揭示了神经网络识别姿态损失函数。以下公式中pafs由l*所表示，置信度由s*所表示。若有骨骼点被遮挡或者未被检测到，则刨除该点不予计算。
[0105][0106]
公式(2-4)揭示了骨骼点检测标注点的正态峰值。当本发明的人体骨骼点p向标准点k慢慢靠近时，会随着推移逐渐达到峰值。
[0107]
(2)三维重建，如图6所示。
[0108]
将每一帧人体18个骨骼点的二维坐标和深度值数据通过云端上传到pc机进行三维重建。所述18个骨骼点的二维坐标和深度值数据如表1所示。
[0109]
表1
[0110]
2021-08-16 18:10:05：data-41：(270，189，2.70)，(270，216，2.74)，(248，219，
2.83)，(206，223，2.86)，(169，219，2.80)，(293，216，2.78)，(330，219，2.87)，(364，216，2.90)，(255，298，2.79)，(259，351，2.78)，(263，396，2.90)，(285，298，2.73)，(289，347，2.87)，(289，392，3.01)，(263，182，2.69)，(274，182，2.69)，(259，189，2.72)，(282，186，3.18)，
[0111]
有了人体骨骼点的二维坐标和深度值，本发明就可以利用相机内参camera_factor、camera_cx、camera_cy、camera_fx、camera_fy等参数，通过针孔成像模型公式(2-5)将2d坐标转化为3d坐标x、y、z。
[0112][0113]
(3)随机森林人体姿态识别：
[0114]
在本发明的技术设计中，最为重要的就是人体姿态识别模型的构建。在当今市面上的所有人体姿态识别技术中大部分都是基于rgb图像的识别，而本发明的作品如果只用基于二维图像的识别技术，将会有很大的局限性，人体与摄像头1的角度，甚至是距离，都会对模型预测的结果产生巨大的干扰。所以本发明创新性的使用了人体在三维空间内的骨骼角度(如左肩与左臂间的夹角称为左肩角)来作为随机森林模型预测的依据。在进行了数万条数据的采集，通过计算得的骨骼角训练的随机森林模型准确度可达97％以上。将训练好的模型部署到华为云端，利用云端的处理速度，本发明可以节省大部分算力，最大限度的减少从数据采集到数据结果回传需要用的时间。
[0115]
最后，本发明设计web页面，将其作为用户交互的端口，用来展示识别姿态，姿态评分，姿态建议等信息。
[0116]
本发明居家瑜伽系统具有经济性，高效性，服务性以及完整性五大优势。减免了报瑜伽班的费用，减少了上瑜伽班的时间损耗。能够精准识别瑜伽姿态，给与详细提示信息以及历史信息对比。服务性软件上有着极低的学习成本，上手即用，用即上手。系统实现了已经相当完整，从本地，服务器，web程序均已经完善。本发明为通用模型，只需提供足够训练数据，甚至可以对太极拳，拳击动作，舞步姿态等能够起到很好的教学效果。实验效果图如图7所示。
[0117]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0118]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。