基于OpenPose的3D私人健身系统及其工作方法与流程

基于openpose的3d私人健身系统及其工作方法
技术领域
1.本发明属于智能健身设备技术领域，尤其涉及一种基于openpose的3d私人健身系统及其工作方法。


背景技术：

2.日常生活中，无论是学习还是工作，长期伏案后都会出现圆肩、肩颈僵硬和肩胛骨不灵活的情况，长期久坐不运动也会出现重心不良衍生出的腿弯等功能性障碍问题。因此，为了改善身体亚健康同时调整体态外型，越来越多人关注健身。但是，为了流量或者获益，很多社交媒体总是在营造不良风气，诸如一招瘦腿、三分钟长个子、五分钟出马甲线、八分钟改善面部不对称等等快速见效的虚假宣传。若混淆圆肩跟驼背的概念，且不清楚自己的体型状态，盲目跟练，用矫正驼背的动作去改善圆肩，只会越练越糟糕。错误的训练斜方肌的动作会导致脖子酸、肩膀紧的负面效果。在肩胛骨不灵的状态下，所有的竖直方向的抬手类动作，都会代偿到“斜方肌上束”，即更多地锻炼到斜方肌。此外，营销号宣传的漫画腿、直角肩等违背人体解剖学的病态美，导致大众盲目跟风、急于求成，反而会适得其反。最后，由于环境受限，部分健身爱好者只能在宿舍床上训练，就会出现诸如床太小，卡动作幅度，效率上不去；床太软，降低训练感知，动作不好做等问题。


技术实现要素：

3.有鉴于此，为了减少健身行业营造的不良风气给大众带来的负面影响，同时方便广大群体不受健身环境和健身器材的约束，在宿舍也能提高日常健身锻炼的效率，达到塑型调整体态的目的，本发明的目的在于提供一种基于openpose的3d私人健身系统及其工作方法，采取的是基于运动捕获技术的人体姿态识别方式。它不仅可以更好地分析和捕捉人体姿态信息，也可以更好地展现、处理和记录运动细节，不会因为物体的颜色或被遮挡而影响运动轨道的识别，在环境受限、器材设备不具备的情况下，这种基于openpose人体姿态识别的健身系统对于在家或者在宿舍进行健身动作分析的痕迹管理有较高的参考价值，可以制作成3d私人健身系统。
4.该系统利用ai识人技术openpose实现实时二维人体姿态估计，通过对健身人群的人体关键点在三维空间相对位置的计算，观察人体姿态估计的置信图、骨架走向，实现自身体态的客观测评，并在定制的健身动作跟练过程中实现对其躯干、四肢的跟踪，具有较好的鲁棒性。该3d私人健身系统对健身设备和环境要求低，具有普适性。利用该3d私人健身系统，使用者不仅能够建立正确的身体认知，而且能够进行科学的塑型动作跟练，从而养成良好的体态意识，满足日常健身锻炼的需求，达到改善体态的目的。
5.本发明具体采用以下技术方案：一种基于openpose的3d私人健身系统，其特征在于,包括：摄像模块、姿态识别模块和带有显示功能的终端设备；所述姿态识别模块包括：cmu openpose模块（part confidence maps）、cnn网络模
块、cmp模块、pafs模块（part affinity fields）和匈牙利算法模块（hungarian algorithm）；所述摄像模块用于拍摄到用户自然站立状态下的腿部、肩背状态的图像，以及训练过程中的人体状态图像；所述姿态识别模块用于标记用户在体态自测阶段、形体矫正阶段的关键点以及正确连接关节点，并输出为图像文件；所述cmu openpose模块用于人体姿态检测；其采用cmu openpose模型，将face alignment和pose alignment串起来做成了一个统一的图，并根据人体头部的刚体属性及四肢的非刚体特性形成一套基于caffe的点估计与扩散模型。该模型鲁棒性好、精度高、数据集规模大、质量好，仅仅基于2d图像就可以实现鲁棒性很好的人体姿态检测。
6.所述cnn网络模块即卷积神经网络，用于提取置信图和骨骼连接；所述cmp模块用于查找人体图像的关键点；即part confidence maps（cmp），指部分亲和力置信图，也称之为“热图”，用于查找例如肩、肘、膝、踝等关键点。热点图中，每个人体关键点上都有一个高斯的峰值，代表神经网络估计这里有一个人体的关键点，运用openpose模型的第一步是检测该系统使用者的关键点的位置，得到热点图的检测结果。
7.所述pafs模块用于描述像素点在骨架中的走向，对关键点进行正确的连接；其采用的是part affinity fields（pafs）自下而上的人体姿态估计算法，可以描述像素点在骨架中的走向，对关键点进行正确的连接。其先得到关键点位置再获得骨架连接。该过程可以通过一个新的矢量场特征即人体关键点亲和场（pafs）实现，进行关键点之间的连接进行推测然后重复这个步骤，直到得到图片或视频中所有骨架信息。
8.所述匈牙利算法模块用于求得相连关键点的最优匹配。其采用的hungarian algorithm(匈牙利算法)，其实质是部图匹配。匈牙利算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。利用该算法可以求得相连关键点的最优匹配。
9.该系统不限制健身设备及环境，采用瑜伽垫、泡沫轴、墙体、桌椅、宿舍床铺等均可。
10.进一步地，所述终端设备内置有体态矫正训练素材。该终端设备一般指能够承载openpose模型以及各种软件的台式机或者笔记本电脑，利用网线、后台处理系统、显存、内存、硬件和软件等支持，能够在显示屏上呈现出完整的、带有关键点以及连接完整的人体姿态识别图像或者视频，实现在家也能随时随地进行自我体态监测和矫正动作跟练。
11.进一步地，所述cnn网络模块网络中的卷积大小都是3
×
3，且所有隐含层构建过程都使用relu激活函数。
12.进一步地，所述cnn网络模块采用vggnet
‑
19，由pytorch实现。vgg
‑
19版本是由19个层组成，所有层中都布置有大小为3x3的卷积滤波器，通过添加卷积层层数可以增加网络深度。将224
×
224
×
3大小的图片导入模型，图像会以步长为1、填充值为1的大小通过一系列尺寸为3
×
3的卷积层。
13.以及根据以上基于openpose的3d私人健身系统的工作方法，其特征在于，包括以下步骤：步骤s1：拍摄至少包括腿部和肩背信息的自测图像，以及训练过程中的人体状态图像；
步骤s2：将步骤s1获得的图像信息输入cmu openpose模块进行人体姿态识别；步骤s3：将步骤s2获得的识别结果输入cnn网络模块的卷积神经网络；步骤s4：将步骤s3获得的输出结果分别输入cmp模块提取关键点及输入pafs模块连接关键点；步骤s5：通过匈牙利算法模块对相连关键点的最优匹配；步骤s6：输出匹配后的关键点连接信息，并显示与标准动作的偏差。
14.进一步地，步骤s2具体包括以下步骤：拍摄到的腿部、肩背图像首先被卷积神经网络vgg
‑
19的前10层进行初始化处理提取特征并微调后，生成特征图集f；网络采用vgg pre
‑
train network作为骨架，采用两个分支分别回归l(p)和s(p)：其中，pafs用于描述像素点在骨架中的走向，用l(p)表示；关键点的响应cmp用s(p)表示。
15.进一步地，在步骤s3中：输入cmp模块提取关键点及输入pafs模块连接关键点的两个分支分别使用 cnn网络提取part confidence maps 和 part affinity fields；每一个stage算一次损失函数loss，之后把l和s以及原始输入连接，继续下一个stage的训练；随着迭代次数的增加，每个分支都有t个阶段，表示越来越精细；每个阶段都将特征图进行融合。
16.进一步地，在步骤s3中：cmp模块提取关键点对应的第一条分支用于获取所有的关键点，包括肘关节、膝盖的二维置信图；其中包括两个cnn，第一个cnn的输入是原图，输出是热图，每一个热图包含某一种关键点；第二个cnn输入是上一个cnn得到的所有热图和原图；输出还是热图，并循环直至收敛；pafs模块连接关键点对应的第二条分支用于求所有关节区域：其中包括两个cnn，第一个cnn的输入是原图，输出是热图，每一个热图包含某一种连接区域；第二个cnn输入是上一个cnn得到的所有热图和原图；输出还是热图，并循环直至收敛。
17.进一步地，通过cmp模块和pafs模块获得信息后，利用偶匹配求出part association，将同一个人的关节点连接起来，最终合并为一个人的整体骨架。
18.与现有技术相比，本发明及其优选方案一方面克服了传统健身器材和场地的限制，通过利用机器学习等相关技术，仅采用较小的终端设备即可实现随时随地的较为专业的健身训练辅导；另一方面，实现了人体姿态的实时智能跟踪，很大程度提高了健身训练的准确性和便捷性，同时也降低了成本。
19.此外，还可以进一步实现通过姿态识别进行科学的体态自测，判断自身形体的类型以及存在的问题，建立正确的、科学的体态结构认知，提高对身体的基础认知，培养肩胛骨发力意识。例如意识到腿型由于骨盆q角的存在，不可能像筷子一样笔直，而真正的腿弯，是基于髋、膝、踝、足底、重心不良衍生出的功能性障碍，这种障碍不只是影响腿型，还会影响跑步、跳绳、练臀等各种训练。然后参照适合自己的训练计划，通过姿态识别实时学习、监测健身过程中的正确动作，停止去斜方肌、平直角肩的错误训练，建立肩胛骨发力意识，尽量在不抬手的状态下完成肩胛骨的激活，养成好的健身习惯，改善用户的身体状态水平。
附图说明
20.下面结合附图和具体实施方式对本发明进一步详细的说明：图1为本发明实施例系统工作流程示意图；
图2为本发明实施例基于openpose的3d私人健身系统功能示例图。
具体实施方式
21.为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：如图1、图2所示，本实施例提供的基于openpose的3d私人健身系统，其包括体态自测素材、体态矫正训练素材、健身设备及环境、输出端姿态识别的处理结果、cmu openpose模型、cnn网络、part confidence maps（cmp）、part affinity fields（pafs）、hungarian algorithm(匈牙利算法)、终端显示设备等要素。
22.本发明一实施例中，该系统的实现主要由输入端素材、openpose模型、输出端文件三部分组成，具体实施方法如附图1
‑
工作流程图所示：首先是openpose环境搭建及demo测试。下载vs 2019，安装cuda 10.1，安装cudnn 10.1，安装openpose库，模型库下载，安装cmake3.15.3，最后输入一张自然状态下站立的腿型照片进行人体姿态识别测试。在终端显示设备上若能输出标记有关节点并正确连接骨架的jpg或者avi格式文件，说明可以投入使用。
23.openpose是一种同时提供2d和3d的、对多人身体、面部和手部形态关键点实时估计检测的框架，可接受的输入可以是图片、视频、网络摄像头等。它的输出可以是png、jpg、avi，也可以是json、xml和yml。
24.在体态自测的过程中，通过将图片中已检测到的人体关键点正确的联系起来，从而估计使用者的人体姿态。因此骨骼关键点提取是一项很关键的先决技术，其检测的精度会直接影响姿态检测的准确度以及动作识别及预测的精度。
25.人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等。通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。增加时间序列后，可以观察某一段时间范围内人体关键点的位置变化，更加准确的检测姿态，估计目标未来时刻姿态，以及做更抽象的人体行为分析，比如判断一个人是否在抬手等等。
26.如图2所示，以下是基于openpose人体姿态识别的3d私人健身系统方法的主要流程：拍摄到的腿部、肩背图像首先被一个卷积神经网络vgg
‑
19的前10层进行初始化处理提取特征并微调后，生成特征图集f，网络采用vgg pre
‑
train network作为骨架，有两个分支分别回归l(p)和s(p)。其中，pafs是用来描述像素点在骨架中的走向，用l(p)表示；关键点的响应cmp用s(p)表示。两个岔路分别使用 cnn网络提取part confidence maps 和 part affinity fields。每一个stage算一次损失函数loss，之后把l和s以及原始输入连接，继续下一个stage的训练。随着迭代次数的增加，每个分支都有t个阶段（表示越来越精细），每个阶段都会将feature maps（特征图）进行融合。
27.第一条分支：获取所有的关键点，比如肘关节、膝盖的二维置信图。置信图的作用是以灰白程度展示人体部位出现的可能性。一共两个cnn，第一个cnn的输入是原图，输出是热图（每一个热图包含某一种关键点）,第二个cnn输入是上一个cnn得到的所有热图，和原图。输出还是热图。循环直至收敛。
28.第二条分支：求所有关节区域。一共两个cnn，第一个cnn的输入是原图，输出是热图（每一个热图包含某一种连接（可以简单理解为骨头）区域），其实它们是一整片区域，不
过每个地方的概率大小不同。第二个cnn输入是上一个cnn得到的所有热图，和原图。输出还是热图。循环直至收敛。
29.得到cmp、pafs这两个信息后，利用bipartite matching（偶匹配） 求出part association，将同一个人的关节点连接起来，由于paf自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；部分区域亲和pafs是负责在图像域编码着四肢位置和方向的2d矢量，同时，使用cmp标记每一个关键点的置信度即“热图”。通过两个分支，联合学习关键点位置和他们之间的联系。同时推断这些自下而上的检测和关联的方式，利用贪婪分析算法（greedy parsing algorithm），能够对全局上下文进行足够的编码，获得高质量的结果。
30.以下为该基于openpose的3d私人健身系统的功能实现：腿型自测：拍摄一张自然站立状态下的双腿照片，导入openpose模块，根据终端显示设备生成的热图和关键点连接的画面，若两脚并拢但腿部中间有空隙，且膝盖关键点方向朝内的，推断为髋内旋o型腿。若两脚并拢时膝盖关键点微微能碰上，且膝盖朝内的，推断为髋内旋小o型腿。若两脚并不拢，分开站骨骼连接呈现x型，但是膝盖还是朝内的，推断为xo型腿。了解完自身的体态类型，就能对症下药进行矫正跟练。
31.直腿矫正跟练：通过openpose模块的热图和关键点连接，实时监测跟练动作的标准程度，注意感受视频教学中强调的重点要素。动作一：侧躺旋腿15次。侧躺在床上，头枕着枕头或者胳膊，上边的腿用力往外蹬，让骨盆从倾斜变成中立位。臀部发力直腿抬起，纯靠臀部发力主导，让膝盖和脚往外旋转。动作二：小幅度蚌式15个。保持侧躺，双脚并拢，维持腰间缝隙的肚子张力感，臀部主导做小幅度蚌式15个。动作三：大幅度蚌式15个。在蚌式的基础上，抬起小腿，双脚相互挤压，全程维持蚌式状态。动作四：屈髋旋腿15次。把腿放平，上边的腿朝脚尖方向直腿向前踢到最大的幅度，纯靠臀部主导，让膝盖和脚外旋转，此时保证只有臀部是紧张状态。每次做完动作换腿继续，一套跟练做完，休息20秒重新开始，直至完成四轮练习。动作五：拉伸。首先，双手小臂平放成三角形，俯身在瑜伽垫上，右腿平放，脚背绷直对抗地面，左腿跨到右侧，左腿的大腿和小腿的角度越大难度就越大，慢慢俯身向下，后腿脚背绷直对抗地面，身体重心微微向前，感受臀部和大腿内侧的拉伸感，保持30秒。接着踮脚10次，右脚尖蹬地，手掌摸向前方，支撑起身体，做前后晃动，增加拉伸感，重复10秒，换腿继续。在跟练过程中，要特别注意的点是，吸气肚子鼓起，吐气肚子收紧；保持全程腰间空隙状态；若大腿外侧酸，则调整发力；不要只转脚踝；不要追求过大的骨盆外旋幅度，优先感受臀部主导即可。
32.斜方肌自测：大部分人是没有斜方肌的，斜方肌看着大，不是斜方肌的问题，本质上是对肩胛骨的控制能力出现问题，可以借助手机前置自拍测试来检测自己的斜方肌控制能力。首先脚跟、腰、后背、头完全贴着墙面，双手举着手机直至跟地面完全平行，在前置摄像头画面里，时刻保证肩膀的骨骼连接是平的，然后纯靠肩胛骨后缩的力量，让前置镜头里的自己反复靠近、远离。若能够自然地做肩胛骨收缩活动，躯干稳定，肩颈不酸，就是正常的斜方肌状态。画面中若出现脖子不自觉缩起来，肩胛骨状态一般，相较于训练纠正，日常习惯更成问题。若在后缩的过程中出现胸部高高挺起，肋骨外翻、腰部反弓，肩胛骨状态很差，除了激活肩胛骨，还需要调整健身计划，搭配哈利波特训练做核心强化。
[0033]“肩胛骨意识养成”跟练：跟“圆肩矫正”配合，能够非常高效的缓解目前上肢体态
问题。动作一：躺着摸天花板。首先，自然平躺在瑜伽垫上，让骨盆做前倾和后倾，找到最佳的中间位置，然后举起双手，只通过肩胛骨滑动，用力向天花板方向触摸，然后归位，重复20次。动作二：单手向下划拉15次。首先单手抬起，慢慢向头部方向划拉手臂，大部分人在30度的时候会有卡拉感，然后肋骨会升起来，保持这个最大幅度来回划拉。未来训练中，要保持肋骨不会升起的最大幅度原则，逐渐增加活动度，慢慢触碰地面。注意，放下胳膊时候吸气，回归时候吐气。动作三：双手向下划拉15次。原则相同，但是卡拉感更明显。动作四：趴着拉伸15次。若没有泡沫轴，可以跳到矫正圆肩、弱化斜方肌的坐姿体态干预训练来收尾。首先俯身趴在瑜伽垫上，一只胳膊撑着头，保持肩颈处的舒适状态，然后另一只手放在泡沫轴上，只需要靠肩胛骨来滑动来完成前引和后缩。通过这套训练找到肩胛骨的发力意识，帮助自己日常不要被动耸肩。
[0034]
圆肩自测：驼背是基于“胸椎段”问题衍生的外观变化，医学上，将胸椎向后弯超过40度称为驼背。但是，圆肩是基于“肩胛骨”位置产生的体态变化，即背部是直的，但肩膀往前扣。自然状态下，肩胛骨距离中线位置在三指左右，而圆肩状态下，会超过三指的距离。肩膀前扣，意味着所有让肩膀打开的动作，都拉伸不到位，反而有斜方肌代偿、脖子变大的后果，例如常见的胸肌拉伸、ytwl伸展等动作。使用者可以在家用照相机拍下自己后背放松时候的状态，利用openpose模块做出静态的评估。
[0035]
圆肩矫正：通过openpose模块的热图和关键点连接，实时监测跟练动作的标准程度，注意感受视频教学中强调的重点要素。动作一：优雅展臂扑腾20次。首先，坐在椅子上保持躯干笔直，双臂展开，让后背主动收紧；接着，带动大臂做一个“直臂外旋”，肘窝冲外，注意不能挺胸；然后，保持身体直立不要晃动、呼吸节奏稳定，吸气让胸腔和腹部同时升起，手臂后摆，吐气胸腔和腹部同时降下，恢复初始位置。全程要用肩胛骨的收缩，主动带着大臂前后摆动，感受后背位置在发热发胀。动作二：前后推鼠标10次。首先，坐在椅子上，根据桌椅高度，调整手肘和大臂、大臂和身体的夹角，用另一手按住胸部，肩膀不能倾斜、身体不要晃动，纯靠肩胛骨主动后缩的力量带着大臂向后滑动，幅度不用太大，仔细体会肩胛骨“归位”的感觉，后缩时吐气，恢复动作吸气。动作三：胸肌松解。首先竖起大拇指用力碾压胸肌筋膜点的位置10秒，然后保持按压力度，把手抬起来反复转动大臂来增加疼痛感。最后四指并拢，呈现“鸭子嘴”形状，大拇指处按压胸肌外沿15秒。
[0036]
在日常的健身运动中，不管是高强度的减脂动作还是低强度的塑性调整动作，都要运用全身多个关节，利用本实施例的openpose人体姿态识别的关键点检测和关节连接，首先建立起对身体的正确认知，然后针对性地采取科学健身计划，在家就能实现健身动作的学习和日常跟练的监督。此外，借助openpose模块还可以实时记录日常健身运动轨迹，根据自己的身体状况和协调能力适当地调整训练计划，从整体上提高锻炼的效果，更好地达到健身塑型的目的。
[0037]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于openpose的3d私人健身系统及其工作方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。