一种采用多视角高速相机与人体姿态识别的体育运动教学装置

1.体育教学，计算机视觉


背景技术：

2.体育教学中的动作示范是一项费力与抽象的活动，比如跳远、跳高、跨栏等，动作过程中无法暂停，导致学生难以看清楚示范的细节，不便于学生对动作过程的理解。学生不理解动作细节与要领，就无法做出正确的动作。采用高速照相机从多个角度来拍摄示范动作，将示范动作过程记录下来，并结合基于深度学习的人体姿态识别算法，为每一步动作的变化提供动作衡量的技术指标，采用视频慢播放技术，给学生提供动作的多角度展示，让体育教学形象化与生动化，便于学生更加深刻的理解动作过程与要领。通过人体关键点的技术指标分析，对比老师与学生的动作技术指标差异，便于学生找到差距，有针对性进行训练，以便更好、更快地提高体育运动水平。


技术实现要素：

3.本发明一种采用多视角高速相机与人体姿态识别的体育运动教学装置，将费时与费力的体育教学变得更加直观与生动，同时提供动作的技术指标数据，为教师对动作的讲解与分析提供数据支撑，动作的技术指标数据还可以作为衡量教师水平与学生水平的参考依据，找出差距，并进行有针对性的训练，达到因材施教的教学目标之一。
4.本发明的主要构成如图1所示，主要包括高速相机，视频采集计算机，人体姿态识别计算，人体关键点的运动轨迹与速度计算，多角度动作视频慢播放。
5.系统工作原理
6.1.学生或老师在动作区域做体育运动动作
7.2.高速相机从多个角度将运动过程记录下来
8.3.采用基于深度学习的人体姿态识别算法(hrnet或openpose)对每一帧的图片进行人体关键点识别，获得2d坐标。在结合多个角度的信息，将关键点的2d坐标转化为3d坐标。
9.4.计算人体关键点的运动轨迹与运动速度
10.5.输出关键点运动数据报告
11.6.从多个角度对运动进行视频慢播放
12.技术要求
13.1.采用的相机为高速与同步相机，建议为240帧每秒或更高。为了达到多个相机同步拍摄，建议采用工业相机。
14.2.相机的数量在4个以上，建议采用8个相机。
15.3.关于人体关键点算法，在互联网或github上有开源的算法，可以采用hrnet或openpose人体姿态识别算法，或者基于深度学习的人体姿态识别算法的其它算法。
16.4.人体姿态识别算法输出是2d坐标，需要结合多角度的2d信息，综合为3d坐标。
17.5.根据人体关键点的3d坐标，计算关键点的运动速度，同时输出关键点的运动轨迹。
18.6.视频采集前，需要固定相机并进行标定。
19.人体关键点3d坐标计算
20.人体关键点3d坐标的计算，主要考虑到去掉噪音的处理，以便提高关键点运动轨迹的准确性与平稳性。本发明采用的处理方法如图2所示，主要包括以下步骤：
21.1)采用人体姿态识别算法将各个视角的图片进行处理，获得各个视角的人体关键点2d坐标。
22.2)采用dlt(direct linear transform)算法，将2d坐标转化为3d坐标。这是第一次dlt算法处理。考虑到各个2d点存在误差与噪音，需要进行过滤处理。
23.3)将3d坐标进行重投影到各个视角，采用各个相机的参数模型，可以得到各个视角的投影点。
24.4)计算各个投影点与人体姿态算法得到的2d坐标距离(误差)，计算所有视角的距离(误差)均值与标准差。
25.5)去掉距离(误差)大于3倍标准差的视角点，把剩余的视角人体关键点2d坐标重新进行dlt变换，获得最终的人体关键点3d坐标。
附图说明
26.附图1是多视角与人体姿态识别的体育教学装置功能图，描述了整个系统的关键构成、主要原理和主要方法。
27.附图2是计算人体关键3d坐标的算法流程，描述了用到的主要算法、主要处理原理与主要方法。
28.技术方案优点
29.本发明的技术方案采用了计算机视觉与深度学习技术，对运动细节与过程进行动作捕捉。采用人体姿态识别算法识别人体关键点坐标，采用两次dlt与重投影算法，去除误差较大的点，从而得到精准的人体关键点3d坐标，为后续的人体关键点运动轨迹与运动速度计算提供了可靠的数据支持。
30.采用视频慢播放的方式，从多个角度对体育运动过程进行回放，让体育教学更加生动、直观与有意思，促进了学生对动作的深入了解与要领掌握。视频回放可以多次进行，一定程度减轻了体育老师反复做示范动作的劳动强度；通过视频回放，也能让学生更加清楚了解自己做动作的问题所在，有针对性的训练，快速提高运动水平。本发明可以对老师与学生的动作进行分析，输出人体关键点的运动轨迹与运动速度差异，以便有针对性的对学生进行训练与指导，快速提高学生的运动水平与运动智能。
31.本发明是首次将人工智能技术应用于体育教学，为提高体育教学科技水平贡献力量，为体育强国打下基础。同时，对体育科研与大众健身普及等具有十分重要与深远的意义。
具体实施方式
32.1)视频采集前，需要在体育运动活动区域周围摆放好相机并固定不变。
33.2)保证活动场所的光照条件，让相机能拍摄到清晰的图片。
34.3)体育老师或学生在活动区域做体育运动的动作，并进行多角度高速视频采集
35.4)将采集到的视频在有gpu的计算节点上进行人体姿态识别运算，计算出每一帧的人体关键点2d坐标
36.5)结合多角度信息，将2d坐标转化为3d坐标
37.6)利用人体关键点的3d坐标信息，计算人体关键点的运动轨迹与运动速度。
38.7)输出人体关键点的运动报告
39.8)对动作视频进行慢播放，从多个角度进行播放，可以暂停也可以加快。


技术特征：
1.一种采用多视角高速相机与人体姿态识别的体育运动教学装置，通过高速相机从多个角度对体育运动进行视频采集，然后采用人体姿态识别算法与2d到3d变换算法，计算出人体关键点的运动轨迹与运动速度，提供人体关键点的运动数据报告。通过动作视频慢回放，对学生进行体育教学。2.根据权利要求1所述的体育教学装置，其特征在于，采用人体姿态识别算法识别人体关键点。3.根据权利要求1所述的体育教学装置，其特征在于，采用两次dlt变换与重投影方法去掉噪音点。4.根据权利要求1所述的体育教学装置，其特征在于，采用多角度来拍摄动作过程。5.根据权利要求1所述的体育教学装置，其特征在于，采用多角度视频慢回放来展示运动过程细节。

技术总结
本发明公开了一种采用多视角高速相机与人体姿态识别的体育运动教学装置，先用高速相机从对体育教师的示范动作进行多角度拍摄，并将拍到的视频保存到计算机中。然后采用基于深度学习的人体姿态识别算法对不同角度的图片进行人体关键点识别，并将识别到人体关键点标记到图片中。接着采用视频慢播放方式播放带有人体关键点的图片，让学生更加直观理解运动的细节过程，加深学生对动作过程的认识与体会。教师同时结合人体关键点信息，讲解动作的要领，并作为衡量动作质量的参考技术指标。本发明将抽象的体育运动具体化与直观化，极大方便了体育教师与学生，为提高国家的体育教学科技水平具有重要与深远的意义。水平具有重要与深远的意义。水平具有重要与深远的意义。


技术研发人员：蒋现新
受保护的技术使用者：首都体育学院
技术研发日：2021.09.30
技术公布日：2022/8/29