一种群体性队列训练的分析方法及装置与流程

1.本发明涉及计算机技术，尤其是涉及一种基于人工智能的群体性队列训练的分析方法及装置。


背景技术：

2.随着生活水平的提高，人们对健康日益重视，希望通过运动以提高身体素质。在学校的队列训练活动课程中，学生经常会分组，以队列的形式进行运动训练，如正步走、跑步等。
3.现有的群体性队列训练分析，主要靠分析员、指导老师等进行人工观察分析，指出动作的缺陷、对整个队列的整体动作进行分析，客观性和专业稳定性上都存在一定缺陷，而且，由于指导老师自身的主观性，很难找到一个统一的标准。目前，也有一些智能运动辅助系统，通过视频捕捉运动对象，再进行姿态识别、动作分析和训练指导，但是，这些技术往往只能针对个体进行，在队列训练时，由于训练评价标准与常规运动不同、多人运动时的人员定位较难等问题，尚无群体性队列训练的分析装置。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种群体性队列训练的分析方法及装置。
5.本发明的目的可以通过以下技术方案来实现：
6.一种群体性队列训练的分析方法，包括以下步骤：
7.s1、队列进行动作的训练，获取记录队列训练过程的视频，从视频中获得图像帧；
8.s2、使用训练好的实时多人2d姿态估计算法模型对图像帧进行多人姿态检测，得到队列中各个队员的骨架信息；
9.s3、基于骨架信息进行人员定位，得到各个队员的定位点；
10.s4、基于骨架信息以及各个队员的定位点，计算各个队员的动作的高度参数和距离参数；
11.s5、将高度参数和距离参数与预设置的标准动作信息对比，输出队列中各个队员的动作标准度。
12.优选的，步骤s1中，从视频开始，每经过时间t则对视频的帧序列进行采样得到图像帧，t为预设置的采样时间间隔。
13.优选的，使用训练数据集对实时多人2d姿态估计算法模型进行训练，得到训练好的实时多人2d姿态估计算法模型，所述训练数据集包括多种训练图像，所述训练图像为包含多个队员的图像，且标注有骨架信息。
14.优选的，所述实时多人2d姿态估计算法提供25个身体的关键点识别，所述骨架信息包括25个关键点，8号关键点对应的关节为中臀；队列在训练场地上进行训练，训练场地的中心画有一条定位线ls，队列沿定位线ls前后移动，基于定位线ls和各个队员的8号关键
点得到各个队员的定位点。
15.优选的，其中，得到一个队员的定位点具体为：
16.以队员的骨架信息中的8号关键点为第一基准点，过第一基准点向下作垂直于训练场地的垂线lt，以队员的两脚中的最低点为第二基准点，过第二基准点作定位线ls的平行线la，平行线la与垂线lt的交点p即为队员的定位点。
17.优选的，如果队员的两脚中存在水平的足底，则以水平足底的最低点为第二基准点。
18.优选的，队列在训练场地上进行训练，训练场地的中心画有一条定位线ls，队列沿定位线ls前后移动，训练场地上画有多个参考点，步骤s4中根据参考点的实际距离以及参考点在图像帧中距离，确定图像帧中训练场地上各处的高度畸变比例梯度，基于高度畸变比例梯度计算各个队员的动作的高度参数和距离参数。
19.优选的，步骤s5中，所述预设置的标准动作信息包括整个动作过程中的标准高度和标准距离，对于一个队员而言，从队员开始动作到队员完成动作的过程中，记录多组高度参数和多组距离参数，将高度参数和距离参数与动作过程中对应的标准高度和标准距离进行对比，引入预设置的专家评分指标，得到整个动作的动作标准度。
20.一种群体性队列训练的分析装置，包括：
21.图像采集装置，用于对队列训练过程进行记录，得到视频；
22.控制器，从视频中获得图像帧，并执行：
23.使用训练好的实时多人2d姿态估计算法模型对图像帧进行多人姿态检测，得到队列中各个队员的骨架信息；基于骨架信息进行人员定位，得到各个队员的定位点；基于骨架信息以及各个队员的定位点，计算各个队员的动作的高度参数和距离参数；将高度参数和距离参数与预设置的标准动作信息对比；
24.显示装置，用于输出队列中各个队员的动作标准度。
25.优选的，队列在训练场地上进行训练，所述图像采集装置包括多组摄像头，每组摄像头的数量至少为2个。
26.与现有技术相比，本发明具有以下有益效果：
27.(1)使用实时多人2d姿态估计算法进行多人姿态检测，得到骨架数据，基于骨架数据实现人员定位以及动作的高度参数和距离参数计算，再对比标准动作信息，可以客观、准确地得到各个队员的动作标准度。
28.(2)提出了人员定位方法，不同于现有技术中以人体的最低点为定位点，本技术以骨架信息中的8号关键点为第一基准点，以两足的最低点为第二基准点，再引入训练场地中心的定位线，得到的定位点更加准确，保证了后续进行高度参数和距离参数计算时的准确度。
附图说明
29.图1为本发明的流程示意图；
30.图2为骨架信息的25个关键点的示意图；
31.图3为人员定位的示意图；
32.图4为摄像头位置以及信息整合示意图；
33.图5为参考点布置示意图；
34.图6为正步踢腿示例的高度参数计算示意图。
具体实施方式
35.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
36.在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件。
37.实施例1：
38.一种群体性队列训练的分析方法，如图1所示，包括以下步骤：
39.s1、队列进行动作的训练，获取记录队列训练过程的视频，从视频中获得图像帧；
40.视频可以是实时拍摄传输的视频，也可以是预先拍摄好的视频片段，本实施例中，从视频开始，每经过时间t则对视频的帧序列进行采样得到图像帧，t为预设置的采样时间间隔，如0.3秒等，或者按照其他规律进行采样，如每10帧随机选取一帧作为图像帧等。
41.在其他实施方式中，也可以人工选取图像帧，对选中的图像帧进行后续的人员定位、高度参数和距离参数计算等，以得到选中的图像帧中各个队员的动作评估。
42.s2、使用训练好的实时多人2d姿态估计算法模型对图像帧进行多人姿态检测，得到队列中各个队员的骨架信息；
43.openpose是美国卡耐基梅隆大学(cmu)基于卷积神经网络和监督学习并以caffe为框架开发的开源库，在应用前，使用训练数据集基于openpose开源项目构建实时多人2d姿态估计算法模型，其中，训练数据集包括多种训练图像，训练图像为包含多个队员的图像，且人工标注有骨架信息，训练好的实时多人2d姿态估计算法模型能更准确的进行训练场地上的多人姿态检测，得到骨架信息。
44.s3、基于骨架信息进行人员定位，得到各个队员的定位点；
45.现有技术中，一般以人体的最低点为定位点，但是考虑到队列训练过程中难以避免有下蹲上身覆盖足部的情况，并且就算以足底为定位点，并不知道以哪只脚为准，如果抬起位置信息就不准确了，导致后续进行高度参数和距离参数计算时准确度较低。
46.如图2所示，实时多人2d姿态估计算法提供25个身体的关键点识别，骨架信息包括25个关键点，8号关键点对应的关节为中臀；队列在训练场地上进行训练，为了便于进行人员定位，训练场地的中心画有一条定位线ls，队列沿定位线ls前后移动，基于定位线ls和各个队员的8号关键点得到各个队员的定位点。如本实施例中，训练场地为一条路，定位线ls就是路面中心处的一条平行于路径的线。定位线ls设置在训练场地的中心便于各个队员的定位。
47.其中，得到一个队员的定位点具体为：
48.以队员的骨架信息中的8号关键点为第一基准点，过第一基准点向下作垂直于训练场地的垂线lt，以队员的两脚中的最低点为第二基准点，过第二基准点作定位线ls的平行线la，平行线la与垂线lt的交点p即为队员的定位点；如果队员的两脚中存在水平的足
底，则以水平足底的最低点为第二基准点。
49.如图3所示，以队员的骨架信息中的8号关键点为第一基准点q，向下作垂线lt，以任一只脚的最低点f(若有水平的足底则优先考虑水平足底最低点)做定位线ls的平行线la，平行线la与垂线lt相交于p点，p点即为该队员的定位点。
50.s4、基于骨架信息以及各个队员的定位点，计算各个队员的动作的高度参数和距离参数；
51.本技术以高度和距离作为衡量标准，来判断动作的合格度，如正步动作的踢腿达到30cmm合格等。
52.由于采集的图像会发生畸变，根据图中的高度和距离不能直接对应的得到实际高度和距离，因此采集图像时需要引入参考点，队列在训练场地上进行训练，训练场地的中心画有一条定位线ls，队列沿定位线ls前后移动，在训练场地上画有多个参考点，根据参考点的实际距离以及参考点在图像帧中距离，确定图像帧中训练场地上各处的高度畸变比例梯度，基于高度畸变比例梯度计算各个队员的动作的高度参数和距离参数。
53.s5、将高度参数和距离参数与预设置的标准动作信息对比，输出队列中各个队员的动作标准度；
54.预设置的标准动作信息包括整个动作过程中的标准高度和标准距离，对于一个队员而言，从队员开始动作到队员完成动作的过程中，记录多组高度参数和多组距离参数，将高度参数和距离参数与动作过程中对应的标准高度和标准距离进行对比，引入预设置的专家评分指标，得到整个动作的动作标准度。最终，可以通过分值、优良等级等形式展示动作标准度。
55.可以理解为对动作的每一个阶段都进行评估，当动作完成后，综合各个阶段的评估给出总的动作标准度，而且，还可以对每一个阶段的评估进行查看，如在抬腿时的标准度度、在落脚时的标准度等。
56.实施例2：
57.一种群体性队列训练的分析装置，包括：
58.图像采集装置，用于对队列训练过程进行记录，得到视频；
59.控制器，从视频中获得图像帧，并执行：
60.使用训练好的实时多人2d姿态估计算法模型对图像帧进行多人姿态检测，得到队列中各个队员的骨架信息；基于骨架信息进行人员定位，得到各个队员的定位点；基于骨架信息以及各个队员的定位点，计算各个队员的动作的高度参数和距离参数；将高度参数和距离参数与预设置的标准动作信息对比；
61.显示装置，用于输出队列中各个队员的动作标准度。
62.本实施例中采用实时视频输入输出的方式，硬件架构包括摄像头、gpu服务器、应用服务器、流媒体服务器和显示装置，队列在训练场地上进行训练，图像采集装置包括多组摄像头，每组摄像头的数量至少为2个，每组摄像头负责一个区域内的图像采集。摄像头将采集到的视频送入gpu服务器，通过视频拼接的方式将两个摄像头拍摄的图像整合在一起，再送入应用服务器。应用服务器获取图像帧，进行多人姿态检测、人员定位、高度参数及距离参数计算、动作标准度评估，最后由流媒体服务器输出，显示在显示装置上，如显示器、耳机、播放音响等。
63.本实施例中布置了6个摄像头，以实现对训练场地各处的图像采集，两个摄像头一组，如图4所示，其采集的图像送入gpu服务器进行整合，场地两侧分别设有3个摄像头，通过实地勘测来将各个机位的位置信息按点映射，并将对应点位的映射信息保存在应用服务器。机位安装完成后需要实地进行基准点定位，如图5所示，在监控路段共设置4-6个参考点，分别设置在路面的四个角落，若路段较弯曲，则设置6个参考点。其他实施方式中，根据需要设置机位和参考点即可。
64.如图6所示，训练场地为路面，以正步踢腿为例介绍高度参数和距离参数的计算：
65.根据两个摄像头在实际场景的位置，通过同一高度在路面四角的观测高度与实际高度的比例，计算出路面上每个点的高度畸变比例梯度；根据步骤s3中得到的队员的定位点p，确定队员的位置，图6中p1点和p4点是队员身上的点，坐标为已知值，分别记为p1＝(x1，y1)，p4＝(x4，y4)。
66.在p4点的横坐标和纵坐标上增加预设置的胯宽推算出p2点的坐标，则p2＝(x1 w
x
，y1 wy)，这里，胯宽w
x
和wy和可以选用人体标准胯宽；
67.过p2点作定位线ls的平行线，过p1点向下作垂线，两线的相交点即为p3点，再根据p3点的纵坐标计算高度h`，根据该处的高度畸变比例梯度，就可以计算出真实的踢腿高度了。同理，可以对队员的动作进行距离的计算等，得到高度参数和距离参数。
68.在显示装置上会播放训练过程的视频，同时在视野中给出了各个队员的骨架，引入专家评分指标，通过箭头标红不符合要求的队员，可以先找到不符合要求的骨架，再通过人群定位算法标注出不合要求的人的位置，并给出不合要求的具体信息，如抬腿不够高、摆臂幅度不够等，得到每个队员的动作标准度，以打分的方式给每个队员的动作进行打分，对整个队列的整齐度、完成度等指标进行打分，还可以给出相关指导建议。关于专家评分标准，可以提供接口由用户自行设定动作评分标准值，以便控制器进行打分。
69.本发明可以应用在学生的体育课、军训等包含队列训练的场所，提供了具有互动性、客观性、稳定性的队列训练分析装置：通过多个摄像头的实时视频捕捉分析，应用实时多人2d姿态估计算法人体姿态分析技术，实时将队员的动作结构化，进行人员定位、高度参数和距离参数等计算，对接专家评分指标数据，构建与标准动作信息实时分析比对的结果，能够对动作的准确程度、同组的协调程度等进行分析，并给出客观准确的评价。
70.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。