一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备与流程

1.本发明属于运动姿态评估技术领域，更具体而言，涉及一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备。


背景技术：

2.目前，人体姿态识别的应用范围十分广泛，可用于人机交互、影视制作、运动分析、游戏娱乐、智能监控等各种领域；目前人体姿态识别主要分为基于计算机视角的识别和基于运动捕获技术的识别。
3.基于计算机视觉的人体姿态识别，可以比较容易获取人体运动的轨迹、轮廓等信息，但没有办法具体实现表达人体的运动细节，以及容易存在因遮挡而识别错误等问题；基于运动捕获技术的人体姿态识别，则是通过定位人体的关节点、储存关节点运动数据信息来识别人体运动轨迹。
4.相较于计算机视角的人体姿态识别，基于运动捕获技术的人体姿态识别可以更好地反应人体姿态信息，也可以更好地处理和记录运动细节，不会因为物体颜色而影响运动轨迹的识别。
5.如发明专利公告号cn108256433b，其公开了一种运动姿态评估方法及系统，其是通过将运动姿态信息和姿态特征库进行对比获得第一对比结果、基于第一对比结果将关键点信息与关键点特征库进行对比获得第二对比结果，再通过第二对比结果输出针对所述关键点信息的反馈信息，从而实现运动姿态的评估。
6.通过上述方案进行运动姿态的评估，其无法对抽取后的帧再进行精细化测算，故而无法保障对比分析的准确性。


技术实现要素：

7.本发明的主要目的在于提供一种基于深度学习姿态评估对连续动作的比对和分析方法，旨在保障对比分析的准确性；本发明还提供基于该方法的系统、设备。
8.根据本发明的第一方面，提供了一种基于深度学习姿态评估对连续动作的比对和分析方法，包括以下步骤：
9.步骤1：获取作为评估标准的视频a、待评估的视频b；
10.步骤2：获取视频a、视频b中的每一帧中的关键点，并规划出含该关键点的预设图形；
11.步骤3：获取视频a、视频b中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
12.步骤4：将第一区域和第二区域进行比对，得到匹配度。
13.本发明一个特定的实施例中，所述关键点为一个或多个，所述第一区域、第二区域为一个或多个；
14.判断所述匹配度是否在预设阈值范围内，若是，则视频a、视频b中的该关键点匹配上，若否，则视频a、视频b中的该关键点没有匹配上。
15.本发明一个特定的实施例中，根据所需评估的动作选择与该动作关联的关键点作为步骤2中的选中的关键点。
16.本发明一个特定的实施例中，所述步骤4具体为：将第一区域和第二区域进行比对，根据第一区域和第二区域的重合的面积的比例，得到匹配度。
17.本发明一个特定的实施例中，用户从原始视频中选择一段视频作为视频b；
18.所述视频b的帧数为n帧，n≥1。
19.本发明一个特定的实施例中，所述关键点为人体关节点，所述预设图形为方形、扇形、圆形之一。
20.本发明还提供一种基于深度学习姿态评估对连续动作的比对和分析系统，包括如下模块：
21.视频采集模块：用于采集作为评估标准的视频a、待评估的视频b；
22.姿态评估模块：用于获取视频a、视频b中的每一帧中的关键点；
23.第一处理模块：用于规划出的预设图形，一个预设图形含盖一个关键点；
24.第二处理模块：用于获取视频a、视频b中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
25.分析模块：用于对第一区域和第二区域进行比对，得到匹配度。
26.本发明一个特定的实施例中，还包括人机交互模块：用于显示匹配度、阈值；所述阈值可通过人机交互模块进行修改；所述人机交互模块还可以与视频采集模块进行交互，通过人机交互模块对视频采集模块采集的视频进行处理和匹配。
27.本发明还提供一种基于深度学习姿态评估对连续动作的比对和分析设备，包括存储器和处理器，所述存储器和所述处理器通信连接；所述存储器存储有可被所述处理器执行的程序指令，所述处理器包括如上所述的比对和分析系统，可调用所述程序指令能够执行如上所述的比对和分析方法。
28.本发明上述技术方案中的一个技术方案至少具有如下优点或有益效果之一：
29.在本发明中，每一帧的关键点处设置有预设图形，预设图形从起始帧到结束帧的过程中，其移动轨迹会形成区域；视频a中关键点的预设图形的移动轨迹形成第一区域，视频b中的关键点的预设图形的移动轨迹形成第二区域，通过将对应的关键点的第一区域、第二区域进行对比，可得到视频b中该关键点的轨迹与视频a中对应的关键点的轨迹的匹配度，通过对第一区域、第二区域进行对比的方式计算关键点的匹配度，可保障对比分析的准确性。
附图说明
30.下面结合附图和实施例对本发明进一步地说明；
31.图1是本发明的实施例1的流程图；
32.图2是本发明的实施例2的结构图；
33.图3是本发明的实施例3的结构图。
具体实施方式
34.下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
35.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
36.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”以及“第二”的特征可以明示或者隐含地包括一个或者更多个特征。
37.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接或活动连接，也可以是可拆卸连接或不可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通、间接连通或两个元件的相互作用关系。
38.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同方案。
39.实施例1
40.参照图1所示，一种基于深度学习姿态评估对连续动作的比对和分析方法，包括以下步骤：
41.步骤1：获取作为评估标准的视频a、待评估的视频b；
42.在实际应用中，所述视频a为标准动作的视频，以视频a为标准对视频b的动作进行评估；视频a可以以预存的状态存在，也可以与视频b一起被采集。
43.步骤2：获取视频a、视频b中的每一帧中的关键点，并规划出含该关键点的预设图形；
44.关键点，人体姿态的一个俗称，通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等，单帧的所有关键点组成骨骼模型；
45.在本实施例中，通过人体姿态评估器获取所述关键点，人体姿态评估器可以将图像中所有人，全部的关键点都获取到，再根据所需评估的动作选择视频a、视频b中与该动作关联的关键点作为被获取的关键点，并对被获取的所有关键点都规划上预设图形；
46.动作分为全身活动的动作或身体的一部分活动的动作；当所需要评估的动作为全身活动的动作，则该动作关联的关键点为全身的所有关键点；当所需要评估的动作为身体的一部分活动的动作，则该动作关联的关键点为身体活动部分的关键点。
47.优选地，预设图形以关键点为中心，方便算法设计；所述预设图形为方形、扇形、圆形之一，本实施例对此不作限制。
48.步骤3：获取视频a、视频b中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
49.视频a、视频b展示的是动作，在起始帧到结束帧的过程中，其中的关键点的位置会发生变化，预设图形会随着关键点的位置变化而移动，其移动轨迹形成第一区域、第二区域。
50.在本实施例中，视频a、视频b的起始帧和结束帧是通过自动识别的方式获取的，例如取视频的节拍点、关键点的位置等作为识别点去识别视频的起始帧或结束帧；当然，本实施例也不排除视频a、视频b的的起始帧和结束帧可以通过人工操作进行设置。
51.步骤4：将第一区域和第二区域进行比对，得到匹配度；
52.具体来说，根据第一区域和第二区域的重合的面积的比例，得到匹配度，该比例为第一区域和第二区域的面积的重合度；
53.若视频a、视频b的起始帧和结束帧之间的帧数不同，则以帧数少的视频的帧数为标准，另一视频提取与帧数少的视频的相同的帧数，通过对比在该帧数下形成的区域的面积得到匹配度；
54.通过对匹配度进行分析来判断视频a、视频b中的对应的关键点有无匹配上，从而实现对视频a、视频b的动作对比；
55.判断所述匹配度是否在预设阈值范围内，若是，则视频a、视频b中的该关键点匹配上，若否，则视频a、视频b中的该关键点没有匹配上。
56.预设阈值为经验值，本实施例对此不作具体的限制。
57.在本实施例中，所述关键点为一个或多个，所述第一区域、第二区域为一个或多个；
58.当关键点为一个时，则视频a、视频b内均有一个关键点，且该关键点相互对应，所述的第一区域、第二区域为对应的一个；此时，判断该关键点是否匹配上，是对单个关键点的动作进行对比和评估；
59.当关键点为多个时，则视频a、视频b内均有多个关键点，多个关键点一一对应，所述的第一区域、第二区域为对应的多个；此时，判断多个关键点是否匹配上，是对一个或多个动作进行对比和评估。
60.在本实施例中，用户从原始视频中选择一段视频作为视频b，视频b可以涵盖全部动作，也可以涵盖部分动作，用户根据所需要评估的动作进行选择；视频a根据视频b的选择进行配置，使得作为评估标准的视频a与待评估的视频b适配；
61.当待评估的动作为连续的多个动作且被一个待评估视频记录时，可以将该待评估视频分解成多个涵盖部分动作的视频b，多个视频b的动作共同组成该待评估视频内的所有动作，通过对多个视频b的动作进行评估，得出每个视频b的每个关键点对应视频a的匹配度，再将所有的匹配度进行统计和分析，再得出整个视频的评估结果，通过该方式对连续的多个动作进行评估，可实现多个动作的精细化测算，保证对比分析的准确性。
62.在本实施例中，所述视频b的帧数为n帧，n≥1；
63.具体来说，n的值根据实际应用而定，若待评估的动作为连续的多个动作且被一个待评估视频记录时，该待评估视频的总帧数未必能整除n，若总帧数除n后，余下x帧，则根据实际选择是否对余下的x帧进行处理，若不处理，则多个视频b的帧数均为n帧；若对余下的x帧进行处理，则最后的一个视频b的帧数为x帧，1≤x≤n。
64.实施例2
65.参照图2所示，一种基于深度学习姿态评估对连续动作的比对和分析系统，包括如下模块：
66.视频采集模块1：用于采集作为评估标准的视频a、待评估的视频b；
67.姿态评估模块2：用于获取视频a、视频b中的每一帧中的关键点；
68.第一处理模块3：用于规划出的预设图形，一个预设图形含盖一个关键点；
69.第二处理模块4：用于获取视频a、视频b中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
70.分析模块5：用于对第一区域和第二区域进行比对，得到匹配度。
71.该对比和分析系统的工作过程为：通过视频采集模块1采集作为评估标准的视频a、待评估的视频b，采集完成后，由姿态评估模块2对视频a、视频b的每一帧进行姿态评估，以获得每一帧的关键点；获取关键点后，由第一处理模块3、第二处理模块4对视频a、视频b进行处理，在关键点上规划预设图形，再得出预设图形的移动轨迹形成的第一区域、第二区域；再由分析模块5对对应的第一区域和第二区域进行比对，得出该关键点的匹配度。
72.匹配度与预设阈值进行对比，可以得出视频a、视频b中该关键点是否匹配上，通过一个关键点或多个关键点的匹配度来判断视频a、视频b的动作是否匹配上。
73.还包括人机交互模块6：用于显示匹配度、阈值；所述阈值可通过人机交互模块6进行修改；所述人机交互模块6还可以与视频采集模块1进行交互，通过人机交互模块6对视频采集模块1采集的视频进行处理和匹配。
74.实施例3
75.参照图3所示，一种基于深度学习姿态评估对连续动作的比对和分析设备，包括存储器7和处理器8，所述存储器7和所述处理器8通信连接；所述存储器7存储有可被所述处理器8执行的程序指令，所述处理器8包括如实施例2所述的比对和分析系统，可调用所述程序指令能够执行如实施例1所述的比对和分析方法，例如包括获取作为评估标准的视频a、待评估的视频b；获取视频a、视频b中的每一帧中的关键点，并规划出含该关键点的预设图形；获取视频a、视频b中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；将第一区域和第二区域进行比对，得到匹配度。
76.尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。