骨架估计装置、骨架估计方法及体操评分辅助系统与流程

1.本发明涉及估计变化的人体骨架的骨架估计装置、骨架估计方法及体操评分辅助系统。


背景技术：

2.在体操、医疗等广泛的领域中使用人体的骨架识别。例如，目前的体操竞技的评分方法是由多个评分员通过目视进行的，但由于近年来的技巧的高度化，难以通过评分员的目视进行评分的情况在增加。因此，考虑骨架估计装置基于由3d激光传感器取得的选手的3维数据来识别选手的骨架信息、各关节的角度、实施的技巧信息等，向评分员提供骨架(例如姿势)的信息，由此辅助评分。
3.以往，作为与骨架估计相关的技术，例如有如下技术：根据时间序列的各帧图像生成轮廓图像，通过姿势状态预测使用所生成的轮廓图像评价各姿势状态的可能性，估计多关节动物的姿势。另外，还有如下技术：按照与运动学模型的关节间的连结性约束对应的顺序预测关节位置，将预测位置投影到2维图像上，通过评价投影位置的可靠性，识别对象人物的姿势或动作，用于动作捕捉。另外，有如下技术：在进行人的动画生成时，通过使用存储在数据库中的人体的关节的动作模式，进行计算机图形中的多关节的动作生成以及修正(例如，参照下述专利文献1－3。)。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2009－015558号公报
7.专利文献2：日本特开2007－333690号公报
8.专利文献3：日本特开平10－171854号公报


技术实现要素：

9.发明所要解决的课题
10.但是，在现有技术中，针对人体的骨架的动作，例如检测相邻帧中的骨架(关节)的急剧变化并进行修正，无法检测基于人体的一系列(整体)动作的骨架的变化。
11.作为具体例，在体操竞技的转体技巧中，在技巧整体中进行将身体转体1次的动作。在该情况下，在现有技术中，仅检测相邻的帧间的急剧的骨架(姿势)变化，无法检测在技巧整体对身体转体1次的动作的骨架的变化。在体操竞技中，也存在转体量不同的情况、技巧没有转体的情况。因此，例如在现有技术中，相邻的帧间的骨架的变化是作为人体的动作而可能的运动，但在估计出与实际的动作不同的骨架的情况下，无法将其检测为不良骨架。在此，在现有技术中，在体操竞技的技巧等以规定期间进行的一系列的动作中，无法检测在装置内应修正的不良骨架。
12.一方面，本发明的目的在于能够正确地检测人体的一系列动作中的骨架的变化。
13.用于解决课题的手段
14.根据本发明的一侧面，其要件具备控制部，其以帧为单位取得估计了规定期间内的骨架变化的估计信息，计算所述规定期间内的骨架变化的特征量，根据计算出的所述特征量计算近似线，计算所计算出的所述特征量与所述近似线之间的相关状态，根据所述相关状态，将所述规定期间的所述估计信息中估计异常的所述帧部分检测为不良骨架。
15.发明效果
16.根据本发明的一方式，得到能够正确地检测人体的一系列动作中的骨架的变化的效果。
附图说明
17.图1是根据实施方式的骨架估计装置的骨架判定例的说明图。
18.图2是示出骨架估计装置的功能例的框图。
19.图3是示出骨架估计装置的硬件配置例的图。
20.图4是示出骨架估计装置的处理例的流程图。
21.图5是示出对于在规定期间内估计出的骨架信息的不良骨架的检测例的图。
22.图6是示出包括实施方式的骨架估计装置的体操评分辅助系统的结构例的图。
23.图7是示出各特征量的不良骨架检测的功能例的框图。
24.图8是特征量小于范围的情形1的情况的说明图。
25.图9是特征量超过范围的情形3的说明图。(其1)
26.图10是特征量超过范围的情形3的说明图。(其2)
27.图11a是特征量在范围以内的情形2的情况的说明图。(其1)
28.图11b是特征量在范围以内的情形2的情况的说明图。(其2)
29.图12是示出各特征量的不良骨架检测的处理例的流程图。
30.图13是针对其他特征量的不良骨架的检测的说明图。
具体实施方式
31.(实施方式)
32.下面将参照附图详细描述所公开的骨架评估装置、骨架估计方法及体操评分辅助系统的实施方式。
33.图1是根据实施方式的骨架估计装置的骨架判定例的说明图。实施方式的骨架估计装置100能够正确地检测规定期间的运动等中的人体的骨架的变化。例如，骨架估计装置100估计与体操竞技时选手实施的技巧对应地变化的选手的骨架。在此，实施方式的骨架估计装置100将在规定期间的运动(技巧)中估计出的骨架中的、与实际的人体(选手)的动作不同的骨架的部分检测为不良骨架。
34.向骨架估计装置100输入与在规定期间内骨架的变化相关的信息。关于与骨架变化有关的信息，例如3d激光传感器在规定期间内以帧为单位输出包含各正交的x、y、z轴各自的距离信息的图像(3维点群)。骨架估计装置100取得多台从不同的位置拍摄人体(选手)的3d激光传感器的输出。
35.骨架估计装置100的控制部110通过执行骨架估计程序来估计由于规定期间的运动等而变化的人体的骨架。控制部110根据所取得的与在规定期间内由人体的运动等引起
的骨架的变化相关的信息来估计人体的各关节的动作(角度)等，并输出骨架信息作为估计结果。规定期间的运动是预先设想的运动，例如有体操竞技。在体操竞技中，选手经由规定期间实施技巧，与该技巧对应地，选手的骨架在规定期间内变化。
36.然后，实施方式的骨架估计装置100将通过规定期间的运动而估计出的人体的各关节的动作的骨架信息中的与实际的人体的动作不同的部分检测为不良骨架。由此，例如，骨架估计装置100能够对与实际的人体的动作不同的估计结果的部分再次进行骨架判定。
37.控制部110着眼于规定期间内的人体的动作的特征量(运动特征量)，根据与应有的运动特征量之间的相关性，对估计出的骨架的可能性进行估计，由此检测不良骨架。应有的运动特征量例如是与在体操竞技中经由规定期间进行的技巧对应的特征量。由此，能够向评分员提示与体操竞技的选手的技巧的实施对应的骨架的估计结果。另外，能够对在骨架估计装置100内部检测出的不良骨架实施再次的骨架判定。由此，能够高精度地向作为对象的竞技的评分员提示与选手的技巧对应的骨架的估计结果。
38.使用体操竞技的例子来说明控制部110的处理概要。(1)从3d激光传感器等取得选手的3维骨架信息。(2)计算到规定期间(例如，技巧的开始ts～结束te)为止的期间内的各帧的特征量。
39.(3)计算针对规定期间内的技巧整体的运动特征量的似然度。例如，也可以按照技巧整体的运动特征量的大小，将似然度的计算方法分为情形1～情形3这3种情况。
40.情形1：例如，在运动特征量小于预先设定的范围的情况下，根据各帧的特征量的最大值和最小值计算似然度。
41.情形2：在运动特征量在预先设定的范围内的情况下，在预先设定的多个分割区间中计算基于多维函数的近似线。然后，根据针对每个分割区间计算出的近似线与运动特征量之间的相关系数中的最大相关系数来计算似然度。
42.情形3：在运动特征量超过预先设定的范围的情况下，根据技巧的开始ts～结束te的特征量计算基于多维函数的近似线。
43.在情形2和情形3中，根据计算出的近似线与运动特征量之间的相关系数来计算似然度。
44.(4)在似然度小于预先设定的阈值的情况下，计算近似线与运动特征量之差最大的帧。由此，能够检测估计出的骨架信息中的不良骨架的部分的帧(最大误差的帧)。
45.(5)另外，能够基于最大误差帧，对不良骨架的部分的帧进行再次的骨架判定。
46.作为上述运动特征量，有体操竞技的“转体量”、“空翻量”等。另外，作为多维函数有1次函数(直线)、3次函数(3次曲线)等。可以对“转体量”使用3次曲线，对应于“空翻量”使用直线。
47.图1(a)、(b)示出上述情形3中的近似线与运动特征量之间的相关状态。横轴是时间，纵轴是累积转体角度。在此，运动特征量是“运动转体量”，表示作为技巧转体1次以上，例如跳马的第二空中局面的累积转体角度。
48.控制部110根据规定期间，即技巧的开始ts～结束te之间的累积转体角度a(图中实线)，计算适于转体的检测的近似3次曲线b(图中虚线)。接着，控制部110计算累积转体角度与近似3次曲线的相关系数。
49.接着，控制部110利用预先设定的参数的指数函数，根据相关系数计算似然度。然
后，控制部110基于累积转体角度a与近似3次曲线b的相似程度(相关系数)，检测不良骨架的有无。在骨架正确的情况下，如图1(a)所示，累积转体角度a与近似3次曲线b相似，相关系数高。由此，控制部110判断为在规定期间(技巧的开始ts～结束te的期间)估计出的骨架信息正确。
50.另一方面，在骨架错误的情况下，如图1(b)所示，累积转体角度a与近似3次曲线b存在差异，相关系数低。由此，控制部110判断为在规定期间(技巧的开始ts～结束te的期间)内估计出的骨架信息有错误的部分。在该情况下，控制部110例如能够针对累积转体角度a与近似3次曲线b存在差异且相关系数低的期间t1、t2进行再次的骨架判定。
51.这样，根据实施方式，着眼于规定期间内的人体的动作，例如作为体操竞技的技巧整体的动作的运动特征量，根据与应有的运动特征量的相关性，对估计出的骨架的可能性进行估计。由此，能够对于在规定期间内估计出的骨架检测有无不良骨架。
52.另外，能够对检测出的不良骨架的部分进行再次的骨架判定，能够提高在整个规定期间估计出的骨架的精度。例如，能够提高与选手的技巧对应的骨架的估计结果的精度而对作为对象的竞技的评分员进行提示。
53.图2是示出骨架估计装置的功能例的框图。在图2中，表示在实施方式中成为主要的功能，即上述情形3所示的运动特征量是“运动转体量”，作为技巧而转体1次以上，例如与跳马的第二空中局面的累积转体角度的骨架估计对应的功能。
54.骨架估计装置100包括骨架取得部201、特征量计算部202、近似3次曲线计算部203、似然度计算部204、不良骨架检测部205。骨架取得部201从3d激光传感器等取得选手的3维骨架信息。3维骨架信息例如是包含x、y、z轴各自的距离信息的深度图像的规定期间，例如技巧的开始ts～结束te之间的多个帧。
55.骨架估计装置100对所取得的3维骨架信息进行学习型骨架识别，计算出3d关节坐标，使人体拟合该3d关节坐标。基于该拟合后的关节坐标，识别人体的动作的变化(技巧)。
56.特征量计算部202、近似3次曲线计算部203、似然度计算部204、不良骨架检测部205是与技巧的识别相关的构成部。特征量计算部202计算技巧的开始ts～结束te的各帧的特征量。近似3次曲线计算部203与情形3相当地对应于运动特征量为预先设定的范围以上的情况，根据技巧的开始ts～结束te的特征量来计算基于多维函数的近似线(参照图1)。
57.似然度计算部204根据计算出的近似线与运动特征量之间的相关系数来计算似然度。不良骨架检测部205在似然度比预先设定的阈值小的情况下，算出近似线与运动特征量之差最大的帧。由此，检测估计出的骨架信息中的不良骨架的部分的帧。
58.图3是示出骨架估计装置的硬件结构例的图。上述骨架估计装置100能够使用由图3所示的硬件构成的计算机装置。
59.例如，骨架估计装置100包括cpu(central processing unit)301、存储器302、网络接口(if)303、记录介质if304、记录介质305。总线300连接各个部。
60.cpu301是作为负责骨架估计装置100的整体处理的控制部而发挥功能的运算处理装置。存储器302包括非易失性存储器和易失性存储器。非易失性存储器例如是存储cpu301的程序的rom(read only memory)。易失性存储器例如是作为cpu301的工作区域使用的dram(dynamic random access memory)、sram(static random access memory)等。
61.网络if303是与lan(local area network)、wan(wide area network)、因特网等
网络310通信连接的接口。骨架估计装置100能够经由该网络if303与3d激光传感器、评分员的终端等通信连接。
62.记录介质if304是用于与记录介质305之间读写cpu301处理后的信息的接口。记录介质305是辅助存储器302的记录装置。记录介质305例如可以使用hdd(hard disk drive)、ssd(solid state drive)、usb(universal serial bus)闪存驱动器等。
63.通过由cpu301执行记录在存储器302或记录介质305中的程序，能够实现图2所示的骨架估计装置100的各功能(控制部110)。
64.图3所示的硬件结构也能够应用于评分员的终端(例如，pc、智能手机等)。例如，实施方式的骨架估计装置100与评分员的终端连接而成的体操评分辅助系统能够使用通用的硬件结构来实现。
65.图4是示出骨架估计装置的处理例的流程图。图4示出了由骨架估计装置100的控制部110执行的与图2的配置相对应的处理例。
66.首先，控制部110从3d激光传感器等取得选手的3维骨架信息(步骤s401)。接下来，控制部110计算技巧的开始ts～结束te的各帧的特征量(步骤s402)。接下来，控制部110根据技巧的开始ts～结束te的特征量，对基于多维函数的近似线(近似3次曲线，参照图1)进行计算(步骤s403)。
67.接着，控制部110根据计算出的近似线与运动特征量之间的相关系数来计算似然度(步骤s404)。如果似然度小于预先设定的阈值，则控制部110计算近似线与运动特征量之间的差最大的帧。由此，检测估计出的骨架信息中的不良骨架的部分的帧(步骤s405)。
68.由此，能够对在技巧的开始ts～结束te的规定期间内估计出的不良骨架的有无进行检测。另外，能够对检测出的不良骨架的部分进行再次的骨架判定，能够提高在整个规定期间估计出的骨架的精度。例如，对于作为对象的竞技的评分员的终端，能够提高并提示与选手的技巧对应的骨架的估计结果的精度。
69.图5是示出对于在规定期间估计出的骨架信息的不良骨架的检测例的图。图5(a)是进行了体操竞技的跳马的转体技巧的选手的规定期间(技巧的开始ts～结束te的期间)的多个帧f1～f11的图像。图5(b)是与图5(a)的各帧对应，表示骨架估计装置100估计出的选手的骨架信息的cg数据k1～k11。
70.骨架估计装置100作为从3d激光传感器取得的选手的3维骨架信息，对包含x、y、z轴各自的距离信息的深度图像进行学习型的骨架识别，计算3d关节坐标，使该3d关节坐标与人体模型拟合。图5(b)的cg数据k1～k11是拟合后估计出的骨架信息。骨架估计装置100针对估计出的骨架信息(cg数据k1～k11)而对不良骨架的有无进行检测。
71.在图5(a)所示的实际的图像中，通过跳马的转体技巧，选手在1次空翻(上下旋转)中左右进行1
·
1/2次的转体。特别是在f3～f6之间进行1次转体。与此相对，在图5(b)中估计出的骨架信息中，cg数据k3～k6为没有转体的状态。
72.骨架估计装置100通过图4等所示的处理，检测与实际的动作不同的部分的cg数据k3～k6部分的不良骨架。由此，关于估计出的骨架信息，虽然作为相邻的帧间的关节的变化是作为人体的动作不奇怪的动作，但能够将与实际的动作不同的部分的骨架信息(cg数据k3～k6)检测为不良骨架ng。
73.骨架估计装置100通过对检测出的不良骨架ng的骨架信息(cg数据k3～k6)部分进
行再次的骨架估计，能够将该不良骨架ng部分的骨架信息修正为正确的骨架信息。
74.(对体操评分辅助系统的应用例)
75.图6是示出包括实施方式的骨架估计装置的体操评分辅助系统的结构例的图。骨架估计装置100的控制部110对在体操竞技中对选手实施的技巧进行评分的评分员，作为对评分有用的信息，提供选手在规定期间实施的技巧的骨架信息(例如姿势)。
76.如图所示，3d激光传感器601拍摄实施体操竞技的技巧a的选手h，将包含各正交的x、y、z轴各自的距离信息的图像(3维点群)在规定期间(技巧的开始ts～结束te)的多个帧输出至骨架估计装置100。3d激光传感器601例如配置有多个，分别拍摄选手h，由此将多视点的图像输出至骨架估计装置100。
77.骨架估计装置100包括骨架识别部602、机器学习部603、拟合部604、技巧识别部605。骨架估计装置100能够访问技巧数据库(db)660。
78.机器学习部603根据深度图像631和关节坐标632，将3维骨架信息保持为学习模型633，并输出到骨架识别部602。
79.骨架识别部602以各帧为单位对选手h的技能的期间中的选手h的骨架进行识别处理，以帧为单位输出选手h的3维的关节坐标。骨架识别部602包括深度图像生成部621、深度学习部622和3d关节坐标生成部623。
80.深度图像生成部621基于多个3d激光传感器601输出的3维点群的信息，生成针对选手h的多视点的深度图像。深度学习部622访问机器学习部603的学习模型633，学习深度图像生成部621所生成的多视点的深度图像，得到3维骨架信息。3d关节坐标生成部623生成选手h的每帧的3维关节坐标的信息。
81.拟合部604对每个帧执行将骨架识别部602(3d关节坐标生成部623)输出的3维关节坐标拟合到选手h的深度图像的处理。此时，拟合部604将从3d关节坐标生成部623输出的3维关节坐标识别为一次骨架641。
82.拟合部604在图中的箭头方向上对一次骨架641的各个关节的位置进行位置搜索，以拟合选手h的深度图像(躯干)，从而获得拟合后的3d关节坐标642。拟合后的3d关节坐标642是基于一次骨架与选手h的体形相对应的更精确的骨架信息，并且被用作上述估计出的骨架信息(姿势)。
83.技巧识别部605访问体操竞技的各种技巧的技巧数据库660，判定与技巧数据库660的技巧一致的运动(选手h实施的技巧)。技巧识别部605保持预先设定了各技巧名称的特征量(运动特征量)、条件的技巧识别表651。
84.在上述的实施方式中说明的、针对估计出的骨架信息的不良骨架的检测由该技巧识别部605实施。在不良骨架的检测时，骨架估计装置100对不良骨架的帧，例如上述的cg数据k3～k6部分的信息再次实施基于拟合部604的拟合处理。
85.技巧识别部605进行的选手的骨架信息、各关节的角度、实施的技巧信息等信息作为骨架(例如姿势)的信息向评分员输出。
86.(各特征量的不良骨架检测的结构例)
87.图7是示出各特征量的不良骨架检测的功能例的框图。在图7中，说明各特征量的大小(转体量)的不良骨架的检测例。图7所示的不良骨架检测的功能设置于图6所示的技巧识别部605。
88.在图7中，对与图2相同的结构标注相同的附图标记。图7所示的骨架估计装置100包括与图2同样的骨架取得部201、特征量计算部202、近似3次曲线计算部203、似然度计算部204、不良骨架检测部205。另外，包含计算方法判定部703、计算区间存储部704、多个区间近似3次曲线计算部705、多个相关系数计算部706、相关系数计算部707、最大最小值计算部708、误差计算部709。
89.在此，计算方法判定部703判定按照技巧整体的运动特征量的大小不同而不同的似然度的计算方法。在下述例子中，按照运动特征量的大小分为情形1～情形3这3种情况。
90.情形1：例如，在运动特征量小于预先设定的范围的情况下，根据各帧的特征量的最大值和最小值计算似然度。在情形1中，最大最小值计算部708发挥作用。
91.情形2：在运动特征量在预先设定的范围内的情况下，对预先设定的多个分割区间的每个分割区间计算基于多维函数的近似线。然后，根据多个计算出的近似线与运动特征量之间的相关系数中的最大相关系数来计算似然度。在情形2中，计算区间存储部704、多个区间近似3次曲线计算部705和多个相关系数计算部706发挥功能。
92.情形3：在运动特征量超过预先设定的范围的情况下，根据技巧的开始ts～结束te的特征量计算基于多维函数的近似线。在情形3中，近似3次曲线计算部203和相关系数计算部707发挥功能。情形3对应于图2的功能配置。
93.骨架取得部201从3d激光传感器等取得选手的3维骨架信息。特征量计算部202计算技巧的开始ts～结束te的各帧的特征量。
94.计算方法判定部703根据特征量计算部202计算出的特征量的大小区分情形1～情形3，使与各情形1～情形3对应的功能部发挥功能。
95.在特征量的大小小于预先设定的范围的情况下，计算方法判定部703判定为情形1，使相应的最大最小值计算部708起作用。并且，在特征量的大小在预先设定的范围以内的情况下，计算方法判定部703判定为情形2，使相应的多个区间近似3次曲线计算部705和多个相关系数计算部706发挥功能。另外，在特征量的大小超过预先设定的范围的情况下，计算方法判定部703判定为情形3，使相应的近似3次曲线计算部203和相关系数计算部707发挥功能。
96.在情形1的情况下，相当于特征量小于范围，例如在跳马中没有转体量的技巧的情况。在该情况下，最大最小值计算部708计算技巧的开始ts～结束te之间的特征量的最大值和最小值。
97.情形2相当于特征量在范围以内，例如跳马的转体量为1/2次的转体技巧的情况。在该情况下，多个区间近似3次曲线计算部705在存储于计算区间存储部704的分割区间，即，将技巧的开始ts～结束te的规定期间分割为多个而得到的分割区间的每一个中计算近似3次曲线。另外，多个相关系数计算部706针对各个分割区间计算累积转体角度和近似3次曲线的相关系数。
98.在情形3的情况下，特征量超过范围，例如相当于在跳马中转体量超过1次的转体技巧的情况。在该情况下，近似3次曲线计算部203根据技巧的开始ts～结束te的特征量来计算基于多维函数的近似线。另外，相关系数计算部707计算累积转体角度和近似3次曲线的相关系数。
99.似然度计算部204基于情形1至3各自的输出，根据所计算的近似线与运动特征量
之间的相关系数来计算似然度。误差计算部709计算似然度计算部204计算出的似然度与预先设定的阈值之差(误差)。不良骨架检测部205在误差似然度比预先设定的阈值小的情况下，计算近似线与运动特征量之差最大的帧。由此，能够检测出估计出的骨架信息中的不良骨架的部分的最大误差的帧。另外，能够对最大误差的帧再次进行骨架估计。
100.(情形1的处理例)
101.图8是特征量小于范围的情形1的情况的说明图。图8的横轴是时间，纵轴是累积转体角度。在图8中，表示技巧没有转体，例如跳马的第二空中局面的累积转体角度。作为体操的技巧定义，最终累积转体角度为90
°
以上时为1/2转体技巧，1次转体以上时为有转体技巧。因此，无转体技巧的最终累积转体角度小于90
°
。最大最小值计算部708计算技巧的开始ts～结束te的规定期间中的转体的最大最小的角度。
102.在此，即使最终的累积转体角度小于90
°
而判定为无转体技巧，例如，如图8所示，也存在在实施了技巧的区间的中途暂时变为90
°
以上的期间(t1)。在这种情况下，尽管暂时为成为90
°
以上，但在最终累积转体角度小于90
°
的情况下，在空中进行反转。这是作为人体的动作不可能的动作。在这种情况下，似然度计算部204根据规定期间的特征量的累积量，将似然度输出得较低，由此能够由不良骨架检测部205检测为不良骨架。
103.(情形3的处理例)
104.图9、图10是特征量超过范围的情形3的说明图。技巧转体1次以上的情况，例如，表示跳马的第二空中局面的累积转体角度的情况。图9(a)、(b)是示出情形3中的近似线与运动特征量的相关系数的例子的图表。横轴是时间，纵轴是累积转体角度。近似3次曲线计算部203根据规定期间，即技巧的开始ts～结束te之间的累积转体角度a(图中实线)来计算近似3次曲线b(图中虚线)。相关系数计算部707计算累积转体角度a和近似3次曲线b的相关系数。
105.似然度计算部204利用预先设定的参数的指数函数，根据相关系数计算似然度。图10示出根据相关系数计算似然度的指数函数的一例。图10的横轴是相关系数，纵轴是似然度。如图10所示，使用进行如下变换的指数函数：在相关系数达到预先设定的数值x之前似然度成为高的数值，在成为预先设定的数值y以下时似然度急剧降低。
106.然后，不良骨架检测部205基于累积转体角度与近似3次曲线的相似程度(相关系数)，检测不良骨架的有无。在骨架正确的情况下，如图9(a)所示，累积转体角度a与近似3次曲线b相似，相关系数高。由此，控制部110判断为在规定期间(技巧的开始ts～结束te的期间)估计出的骨架信息正确。
107.另一方面，在骨架错误的情况下，如图9(b)所示，累积转体角度a与近似3次曲线b存在差异，相关系数低。由此，不良骨架检测部205判断为存在在规定期间(技巧的开始ts～结束te的期间)内估计出的骨架信息错误的部分。在该情况下，不良骨架检测部205例如能够对累积转体角度a与近似3次曲线b存在差异且相关系数低的期间t1、t2进行再次的骨架判定。
108.(情形2的处理例)
109.图11a、图11b是特征量在范围以内的情形2的情况的说明图。表示技巧为1/2转体，例如跳马的第二空中局面的累积转体角度的情况。在该情形2中，关于特征量的检测，基本上采用与上述情形3的1次以上转体相同的方法。但是，由于在1/2转体技巧中转体数少，因
此考虑存在不在实施的技巧整体中转体，而仅在实施了技巧的区间的最初附近转体的模式，或仅在实施了技巧的区间的最后附近转体的模式。
110.图11a是仅在整体的技巧中的最初附近实施了转体的技巧时的说明图，图11b是仅在整体的技巧中的最后附近实施了转体的技巧时的说明图。这些图的横轴是时间，纵轴是累积转体角度。
111.在图11a、图11b所示的模式中，在所实施的技巧整体中计算累积转体角度a和近似3次曲线b的相关系数时，如这些图11a(a)、图11b(a)所示，似然度降低。
112.因此，在技巧为1/2转体的情况下，不是针对实施了技巧的区间整体，而是将实施了技巧的开始ts～结束te分割为多个分割区间，使各分割区间的一部分彼此在时间上重叠。例如，如图11a所示，分割为3个分割区间，作为前半的2/3分割区间和后半的2/3分割区间，在各分割区间分别计算近似3次曲线。
113.例如，在整体的技巧中仅在最初附近实施转体的技巧的情况下，如图11a(b)所示，在技巧的开始ts～时期t2的前半的2/3的分割区间、时期t1～结束te的后半的2/3的分割区间分别计算近似3次曲线。由此，前半的2/3的分割区间中的似然度变高，对于估计出前半实施的转体的技巧的骨架信息，能够高精度地检测不良骨架。
114.同样地，在整体的技巧中仅在最后附近实施转体的技巧的情况下，也如图11b(b)所示，在前半的2/3的分割区间和后半的2/3的分割区间分别计算近似3次曲线。由此，后半的2/3分割区间中的似然度变高，能够对于在后半实施的估计了转体的骨架信息高精度地检测不良骨架。
115.图12是示出各特征量的不良骨架检测的处理例的流程图。示出与骨架估计装置100的控制部110执行的图7的功能以及与图8至图11b的各说明相对应的处理例。
116.首先，控制部110从3d激光传感器等取得选手的3维骨架信息(步骤s1201)。接下来，控制部110计算技巧的开始ts～结束te的各帧的特征量(步骤s1202)。
117.接着，控制部110判断特征量的大小，转移到各大小的处理(步骤s1203)。在特征量小于预先设定的范围的情况下，判定为情形1(步骤s1203：情形1)，转移到步骤s1204的处理。另外，在特征量在预先设定的范围内的情况下，判定为情形2(步骤s1203：情形2)，转移到步骤s1205的处理。另外，在特征量超过预先设定的范围的情况下，判定为情形3(步骤s1203：情形3)，转移到步骤s1207的处理。
118.在情形1的情况下，控制部110计算规定期间(技巧的开始ts～结束te)的期间的特征量的最大值和最小值(步骤s1204)，移至步骤s1209的处理。
119.在情形2的情况下，控制部110针对规定期间(技巧的开始ts～结束te)的期间，按预先存储的多个区间来计算基于多维函数的近似线(步骤s1205)。之后，控制部110求出在多个区间的各个区间中计算出的近似线与运动特征量的相关系数(步骤s1206)，转移到步骤s1209的处理。
120.在情形3的情况下，控制部110根据直至规定期间(技巧的开始ts～结束te)的期间的特征量计算近似3次曲线(步骤s1207)。然后，控制部110计算所计算出的3次近似曲线与特征量的相关系数(步骤s1208)，转移到步骤s1209的处理。
121.接着，控制部110计算似然度(步骤s1209)。对于情形2和3中的处理数据，根据所计算的近似线与运动特征量之间的相关系数来计算似然度。另一方面，对于情形1的处理数
据，控制部110不使用相关性而基于特征量(转体角度的最大值和最小值，图8的说明)，对不可能的运动较低地输出似然度。
122.之后，在似然度小于预先设定的阈值的情况下，控制部110计算近似线与运动特征量的误差(步骤s1210)。然后，控制部110通过算出误差为规定值以上的帧，来检测估计出的骨架信息中的不良骨架的部分的帧(步骤s1211)。
123.由此，控制部110能够对在规定期间(技巧的开始ts～结束te)内估计出的骨架检测不良骨架的有无。例如，图5的cg帧k3～k6能够检测为不良骨架ng。由此，控制部110能够对检测出的不良骨架ng的部分进行再次的骨架判定。
124.(针对其他技巧的不良骨架的检测例)
125.在上述的实施方式中，以体操的跳马的竞技为例，对运动特征量为“运动转体量”的情况下的不良骨架的检测例进行了说明。在实施方式中，不限于体操竞技，能够检测针对基于人体的关节的移动变化而估计出的骨架的不良骨架。
126.图13是针对其他特征量的不良骨架的检测的说明图。在该图13中示出跳马的第二空中局面的累积空翻角度运动特征量为“空翻(上下旋转)”的情况下的近似线与运动特征量之间的相关状态。
127.在运动特征量为“空翻”的情况下，能够使用1次直线取得与累积空翻角度的相关性。在该情况下，控制部110根据累积空翻角度来计算近似直线(1次直线)。然后，控制部110计算累积空翻角度与近似直线的相关系数。之后，控制部110利用预先设定的参数的指数函数，根据相关系数计算似然度。这里，作为根据相关系数计算似然度的指数函数的一例，可以利用与图10所示的转体的情况相同的指数系数。
128.而且，控制部110能够对基于累积空翻角度与近似直线的相似程度(相关性)估计出的骨架检测不良骨架。在图13(a)所示的例子中，累积空翻角度a与近似直线b相似，相关系数较高，因此能够判定为估计出的骨架正确。另一方面，如图13(b)那样，在累积空翻角度a与近似直线b存在差异的情况下，相关系数变低，能够检测估计出的骨架错误的不良骨架。
129.这样，即使是各种技巧等不同的特征量，也能够基于上述的规定期间(技巧的开始ts～结束te的期间)中的累积角度与适合技巧的多维函数的相关性，检测不良骨架。
130.根据以上说明的实施方式，骨架估计装置以帧为单位取得估计了规定期间内的骨架变化的估计信息，计算规定期间内的骨架的变化的特征量，基于计算出的特征量计算近似线，计算计算出的特征量与近似线的相关状态，基于相关状态，将规定期间的估计信息中的估计异常的帧部分检测为不良骨架。特征量与骨架的变化对应，例如是身体的转体或旋转等。由此，能够将估计出的骨架中的与实际的动作不同的部分检测为不良骨架。另外，基于规定期间整体的骨架的变化来判断不良骨架。由此，与以往那样在部分的相邻帧间基于急剧的变化的检测相比，能够检测仅在相邻帧间变化较少而无法检测的情况，在整个规定期间内变化的情况下的不良骨架。
131.另外，骨架估计装置根据特征量的大小以不同的方法检测不良骨架，由此能够检测特征量，例如不同的按转体量区分的骨架的估计信息中的不良骨架。在特征量超过预先设定的范围的情况下，根据规定期间中的特征量计算基于多维函数的近似曲线，根据计算出的特征量与近似曲线的相关系数计算似然度，在似然度比预先设定的阈值小的情况下，检测特征量与近似曲线的差分最大的帧作为不良骨架。由此，能够正确地检测骨架变化大
的情况下的骨架不良。
132.另外，骨架估计装置在特征量处于预先设定的范围内的情况下，针对将规定期间分割为多个而得到的各分割区间，根据特征量分别计算基于多维函数的近似曲线，根据在各分割区间中计算出的特征量与近似曲线之间的相关系数计算似然度，在似然度小于预先设定的阈值的情况下，将特征量与近似曲线之间的差分最大的帧检测为不良骨架。在此，也可以分割为多个分割区间的一部分彼此在时间上重叠。由此，能够在每个分割区间正确地检测不良骨架。例如，即使在仅在规定期间中的前半或后半进行转体的情况下，通过使用分割区间，也能够正确地检测对于转体的估计信息的不良骨架。
133.另外，骨架估计装置在特征量小于预先设定的范围的情况下，计算规定期间中的特征量的最大值和最小值，基于包含计算出的最大值和最小值在内的特征量的累积量来计算似然度，基于似然度来检测不良骨架。由此，即使在特征量的变化小的情况下，也能够正确地检测与估计信息对应的不良骨架。例如，能够正确地检测在规定期间不进行转体的情况下的对于骨架的估计信息的不良骨架。
134.另外，骨架估计装置能够对检测出的不良骨架的帧部分再次进行骨架的估计。由此，能够在整个规定期间向外部提示正确的骨架信息。
135.另外，上述的骨架估计装置能够应用于选手实施技巧的体操竞技的体操评分辅助系统。体操评分辅助系统包括：骨架识别部，其通过3d激光传感器拍摄选手，骨架估计装置以帧为单位取得包含距离信息的3维点群的图像，根据3维点群的图像生成深度图像，基于根据深度图像事先学习的学习模型，识别选手的3维骨架；拟合部，其基于3维点群和3维骨架，将适合于选手骨架的3维骨架作为估计信息输出；控制部。控制部预先设定各技巧的特征量，与选手实施的规定的技巧对应地检测拟合部输出的估计信息中的不良骨架。由此，估计规定期间内的选手的骨架的变化，向评分员提示与选手在规定期间实施的技巧对应的骨架信息。评分员不仅限于目视，还能够使用骨架估计装置所提示的骨架信息，基于选手实施的体操的技巧，例如各关节的角度等，进行更准确的评分。
136.另外，骨架估计装置向体操竞技的评分员提示估计信息，在不良骨架的检测时，提示对不良骨架的帧部分再次实施了骨架的估计后的估计信息，由此，骨架估计装置能够始终向评分员提示正确地估计出的骨架信息，能够提高骨架估计装置所提示的估计出的骨架信息的可靠性。
137.如上所述，根据实施方式，能够正确地检测出在整个规定期间内变化的骨架，即使在估计出的骨架信息的一部分存在不良骨架的情况下，也能够检测出该不良骨架并再次估计骨架。实施方式的骨架的估计不限于体操竞技，能够应用于医疗中的患者的检查，监视等各种领域中的骨架估计。
138.另外，在本发明的实施方式中说明的骨架估计方法能够通过使服务器等处理器执行预先准备的程序来实现。本骨架估计方法记录在硬盘、软盘、cd－rom(compact disc－read only memory)、dvd(digital versatile disk)、闪存等计算机可读取的记录介质中，通过计算机从记录介质中读出来执行。另外，本骨架估计方法也可以经由因特网等网络发布。
139.符号说明
140.100骨架估计装置
141.110控制部
142.201骨架取得部
143.202特征量计算部
144.203近似3次曲线计算部
145.204似然度计算部
146.205不良骨架检测部
147.301cpu
148.302存储器
149.303网络接口
150.305记录介质
151.310网络
152.601 3d激光传感器
153.602骨架识别部
154.603机器学习部
155.604拟合部
156.605技巧识别部
157.633学习模型
158.651技巧识别表
159.660技巧数据库
160.703计算方法判定部
161.704计算区间存储部
162.705多个区间近似3次曲线计算部
163.706多个相关系数计算部
164.707相关系数计算部
165.708最大最小值计算部
166.709误差计算部
167.f1～f11多个帧
168.k1～k11 cg数据
169.ng不良骨架