计算方法与流程

1.本发明涉及计算方法、信息处理装置及记录介质。


背景技术：

2.已知根据数据来进行用户的行走分析。
3.作为关于人物的行走分析而进行了记载的文献，例如，有专利文献1。在专利文献1中，记载了如下行走分析装置，该行走分析装置具有：数据取得部，从深度传感器取得两种图像数据；骨骼信息生成部，根据数据取得部所取得的图像数据来生成骨骼信息；校正处理部，对骨骼信息生成部所生成的骨骼信息进行校正；及分析处理部，使用校正后的骨骼信息来分析用户的行走。
4.现有技术文献
5.专利文献
6.专利文献1：国际公开第2017/170832号


技术实现要素：

7.发明所要解决的课题
8.在专利文献1所记载的技术中，必须使用深度传感器(3d传感器)，但有不使用深度传感器等3d传感器而想要根据相机所取得的图像数据来进行行走分析的需求。
9.在此，在进行基于相机取得的图像数据的分析的情况下，无法单纯地仅根据图像数据来计算现实世界中的实际的长度。因此，难以基于取得的数据来计算步幅等，难以进行行走分析。
10.这样，产生了难以基于图像数据来计算实际的长度这样的课题。
11.因此，本发明的目的在于提供解决难以基于图像数据来计算实际的长度这样的课题的计算方法、信息处理装置及记录介质。
12.用于解决课题的技术方案
13.为了达到该目的，作为本公开的一个方式的计算方法采用如下结构，即，
14.信息处理装置取得用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，并基于取得的信息来计算图像数据中的规定位置处的实际的长度。
15.另外，作为本公开的其他方式的信息处理装置采用如下结构，即，
16.所述信息处理装置具有计算部，该计算部基于用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，来计算图像数据中的规定位置处的实际的长度。
17.另外，作为本公开的其他方式的记录介质，其中，
18.记录有程序，该程序用于使信息处理装置实现计算部，该计算部基于用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，来计算图像数
据中的规定位置处的实际的长度。
19.发明效果
20.根据上述的各结构，能够基于图像数据来计算实际的长度。
附图说明
21.图1是表示本公开的第一实施方式中的行走姿势测定系统的结构例的图。
22.图2是表示拍摄里外方向的行走姿势时的一例的图。
23.图3是表示拍摄左右方向的行走姿势时的一例的图。
24.图4是表示图1所示的智能手机的结构例的框图。
25.图5是表示图4所示的拍摄辅助部的结构例的框图。
26.图6是表示横向把持时的拍摄辅助显示例的图。
27.图7是表示纵向把持时的拍摄辅助显示例的图。
28.图8是表示图5所示的角度调整信息输出部的动作例的图。
29.图9是表示图1所示的行走姿势测定装置的结构例的框图。
30.图10是表示图9所示的骨骼信息的一例的图。
31.图11是表示图9所示的测定结果信息的一例的图。
32.图12是用于说明实测值计算部的处理的图。
33.图13是用于说明实测值计算部的处理的图。
34.图14是用于说明实测值计算部的处理的图。
35.图15是用于说明实测值计算部的处理的图。
36.图16是用于说明实测值计算部的处理的图。
37.图17是用于说明实测值计算部的处理的图。
38.图18是用于说明实测值计算部的处理的图。
39.图19是用于说明实测值计算部的处理的图。
40.图20是表示智能手机中的拍摄辅助部的动作例的流程图。
41.图21是表示行走姿势测定装置的动作例的流程图。
42.图22是表示计算实测值信息的处理的一例的流程图。
43.图23是用于说明本公开的第二实施方式中的行走姿势测定装置的追踪例的图。
44.图24是表示本公开的第二实施方式中的行走姿势测定装置的结构例的框图。
45.图25是表示图24所示的追踪部的结构例的图。
46.图26是表示图25所示的内包图形生成部生成的图形的一例的图。
47.图27是表示图25所示的内包图形生成部生成的图形的一例的图。
48.图28是表示追踪部的动作例的流程图。
49.图29是表示本公开的第三实施方式中的拍摄装置所具有的硬件结构的一例的图。
50.图30是表示拍摄装置的结构例的框图。
51.图31是表示本公开的第四实施方式中的信息处理装置的结构例的框图。
52.图32是表示本公开的第五实施方式中的信息处理装置的结构例的框图。
53.图33是表示本公开的第六实施方式中的追踪装置的结构例的框图。
具体实施方式
54.[第一实施方式]
[0055]
关于本公开的第一实施方式，参照图1至图22进行说明。图1是表示行走姿势测定系统100的结构例的图。图2是表示拍摄里外方向的行走姿势时的一例的图。图3是表示拍摄左右方向的行走姿势时的一例的图。图4是表示智能手机200的结构例的框图。图5是表示拍摄辅助部212的结构例的框图。图6是表示横向把持时的拍摄辅助显示例的图。图7是表示纵向把持时的拍摄辅助显示例的图。图8是表示角度调整信息输出部2124的动作例的图。图9是表示行走姿势测定装置300的结构例的框图。图10是表示骨骼信息334的一例的图。图11是表示测定结果信息336的一例的图。图12是用于说明实测值计算部343的处理的图。图13至图19是用于说明实测值计算部343的处理的图。图20是表示智能手机200中的拍摄辅助部212的动作例的流程图。图21是表示行走姿势测定装置300的动作例的流程图。图22是表示计算实测值信息335的处理的一例的流程图。
[0056]
在本公开的第一实施方式中，对根据使用智能手机200等拍摄装置而取得的动态图像来测定人物的行走姿势的行走姿势测定系统100进行说明。在行走姿势测定系统100中，使用智能手机200，拍摄表示人物在图像的里外方向上行走的姿态的动态图像(即，多个图像数据)和表示人物在图像的左右方向上行走的姿态的动态图像。然后，行走姿势测定系统100基于通过拍摄取得的作为动态图像的多个图像数据，测定步幅、行走速度、与行走时的头等的晃动对应的直行性等行走姿势。另外，如后所述，行走姿势测定系统100包括用于在使用智能手机200取得图像数据时尽量使拍摄条件一致的结构、用于根据图像数据来测定实测值的结构等。
[0057]
图1表示行走姿势测定系统100的结构例。参照图1，行走姿势测定系统100例如具有智能手机200和行走姿势测定装置300。如图1所示，智能手机200和行走姿势测定装置300例如通过无线或有线以能够相互通信的方式连接。
[0058]
智能手机200作为拍摄人物行走的姿态的拍摄装置发挥功能。智能手机200可以是具有相机功能、进行画面显示的触摸面板201、gps传感器、加速度传感器等各种传感器等一般的功能的智能手机。
[0059]
在本实施方式的情况下，如图2所示，在纵向地拿着智能手机200的状态(纵向把持的状态)下，拍摄者对从画面进深向近前等人物在里外方向上行走的姿态进行拍摄。换言之，在进行具有矩形形状的智能手机200中短边与地面水平的纵向把持的状态下，拍摄者对人物在里外方向上行走的姿态进行拍摄。另外，如图3所示，在横向地拿着智能手机200的状态(横向把持的状态)下，拍摄者对从画面左侧向右侧等人物在左右方向上行走的姿态进行拍摄。换言之，在进行智能手机200中长边与地面水平的横向把持的状态下，拍摄者对人物在里外方向上行走的姿态进行拍摄。这样，在行走姿势测定系统100中，拍摄者对与智能手机200的方向对应的种类的动态图像(多个图像数据)进行拍摄。此外，人物在里外方向上行走的姿态和人物在左右方向上行走的姿态例如可以使用1台智能手机200分两次进行拍摄，也可以使用2台智能手机200同时进行拍摄。
[0060]
图4表示智能手机200的本实施方式中的特征性的结构例。参照图4，智能手机200除了作为用于检测智能手机200的方向(纵向、横向)的加速度传感器、陀螺仪传感器等的智能手机的一般的结构之外，还具有测定用动作拍摄部210。另外，如图4所示，测定用动作拍
摄部210包括图像数据拍摄部211和拍摄辅助部212。
[0061]
例如，智能手机200具有cpu(central processing unit：中央处理器)等运算装置和存储装置。智能手机200例如通过运算装置执行存储装置中保存的程序来实现上述的处理部。
[0062]
测定用动作拍摄部210根据拍摄者对智能手机200的操作，拍摄作为本实施方式中的测定用动作的人物行走的姿态。另外，测定用动作拍摄部210包括用于辅助拍摄的功能，以在进行拍摄时能够尽可能在相同条件下进行拍摄。例如，测定用动作拍摄部210是如下的拍摄用应用程序，具有用于拍摄人物行走的姿态的相机操作功能，并且具有在拍摄人物行走的姿态时用于使行走方向、角度、映在画面上的大小等拍摄条件尽可能一致的引导功能。如上所述，测定用动作拍摄部210包括图像数据拍摄部211和拍摄辅助部212。
[0063]
图像数据拍摄部211通过利用智能手机200所具有的相机拍摄人物来取得动态图像(多个图像数据)。另外，图像数据拍摄部211能够将表示图像数据的取得日期和时间的信息、后述的拍摄辅助部212取得的信息等与该图像数据拍摄部211拍摄的动态图像(图像数据)建立对应。
[0064]
拍摄辅助部212在图像数据拍摄部211取得图像数据时进行用于使拍摄条件尽可能一致的辅助。图5表示拍摄辅助部212所包含的结构的一例。参照图5，拍摄辅助部212例如包括引导线显示部2121、角度信息显示部2122、高度信息输入部2123及角度调整信息输出部2124。
[0065]
引导线显示部2121在触摸面板201上显示成为拍摄人物时人物的脚的位置等人物行走的位置的基准的引导线2011。通过使人物以尽可能沿着显示在触摸面板201上的引导线2011的方式行走，在拍摄该人物行走的姿态时，能够使行走的方向、角度、映在画面中的大小等一致。此外，为了与引导线2011表示的位置一致，也可以在现实世界中放置标记等，利用标记使人物行走。
[0066]
在本实施方式的情况下，引导线显示部2121根据智能手机200是纵向把持还是横向把持，在触摸面板201上显示不同的引导线2011。例如，在根据从加速度传感器等取得的信息判断为智能手机200是横向把持的情况下，如图6所示，引导线显示部2121在触摸面板201上显示用于拍摄在画面的左右方向上行走的人物的引导线2011。换言之，引导线显示部2121在触摸面板201上显示用于引导在左右方向上行走的人物的引导线2011。参照图6可知，在触摸面板201上显示有智能手机200所具有的相机正在拍摄的区域即拍摄区域，并且显示有引导线2011。另外，在根据从加速度传感器等取得的信息判断为智能手机200是纵向把持的情况下，如图7所示，引导线显示部2121在触摸面板201上显示用于拍摄在画面的里外方向上行走的人物的引导线2011。换言之，引导线显示部2121在触摸面板201上显示用于引导在里外方向上行走的人物的引导线2011。
[0067]
此外，引导线显示部2121显示引导线2011的位置例如预先确定。例如，在智能手机200为横向把持的情况下，如图6所示，引导线显示部2121在比拍摄区域的中央靠下方(例如，下半部分的区域的正中间程度)显示引导线2011。另外，例如，在智能手机200为纵向把持的情况下，如图7所示，引导线显示部2121在拍摄区域的中央显示引导线2011。引导线显示部2121显示引导线2011的位置也可以是上述例示以外的位置。
[0068]
角度信息显示部2122从智能手机200所具有的加速度传感器、陀螺仪传感器等取
得表示左右方向的倾斜度、里外方向的倾斜度等智能手机200的角度的信息。然后，角度信息显示部2122将取得的信息作为表示智能手机200的角度的角度信息2012显示在触摸面板201上。在拍摄人物行走的姿态时，优选在智能手机200尽可能不倾斜的状态进行拍摄。通过利用角度信息显示部2122将角度信息2012显示在触摸面板201上，拍摄者在拍摄人物行走的姿态时能够修正智能手机200的角度，能够在智能手机200不倾斜的期望的状态下拍摄人物行走的姿态。
[0069]
在本实施方式的情况下，角度信息显示部2122在触摸面板201上显示表示左右方向的倾斜度的信息和表示里外方向的倾斜度的信息。换言之，角度信息显示部2122显示表示水平方向和垂直方向的智能手机200的倾斜度的信息。例如，如图6、图7所示，角度信息显示部2122在触摸面板201上的规定位置显示角度信息2012。此外，由角度信息显示部2122进行的角度信息2012的显示在纵向把持智能手机200时和横向把持智能手机200时，显示位置改变的显示内容也可以相同(与倾斜度对应的显示)。
[0070]
高度信息输入部2123从人物接受表示智能手机200距地面的高度h的高度信息的输入，将显示输入的高度h的高度显示部2013显示在触摸面板201上。由高度信息输入部2123接受了输入的高度h能够在行走姿势测定装置300计算实测值w时灵活运用。
[0071]
如图6、图7所示，高度信息输入部2123在触摸面板201上的规定位置显示高度显示部2013。然后，高度信息输入部2123例如通过操作智能手机200的人物触摸高度显示部2013，从人物接受表示高度h的信息的输入。之后，高度信息输入部2123将表示接受的高度h的信息在高度显示部2013显示。由高度信息输入部2123进行的高度显示部2013的显示在纵向把持智能手机200时和横向把持智能手机200时，显示位置改变的显示内容也可以相同。
[0072]
角度调整信息输出部2124输出用于调整智能手机200的倾斜度的信息。例如，角度调整信息输出部2124输出根据智能手机200的倾斜方式而不同的与智能手机200的倾斜度对应的信息。具体而言，例如，角度调整信息输出部2124作为用于调整智能手机200的倾斜度的信息，输出根据智能手机200的倾斜度而调整的声音。
[0073]
图8表示角度调整信息输出部2124的处理的一例。参照图8，例如，角度调整信息输出部2124输出根据智能手机200的左右方向的倾斜度而调整了声音的长度的声音，并且输出根据智能手机200的里外方向的倾斜度而调整了音程的声音。这样，角度调整信息输出部2124根据智能手机200的倾斜方式进行不同的调整。例如，参照图8，角度调整信息输出部2124以智能手机200越向左方倾斜则1个声音的长度越短的方式调整声音的长度。另外，角度调整信息输出部2124以智能手机200越向右方倾斜则1个声音的长度越长的方式调整声音的长度。另外，角度调整信息输出部2124以智能手机200越向近前(例如，拍摄者侧)方向倾斜则音程越下降的方式调整音程。另外，角度调整信息输出部2124以智能手机200越向进深(例如，与拍摄者相反的一侧)方向倾斜则音程越上升的方式调整音程。
[0074]
根据上述的结构，在智能手机200向任一方向倾斜的情况下，角度调整信息输出部2124根据倾斜方式进行声音的长度和音程中的至少一方的调整，由此输出两种声音。另一方面，在智能手机200不倾斜的情况下，由于不进行声音的长度、音程的调整，因此角度调整信息输出部2124输出1种声音。这样，通过构成为角度调整信息输出部2124输出调整后的声音，例如，即使是拍摄者难以看到触摸面板201的状况，也能够容易地进行智能手机200的角度调整。
[0075]
此外，角度调整信息输出部2124输出的用于调整智能手机200的倾斜度的信息不一定限于为声音的情况。例如，角度调整信息输出部2124也可以代替声音而使灯发光或使智能手机200振动。例如，角度调整信息输出部2124也可以构成为进行在接近正确的角度即没有倾斜的角度时使灯发光、使智能手机200振动等处理。此外，角度调整信息输出部2124也可以通过进行根据左右方向的倾斜度而输出声音并且根据里外方向的倾斜度而使灯发光、根据左右方向的倾斜度而输出声音和使灯发光的处理等各种组合来组合上述的处理。
[0076]
以上是本实施方式中特征性的智能手机200的结构例。
[0077]
行走姿势测定装置300是基于智能手机200拍摄的动态图像(即，多个图像数据)来测定步幅、行走速度、直行性等行走姿势的服务器装置。图9表示行走姿势测定装置300的结构例。参照图9，行走姿势测定装置300作为主要的结构要素，例如具有画面显示部310、通信i/f部320、存储部330及运算处理部340。
[0078]
画面显示部310由触摸面板或液晶显示器等画面显示装置构成。画面显示部310根据来自运算处理部340的指示，能够显示图像信息333、骨骼信息334、测定结果信息336、在图像信息333所包含的图像数据上重叠骨骼信息334所表示的骨骼的位置的显示等。
[0079]
通信i/f部320由数据通信电路构成。通信i/f部320与经由通信线路连接的外部装置或智能手机200等之间进行数据通信。
[0080]
存储部330是硬盘、存储器等存储装置。存储部330存储运算处理部340中的各种处理所需的处理信息、程序337。程序337通过被读入运算处理部340并执行来实现各种处理部。程序337通过通信i/f部320等数据输入输出功能从外部装置、记录介质被预先读入，并保存在存储部330中。作为在存储部330中存储的主要的信息，例如，有学习完毕模型331、相机设定信息332、图像信息333、骨骼信息334、实测值信息335及测定结果信息336等。
[0081]
学习完毕模型331是骨骼识别部342进行骨骼识别时使用的学习完毕的模型。学习完毕模型331例如通过在外部装置等中进行使用了输入了骨骼坐标的图像数据等训练数据的机器学习而预先生成，通过通信i/f部320等从外部装置等取得，并保存在存储部330中。
[0082]
此外，学习完毕模型331也可以通过使用了追加的训练数据的再学习处理等来更新。
[0083]
相机设定信息332包括表示智能手机200拍摄人物的行走时使用的智能手机200所具有的相机的参数的信息。在相机设定信息332中，例如包括表示相机的垂直视场角θ、水平视场角ψ的信息。
[0084]
相机设定信息332例如通过通信i/f部320等从智能手机200等预先取得，并保存在存储部330中。相机设定信息332也可以在从智能手机200取得图像数据时与图像数据一起从智能手机200取得并保存在存储部330中。
[0085]
图像信息333包括由智能手机200所具有的相机取得的图像数据(动态图像)。在图像信息333中，例如，针对成为动态图像的每个单位，图像数据、表示智能手机200取得图像数据的日期时间的信息、及表示由高度信息输入部2123输入的高度的信息等建立了对应。另外，在图像信息333中，人物在左右方向上行走的动态图像和人物在里外方向上行走的动态图像建立了对应。如后所述，测定部344根据人物在左右方向上行走的动态图像和人物在里外方向上行走的动态图像，分别进行对应的行走姿势测定。
[0086]
骨骼信息334包含表示由骨骼识别部342识别出的人物的各部位的坐标的信息。图
10表示骨骼信息334的一例。参照图10，在骨骼信息334中，例如，针对成为识别对象的每个人物，时间和各部位的位置信息建立了对应。时间表示从动态图像拍摄开始起的经过时间、拍摄动态图像的时刻等。另外，各部位的位置信息包含骨盆的位置等表示图像数据中的各部位的坐标的信息。
[0087]
此外，各部位的位置信息中包含的部位是与学习完毕模型331对应的部位。例如，在图10中，例示了骨盆、脊骨中央、
……
。在各部位的位置信息中，可以包含例如右肩、
……
、左肘、
……
、右膝、
……
等30处左右的部位(也可以是例示以外的部位)。各部位的位置信息中包含的部位也可以是图10等中例示的以外的部位。
[0088]
实测值信息335包含表示由实测值计算部343计算出的实测值w的信息。例如，在实测值信息335中，实测值w与基准线或图像数据的识别信息等建立了对应。实测值信息335也可以包含表示步幅等的信息。关于实测值计算部343的处理的详细说明，将在后面叙述。
[0089]
测定结果信息336表示测定部344所测定的行走姿势测定的结果。图11表示测定结果信息336的一例。参照图11，在测定结果信息336中，针对成为测定对象的每个人物，例如，时间、行走速度、步幅及直行性
……
建立了对应。这里，时间表示从动态图像拍摄开始起的经过时间或拍摄动态图像的时刻等。另外，行走速度表示人物行走的速度。另外，步幅表示人物行走时的右脚和左脚的脚尖间(或，脚后跟间)的长度。另外，直行性表示人物行走时的头或身体的摇晃程度或抖动程度。此外，测定结果信息336中也可以包含表示一歩所花的时间的表示间距等的信息。
[0090]
这里，测定结果信息336所包含的各种信息中，行走速度、步幅是实测值计算部343、测定部344基于人物在左右方向上行走的动态图像(图像数据)而测定的信息。另外，测定结果信息336所包含的各种信息中，直行性是测定部344基于人物在里外方向上行走的动态图像(图像数据)而测定的信息。例如，如上所述，在测定结果信息336中，包含测定部344基于人物在左右方向上行走的动态图像而测定的信息和测定部344基于人物在里外方向上行走的动态图像而测定的信息。
[0091]
运算处理部340具有mpu等微处理器及其周边电路。运算处理部340通过从存储部330读入并执行程序337，使上述硬件和程序337协作而实现各种处理部。作为由运算处理部340实现的主要的处理部，例如，有图像取得部341、骨骼识别部342、实测值计算部343、测定部344及输出部345。
[0092]
图像取得部341经由通信i/f部320从智能手机200取得由该智能手机200取得的动态图像(多个图像数据)。然后，图像取得部341将取得的图像数据与例如表示图像数据的取得日期和时间、高度的信息等建立对应而作为图像信息333保存在存储部330中。
[0093]
在本实施方式的情况下，图像取得部341从智能手机200以使人物在左右方向上行走的动态图像(图像数据)和人物在里外方向上行走的动态图像(图像数据)建立对应或能够建立对应的方式来进行取得。然后，图像取得部341将取得的两种动态图像建立对应而作为图像信息333保存在存储部330中。
[0094]
骨骼识别部342使用学习完毕模型331，在图像数据中识别成为行走姿势测定的对象的人物的骨骼。例如，骨骼识别部342识别脊骨上部、右肩、左肩、右肘、左肘、右手腕、左手腕、右手、左手、
……
等各部位。另外，骨骼识别部342计算识别出的各部位的画面数据中的坐标。然后，骨骼识别部342将识别/计算出的结果与用于识别人物的识别信息等建立对应，
从而针对每个人物，将其作为骨骼信息334保存在存储部330中。
[0095]
此外，骨骼识别部342识别的部位与学习完毕模型331(在对学习完毕模型331进行学习时使用的训练数据)对应。因此，骨骼识别部342也可以根据学习完毕模型331识别上述例示以外的部位。
[0096]
实测值计算部343根据智能手机200所具有的相机的距地面的高度h、智能手机200所具有的相机的垂直视场角θ、水平视场角ψ、在画面上取任意的高度的基准线相对于半个画面的比例α，计算基准线的画面一端到另一端的实测值w。另外，实测值计算部343能够使用计算出的实测值w来计算人物的步幅等。然后，实测值计算部343将计算出的实测值w等作为实测值信息335保存在存储部330中。此外，实测值计算部343能够对动态图像中的每1帧(即，每个图像数据)进行计算实测值w的处理。
[0097]
一般，从智能手机200所具有的相机等无法取得进深的值的图像数据中，只能取得画面上的平面位置，不能立即知道现实世界中的实际的长度等。实测值计算部343通过使用上述的各种值，能够计算出实际的长度(即，现实世界中的长度)即实测值w。
[0098]
图12表示实测值计算部343计算实测值w时使用的数学式。如图12所示，实测值计算部343通过求解由数学式1所示的式子来计算实测值w。即，实测值计算部343基于智能手机200所具有的相机距地面的高度h、智能手机200所具有的相机的参数、以及计算实测值w的基准线相对于半个画面的比例α，计算实测值w。
[0099]
[数学式1]
[0100][0101]
这里，实测值w例如表示图像数据中的基准线的从画面一端到另一端的实际的长度。另外，h是相机(智能手机200)距地面的高度。高度h的值在使用高度信息输入部2123取得图像数据取得时由拍摄者输入。另外，θ是垂直视场角，ψ是水平视场角。α是画面上的任意的高度的基准线相对于半个画面的比例。
[0102]
以下，参照图13至图18，对数学式1详细地进行说明。
[0103]
例如，如图13所示，使用位于高度h的智能手机200所具有的相机，对画面上的任意的高度即基准线上的人物进行拍摄。在该情况下，如图14所示，将位于高度h的智能手机200的位置设为原点o。另外，将从智能手机200垂直地向地板方向下降时与地板的接点设为点g，将人物的位置设为点p。另外，将连接原点o与点p的线与地面(或与地面水平的线)所形成的角设为角度φ。
[0104]
在上述的情况下，在设从点g到点p为止的距离为d时，如图15所示，从数学式2成为数学式3。
[0105]
[数学式2]
[0106][0107]
[数学式3]
[0108]
[0109]
另外，如图16所示，角度φ根据任意的点p的画面上的位置的比例，若设为垂直视场角θ，则成为数学式4。
[0110]
[数学式4]
[0111][0112]
另外，若从正上方观察图14所示的场面，则成为图17所示那样。在图17中，将通过点p的任意的画面上的高度的线中的一个端部设为点q。在该情况下，如图18所示，若将点p与点q之间的宽度设为宽度w，则从数学式5成为数学式6。另外，由于从数学式3、数学式4成为数学式7，因此当将数学式7代入数学式6时，成为数学式8。
[0113]
[数学式5]
[0114][0115]
[数学式6]
[0116][0117]
[数学式7]
[0118][0119]
[数学式8]
[0120][0121]
由此，由于在距智能手机200距离d的地点处的画面横端整个长度即实测值w为2w，因此将上述的数学式8乘以2倍，成为上述的数学式1。由此可知，通过计算数学式1，能够计算出实测值w。
[0122]
此外，成为比例α的计算基础的画面上的任意的高度的基准线例如可以根据图像数据中的人物的脚的位置等来确定。即，实测值计算部343能够在根据图像数据中的人物的脚的位置确定基准线后，进行计算比例α的处理。例如，实测值计算部343能够将通过人物的左右的脚的y坐标的平均值、任一个脚的y坐标等的斜率为0的线作为基准线(也可以是例示以外的线)。此外，由实测值计算部343进行的上述处理例如也可以按每1帧(即，按每个图像数据)进行。另外，基准线的画面上的高度也可以根据引导线显示部2121显示的引导线2011的位置等预先确定。
[0123]
另外，实测值计算部343能够根据计算出的实测值w来计算步幅等。例如，实测值计算部343能够根据图19所示的人物在左右方向上行走的动态图像所包含的、在行走过程中的前后分开脚的图像数据、计算出的实测值w、图像数据的分辨率来计算步幅。具体而言，例如，当将图像数据的分辨率设为1920
×
1080时，基准线上每1像素的实测值k成为k＝w/1920。因此，例如，在图19所示的图像数据中的左右的脚的(例如骨骼识别部342识别出的脚尖部分的)x坐标的值之差为100像素的情况下，实测值计算部343能够通过计算100
×
k来计
算实际的步幅。这样，实测值计算部343能够根据计算出的实测值w、分辨率及像素数量来计算步幅。
[0124]
例如，如上所述，实测值计算部343能够计算出从基准线的画面一端到另一端的长度实测值w，或者根据实测值w计算出人物的步幅。
[0125]
测定部344使用实测值计算部343的计算结果和骨骼识别部342的识别的结果等，测定人物的行走姿势。然后，测定部344将测定出的结果等作为测定结果信息336保存在存储部330中。
[0126]
如上所述，测定部344能够进行基于人物在左右方向上行走的动态图像的测定和基于人物在里外方向上行走的动态图像的测定。例如，测定部344能够基于人物在左右方向上行走的动态图像(图像数据)来计算行走速度、间距等。例如，测定部344能够计算骨骼识别部342识别出的部位的帧间的移动距离等，并且基于计算出的移动距离和各帧(图像数据)的时间来计算行走速度。测定部344在计算行走速度时，也可以使用步幅等实测值计算部343的计算结果。另外，测定部344能够基于人物在里外方向上行走的动态图像(图像数据)计算直行性等。例如，测定部344能够基于骨骼识别部342识别出的头部的坐标的晃动等来了计算直行性。
[0127]
此外，测定部344也可以构成为进行上述例示以外的测定。
[0128]
输出部345能够输出骨骼信息334、实测值信息335、测定结果信息336、在图像信息333所包含的动态图像上重叠了骨骼信息334的信息等。例如，输出部345的输出通过将上述各信息显示在画面显示部310或向经由通信i/f部320连接的外部装置发送来进行。
[0129]
以上是行走姿势测定装置300的结构例。
[0130]
接着，参照图20至图22，对行走姿势测定系统100的动作例进行说明。首先，参照图20，对角度调整信息输出部2124的动作例进行说明。
[0131]
图20表示角度调整信息输出部2124的动作例。参照图20，角度调整信息输出部2124在智能手机200在里外方向上倾斜的情况下(步骤s101，是)，根据倾斜度来校正音程(步骤s102)。即，智能手机200越向近前或进深方向倾斜，则角度调整信息输出部2124越将音程校正得越大。然后，角度调整信息输出部2124输出校正后的声音(步骤s103)。
[0132]
另外，角度调整信息输出部2124在智能手机200在左右方向上倾斜的情况下(步骤s104，是)，根据倾斜度来校正声音的长度(步骤s102)。即，智能手机200越向左或右方倾斜，则角度调整信息输出部2124越将声音的长度校正得越大。然后，角度调整信息输出部2124输出校正后的声音(步骤s103)。
[0133]
角度调整信息输出部2124的声音的输出满足终止的条件(步骤s107，是)，从而终止。此外，终止的条件例如可以有动态图像的拍摄开始、动态图像的拍摄终止、从智能手机200的倾斜消失而声音一致起经过了规定时间、由人物进行了输出停止处理等。终止的条件也可以是上述例示以外的条件。
[0134]
以上是角度调整信息输出部2124的动作例。接着，参照图21，对行走姿势测定装置300的整体的动作的一例进行说明。图21表示行走姿势测定装置300的整体的动作例。参照图21，图像取得部341经由通信i/f部320从智能手机200取得由该智能手机200取得的动态图像(多个图像数据)(步骤s201)。在本实施方式的情况下，图像取得部341从智能手机200以将人物在左右方向上行走的动态图像(图像数据)和人物在里外方向上行走的动态图像
(图像数据)建立对应或能够建立对应的方式来进行取得。
[0135]
骨骼识别部342使用学习完毕模型331在图像数据中识别成为行走姿势测定的对象的人物的骨骼(步骤s202)。
[0136]
测定部344取得实测值信息335表示的实测值w等(步骤s203)。此外，实测值信息335表示的实测值w例如也可以由实测值计算部343预先计算，例如，也可以由骨骼识别部342与骨骼识别处理并行地或在骨骼识别部342的识别处理之后由实测值计算部343计算。
[0137]
测定部344使用实测值计算部343的计算结果等，测定人物的行走姿势(步骤s204)。例如，测定部344进行基于人物在左右方向上行走的动态图像的测定和基于人物在里外方向上行走的动态图像的测定。
[0138]
输出部345输出骨骼信息334、实测值信息335、测定结果信息336、在图像信息333中包含的动态图像上重叠了骨骼信息334的信息等(步骤s205)。
[0139]
以上是行走姿势测定装置300的整体的动作的一例。接着，参照图22，对实测值计算部343计算实测值w的处理的一例进行说明。
[0140]
参照图22，实测值计算部343取得图像信息333中包含的、表示由高度信息输入部2123输入的高度的信息。另外，实测值计算部343参照相机设定信息332，取得表示相机的垂直视场角θ、水平视场角ψ的信息(步骤s301)。
[0141]
实测值计算部343决定用于计算实测值w的基准线，并且计算比例α(步骤s302)。例如，实测值计算部343基于图像数据中的人物的脚的位置等来确定基准线。另外，实测值计算部343基于所确定的基准线，计算基准线相对于半个画面的比例α。
[0142]
实测值计算部343基于高度h、垂直视场角θ、水平视场角ψ、比例α来计算实测值w(步骤s303)。例如，实测值计算部343通过求解由上述的数学式1所示的式子来计算实测值w。然后，实测值计算部343将计算出的实测值w作为实测值信息335保存在存储部330中。
[0143]
另外，实测值计算部343取图像数据中的左右的脚的(例如脚尖的)x坐标的值之差。然后，基于x坐标的值之差、实测值w及分辨率来计算步幅(步骤s304)。
[0144]
以上是实测值计算部343的处理例。
[0145]
如上所述，行走姿势测定装置300具有骨骼识别部342和测定部344。根据这样的结构，测定部344能够基于骨骼识别部342的骨骼识别的结果来测定行走姿势。其结果是，即使不使用深度传感器等，测定部344也能够基于使用智能手机200所具有的相机等而取得的图像数据来测定行走姿势。
[0146]
另外，行走姿势测定装置300构成为取得表示人物在图像的里外方向上行走的姿态的动态图像和表示人物在图像的左右方向上行走的姿态的动态图像。根据这样的结构，测定部344能够进行基于表示人物在图像的里外方向上行走的姿态的动态图像的测定，并且进行基于表示人物在图像的左右方向上行走的姿态的动态图像的测定。其结果是，即使不使用深度传感器等，测定部344也能够基于使用智能手机200所具有的相机等而取得的图像数据，从1个动态图像中难以测定的各种行走姿势。
[0147]
另外，行走姿势测定装置300具有实测值计算部343。根据这样的结构，实测值计算部343能够计算实测值。其结果是，能够基于使用智能手机200所具有的相机拍摄的动态图像来计算步幅等。由此，行走姿势测定装置300能够基于使用智能手机200所具有的相机拍摄的动态图像来测定正确的行走姿势。
[0148]
另外，智能手机200具有拍摄辅助部212。根据这样的结构，智能手机200在拍摄辅助部212的辅助下，能够取得表示人物在图像的里外方向上行走的姿态的动态图像和表示人物在图像的左右方向上行走的姿态的动态图像。其结果是，智能手机200能够在使拍摄条件尽可能接近的状态下取得上述两种动态图像。由此，在进行使用了两种动态图像的测定的情况下，能够提高测定部344的测定的精度。另外，根据上述的结构，也能够使在不同的定时取得动态图像时的拍摄条件抑制。即，也能够使拍摄在各种定时取得的同方向的图像数据时的拍摄条件一致。其结果是，能够对同方向的图像数据彼此高精度地进行比较，能够提高分析的精度。
[0149]
另外，拍摄辅助部212具有角度调整信息输出部2124。根据这样的结构，角度调整信息输出部2124能够输出用于调整智能手机200的倾斜度的声音等信息。其结果是，即使在难以看到智能手机200的画面的状态等下，也能够容易地进行智能手机200的角度调整。由此，容易使拍摄条件一致，能够容易地提高测定部344的测定的精度。
[0150]
此外，在本实施方式中，例示了作为拍摄装置而使用智能手机200的情况。但是，也可以使用智能手机200以外的拍摄装置来取得动态图像。即，行走姿势测定系统100所具有的拍摄装置不限于为智能手机200的情况。
[0151]
另外，在本实施方式中，例示了通过1台信息处理装置实现作为行走姿势测定装置300的功能的情况。但是，作为行走姿势测定装置300的功能例如也可以通过经由网络连接的多台信息处理装置来实现。换言之，作为行走姿势测定装置300的功能不限于由1台信息处理装置实现的情况，例如，也可以在云上等实现。
[0152]
另外，拍摄辅助部212也可以具有图5中例示的所有多个功能，也可以具有图5中例示的功能中的几个(至少1个)。例如，拍摄辅助部212也可以不进行角度信息显示部2122的角度信息2012的显示而仅具有作为角度调整信息输出部2124的功能。
[0153]
另外，本实施方式中说明的拍摄辅助部212的辅助功能也可以适用于行走姿势测定系统100以外的系统。拍摄辅助部212的辅助功能也可以适用于在取得图像数据时需要尽量使拍摄条件一致的各种场面。同样地，实测值计算部343的实测值w的计算处理也可以适用于行走姿势测定系统100以外的系统。实测值计算部343的实测值w的计算处理能够适用于基于图像数据来计算实测值的各种场面。
[0154]
[第二实施方式]
[0155]
接着，关于本发明的第二实施方式，参照图23至图28进行说明。图23是用于说明行走姿势测定装置300的追踪例的图。图24是表示第二实施方式中的行走姿势测定装置300的结构例的框图。图25是表示追踪部346的结构例的图。图26、图27是表示内包图形生成部3461生成的图形的一例的图。图28是表示追踪部346的动作例的流程图。
[0156]
在本公开的第二实施方式中，对在第一实施方式中说明的行走姿势测定装置300的变形例进行说明。例如，如图23所示，在图像数据内存在多个人物的情况下，若在帧间不准确地进行同一人物的追踪，则不能够正确地进行使用帧间的移动距离的行走速度的计算等。因此，在本实施方式的情况下，除了在第一实施方式中说明的行走姿势测定装置300所具有的结构之外，还具有追踪部346。追踪部346构成为进行基于骨骼识别部342的识别的结果的追踪。
[0157]
图24表示第二实施方式中的行走姿势测定装置300的结构例。参照图24，行走姿势
测定装置300除了在第一实施方式中说明的结构之外，还具有追踪部346。以下，对本实施方式中特征性的结构进行说明。
[0158]
追踪部346进行基于骨骼识别部342的识别的结果的人物的追踪。例如，追踪部346通过对识别出的人物分配识别号码来进行人物的追踪。即，追踪部346通过对判断为一帧前的图像数据和当前帧的图像数据相同的人物分配相同的识别号码，来进行人物的追踪。图25表示追踪部346的更详细的结构例。参照图25，追踪部346例如包括内包图形生成部3461、平均骨骼坐标计算部3462及比较追踪部3463。
[0159]
内包图形生成部3461对每个人物生成包含骨骼识别部342识别出的所有部位的坐标(骨骼信息334中包含的坐标)在内的图形。例如，内包图形生成部3461生成包含所有的坐标在内的最小的凸包、矩形、圆中的任一个。另外，内包图形生成部3461计算所生成的图形的面积。
[0160]
例如，内包图形生成部3461对各帧的图像数据进行内包图形的生成、面积的计算处理。另外，在1帧的图像数据内包含多个人物的情况下，内包图形生成部3461对图像数据内包含的多个人物分别进行内包图形的生成、面积的计算处理。
[0161]
图26表示包含在画面里外方向上行走的人的坐标在内的图形的一例。如图26所示，内包图形生成部3461能够输出包含所有的坐标在内的最小的凸包、矩形、圆中的任一个。另外，图27表示包含在画面左右方向上行走的人的坐标在内的图形的一例。图27所示的情况也与图26所示的情况同样地，内包图形生成部3461能够生成包含所有的坐标在内的最小的凸包、矩形、圆中的任一个。
[0162]
此外，例如预先确定内包图形生成部3461生成凸包、矩形、圆的哪个图形。例如，内包图形生成部3461确定为作为包含坐标在内的图形而生成圆。
[0163]
平均骨骼坐标计算部3462对每个人物计算骨骼识别部342识别出的所有部位的坐标(骨骼信息334中包含的坐标)的平均值。由此，平均骨骼坐标计算部3462基于骨骼识别部342识别出的人物的各部位的坐标来计算平均骨骼坐标。
[0164]
与内包图形生成部3461的情况同样地，平均骨骼坐标计算部3462对各帧的图像数据进行平均骨骼坐标的计算处理。另外，在1帧的图像数据内包含多个人物的情况下，平均骨骼坐标计算部3462对图像数据内包含的多个人物分别进行平均骨骼坐标的计算处理。
[0165]
比较追踪部3463基于内包图形生成部3461计算出的内包图形的面积和平均骨骼坐标计算部3462计算出的平均骨骼坐标来进行人物的追踪。例如，比较追踪部3463在当前帧中计算出的与作为追踪对象的人物对应的面积和在一帧前计算出的面积之间进行比较。另外，比较追踪部3463根据上述比较的结果，进行与作为追踪对象的人物对应的平均骨骼坐标和在一帧前计算出的平均骨骼坐标之间的比较。
[0166]
具体而言，例如，在一帧前中的与各人对应的面积中与当前帧中的作为追踪对象的人物对应的面积之差属于第一容许值以内的面积为1个的情况下，比较追踪部3463判断为面积之差属于第一容许值以内的一帧前的人物与当前帧的人物是同一人物。其结果是，比较追踪部3463例如将与判断为相同的一帧前的人物对应的识别号码作为与当前帧的人物对应的识别号码。
[0167]
另外，在一帧前计算出多个与追踪对象的面积之差在第一容许值以内的面积的情况下，比较追踪部3463进行作为追踪对象的人物的平均骨骼坐标与面积之差在第一容许值
以内的一帧前的人物的平均骨骼坐标的比较。然后，比较追踪部3463判断为平均骨骼坐标之差属于第二容许值以内的一帧前的人物与当前帧的人物是同一人物。其结果是，比较追踪部3463例如将与判断为同一人物的一帧前的人物对应的识别号码作为与当前帧的人物对应的识别号码。此外，在存在多个平均骨骼坐标之差属于第二容许值以内的人物的情况下，比较追踪部3463能够将平均骨骼坐标之差最接近第二容许值的人物判断为同一人物。在存在多个平均骨骼坐标之差属于第二容许值以内的人物的情况下，比较追踪部3463也可以构成为进行判断为错误等上述例示以外的处理。
[0168]
另外，在与追踪对象的面积之差在第一容许值以内的面积在一帧前一个也没有计算出的情况下，另外，在不存在平均骨骼坐标之差属于第二容许值以内的一帧前的人物的情况下，比较追踪部3463将作为追踪对象的人物判断为新识别出的人物。在该情况下，比较追踪部3463对新识别出的人物分配新的识别号码。
[0169]
此外，作为第一容许值，比较追踪部3463可以使用根据与在过去数帧中判断为同一人物的人物对应的面积的增减速度等而推定的推定面积值等。第一容许值也可以是预先确定的值。
[0170]
另外，作为第二容许值，比较追踪部3463可以使用根据与在过去数帧中判断为同一人物的人物对应的平均骨骼坐标的移动速度推测的推测坐标值等。第二容许值也可以与第一容许值同样地，是预先确定的值。
[0171]
以上是追踪部346的结构例。接着，参照图28，对追踪部346的动作例进行说明。
[0172]
参照图28，内包图形生成部3461对每个人物生成包含骨骼识别部342识别出的所有部位的坐标(骨骼信息334中包含的坐标)在内的图形。另外，内包图形生成部3461计算所生成的图形的面积(步骤s401)。
[0173]
平均骨骼坐标计算部3462通过对每个人物计算骨骼识别部342识别出的所有部位的坐标(骨骼信息334中包含的坐标)的平均值，来计算平均骨骼坐标(步骤s402)。
[0174]
比较追踪部3463在当前帧中计算出的与作为追踪对象的人物对应的面积与在一帧前计算出的面积之间进行比较(步骤s403)。
[0175]
在一帧前的各人的面积中与当前帧中的作为追踪对象的人物对应的面积之差属于第一容许值以内的面积为1个的情况下(步骤s403，1)，比较追踪部3463判断为面积之差属于第一容许值以内的一帧前的人物与当前帧的人物是同一人物(步骤s404)。其结果是，比较追踪部3463例如将与一帧前的人物对应的识别号码作为当前帧的识别号码。
[0176]
另外，在与追踪对象的面积之差在第一容许值以内的面积在一帧前计算出多个的情况下(步骤s403，多个)，比较追踪部3463进行作为追踪对象的人物的平均骨骼坐标与面积之差在第一容许值以内的一帧前的人物的平均骨骼坐标的比较(步骤s405)。然后，在与追踪对象的平均骨骼坐标之差在第二容许值以内的人物在一帧前存在的情况下(步骤s405，是)，比较追踪部3463判断为一帧前的人物与作为追踪对象的人物是同一人物(步骤s404)。此外，在一帧前存在多个与追踪对象的平均骨骼坐标之差在第二容许值以内的人物的情况下，比较追踪部3463例如能够将差最接近第二容许值的人物判断为同一人物。另外，在一帧前不存在与追踪对象的平均骨骼坐标之差在第二容许值以内的人物的情况下(步骤s405，否)，比较追踪部3463将作为追踪对象的人物判断为新识别出的人物(步骤s406)。在该情况下，比较追踪部3463对新识别出的人物分配新的识别号码。
[0177]
另外，在与追踪对象的面积之差在第一容许值以内的面积在一帧前1个也没有计算出的情况下(步骤s403，0)，比较追踪部3463将作为追踪对象的人物判断为新识别出的人物(步骤s406)。在该情况下，比较追踪部3463对新识别出的人物分配新的识别号码。
[0178]
以上是追踪部346的动作例。
[0179]
如上所述，在本实施方式中的行走姿势测定装置300的情况下，具有追踪部346。通过这样的结构，追踪部346能够基于骨骼识别部342的识别的结果来进行同一人物的追踪。其结果是，能够抑制错误地计算行走速度等，能够提高行走姿势测定的精度。
[0180]
此外，在本实施方式中，例示了计算内包图形生成部3461所生成的内包图形的面积的情况。但是，内包图形生成部3461也可以构成为计算基于所生成的内包图形的面积以外的值。例如，内包图形生成部3461也可以代替面积而计算所生成的内包图形的高度、直径等。在该情况下，比较追踪部3463代替面积而比较基于内包图形生成部3461所生成的图形而计算出的高度等的值。
[0181]
另外，内包图形生成部3461生成所有的坐标中包含的图形。但是，内包图形生成部3461例如也可以构成为生成在相当于人物的上半身的坐标中包含的图形等、生成包含骨骼识别部342识别出的坐标的一部分在内的图形。另外，平均骨骼坐标计算部3462也可以基于相当于人物的上半身的坐标的平均坐标等、骨骼识别部342识别出的坐标的一部分来计算平均坐标。
[0182]
另外，比较追踪部3463也可以构成为仅进行基于内包图形生成部3461所生成的内包图形的值的比较和平均骨骼坐标的比较中的任一方。
[0183]
另外，在本实施方式中说明的使用骨骼识别部342的识别的结果的追踪也可以适用于在测定行走姿势的场面以外进行人物的追踪的情况。即，作为追踪部346的功能也可以适用于行走姿势测定装置300以外的需要人物追踪的装置。这样，在本实施方式中说明的使用骨骼信息的人物的追踪方法不限于进行行走姿势的测定的情况，能够在各种场面中灵活运用。
[0184]
此外，在本实施方式的情况下，也可以与第一实施方式同样地，采用各种变形例。
[0185]
[第三实施方式]
[0186]
接着，参照图29、图30对本发明的第三实施方式进行说明。图29、图30表示拍摄装置400的结构例。
[0187]
拍摄装置400拍摄人物行走的姿态。图29表示拍摄装置400的硬件结构例。参照图29，拍摄装置400除了用于进行拍摄的相机等之外，作为一例，还具有以下的硬件结构。
[0188]
·
cpu(centralprocessingunit：中央处理器)401(运算装置)
[0189]
·
rom(readonlymemory：只读存储器)402(存储装置)
[0190]
·
ram(randomaccessmemory：随机存取存储器)403(存储装置)
[0191]
·
加载到ram403的程序组404
[0192]
·
保存程序组404的存储装置405
[0193]
·
进行信息处理装置外部的记录介质410的读写的驱动装置406
[0194]
·
与信息处理装置外部的通信网络411连接的通信接口407
[0195]
·
进行数据的输入输出的输入输出接口408
[0196]
·
连接各结构要素的总线409
[0197]
另外，拍摄装置400通过cpu401取得程序组404并由该cpu401执行，能够实现作为图30所示的检测部421、显示部422的功能。此外，程序组404例如预先保存在存储装置405或rom402中，cpu401根据需要加载到ram403等中来执行。另外，程序组404也可以经由通信网络411供给到cpu401，也可以预先保存在记录介质410中，驱动装置406读出该程序并供给到cpu401。
[0198]
此外，图29表示拍摄装置400的硬件结构例。拍摄装置400的硬件结构不限于上述的情况。例如，拍摄装置400也可以由不具有驱动装置406等上述结构的一部分构成。
[0199]
检测部421检测拍摄装置400的方向。例如，检测部421检测拍摄装置400是纵向还是横向。
[0200]
显示部422在画面显示部上显示表示人物行走的位置的引导线。例如，显示部422根据检测部421检测出的拍摄装置400的方向而显示不同的引导线。
[0201]
这样，拍摄装置400具有检测部421和显示部422。通过这样的结构，显示部422能够根据检测部421检测出的拍摄装置400的方向而显示不同的引导线。其结果是，在取得与拍摄装置400的方向对应的图像数据时，能够进行与各自对应的适当的辅助。其结果是，在取得多个图像数据时，能够尽可能使拍摄条件一致。
[0202]
此外，上述的拍摄装置400能够通过在该拍摄装置400中装入规定的程序来实现。具体而言，作为本发明的其他方式的程序是如下程序，使拍摄装置400实现检测拍摄装置的方向的检测部421、在画面显示部上显示表示人物行走的位置的引导线的显示部422，显示部422根据检测部421检测出的拍摄装置的方向而显示不同的所述引导线。
[0203]
另外，由上述的拍摄装置400执行的引导方法是如下方法，拍摄人物行走的姿态的拍摄装置400检测拍摄装置的程序，在画面显示部上显示表示人物行走的位置的引导线，当在画面显示部上显示引导线时，根据检测出的拍摄装置的方向而显示不同的引导线。
[0204]
即使是具有上述的结构的程序或引导方法的发明，由于具有与上述的拍摄装置400相同的作用/效果，因此也能够达到上述的本发明的目的。
[0205]
[第四实施方式]
[0206]
接着，参照图31对本发明的第四实施方式进行说明。图31表示信息处理装置500的结构例。
[0207]
信息处理装置500例如具有与参照图29说明的拍摄装置400的硬件结构相同的结构。另外，通过cpu取得该信息处理装置500所具有的程序组并由cpu执行，信息处理装置500能够实现图31所示的作为计算部521的功能。
[0208]
计算部521基于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，计算图像数据中的规定位置处的实际的长度。
[0209]
这样，信息处理装置500具有计算部521。通过这样的结构，计算部521能够基于各种信息来计算图像数据中的规定位置处的实际的长度。其结果是，基于智能手机等拍摄装置取得的图像数据，能够进行使用实际的长度的分析等。
[0210]
此外，上述的信息处理装置500可以通过在该信息处理装置500中装入规定的程序来实现。具体而言，作为本发明的其他方式的程序是用于使信息处理装置500实现计算部521的程序，该计算部521基于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，来计算图像数据中的规定位置处的实际的长度。
[0211]
另外，由上述的信息处理装置500执行的计算方法是如下的方法，信息处理装置500取得用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，并基于所取得的信息来计算图像数据中的规定位置处的实际的长度。
[0212]
即使是具有上述的结构的程序或计算方法的发明，由于具有与上述的信息处理装置500相同的作用/效果，因此也能够达到上述的本发明的目的。
[0213]
[第五实施方式]
[0214]
接着，参照图32对本发明的第五实施方式进行说明。图32表示信息处理装置600的结构例。
[0215]
信息处理装置600例如具有与参照图29说明的拍摄装置400的硬件结构相同的结构。另外，信息处理装置600通过cpu取得该信息处理装置600所具有的程序组并由该cpu执行，能够实现作为图32所示的检测部621、输出部622的功能。
[0216]
检测部621检测信息处理装置的倾斜度。
[0217]
输出部622输出根据信息处理装置的倾斜方式而不同的、与检测部621检测出的信息处理装置的倾斜度对应的信息。
[0218]
这样，信息处理装置600具有检测部621和输出部622。根据这样的结构，输出部622能够输出与检测部621检测出的信息处理装置的倾斜度对应的信息。其结果是，操作信息处理装置600的操作者能够根据输出的信息进行倾斜度的修正。
[0219]
此外，上述的信息处理装置600能够通过在该信息处理装置600中装入规定的程序来实现。具体而言，作为本发明的其他方式的程序是用于使信息处理装置600实现检测信息处理装置600的倾斜度的检测部621、输出根据信息处理装置600的倾斜方式而不同的、与检测部621检测出的信息处理装置600的倾斜度对应的信息的输出部622的程序。
[0220]
另外，由上述的信息处理装置600执行的计算方法是如下方法，信息处理装置600检测信息处理装置600的倾斜度，并输出根据信息处理装置的倾斜方式而不同的、与检测出的信息处理装置的倾斜度对应的信息。
[0221]
即使是具有上述的结构的程序或输出方法的发明，由于具有与上述的信息处理装置600相同的作用/效果，因此也能够达到上述的本发明的目的。
[0222]
[第六实施方式]
[0223]
接着，参照图33对本发明的第六实施方式进行说明。图33表示追踪装置700的结构例。
[0224]
追踪装置700例如具有与参照图29说明的拍摄装置400的硬件结构相同的结构。另外，追踪装置700通过cpu取得该追踪装置700所具有的程序组并由该cpu执行，能够实现作为图33所示的取得部721、追踪部722的功能。
[0225]
取得部721通过识别图像数据中的人物的骨骼来取得表示所识别的人物的多个部位的信息。
[0226]
追踪部722基于取得部721所取得的信息来进行多个图像数据间的同一人物的追踪。
[0227]
这样，追踪装置700具有取得部721和追踪部722。通过这样的结构，追踪部722能够进行基于表示取得部721取得的部位的信息的追踪。由此，能够实现容易的追踪。
[0228]
此外，上述的追踪装置700能够通过在该追踪装置700中装入规定的程序来实现。
具体而言，作为本发明的其他方式的程序是用于使追踪装置700实现通过识别图像数据中的人物的骨骼来取得表示识别出的人物的多个部位的信息的取得部721、基于取得部721所取得的信息来进行多个图像数据间的同一人物的追踪的追踪部722的程序。
[0229]
另外，由上述的追踪装置700执行的追踪方法是如下的方法，追踪装置700取得通过识别图像数据中的人物的骨骼来取得表示识别出的人物的多个部位的信息，并基于所取得的信息来进行多个图像数据间的同一人物的追踪。
[0230]
即使是具有上述的结构的程序或追踪方法的发明，由于具有与上述的追踪装置700相同的作用/效果，因此也能够达到上述的本发明的目的。
[0231]
＜附记＞
[0232]
上述实施方式的一部分或全部也可以如以下的附记那样记载。以下，对本发明的引导方法等的概略进行说明。但是，本发明不限于以下的结构。
[0233]
(附记1)
[0234]
一种引导方法，其中，
[0235]
拍摄人物行走的姿态的拍摄装置检测拍摄装置的方向，
[0236]
所述拍摄装置在画面显示部上显示表示人物行走的位置的引导线，
[0237]
当在画面显示部上显示所述引导线时，所述拍摄装置根据检测出的拍摄装置的方向而显示不同的所述引导线。
[0238]
(附记2)
[0239]
在附记1所述的引导方法中，
[0240]
根据拍摄装置是纵向还是横向而显示不同的所述引导线。
[0241]
(附记3)
[0242]
在附记1或附记2所述的引导方法中，
[0243]
在拍摄装置是纵向的情况下，显示用于引导在画面里外方向上行走的人物的所述引导线。
[0244]
(附记4)
[0245]
在附记1至附记3中任一项所述的引导方法中，
[0246]
在拍摄装置是横向的情况下，显示用于引导在画面左右方向上行走的人物的引导线。
[0247]
(附记5)
[0248]
在附记1至附记4中任一项所述的引导方法中，
[0249]
检测拍摄装置的倾斜度，并在画面显示部上显示表示检测出的倾斜度的信息。
[0250]
(附记6)
[0251]
在附记1至附记5中任一项所述的引导方法中，
[0252]
检测拍摄装置的倾斜度，并输出与检测出的倾斜度对应的信息。
[0253]
(附记7)
[0254]
在附记6所述的引导方法中，
[0255]
检测左右方向的倾斜度和里外方向的倾斜度，并在检测出左右方向的倾斜度时和检测出里外方向的倾斜度时输出不同的信息。
[0256]
(附记8)
[0257]
在附记6或附记7所述的引导方法中，
[0258]
在检测出左右方向的倾斜度时和检测出里外方向的倾斜度时输出通过不同的方法调整后的声音。
[0259]
(附记9)
[0260]
一种拍摄装置，拍摄人物行走的姿态，其中，
[0261]
所述拍摄装置具有：
[0262]
检测部，检测拍摄装置的方向；及
[0263]
显示部，在画面显示部上显示表示人物行走的位置的引导线，
[0264]
所述显示部根据所述检测部检测出的拍摄装置的方向而显示不同的所述引导线。
[0265]
(附记10)
[0266]
一种程序，使拍摄人物行走的姿态的拍摄装置实现如下部件：
[0267]
检测部，检测拍摄装置的方向；及
[0268]
显示部，在画面显示部上显示表示人物行走的位置的引导线，
[0269]
所述显示部根据所述检测部检测出的拍摄装置的方向而显示不同的所述引导线。
[0270]
(附记11)
[0271]
一种计算方法，其中，
[0272]
信息处理装置取得用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，并基于取得信息来计算图像数据中的规定位置处的实际的长度。
[0273]
(附记12)
[0274]
在附记11所述的计算方法中，
[0275]
根据规定的基准决定用于计算长度的基准线，并计算所决定的基准线的从图像数据一端到另一端的实际的长度。
[0276]
(附记13)
[0277]
在附记12所述的计算方法中，
[0278]
基于图像数据中的人物的脚的位置决定所述基准线。
[0279]
(附记14)
[0280]
在附记12或附记13所述的计算方法中，
[0281]
计算图像数据所表示的画面上的所述基准线的位置相对于半个画面的比例，并基于计算出的比例、所述参数及所述高度计算所述基准线的实际的长度。
[0282]
(附记15)
[0283]
在附记11至附记14中任一项所述的计算方法中，
[0284]
所述参数包含表示拍摄装置的垂直视场角和水平视场角的信息。
[0285]
(附记16)
[0286]
在附记11至附记15中任一项所述的计算方法中，
[0287]
根据使用拍摄装置的垂直视场角θ、水平视场角ψ、在画面上确定的基准线的位置相对于半个画面的比例α及高度h的数学式1，计算实际的长度w。
[0288]
(附记17)
[0289]
在附记11至附记16中任一项所述的计算方法中，
[0290]
基于计算出的长度和图像数据的分辨率，计算人物的步幅。
[0291]
(附记18)
[0292]
在附记17所述的计算方法中，
[0293]
取得图像数据中的人物的左右的脚之间的像素数量，
[0294]
基于计算出的长度、图像数据的分辨率及取得的像素数量来计算人物的步幅。
[0295]
(附记19)
[0296]
一种信息处理装置，其中，
[0297]
所述信息处理装置具有计算部，该计算部基于用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，来计算图像数据中的规定位置处的实际的长度。
[0298]
(附记20)
[0299]
一种程序，使信息处理装置实现计算部，
[0300]
该计算部基于用于取得图像数据的拍摄装置的参数和表示取得图像数据时的拍摄装置的高度的信息，来计算图像数据中的规定位置处的实际的长度。
[0301]
(附记21)
[0302]
一种输出方法，其中，
[0303]
信息处理装置检测信息处理装置的倾斜度，
[0304]
根据信息处理装置的倾斜方式输出不同的与信息处理装置的倾斜度对应的信息。
[0305]
(附记22)
[0306]
在附记21所述的输出方法中，
[0307]
检测信息处理装置的左右方向的倾斜度和里外方向的倾斜度，
[0308]
在检测出左右方向的倾斜度时和检测出里外方向的倾斜度时输出不同的信息。
[0309]
(附记23)
[0310]
在附记21或附记22所述的输出方法中，
[0311]
在检测出左右方向的倾斜度时和检测出里外方向的倾斜度时输出通过不同的方法调整后的声音。
[0312]
(附记24)
[0313]
在附记23所述的输出方法中，
[0314]
在检测出左右方向的倾斜度时，输出对音程和声音的长度中的任一个进行了调整的声音，在检测出里外方向的倾斜度时，输出音程和声音的长度中用与检测出左右方向的倾斜度时不同的方法调整后的声音。
[0315]
(附记25)
[0316]
在附记21至附记24中任一项所述的输出方法中，
[0317]
在信息处理装置倾斜的情况下输出两种声音，
[0318]
在信息处理装置不倾斜的情况下输出1种声音。
[0319]
(附记26)
[0320]
在附记1至附记25中任一项所述的输出方法中，
[0321]
在画面显示部显示表示信息处理装置的倾斜度的信息。
[0322]
(附记27)
[0323]
一种信息处理装置，具有：
[0324]
检测部，检测信息处理装置的倾斜度；及
[0325]
输出部，根据信息处理装置的倾斜方式而输出不同的与所述检测部检测出的信息处理装置的倾斜度对应的信息。
[0326]
(附记28)
[0327]
在附记27所述的信息处理装置中，
[0328]
所述检测部检测信息处理装置的左右方向的倾斜度和里外方向的倾斜度，
[0329]
所述输出部在所述检测部检测出左右方向的倾斜度时和检测出里外方向的倾斜度时输出不同的信息。
[0330]
(附记29)
[0331]
一种程序，用于使信息处理装置实现如下部件：
[0332]
检测部，检测信息处理装置的倾斜度；及
[0333]
输出部，根据信息处理装置的倾斜方式而输出不同的与所述检测部检测出的信息处理装置的倾斜度对应的信息。
[0334]
(附记30)
[0335]
在附记29所述的程序中，
[0336]
所述检测部检测信息处理装置的左右方向的倾斜度和里外方向的倾斜度，
[0337]
所述输出部在所述检测部检测出左右方向的倾斜度和检测出里外方向的倾斜度时输出不同的信息。
[0338]
(附记31)
[0339]
一种追踪方法，其中，
[0340]
信息处理装置取得表示通过识别图像数据中的人物的骨骼而识别出的人物的多个部位的信息，
[0341]
所述信息处理装置基于取得的信息，进行多个图像数据间的同一人物的追踪。
[0342]
(附记32)
[0343]
在附记31所述的追踪方法中，
[0344]
生成包含识别出的部位中的至少一部分在内的内包图形，
[0345]
基于与生成的所述内包图形对应的值来进行同一人物的追踪。
[0346]
(附记33)
[0347]
在附记32所述的追踪方法中，
[0348]
基于图像数据间的与所述内包图形对应的值之差，进行同一人物的追踪。
[0349]
(附记34)
[0350]
在附记33所述的追踪方法中，
[0351]
在追踪对象的与所述内包图形对应的值和与追踪对象所属的图像数据不同的图像数据中包含的人物所对应的与所述内包图形对应的值之间的差在规定值以内的数量为1个的情况下，将差在规定值以内的人物判断为与作为追踪对象的人物是同一人物。
[0352]
(附记35)
[0353]
在附记34所述的追踪方法中，
[0354]
所述规定值根据多个图像数据间的与所述内包图形对应的值的变化情况来确定。
[0355]
(附记36)
[0356]
在附记31至附记35中任一项所述的追踪方法中，
[0357]
计算识别出的部位的坐标中的至少一部分部位的坐标的平均值，
[0358]
并基于计算出的结果来进行同一人物的追踪。
[0359]
(附记37)
[0360]
在附记36所述的追踪方法中，
[0361]
基于图像数据间的所述平均值之差来进行同一人物的追踪。
[0362]
(附记38)
[0363]
在附记36或附记37所述的追踪方法中，
[0364]
基于追踪对象的所述平均值和与追踪对象所属的图像数据不同的图像数据中包含的人物所对应的所述平均值之间的差来进行同一人物的追踪。
[0365]
(附记39)
[0366]
一种追踪装置，具有：
[0367]
取得部，取得表示通过识别图像数据中的人物的骨骼而识别出的人物的多个部位的信息；及
[0368]
追踪部，基于所述取得部取得的信息来进行多个图像数据间的同一人物的追踪。
[0369]
(附记40)
[0370]
一种程序，用于使追踪装置实现如下部件：
[0371]
取得部，取得表示通过识别图像数据中的人物的骨骼而识别出的人物的多个部位的信息；及
[0372]
追踪部，基于所述取得部取得的信息，进行多个图像数据间的同一人物的追踪。
[0373]
另外，在上述各实施方式以及附记中记载的程序被存储在存储装置中，或者被记录在计算机可读取的记录介质中。例如，记录介质是软盘、光盘、光磁盘以及半导体存储器等具有可移动性的介质。
[0374]
以上，参照上述各实施方式说明了本发明，但本发明不限于上述实施方式。对于本技术发明的结构和详细内容，在本技术发明的范围内能够进行本领域技术人员能够理解的各种变更。
[0375]
此外，本发明享受基于在日本2020年3月25日提出专利申请的日本特愿2020-053975的专利申请的优先权要求的利益，该专利申请中记载的内容全部包含在本说明书中。
[0376]
标号说明
[0377]
100 行走姿势测定系统
[0378]
200 智能手机
[0379]
210 测定用动作拍摄部
[0380]
211 图像数据拍摄部
[0381]
212 拍摄辅助部
[0382]
2121 引导线显示部
[0383]
2122 角度信息显示部
[0384]
2123 高度信息输入部
[0385]
2124 角度调整信息输出部
[0386]
201 触摸面板
[0387]
2011 引导线
[0388]
2012 角度信息
[0389]
2013 高度显示部
[0390]
300 行走姿势测定装置
[0391]
310 画面显示部
[0392]
320 通信i/f部
[0393]
330 存储部
[0394]
331 学习完毕模型
[0395]
332 相机设定信息
[0396]
333 图像信息
[0397]
334 骨骼信息
[0398]
335 实测值信息
[0399]
336 测定结果信息
[0400]
337 程序
[0401]
340 运算处理部
[0402]
341 图像取得部
[0403]
342 骨骼识别部
[0404]
343 实测值计算部
[0405]
344 测定部
[0406]
345 输出部
[0407]
346 追踪部
[0408]
3461 内包图形生成部
[0409]
3462 平均骨骼坐标计算部
[0410]
3463 比较追踪部
[0411]
400 拍摄装置
[0412]
401 cpu
[0413]
402 rom
[0414]
403 ram
[0415]
404 程序组
[0416]
405 存储装置
[0417]
406 驱动装置
[0418]
407 通信接口
[0419]
408 输入输出接口
[0420]
409 总线
[0421]
410 记录介质
[0422]
411 通信网络
[0423]
421 检测部
[0424]
422 显示部
[0425]
500 信息处理装置
[0426]
521 计算部
[0427]
600 信息处理装置
[0428]
621 检测部
[0429]
622 输出部
[0430]
700 追踪装置
[0431]
721 取得部
[0432]
722 追踪部