手指敲击测量处理终端、系统、方法和计算机程序与流程

1.本发明涉及对手指敲击运动进行测量并处理其测量结果的手指敲击测量处理终端、手指敲击测量处理系统、方法和计算机程序。


背景技术：

2.随着社会老龄化的加深，阿尔茨海默型认知障碍的患者逐年增加，如果能够早期发现，就能够通过用药来延缓疾病的发展。不过，可能难以区分是由于健忘等衰老导致的症状还是疾病，很多情况下要在症状加重后才在医院首次接受诊断。
3.在这样的状况下，作为早期发现阿尔茨海默型认知障碍的筛查，以往进行的是血液检查、嗅觉测试以及在平板终端上重现医师问诊的检查等，但存在采血时疼痛和检查时间较长等受检者负担较大的问题。另一方面，作为受检者负担较小的检查，也可以通过点按按钮、使用平板终端测量单手的手指运动来进行认知功能评价，但存在不能获得足够高检查精度的缺点。如果能够高精度且受检者负担小地进行简易的筛查，则能够实现阿尔茨海默型认知障碍的早期发现，有助于改善患者的生活质量、削减医疗费和护理费。
4.对此，近年来研究发现，从两手的拇指和食指进行的两指开合运动(手指敲击运动)中能够提取出阿尔茨海默型认知障碍特有的运动模式，确认了手指的运动测量与通过一般的问诊进行的认知障碍检查具有高相关性。人们认为，通过手指敲击运动测量能够捕捉到阿尔茨海默型认知障碍中的脑萎缩引起的两个手指的节奏运动功能的降低。另外，手指被称为第二脑，大脑中多数区域与手指的作用相关，人们认为手指的运动不仅与阿尔茨海默型认知障碍相关，还与脑血管性和路易体型等认知障碍、帕金森病、发育性协调障碍(不能蹦跳走和跳绳等)等相关。即，能够根据手指的敲击运动获知大脑的状态。进而，通过将手指的敲击运动有效地用作表示大脑健康状态的“标尺”，能够将手指的精细运动功能定量化，所以也能够在保健领域、康复领域、生活辅助领域等各种领域中使用。
5.作为高精度地对手指敲击运动进行测量和评价的方法，例如，专利文献1中公开了一种运动功能评价系统，其包括运动功能测定装置和评价装置，其中，运动功能测定装置基于在生物体的可动部分安装的一对信号发送线圈与信号接收线圈的相对距离计算运动数据，评价装置基于从运动功能测定装置接收的运动数据评价生物体的运动功能。即，该专利文献1给出的技术是，利用安装在指尖上的磁传感器，将因2根手指的敲击运动而发生变动的磁力的变化转换为电信号，对该运动进行测量、定量化来捕捉表示手指的运动的特征的特征量，由此了解脑功能的状态。
6.现有技术文献
7.专利文献
8.专利文献1：日本特开2016-49123号公报


技术实现要素：

9.发明要解决的技术问题
10.上述专利文献1公开的运动功能评价系统能够使用磁传感器对手指敲击运动进行测量和评价，但需要在手指上佩戴磁传感器测量手指敲击运动，并且需要使用对磁传感器检测出的测量信息进行评价和分析的昂贵的专用装置，存在难以廉价地测量、评价手指敲击运动的问题。
11.本发明是鉴于上述情况得出的，其目的在于提供一种手指敲击测量处理终端、系统、方法和计算机程序，其中，无需佩戴特别的专用器具、并且不需要使用对测量信息进行评价和分析的昂贵的专用装置，能够使用广泛普及的智能手机、平板电脑这样的终端以简便的方式廉价且易用性良好地对手指敲击运动进行测量和处理。
12.解决问题的技术手段
13.为了解决上述问题，本发明提供一种测量手指敲击运动并对其测量结果进行处理的手指敲击测量处理终端，其特征在于，包括：
14.触摸面板，其设置在所述终端的一个面上，能够显示与手指敲击运动相关的信息，并且被保持所述终端的用户的同一只手的两根手指中的一根手指敲击；
15.手指检测部，其检测敲击所述触摸面板的所述一根手指的运动；和
16.处理部，其进行下述处理：基于由所述手指检测部得到的检测信息，测量所述两根手指中的另一根手指与敲击所述触摸面板的所述一根手指之间的手指敲击运动时的两指间距离，其中，所述另一根手指保持所述终端的位于与所述触摸面板相反一侧的另一个面。
17.根据上述结构，由于具有设置在带触摸面板的终端中的手指检测部和处理部，所以仅用手指敲击终端的触摸面板就能够对手指敲击运动进行测量和处理，因此无需佩戴特别的专用器具、并且不需要昂贵的专用的评价分析装置，就能够容易地对手指敲击运动进行测量和处理。特别是，如果能够将智能手机和平板电脑这样的现有的终端中作为常设部件已安装的例如测距传感器等用作手指检测部，并且通过使用现有的终端的运算电路或者例如作为应用软件新导入终端中而实现处理部，则能够有效利用广泛普及的智能手机和平板电脑这样的终端以简便的方式廉价且易用性良好地对手指敲击运动进行测量和处理。
18.另外，上述结构中，手指检测部能够使用摄像机和/或测距传感器等检测手指的运动。手指检测部可以与保持终端的两侧的用户的两只手各自的手指对应地分别设置在终端的两侧，或者也可以作为供用户的两只手各自的手指共用的部件设置在终端的单侧。另外，在使用摄像机作为手指检测部，从摄像机拍摄到的图像中检测进行敲击的手指的位置的情况下，存在因拍摄角度、拍摄距离导致难以捕捉手指的正确位置的情况，所以优选从摄像机拍摄到的图像中预先取得作为手指敲击运动中手指开合动作的张开位置的基准的两指间目标距离作为基准值，基于该基准值校正位置检测数据。该情况下，手指检测部可以使用具有与两指间目标距离对应的长度的目标长度治具，来规定手指敲击运动中手指开合动作的张开位置的基准。另外，这样的目标长度治具优选具有不妨碍手指检测部进行的检测的透明性。另外，在使用目标长度治具时，在触摸面板的表面与进行敲击的手指之间夹持了目标长度治具的情况下，手指可能因夹持状态而发生变形，所以优选将该变形量也有效地用于校正位置检测数据。
19.另外，上述结构中，处理部优选基于两指间距离的测量结果计算和分析与用户的脑功能评价相关的特征量。进而，处理部也可以根据计算出的特征量(例如通过与健全者的数据比较)进行用户的脑功能、认知功能的评价。这样的评价作为判断认知障碍的初期阶段
的筛查是有效的，有助于检测认知障碍，例如也能够有助于判断车辆驾驶时的判断力，并且能够应用于脑锻炼的游戏等，其应用范围广。
20.另外，上述结构中，触摸面板优选是具有感测与其表面接触的手指的位置的触摸面板且能够显示信息的触摸面板显示器。如果使用这样的触摸面板显示器，则手指检测部能够利用触摸面板感测进行敲击的手指的接触，将其检测为手指敲击运动中手指开合动作的闭合位置。
21.另外，上述结构中，对于保持终端的另一个面的另一根手指，优选用固定部将其固定成与终端的另一个面接触的状态。该情况下，固定部可以设置在终端侧，或者也可以作为与终端分体的佩戴器具另外设置。
22.另外，上述结构的手指敲击测量处理终端可以与头戴式信息处理装置一同构成手指敲击测量处理系统，其中，头戴式信息处理装置能够佩戴在使用该终端的用户的头部并且具有以用户可见的方式显示现实空间信息和/或虚拟空间信息的显示部，在该系统的情况下，优选手指敲击测量处理终端与头戴式信息处理装置能够经由通信单元相互通信。通过使用通信单元，头戴式信息处理装置例如能够接收手指敲击测量处理终端的显示器上显示的信息，并在显示部上显示接收到的信息。另外，该情况下也与之前同样，优选由手指敲击测量处理终端的处理部进行基于测得的上述两指间距离计算并分析与用户的脑功能评价相关的特征量的处理，但也可以使远程设置的服务器装置进行这样的计算和分析。具体而言，例如该服务器装置经由通信单元从手指敲击测量处理终端的处理部接收两指间距离的测量结果，基于接收到的两指间距离的测量结果利用运算处理部计算和分析与用户的脑功能评价相关的特征量。运算处理部的处理结果可以存储在服务器装置的存储部中，并且存储部中存储的数据可以经由通信单元传输至手指敲击测量处理终端和头戴式信息处理装置。
23.另外，本发明除了上述手指敲击测量处理终端和手指敲击测量处理系统之外，还提供一种测量手指敲击运动并处理其测量结果的方法和计算机程序。
24.发明效果
25.根据本发明，由于具有设置在带触摸面板的终端中的手指检测部和处理部，所以仅用手指敲击终端的触摸面板就能够对手指敲击运动进行测量和处理，因此无需佩戴特别的专用器具、并且不需要昂贵的专用的评价分析装置，就能够容易地对手指敲击运动进行测量和处理。
附图说明
26.图1是示意性地表示在单侧具有手指检测部的本发明的一个实施方式的手指敲击测量处理终端的外观的立体图。
27.图2是图1的手指敲击测量处理终端的一部分的放大截面图。
28.图3是说明图1的手指敲击测量处理终端中使用摄像机测量的情况下如何取得两指间目标距离的图。
29.图4是说明如何使用目标长度治具取得两指间目标距离的图。
30.图5是补充说明如何使用目标长度治具取得两指间目标距离的图。
31.图6是说明使用具有2个显示器的手指敲击测量处理终端取得两指间目标距离的
动作的图。
32.图7是表示图1的手指敲击测量处理终端中使用测距传感器测量的情况下的测量方法的图。
33.图8是示意性地表示在两侧具有手指检测部的手指敲击测量处理终端的外观的立体图。
34.图9是表示图1和图8所示的手指敲击测量处理终端的结构例的框图。
35.图10是表示图1和图8所示的手指敲击测量处理终端的动作之一例的流程图。
36.图11中，(a)是表示本发明的一个实施方式的手指敲击测量处理终端的测量数据之一例的图，(b)是表示本实施方式的手指敲击测量处理终端的测量数据之另一例的图。
37.图12是示意性地表示本发明的一个实施方式的手指敲击测量处理系统的外观的立体图。
38.图13是表示构成图12的手指敲击测量处理系统的头戴式信息处理装置的结构例的框图。
具体实施方式
39.下面参照附图对本发明的实施方式进行说明。
40.另外，以下给出的本发明的一个实施方式的手指敲击测量处理终端构成为能够使用触摸面板对手指敲击运动进行测量和处理的终端，如图12所示，可以考虑经由通信单元(网络)与服务器1203连接的使用方式(对此在后文中叙述)，但可以是任意的使用方式。另外，手指敲击测量处理终端在本实施方式中构成为智能手机这样的小型终端，但也可以采用平板型的薄型计算机或个人计算机等方式。
41.另外，以下实施方式表示了因自身具备触摸面板而能够单独对手指敲击运动进行测量和处理的手指敲击测量处理终端，但本发明也可以具体实现为，通过与分体的显示器协作而能够对手指敲击运动进行测量和处理的系统或方法，或者也可以构成为使得计算机能够进行这样的手指敲击运动的测量处理(例如，使得能够使用在一个面上具有显示器的终端来测量手指敲击运动并且能够在显示器上显示其测量结果)的计算机程序，或保存了这样的计算机程序的计算机程序产品。
42.图1表示本发明的具体的实施方式，该图示的作为信息处理终端的手指敲击测量处理终端(以下有时简称为终端)100包括摄像机101、测距传感器102和触摸面板103。摄像机101和测距传感器102设置在终端100的单侧(图1的左侧)的边框部，摄像机101拍摄周围的物体和景色，测距传感器102是能够立体地捕捉人和物等对象物的形状的传感器，能够测定到对象物的距离、角度。另外，触摸面板103检测触摸的位置(感测接触其表面的手指的位置)，构成触摸面板显示器103a。另外，该触摸面板显示器103a设置在手指敲击测量处理终端100的一个面(正面)上，能够显示与手指敲击运动相关的信息，如后所述，用户用同一只手的2根手指保持终端，触摸面板103被2根手指中的一根(食指)敲击。
43.手指敲击测量处理终端100的一边(图1的左侧的一边)被用户的左手111保持，相对的另一边(图1的右侧的一边)被用户的右手121保持。用户左手的拇指112支撑手指敲击测量处理终端100的另一个面(位于与触摸面板103相反一侧的面)即背面一侧，用户左手的食指113进行张开或以接触触摸面板103的形式闭合的开合运动、即敲击运动。手指敲击测
量处理终端100的另一边也是同样的，用户右手的拇指122支撑信息处理终端100的背面一侧，用户右手的食指123进行张开或以接触触摸面板103的形式闭合的开合运动、即敲击运动124。另外，在图1中，作为或张开或闭合的左右食指113、123，用食指115、125表示了张开的状态的食指，用食指116、126表示了以接触触摸面板103的形式闭合的状态的食指。
44.在这样的状态下，检测敲击触摸面板103的食指113、123的运动(开合动作)，具体而言，作为检测食指113、123的动作位置的手指检测部800(参照图9)，摄像机101能够从拍摄的图像中捕捉食指113、123的位置，通过基于预先拍摄的规定位置图像(后述的食指以目标间隔距离张开的图像)进行校正，能够高精度地随时间经过地测量敲击运动中的食指113、123与手指要落到的手指敲击测量处理终端100的表面(触摸面板103的表面)之间的各距离。另外，测距传感器102能够作为手指检测部800分别检测其与食指113、123的距离及角度，能够高精度地随时间经过地测量敲击运动中的食指113、123与手指要落到的手指敲击测量处理终端100的表面之间的各距离。
45.因此，通过考虑到手指敲击测量处理终端100的厚度，能够测量敲击运动中的食指113与在手指敲击测量处理终端100的背面静止(保持背面)的左手拇指112之间的两指间隔距离。另外，右手的情况也是同样的，通过加上手指敲击测量处理终端100的厚度，能够测量敲击运动中的食指123与在手指敲击测量处理终端100的背面静止的右手拇指122之间的两指间隔距离。由此，无需佩戴特别的器具，使用广泛普及的廉价的信息处理终端，就能够以简便的方式易用性良好地测量两指间的敲击运动。另外，能够基于测得的信息，通过手指敲击测量处理终端100内的运算功能来分析和评价与用户的脑功能评价相关的特征量，能够实现用于早期发现阿尔茨海默型、脑血管性、路易体型等认知障碍以及帕金森病、发育性协调障碍(不能蹦跳走和跳绳等)等的、用户负担小且便利性好的检查。进而，不仅能够进行认知障碍等的征兆检测、检查，还能够基于分析和评价得到的特征量，作为表示大脑健康状态的“标尺”定量化地检测、识别手指的精细运动功能，所以能够用于脑功能改善的锻炼、康复计划。例如，可以举出配合声音来提示张开/闭合指尖以评价其精细性的锻炼/康复计划。
46.另外，在上述例子中，说明了通过测量食指与手指敲击测量处理终端100的表面之间的间隔距离来随时间经过地测量食指与拇指这两指间的敲击运动间隔距离的情况，但例如也可以采用中指与拇指等其他两指间的敲击运动，并且即使多个手指张开/闭合也能够测量敲击运动，可以得到同样的作用、效果。另外，以下说明中主要说明用食指进行敲击运动的情况，但食指以外的手指也是同样的。
47.图2表示图1所示的手指敲击测量处理终端100的一部分的截面。另外，图2中对于与图1相同的部分，标注与图1相同的附图标记并省略其说明。
48.图2表示握着手指敲击测量处理终端100的左手的周边部分的截面，但握着手指敲击测量处理终端100的右手的周边部分的截面也是同样的。图2中，手指敲击测量处理终端100在形成显示器的正面一侧具有触摸面板103、显示单元部201、压敏传感器202，在背面一侧具有压敏传感器203，并且在与摄像机101同一侧的边框部还具有加速度传感器204、固定治具205。显示单元部201由液晶等构成，隔着透明性高的触摸面板103显示内容。另外，压敏传感器202、203感测敲击的食指113(123)与触摸面板103的表面接触时的接触压(按压)，加速度传感器204是检测单位时间的速度变化即加速度的传感器，能够捕捉运动、振动、冲击等。另外，不仅限于加速度，还具备检测速度、旋转的方向的传感器。固定治具205是使保持
并支撑手指敲击测量处理终端100的拇指112(142)固定的治具(夹具，jig)，将拇指112(142)固定成与终端100的背面接触的状态。
49.触摸面板103检测食指113(123)接触的位置和接触面积，也能够掌握接触的位置偏差等。压敏传感器202检测食指113(123)接触时的接触强度即接触压，能够将其反映为根据手指敲击运动计算出的特征量之一。另外，压敏传感器203检测支撑并保持手指敲击测量处理终端100的拇指112(142)与终端100接触的接触压，能够确认拇指112(142)是否处于与终端100的背面充分接触的保持状态。另外，固定治具205能够使拇指112(142)在规定位置无晃动地、稳定地支撑并保持终端100。加速度传感器204通过检测手指闭合时的振动的大小和方向，也能够测量手指返回时的力的强度。
50.接着，使用图3、图4、图5、图6，更详细地说明利用摄像机101捕捉进行敲击运动的食指113、123的位置，测量食指113、123与手指要落到的手指敲击测量处理终端100的表面之间的各距离的情况。
51.图3是表示用摄像机101拍摄进行敲击运动的食指113、123时的状态的截面图。图4是说明使用目标长度治具401将食指113设定成从手指敲击测量处理终端100的表面起张开目标间隔距离(两指间目标距离)的状态，并利用摄像机101拍摄张开了目标间隔距离的状态的食指113的图。图5是说明因图4所示的状态下产生的目标长度治具401与食指113(115)的接触面导致手指113(115)凹陷(变形)时，对该凹陷(变形)进行修正的图。图6是说明在终端100具有2个屏幕的情况下使用2个屏幕将食指113、123设定成从手指敲击测量处理终端100的表面起张开目标间隔距离的状态，并利用摄像机101拍摄张开了目标间隔距离的状态的食指113、123的图。另外，在图3、图4、图5、图6中，对于与图1和图2相同的部分，标注与图1和图2相同的附图标记并省略其说明。
52.图3中，配置在手指敲击测量处理终端100的一边(图3的左侧的边框部)的摄像机101拍摄位于摄像机101附近的进行敲击运动的左手111的食指113，根据拍摄到的食指113的图像(即，通过手指检测部800得到的检测信息或位置检测数据)，由后文使用图9说明的作为处理部的手指敲击运动测量分析处理部903分析并计算食指113因开合而移动的距离(从终端100的表面起的距离
……
也就是两指间距离)311。另外，摄像机101拍摄位于摄像机101远处的进行敲击运动的右手121的食指123，根据拍摄到的食指123的图像，由手指敲击运动测量分析处理部903分析并计算食指123因开合而移动的距离321。此处，摄像机101和测距传感器102为了检测手指接触而需要能够测量至显示器的表面，所以可以通过改变镜头位置，使摄像机101和测距传感器102的视野角变更为直到表面附近都可以检测到(拍摄到)。
53.然而，仅根据摄像机101拍摄到的图像上的食指113、123的位置和大小难以正确地捕捉因敲击运动而移动的食指113、123的距离311、321。例如，即使左右的食指113、123进行相同距离的开合运动，在摄像机101拍摄的图像上，靠近摄像机101的左手111的食指113也比远离摄像机101的食指123拍到得更大，开合运动的距离看起来也更长，这样难以正确地测量左右的食指113、123进行的开合运动的距离。从而，本实施方式中，在拍摄食指113、123并测量食指113、123与手指敲击测量处理终端100的表面之间的距离之前，预先将食指113、123设定成从终端100的表面起张开规定目标距离的状态，利用摄像机101拍摄所设定的状态的食指113、123，由包括摄像机101的手指检测部800在拍摄的图像上识别食指113、123与
终端100的表面之间的目标距离，将识别出的图像上的目标距离(两指间目标距离)导入作为长度基准(作为手指敲击运动中手指开合动作的张开位置的基准的基准值)。然后，在拍摄进行敲击运动的食指113、123并测量食指113、123与手指敲击测量处理终端100的表面之间的距离时，手指检测部800对拍摄到的食指113、123的图像基于预先导入的长度基准进行校正，由此手指敲击运动测量分析处理部903能够高精度地计算并测量食指113、123与终端100的表面之间的距离。另外，在基于手指敲击运动进行脑功能评价时，存在最佳的两指间距离，本实施方式中将其作为规定目标距离预先导入。
54.作为校正的具体例，如图4所示，使长度为食指113(115)与终端100的表面之间的规定目标距离(具有与两指间目标距离对应的长度)的目标长度治具401夹持在张开状态的食指115与终端100的表面之间，利用摄像机101拍摄张开状态的食指115。由此，将拍摄到的图像上食指115与终端100的表面之间的目标距离导入作为长度基准，在拍摄进行敲击运动的食指113时，对拍摄到的食指113与终端100的表面之间的距离基于导入的长度基准进行校正，能够随时间经过地高精度地测量食指113与终端100的表面的距离。然后，对于测得的食指113与终端100的表面之间的距离进一步考虑终端100的厚度，能够高精度地随时间经过地测量食指113与拇指112的两指间距离。另外，图4中说明了左手111的张开状态的食指115的情况，但右手121的张开状态的食指125的情况下也能够同样地校正。
55.这样，手指检测部800能够使用目标长度治具401规定手指敲击运动中手指开合动作的张开位置的基准，目标长度治具401使用具有透明性的材质形成，该透明性的程度为不会遮挡摄像机的拍摄动作而造成妨碍(不妨碍手指检测部800进行的检测)。由此，即使存在目标长度治具401，摄像机101也能够透过目标长度治具401拍摄食指的运动，特别是能够避免针对左手设定的目标长度治具401妨碍拍摄远离摄像机101的右手的食指123的运动。
56.另外，在使用目标长度治具401测量食指113与终端100的表面之间的目标距离时，张开状态下按压目标长度治具401的食指115如图5所示，在与目标长度治具401接触的接触面501处，原本存在的隆起部分变成因按压力而凹陷的平坦状态(变形状态)，食指115与终端100的表面之间的距离会产生相当于凹陷量(变形量)502的误差。从而，本实施方式中，为了在食指113处于张开状态时达到规定目标距离503，使目标长度治具401的长度为增加了凹陷量502后的长度。由此，能够正确地导入校正用的长度基准，于是能够更高精度地随时间经过地测量食指与终端表面之间的距离。即，本实施方式中，手指检测部800检测在显示器的表面与进行敲击的手指之间夹持了目标长度治具401的状态下变形的手指的变形量，基于该变形量检测值对位置检测数据进行校正。
57.作为其他校正的具体例，如图6所示，在终端100具有固定的显示屏幕601和可开合的显示屏幕602这2个屏幕的情况下，在可开合的显示屏幕602打开的状态下，使左手111的食指113在固定的显示屏幕601上张开成为张开状态的食指115。然后，通过观看并对准由可开合的显示屏幕602上的显示内容603表示的“张开食指时的目标高度位置”这样的基准，将食指115移动至目标高度位置。由此，能够设定食指115使其对准从终端100的表面离开目标高度距离604的位置。在该状态下，如果利用摄像机101拍摄食指115，则能够将拍摄到的图像上食指115与终端100的表面之间的目标距离导入作为长度基准。另外，右手121的食指123的情况也是同样的，能够观看由可开合的显示屏幕602上的显示内容605表示的“张开食指时的目标高度位置”这样的基准，将食指125移动至目标高度位置，设定食指125使其对准
从终端100的表面离开目标高度距离606的位置。在该状态下，如果利用摄像机101拍摄食指125，则能够将拍摄到的图像上的食指125与终端100的表面之间的目标距离导入作为长度基准。从而，在拍摄进行敲击运动的食指时，能够对拍摄到的食指与终端100的表面之间的距离基于预先导入的长度基准进行校正，于是能够随时间经过地高精度地测量食指与终端100的表面之间的距离，进而，对测得的食指与终端100的表面之间的距离进一步考虑到终端100的厚度，能够高精度地随时间经过地测量食指与拇指的两指间距离。
58.接着，使用图7，更详细地说明利用测距传感器102捕捉进行敲击运动的食指113、123的位置，测量食指113、123与手指要落到的手指敲击测量处理终端100的表面之间的各距离的情况。图7是表示利用测距传感器102检测其相对于进行敲击运动的食指113、123的距离及其角度时的状态的截面图。另外，在图7中，对于与图1、图2、图3、图4、图5、图6相同的部分，标注与图1、图2、图3、图4、图5、图6相同的附图标记并省略其说明。
59.图7中，配置在终端100的一边(右侧的边框部)的测距传感器102检测位于测距传感器102附近的进行敲击运动的左手111的食指113的距离llc及其角度θl。食指113与终端100的表面之间的距离lla能够根据检测出的距离llc和角度θl按llc
×
sinθl计算，由此，能够随时间经过地测量进行敲击运动的食指113与终端100的表面之间的距离lla。另外，对于右手121的食指123也是同样的，测距传感器102检测位于远离测距传感器102的位置的进行敲击运动的右手121的食指123的距离lrc及其角度θr。食指123与终端100的表面之间的距离lra能够根据检测出的距离lrc和角度θr按lrc
×
sinθr计算，由此，能够随时间经过地测量进行敲击运动的食指123与终端100的表面之间的距离lra。对测得的食指与终端100的表面的距离进一步考虑上终端100的厚度，能够随时间经过地高精度地测量食指与拇指的两指间距离。另外，通过检测食指113、123与触摸面板103接触的位置，与测距传感器102对手指的距离的检测相结合，能够高精度地测量从离开触摸面板103到再次返回并接触的时间经过，以及该期间中的食指113、123的运动轨迹。这样，本实施方式中，手指检测部800能够基于测距传感器102检测出的距离和角度来检测进行敲击的手指的位置，并且能够由手指敲击运动测量分析处理部903基于该位置检测信息测量两指间距离。
60.接着，参照图8，对于在终端100的相对的边各设置一个摄像机101和一个测距传感器102(在终端100的两侧设置手指检测部)的情况进行说明。
61.图8表示在终端100的一边侧设置了摄像机101和测距传感器102，在相对的另一边侧也设置了摄像机801和测距传感器802的手指敲击测量处理终端100。另外，在图8中，对于与图1、图2、图3、图4、图5、图6、图7相同的部分，标注与图1、图2、图3、图4、图5、图6、图7相同的附图标记并省略其说明。
62.如上述图1所示，在仅在终端100的一边侧设置摄像机101和测距传感器102的情况下，因为左手111位于摄像机101和测距传感器102附近，所以可以比较容易地高精度地测量左手111的食指113与终端100的表面之间的距离，但右手121因为位于摄像机101和测距传感器102的远处，所以存在无法比较容易地高精度地测量右手121的食指123与终端100的表面之间的距离的情况。与此相对，如图8所示，通过在右手121附近的另一边侧也新追加摄像机801和测距传感器802，能够利用右手121附近的摄像机801和测距传感器802来比较容易地高精度地测量右手121的食指123与终端100的表面之间的距离。即，对于左手和右手都能够分别用附近的摄像机和测距传感器高精度地测量食指与终端表面之间的距离，而不会被
另一方的食指妨碍测量，能够精度更好地测量食指与终端表面之间的距离。即，根据图8，手指检测部800能够检测在两侧保持终端100的用户的两只手各自进行敲击的手指的运动，并且手指敲击运动测量分析处理部903能够对用户的双手分别进行测量两指间距离的处理。
63.另外，图1和图8中说明的是，在终端100的一边或上下(或左右)两边设置了摄像机101和测距传感器102的情况下的摄像机101和测距传感器102各自的动作，但也可以利用摄像机101和测距传感器102同时拍摄和检测敲击运动中的手指的运动。由此，例如，对于从摄像机101或测距传感器102看来2根手指重合或一方的手指不可见的状况，能够由位置错开的摄像机101和测距传感器102相互补充地测量手指的运动，可以得到的效果是，能够无遗漏地准确地测量左右手指运动的位置。当然，在通常测量时也可以一并使用摄像机101和测距传感器102来提高精度。
64.图9表示本实施方式的手指敲击测量处理终端100的结构的框图。图9中，终端100包括第一和第二摄像机101、801、第一和第二测距传感器102、802、第一和第二压敏传感器202、203、加速度传感器204、陀螺仪传感器901、地磁传感器902、手指敲击运动测量分析处理部903、控制部904、由程序911和信息数据916构成的存储器部910、触摸面板103、显示单元部201、麦克风931、扬声器932、振动发生部933、通信部934、收发天线935，这些构成要素除收发天线935外分别经由总线950相互连接。该情况下，第一和第二摄像机101、801、第一和第二测距传感器102、802、第一和第二压敏传感器202、203以及触摸面板103构成能够检测敲击显示器的手指的运动的手指检测部800。
65.第一摄像机101设置在终端100的沿着上下方向(或左右方向)的一边侧，第二摄像机801设置在终端100的沿着上下方向(或左右方向)的另一边侧，以用户的手指为主要对象来拍摄前方的视野状态。在图1和图3的情况下用第一摄像机101拍摄进行敲击运动的左手和右手的食指113、123。在图8的情况下用第一摄像机101拍摄进行敲击运动的左手的食指113，用第二摄像机801拍摄进行敲击运动的左手的食指123，将拍摄图像导入终端100内。
66.第一和第二测距传感器102、802是能够立体地捕捉人和物体等对象物的形状的传感器。作为这样的传感器，可以举出向对象物照射红外线等激光并测定反射的散射光来分析和检测位于远距离的对象物的距离和该对象物的状态的lidar(light detection and ranging)、按每个像素测量照射到被摄体上的脉冲光的反射时间来进行测距的tof(time of flight)传感器、发射毫米波的电磁波并捕捉其反射波来检测反射的对象物的距离和对象物的状态的毫米波雷达等。在图1和图7的情况下用第一测距传感器102捕捉进行敲击运动的左手和右手的食指113、123，检测各食指113、123的距离及其角度。在图8的情况下能够用第一测距传感器102检测进行敲击运动的左手的食指113的距离和角度，用第二测距传感器802检测进行敲击运动的右手的食指123的距离和角度，将它们导入终端100内。
67.第一和第二压敏传感器202、203是检测接触产生的压力(接触压)的传感器。第一压敏传感器202在终端100的正面一侧设置于触摸面板103和显示单元部201的下侧，检测开合的手指与终端100的正面接触时的接触压力，能够辨别开合的手指是否闭合至终端表面，并且能够测量开合的手指闭合而与终端表面抵接时的接触强度。另一方面，第二压敏传感器202设置在终端100的背面，检测与该终端背面抵接的拇指的接触压，能够辨别拇指是否稳定地保持终端100，并且能够测量拇指保持的强度。另外，能够将第一压敏传感器202与第二压敏传感器203的压力合计，求出手指闭合时的压力的强度。
68.加速度传感器204是检测单位时间的速度变化即加速度的传感器，能够捕捉运动、振动、冲击等。通过利用终端100内设置的加速度传感器204检测手指闭合时的振动的大小和方向，还能够测量手指返回时的力的强度、手指接触时的力的强度。另外，陀螺仪传感器901是检测旋转方向的角速度的传感器，能够捕捉纵向、横向、斜向的姿势的状态。由此，能够使用终端100中搭载的加速度传感器204和陀螺仪传感器901检测终端100的运动。地磁传感器902是检测地球的磁力的传感器，能够检测终端100朝向的方向。作为地磁传感器，使用除了前后方向和左右方向之外还检测上下方向的地磁场的三轴型传感器，通过捕捉与终端100的运动对应的地磁场变化，还能够检测终端100的运动。由此，可以检测并辨别是否处于终端100的显示屏幕可见的配置状态。
69.手指敲击运动测量分析处理部903根据第一和第二摄像机101、801拍摄到的手指的运动信息和/或第一和第二测距传感器102、802检测出的手指的运动信息，分析进行敲击运动的手指的位置，进行测量敲击运动中的手指(例如食指)与静止固定的手指(例如拇指)的两指间隔距离的处理。另外，手指敲击运动测量分析处理部903还基于因敲击运动而随时间变化的所测得的两指间距离信息，进行按距离、速度、加速度、加加速度、敲击间隔时间、相位差等各项目计算和分析表示手指的运动的特征的特征量的处理。计算和分析得到的特征量是与用户的脑功能评价相关的，所以能够得知大脑的状态，能够进行为了早期发现阿尔茨海默型、脑血管性、路易体型等认知障碍以及帕金森病、发育性协调障碍(不能蹦跳走和跳绳等)等的检查。另外，计算和分析得到的特征量能够作为表示大脑健康状态的“标尺”来定量化地检测和识别手指的精细运动功能。在特征量的距离的项目中，计算手指的最大振幅、总移动距离等，评价手指的运动的大小如何变化。在特征量的速度的项目中，计算最大速度、张开速度、闭合速度等，评价手指能多快地运动。在特征量的加速度的项目中，计算加速度的最大振幅、开始张开的趋势(势头)、结束张开的趋势、结束闭合的趋势、开始闭合的趋势、手指接触时间等，评价手指的运动的趋势。在特征量的敲击间隔时间的项目中，计算敲击次数、敲击周期等，评价敲击的时刻及其误差。在特征量的相位差的项目中，计算两手偏差、两手类似度等，评价两手间的协调。
70.控制部904由cpu等构成，通过执行存储器部910中存储、保存的操作系统(operating system：os)912和各种动作控制应用913、914等程序911，进行终端100整体的动作控制处理，并且控制各种应用的启动动作。
71.存储器部910由闪存等构成，存储了操作系统912和图像、声音、文档、显示、测量等各种处理的动作控制应用913、914等程序911。另外，存储器部910保存了操作系统912等进行基本动作所需的基础数据917，和供各种应用913、914等使用的文件数据918、919等信息数据916。例如，图像处理应用启动而利用摄像机进行拍摄，保存拍摄的文件数据。另外，也可以将手指敲击运动测量分析处理部903中的处理存储为一个应用a，通过启动应用a而执行手指敲击运动的两指间距离的测量和特征量的计算分析。另外，也可以利用运算性能强且大容量的外部服务器装置等从信息处理终端接收测得的两指间距离，进行特征量的计算分析。
72.显示单元部201由液晶面板等构成，显示图像、影像并且显示电池容量的剩余量、各种警报、时刻等面向用户的通知信息以及显示画面内启动的应用的图标等。特别是，本实施方式能够显示由手指敲击运动测量分析处理部903处理得到的处理结果。
73.触摸面板103由透明性高的材质构成，检测用手指接触的屏幕上的位置和面积，其被设置在信息处理终端100的表面，能够判断开合的食指是否闭合而触摸终端100的表面。另外，能够在观看显示单元部201中显示的图标等的同时对触摸面板103触摸而进行输入操作。例如，触摸面板103是静电电容式等触摸板方式的输入单元，能够检测手指或触控笔等的接近或接触操作(触摸操作)作为操作输入，用户能够设定输入想要输入的信息，或者用触摸操作容易地选择并指定显示屏幕上的应用和文件的图标。本实施方式中，手指检测部800通过利用这样的触摸面板103感测进行敲击动作的手指的接触，能够将其检测为手指敲击运动的手指开合动作的闭合位置。
74.麦克风931采集来自外部的声音和用户自身发出的声音，扬声器932对外部输出声音来向用户传递通知信息和音乐等的声音。另外，也可以通过扬声器用声音对用户传达关于手指敲击测量的指示。
75.振动发生部933通过控制部904的控制而产生振动，将信息处理终端100中发出的对用户的通知信息转换为振动。振动发生部933对保持信息处理终端100的手指等施加所产生的振动，能够可靠地传达对用户的通知。
76.通信部934是通过近距离无线通信、无线lan或基站通信而与位于其他场所的服务器装置等进行无线通信的通信接口，在无线通信时经由收发天线935与服务器装置等收发测量数据和分析并计算得到的特征量等。另外，例如可以使用电子标签进行近距离无线通信，但不限定于此，只要在位于其他信息终端附近时至少能够进行无线通信即可，可以使用bluetooth(注册商标)、irda(infrared data association，注册商标)、zigbee(注册商标)、homerf(home radio frequency，注册商标)或wi-fi(注册商标)等无线lan进行通信。另外，作为基站通信，可以使用w-cdma(wideband code division multiple access)和gsm(注册商标)(global system for mobile communications)等远距离的无线通信。另外，也能够使用超宽带无线系统(ultra wide band：uwb)检测终端间的位置关系和方向。虽然未图示，但通信部934也可以使用光通信、声波通信等其他方法作为无线通信的手段。该情况下，代替收发天线935分别使用发光/受光部、声波输出/声波输入部。
77.利用如图9所示的构成要素，能够测量敲击运动中的手指(例如食指)与终端100的背面的手指(例如拇指)之间的两指间隔距离，进而能够根据测得的两指间隔距离信息计算并分析表示手指的运动的特征的特征量。而且，无需安装特别的器具，使用广泛普及的廉价的信息处理终端就能够以简便的方式易用性良好地测量两指间的敲击运动。另外，基于测得的信息，(例如利用手指敲击运动测量分析处理部903、或用终端100以外的装置)能够分析并评价与用户的脑功能评价相关的特征量，能够实现为了早期发现阿尔茨海默型、脑血管性、路易体型等认知障碍以及帕金森病、发育性协调障碍(不能蹦跳走和跳绳等)等的用户负担小且便利性好的检查。进而，不仅能够进行认知障碍等的征兆检测和检查，也能够基于分析、评价得到的特征量，作为表示大脑健康状态的“标尺”定量化地检测、识别手指的精细运动功能，所以能够用于脑功能改善的锻炼和康复计划。
78.接着，对于本实施方式的手指敲击测量处理终端100的动作，参照图10进一步进行说明。
79.图10是说明本实施方式的手指敲击测量处理终端100的动作的流程图。此处以图8的结构为前提，因而，需要决定是用摄像机101、801拍摄敲击运动的手指的运动来测量两指
间距离，或者用测距传感器102、802检测手指的位置来测量两指间距离(s1001)。在用摄像机101、801拍摄敲击运动的手指的运动的情况下，在拍摄进行敲击运动的手指之前，将手指设定成在终端100上张开规定目标距离的状态(s1002)，在该状态下用摄像机101、108拍摄手指，根据拍摄到的图像取得手指敲击运动中的拍摄图像的距离基准。并且，用户能够认识到张开了规定目标距离的手指的设定状态。由此，能够使用户意识到在进行敲击运动时要以目标距离张开手指(s1003)。在摄像机完成事先拍摄之后，用户开始测量用的敲击运动(或者通过计算机程序提示进行敲击运动)(s1004)。另一方面，在用测距传感器102、802检测手指的位置的情况下，在检测之前不需要为了测量两指间距离而将手指设定成张开规定目标距离的状态，用户能够直接开始测量用的敲击运动(s1004)。另外，在用测距传感器102、802检测的情况下也可以是，通过将手指设定成张开规定目标间隔距离的状态，而使用户意识到在进行敲击运动时要以目标距离张开手指。当然，在使用测距传感器的情况下也可以用s1002、1003这样的步骤进行校正。
80.作为手指敲击运动，有双手同时进行手指敲击运动的双手同时模式，和双手交替进行手指敲击运动的双手交替模式，用户以各模式执行手指敲击运动(敲击步骤s1005)。此时，第一和第二摄像机101、801和/或第一和第二测距传感器102、802检测敲击的手指的运动，并且手指敲击运动测量分析处理部903根据第一和第二摄像机101、801拍摄到的手指的运动信息和/或第一和第二测距传感器102、802检测出的手指的运动信息，分析进行敲击运动的手指的位置，测量敲击运动中的手指与固定的手指的两指间隔距离(手指检测步骤和处理步骤s1006)。在该手指检测步骤和处理步骤s1006中，上述步骤s1002、1003中的处理被反映于其中，并且进行与图1～图9关联着说明的手指检测部800和手指敲击运动测量分析处理部903的动作/处理。之后，在不需要重测的情况下(s1007)，手指敲击运动测量分析处理部903基于因敲击运动而随时间变化的所测得的两指间距离信息，按距离、速度、加速度、敲击间隔时间、相位差等各项目，计算并分析表示手指的运动的特征的特征量(s1008)。进而，将计算并分析得到的特征量用表或图来易于理解地显示在显示单元部201上，或从扬声器932发出声音以通知用户(s1009)。在不用再一次进行测量分析的情况下结束处理(s1010)。另外，在需要重测的情况下返回步骤s1004，在要再一次进行测量分析的情况下返回步骤s1001。通过以上动作，能够正确地测量手指敲击运动中的两指间距离，并基于测量结果，计算和分析与用户的脑功能评价相关的特征量。
81.图11的(a)是表示双手同时进行手指敲击运动的双手同时模式下测得的结果的图，图11的(b)是表示双手交替进行手指敲击运动的双手交替模式下测得的结果的图。两图都是左侧的纵轴表示敲击运动中的手指(例如食指)与终端表面之间的距离，右侧的纵轴表示敲击运动中的手指(例如食指)与固定于终端背面的手指(例如拇指)之间的两指间距离，并且上侧表示左手、下侧表示右手的食指的运动。可知，在双手同时模式下，如图11的(a)所示，左手的食指和右手的食指随时间经过在同一方向上运动，但双手交替模式下，如图11的(b)所示，左手的食指和右手的食指随时间经过在相反方向上运动，例如以时间1101而言左手食指张开、右手食指闭合。另外，在用摄像机101(801)拍摄食指的运动来测量两指间距离的情况下，因为摄像机101(801)以帧率单位(60fps等)进行测量，所以图11所示的波形是将各观测点的值连接得到的采样波形。此处，在摄像机的视野角不包含至显示器的表面、不能正确地测量手指对显示器的接触时机的情况下，能够基于与触摸面板接触的时机来求取波
形。
82.接着，对于由手指敲击测量处理终端100与头戴式信息处理装置1201构成的手指敲击测量处理系统，参照图12进行说明。
83.图12表示由手指敲击测量处理终端100、头戴式信息处理装置1201、服务器装置1203构成的手指敲击测量处理系统的一个实施例。
84.图12中，头戴式信息处理装置1201佩戴在使用手指敲击测量处理终端100的用户的头部，并且具有能够以用户可见的方式显示现实空间信息和虚拟空间信息的显示处理部(显示部)1235(参照后述的图13)，头戴式信息处理装置1201和手指敲击测量处理终端100经由无线通信、外部网络等通信单元进行各种信息的收发。由此，头戴式信息处理装置1201能够从手指敲击测量处理终端100接收手指敲击测量处理终端100的显示屏幕(显示器)1202上显示的信息和/或摄像机101(801)拍摄的敲击运动中的手指的运动信息等作为各种收发信息，将接收到的显示屏幕1202上的信息、手指的运动信息等作为虚拟空间信息显示在显示处理部1235上。由此，在测量手指敲击运动时，由于两手的拇指和食指对终端100的握持状态，如图12所示导致从用户看来终端100的显示屏幕1202、敲击运动中的手指成为被终端100遮挡的状态而难以看到，但能够用头戴式信息处理装置1201的显示处理部1235进行显示以使用户明确地目视。另外，作为各种信息的收发，能够在两者之间收发关于手指敲击测量的操作说明、操作的开始/结束等的指示信息，从头戴式信息处理装置1201对终端100发出各种指示，或者在头戴式信息处理装置1201中用显示和/或声音确认来自终端100的操作说明。另外，在手指敲击测量处理终端100于正反两面具有显示屏幕时，即在背面也具有显示屏幕的情况下，用户能够容易地观看背面的显示屏幕，因此也可以不使用头戴式信息处理装置1201，而是在背面的显示屏幕上显示操作指导等。另外，在头戴式信息处理装置1201具备测距传感器、摄像机，能够分别检测左右的食指和拇指的位置的情况下，也能够仅用头戴式信息处理装置1201来测量手指敲击运动的动作。
85.另外，也可以在设置于外部的服务器装置1203与手指敲击测量处理终端100之间经由无线通信收发数据，用大容量的服务器装置1203进行数据保存管理，并且也可以用运算性能高且大容量的服务器装置1203从手指敲击测量处理终端100接收测量数据即两指间距离，进行与用户的脑功能评价相关的特征量的计算和分析。由此，能够高速高精度地进行各种特征量的计算和分析，并且能够保存、管理计算和分析得到的大量的特征量信息。
86.图13是表示头戴式信息处理装置1201的结构例的框图。图13中，头戴式信息处理装置1201包括摄像机1211、右眼视线检测部1212、左眼视线检测部1213、加速度传感器1214、陀螺仪传感器1215、地磁传感器1216、测距传感器1217、控制部1218、由程序1225和信息数据1226构成的存储器部1220、操作输入部1234、显示处理部1235、外部环境音麦克风1236、语音麦克风1237、耳机1238、振动发生部1239、通信部1240、收发天线1241，该各构成要素除收发天线1241外分别经由总线1250相互连接。
87.右眼视线检测部1212和左眼视线检测部1213分别检测右眼和左眼的视线。其中，检测视线的处理可以使用一般用作眼动追踪处理的公知技术，例如在利用了角膜反射的方法中，已知一种使红外线led(light emitting diode)照射人脸并用红外线摄像机拍摄，以通过红外线led照射而产生的反射光在角膜上的位置(角膜反射)为基准点，基于瞳孔相对于角膜反射的位置所处的位置来检测视线的技术。
88.操作输入部1234例如是键盘、按钮、触摸按键等输入单元，供用户设定并输入想要输入的信息。操作输入部1234可以在头戴式信息处理装置1201内以用户易于进行输入操作的位置和方式设置，或者也可以是与头戴式信息处理装置1201的本体分离且有线或无线地连接的方式。另外，也可以在显示处理部1235的显示屏幕内显示输入操作画面，根据右眼视线检测部1212和左眼视线检测部1213检测出的视线指向的输入操作画面上的位置来取得输入操作信息，并且也可以在输入操作画面上显示指针而用操作输入部1234操作指针取得输入操作信息。另外，用户也可以发出表示输入操作的声音，用语音麦克风1237拾取以取得输入操作信息。
89.显示处理部1235在光学透视型的头戴式信息处理装置的情况下，例如由投影部和透明的半反射镜构成，其中，投影部投影由启动应用生成的再现信息、对用户的通知信息等各种信息，透明的半反射镜用于使投影的各种信息在眼前成像、显示。另外，在视频透视型的头戴式信息处理装置的情况下由液晶面板等显示器构成，该显示器将摄像机1211拍摄的眼前的现实空间物体与各种信息一并显示。由此，用户除了眼前的视野内的图像之外，还能够一并看到其他图像信息。
90.外部环境音麦克风1236和语音麦克风1237分别拾取来自外部的声音和用户自身发出的声音。耳机1238佩戴在用户的耳部使其听到对用户输出的声音，能够用声音传达对用户的通知信息。
91.使用如上所述的图13的构成要素，通过从手指敲击测量处理终端100向头戴式信息处理装置1201无线收发信息，在头戴式信息处理装置1201中，用显示处理部1235将手指敲击测量处理终端100的显示屏幕1202上的信息显示为虚拟空间信息，能够使用户明确地观看手指敲击测量的操作说明等信息。另外，能够在两者之间收发关于手指敲击测量的操作开始和结束等指示信息，也能够从头戴式信息处理装置1201发出各种指示。
92.另外，本发明不限定于上述实施方式，包括各种变形例。例如，上述实施方式中为了易于理解地说明本发明而进行了详细说明，但并不限定于必须具备所说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。
93.另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过集成电路设计而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过由处理器解释并执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息能够保存在存储器、硬盘、ssd(solid state drive)等记录装置或者ic卡、sd卡、dvd等记录介质中。
94.另外，控制线和信息线表示了说明上必要的部分，并不一定表示了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
95.另外，上述实施方式对于用双手的2个手指保持终端的方式进行了说明，但如果将终端放置在用户的膝上使用，则能够使用双手、无需用拇指保持终端地、容易地进行测量。
96.附图标记说明
97.100手指敲击测量处理终端
98.101、801、1211摄像机
99.102、802、1217测距传感器
100.103 触摸面板
101.103a 显示器
102.111 左手
103.112、122 拇指
104.113、123 食指
105.201：显示单元部
106.202、203 压敏传感器
107.205 固定治具
108.401 目标长度治具
109.800 手指检测部
110.903手指敲击运动测量分析处理部(处理部)
111.934、1240 通信部
112.1201 头戴式信息处理装置
113.1203 服务器装置