头戴式信息处理装置及其控制方法与流程

1.本发明涉及头戴式信息处理装置及其控制方法，涉及通过控制器来控制头戴式信息处理装置的技术。


背景技术：

2.在专利文献1中，示出了如下方式：在围绕两手腕佩戴的各可穿戴设备上分别设置摄像机，利用左手以及右手的摄像机分别取得右手以及左手的图像数据，从而识别双手的手势。另外，示出了在判断为所取得的图像数据不表示手的位置时，使用设置于各可穿戴设备的惯性传感器来决定可穿戴设备的位置的方式。
3.现有技术文献
4.专利文献
5.专利文献1：日本特表2017-516185号公报


技术实现要素：

6.发明所要解决的课题
7.头戴式信息处理装置也被称为hmd(head display：头戴式显示器)，在佩戴于用户的头部的状态下被使用，能够在显示器上显示增强现实(ar)的信息、虚拟现实(vr)的信息等。在这样的头戴式信息处理装置(以下，有时简称为hmd)中，用户有时在手持hmd附属的控制器的状态下，经由控制器进行hmd的控制。但是，在该情况下，用户的手被控制器占据，难以自由地使用手。其结果是，用户的便利性可能会降低。
8.本发明是鉴于这样的情况而完成的，其目的之一在于提供能够提高用户的便利性的头戴式信息处理装置及其控制方法。
9.根据本说明书的描述和附图，本发明的上述以及其他目的和新特征将变得清楚。
10.用于解决课题的手段
11.以下，简单地说明在本技术中公开的发明中的代表性的发明的概要。
12.代表性的头戴式信息处理装置具有：主体设备，其在佩戴于用户的头部的状态下被使用；控制器，其在佩戴于用户的手腕或者手的状态下被使用，并对主体设备进行控制。控制器具有与主体设备进行通信的接近通信接口和检测控制器的位置和姿势的位置姿势传感器。主体设备具有与控制器进行通信的接近通信接口和显示预定的图像的显示器。控制器或主体设备具有方向检测部、旋转检测部和操作命令转换部。方向检测部基于位置姿势传感器的检测结果，通过运算来检测控制器的方向。旋转检测部基于位置姿势传感器的检测结果，通过运算来检测以控制器的方向为旋转轴的控制器的旋转。操作命令转换部将方向检测部的检测结果和旋转检测部的检测结果转换为针对主体设备的命令。
13.发明效果
14.若简单地说明通过本技术中公开的发明中的代表性的发明得到的效果，则在头戴式信息处理装置中，能够提高用户的便利性。
附图说明
15.图1是表示本发明的实施方式1的头戴式信息处理装置的外形例的概略图。
16.图2中的(a)和(b)是表示图1中的控制器各自不同的外形例的概略图。
17.图3是表示在图1中显示于主体设备的显示器的图像的一例的图。
18.图4是对在图1中用户对控制器的操作方法的一例进行说明的图。
19.图5是表示图1的头戴式信息处理装置的概略结构例的电路框图。
20.图6a是表示图5的控制器中的cpu周围的主要部分的结构例的框图。
21.图6b是表示图5的主体设备中的cpu周围的主要部分的结构例的框图。
22.图7是表示图5的头戴式信息处理装置中的概略的控制方法的一例的流程图。
23.图8a是表示与图6a的控制器相关联的控制器坐标系的一例的图。
24.图8b是表示与图6a的控制器相关联的控制器坐标系的一例的图。
25.图9是对在图7中与控制器方向的检测和光束位置的更新相伴的处理内容的一例进行说明的图。
26.图10是表示与图6b的主体设备相关联的用户坐标系的一例的图。
27.图11是表示通过图6b的显示控制部显示于显示器的指向光束的显示方式的一例的图。
28.图12a是表示在图6b的操作命令转换部中触发命令的判别方法的一例的图。
29.图12b是表示在图6b的操作命令转换部中触发命令的判别方法的另一例的图。
30.图13a是对在图6b的操作命令转换部以及显示控制部中与目标的选择相伴的处理内容的一例进行说明的图。
31.图13b是对在图6b的操作命令转换部以及显示控制部中与目标的选择相伴的其他处理内容的一例进行说明的图。
32.图14是对在图6b的操作命令转换部中与目标的选择相伴的处理内容的一例进行说明的图。
33.图15是表示在图1中与在主体设备的显示器上显示的图3不同的图像的一个例子的图。
34.图16a是表示在本发明的实施方式2的头戴式信息处理装置中，图6b的操作命令转换部的触发命令的判别方法的一例的图。
35.图16b是对与图16a对应的图6b的显示控制部的处理内容的一例进行说明的图。
36.图17是表示在本发明的实施方式2的头戴式信息处理装置中，图6b的主体设备的变形例的框图。
37.图18是对与图17对应的、由用户进行的控制器的操作方法的一例进行说明的图。
38.图19是表示在图17的操作命令转换部中，触发命令的判别方法的一例的图。
39.图20是对在本发明的实施方式3的头戴式信息处理装置中，利用了图6a以及图6b的结构例的其他控制方法的一个例子进行说明的图。
40.图21是表示在本发明的实施方式4的头戴式信息处理装置中控制器的安装部位的变形例的图。
41.图22是表示在图21的头戴式信息处理装置中显示于显示器的图像的一例的图。
42.图23是表示在本发明的实施方式4的头戴式信息处理装置中用户坐标系的变形例
的图。
43.图24是表示在成为本发明的比较例的头戴式信息处理装置中控制器的外形例的概略图。
具体实施方式
44.以下，基于附图对本发明的实施方式进行详细说明。此外，在用于说明实施方式的所有附图中，原则上对相同的部件标注相同的附图标记，并省略其重复的说明。
45.(实施方式1)
46.《hmd的概要》
47.图1是表示本发明的实施方式1的头戴式信息处理装置的外形例的概略图。图2中的(a)及图2中的(b)是表示图1中的控制器各自不同的外形例的概略图。图1的头戴式信息处理装置(hmd)1具备主体设备2和控制器3。主体设备2在佩戴于用户的头部的状态下被使用，能够在显示器上显示增强现实(ar)的信息、虚拟现实(vr)的信息等。作为此时的显示方式，已知有vr型(非透射型)或mr型(透射型)等。控制器3在佩戴于用户的手腕或手的状态(例如卷绕的状态)下被使用，根据用户的操作来控制主体设备2。
48.控制器3例如可以如图2中的(a)所示，是hmd1附属的专用部件即腕套型的控制器3a，也可以如图2中的(b)的控制器3b所示，是通用的手表型的便携信息终端(所谓的智能手表)等。在任一情况下，控制器3至少具备检测控制器3的位置、姿势的位置姿势传感器5和与主体设备2进行通信的通信部(未图示)。另外，在图2中的(b)的情况下，在控制器3b中组装有用于控制主体设备2的软件。
49.图3是表示在图1中显示于主体设备的显示器的图像的一个例子的图。在图3的图像10内包含作为目标之一的执行按钮11和指向光束12。用户在想要选择执行按钮(目标)11的情况下，使用控制器3将指向光束12的指向位置对准执行按钮11，并在该状态下进行预定的操作。
50.《控制器(比较例)的概要》
51.图24是表示作为本发明的比较例的头戴式信息处理装置中的控制器的外形例的概略图。图24所示的控制器110在用户手持的状态下被使用。控制器110例如具备2个按钮开关(a和b)。用户通过操作控制器110的方向，操作图3所示的指向光束12的指向位置，在使指向位置与执行按钮11对准的状态下按下按钮开关(例如a)，由此选择执行按钮11。
52.但是，在该情况下，用户的手被控制器110占据，难以自由地使用手。另外，有时也产生根据需要/不需要控制器110时更换控制器110的麻烦、或者在需要时寻找控制器110的麻烦等。进而，在希望向主体设备2发出某些命令(触发命令)的情况下，发出的命令的数量受到按钮开关的数量(在本例中为2个)限制。在如图3那样的应用的例子中，1个按钮开关就足够了，但有时根据应用而需要更多的按钮开关。由此，用户的便利性可能会降低。
53.《控制器(实施方式1)的概要》
54.图4是对在图1中由用户进行的控制器的操作方法的一例进行说明的图。如图4所示，用户在将控制器3佩戴于手腕的状态(例如卷绕的状态)下进行使用。用户在图3中操作指向光束12的指向位置的情况下，如图4的方向操作16a所示，通过改变前臂的方向来改变控制器的方向15。另外，用户在选择图3中指向位置所指的目标(执行按钮)11的情况下，如
图4的旋转操作16b所示，通过手腕的旋转使控制器3旋转。在此，控制器的方向15与旋转控制器3时的旋转轴的方向一致。换言之，控制器3的方向15成为控制器3所具有的腕套形状的轴线方向。
55.控制器3通过位置姿势传感器5检测与方向操作16a相伴的控制器3的方向15和与旋转操作16b相伴的控制器3的旋转。位置姿势传感器5包括3轴角速度传感器(陀螺仪传感器)。在后面详细说明，hmd1将该位置姿势传感器5的检测结果适当地转换为指向光束12的指向位置的移动命令或触发命令(指令)。
56.在对指向光束12的指向位置进行控制时，控制器3的方向15的角度变化量与指向光束12的方向的角度变化量也可以不必1对1对应。例如，在想要抑制用户的前臂的动作的情况下，hmd1基于初始设定等，只要控制为使指向光束12的角度变化量相对于控制器3的方向15的角度变化量变大即可。另一方面，在想要对用户精细地控制指向光束12的指向位置的情况下，hmd1基于初始设定等，只要控制为使指向光束12的角度变化量相对于控制器3的方向15的角度变化量变小即可。
57.在控制触发命令(命令)时，hmd1例如在用户使手腕从平常时的位置暂时左旋转的情况下，使用位置姿势传感器5检测该旋转操作16b，判别为产生1次左旋转用指令。这在图24的控制器110中，例如与按钮开关a的按下等价。同样地，hmd1根据手腕的暂时的右旋转，判别为产生1次右旋转用指令。这在图24的控制器110中，例如与按钮开关b的按下等价。
58.若使用这样的控制器3，则与图24的情况不同，用户的手不会被控制器3占据，因此能够自由地使用手。另外，用户即使在与需要时/不需要时无关地将控制器3直接佩戴于手腕的状态下也不会特别感到不协调感，因此也不会产生更换控制器3的麻烦和寻找的麻烦等。进而，为了将用户的动作变换为指令(触发命令)，也可以不设置图24那样的按钮开关，而适当增加指令的数量。
59.此外，在实施方式中，如图2中的(a)、图2中的(b)所示，假设针对在手腕(或手(在图21中后述))上卷绕的状态下所使用的控制器3的应用，但根据情况，也能够应用于图24那样的控制器110。在该情况下，虽然手被占据，但除了按钮开关外，还能够通过旋转操作等发行指令，因此能够增加可使用的指令数。
60.《hmd的结构》
61.图5是表示图1的头戴式信息处理装置的概略结构例的电路框图。在图5中，控制器3例如具备位置姿势传感器5、摄像机20、测距传感器21、cpu(central processing unit：中央处理单元)22、存储器23、接近通信接口24、将它们相互连接的总线26、以及与接近通信接口24连接的天线25。位置姿势传感器5具备加速度传感器(3轴加速度传感器)30、陀螺仪传感器(3轴角速度传感器)31以及地磁传感器32，检测控制器3的位置和姿势。
62.加速度传感器30通过检测控制器3的加速度，检测控制器3的3轴(x轴、y轴、z轴)方向的运动。陀螺仪传感器31通过检测控制器3的角速度，检测控制器3绕3轴(x轴、y轴、z轴)的旋转方向的运动。地磁传感器32通过检测地球的磁力来检测控制器3的方位。地磁传感器32的检测结果例如能够用于控制器3的方向检测的校正等。加速度传感器30和陀螺仪传感器31有时也被称为6轴传感器和惯性传感器等。
63.摄像机20将用户的手包含在内，拍摄控制器3外部的图像。通过该图像，也能够修正控制器3的方向检测。测距传感器21例如利用红外线或激光等的反射来测定与对象物的
距离。接近通信接口24经由天线25与主体设备2进行近距离无线通信。作为近距离无线通信的方式，例如可列举出电子标签、bluetooth(注册商标)、irda(infrared data association)、zigbee(注册商标)、homerf(home radio frequency，注册商标)等。
64.存储器23例如是闪速存储器以及工作用的ram等，存储程序35以及各种信息数据36。在程序35中包含os(operating system：操作系统)和在该os上进行动作并控制控制器3内的各部的各种控制程序等。在信息数据36中包含程序35中使用的各种参数等。cpu22通过执行存储在存储器中的程序35来控制控制器3内的各部。作为其中之一，cpu22对位置姿势传感器5的检测结果进行处理，并将其处理结果经由接近通信接口24发送至主体设备2。另外，cpu22也可以包含dsp(digital signal processor：数字信号处理器)、gpu(graphics processing unit：图形处理单元)等各种运算处理专用处理器。
65.主体设备2具备摄像机40、测距传感器41、显示器42、声音输出部43、麦克风44、位置姿势传感器45、cpu46、存储器47、通信接口48、接近通信接口50、以及将它们相互连接的总线52。另外，主体设备2具备与通信接口48连接的天线49和与接近通信接口50连接的天线51。
66.位置姿势传感器45与控制器3的情况同样地，具备加速度传感器(3轴加速度传感器)60、陀螺仪传感器(3轴角速度传感器)61、地磁传感器62，除此之外，还具备gps(global positioning system：全球定位系统)接收器63，由此检测主体设备2的位置和姿势。摄像机40拍摄主体设备2外部的图像(例如用户前方的风景等)。与控制器3的情况同样地，也能够通过该图像来校正主体设备2中的位置姿势传感器45的方向检测。
67.测距传感器41例如利用红外线或激光等的反射来测定与对象物的距离。接近通信接口50与控制器3的情况同样地，经由天线51与控制器3进行近距离无线通信。另外，通信接口48经由天线49与除控制器3之外的外部(例如，外部的服务器装置等)进行无线通信。作为无线通信的方式，代表性地可列举无线lan(ieee802.11a、ieee802.11b、ieee802.11g)等。
68.显示器42例如是液晶面板等，以ar或vr的图像等为代表，显示预定的图像。此时，显示器42也能够将由摄像机40拍摄到的图像显示为ar的图像。声音输出部43例如具备将装置内部的声音信号转换为声音并向装置外部放音的扬声器55、或者在佩戴于用户的耳朵的状态下进行放音的耳机56等。麦克风44例如对在装置外部产生的周围声音进行集音并转换为声音信号，或者对来自用户的发声声音进行集音并转换为声音信号。
69.存储器47与控制器3的情况同样地存储程序65以及各种信息数据66。在程序65中包含os和在该os上进行动作并控制主体设备2内的各部的各种控制程序等。在信息数据66中包含程序65中使用的各种参数等。cpu46通过执行存储于存储器47的程序65来控制主体设备2内的各部。作为其中之一，cpu46通过接近通信接口50接收控制器3的位置姿势传感器5的处理结果，根据其接收内容进行显示器42的图像控制等。此外，cpu46也可以包括dsp、gpu等各种运算处理专用处理器。
70.《cpu周围的主要部分的详细》
71.图6a是表示图5的控制器中的cpu周围的主要部分的结构例的框图，图6b是表示图5的主体设备中的cpu周围的主要部分的结构例的框图。在图6a中，控制部70具备传感器数据处理部75和通信控制部76。这些各部例如通过图5的cpu22执行存储在存储器23中的程序35而被安装在cpu22上。
72.传感器数据处理部75定期地取得作为位置姿势传感器5的检测结果的角速度矢量ωc和加速度矢量ac。角速度矢量ωc由陀螺仪传感器31得到，加速度矢量ac由加速度传感器30得到。通信控制部76将由传感器数据处理部75取得的角速度矢量ωc以及加速度矢量ac经由接近通信接口(简称为i/f)24定期地发送至主体设备2。
73.在图6b中，控制部80具备通信控制部85、传感器数据处理部86、操作命令转换部87、显示调整部89以及显示控制部88。这些各部例如通过图5的cpu46执行存储在存储器47中的程序65而被安装在cpu46上。通信控制部85经由接近通信i/f50取得来自控制器3的角速度矢量ωc以及加速度矢量ac。
74.传感器数据处理部86具备方向检测部91、旋转检测部92和原点坐标检测部93。方向检测部91基于控制器3中的位置姿势传感器5的检测结果，通过运算来检测控制器3的方向(换言之，图4的方向操作16a)。旋转检测部92基于控制器3中的位置姿势传感器5的检测结果，通过运算来检测以控制器5的方向(图4的符号15)为旋转轴的控制器5的旋转(换言之，图4的旋转操作16b)。具体而言，方向检测部91以及旋转检测部92分别基于来自通信控制部85的角速度矢量ωc，检测控制器3的方向以及旋转。
75.原点坐标检测部93根据控制器3中的位置姿势传感器5的检测结果，检测控制器5的坐标系中的原点坐标。具体而言，原点坐标检测部93根据来自通信控制部85的加速度矢量ac检测原点坐标，进而检测控制器5的平行移动。根据情况，也可以与控制器5的平行移动对应地，使图3的指向光束12的指向位置平行移动。此外，传感器数据处理部86在这样的各种运算时，在存储器47内适当地存储作为信息数据66的坐标系信息66a。
76.操作命令转换部87将方向检测部91的检测结果和旋转检测部92的检测结果转换为针对主体设备2的命令。在此，如上所述，用户在移动指向光束12的指向位置的情况下通过改变前臂的方向来改变控制器3的方向，在选择指向位置所指的目标的情况下(即发出触发命令的情况下)，通过手腕的旋转使控制器3旋转。详细内容将予以后述，但方向检测部91输出标准化四元数即旋转q
cs
来作为控制器3的方向的检测结果，旋转检测部92输出旋转角r
rc
来作为控制器3的绕轴旋转的检测结果。
77.操作命令转换部87将由方向检测部91检测出的控制器3的方向(旋转q
cs
)转换为指向光束12的移动命令mv，将由旋转检测部92检测出的控制器的旋转(旋转角r
rc
)转换为触发命令tg。此时，在存储器66b中预先存储例如右旋转用指令、左旋转指令这样的各种触发命令与旋转角r
rc
的对应关系，作为信息数据66即操作命令信息66b。操作命令转换部87基于该操作命令信息66b，将控制器的旋转(旋转角r
rc
)转换为触发命令tg。
78.显示调整部89反映主体设备2中的位置姿势传感器45的检测结果，调整移动命令mv表示的指向光束的指向位置。作为具体例，假定在用户将头部和前臂一起朝向正面的状态下，将指向光束12的指向位置确定为画面的中心的情况。在该状态下，当用户仅将头向右转动角度θ时，由于前臂不移动，因此，在该状态下，以前臂相对于头向左偏移角度θ的姿势，指向位置依然存在于画面的中心。
79.但是，在这样的情况下，用户在体感上大多优选使指向位置成为从画面的中心向左偏离了角度θ的位置。在该情况下，在用户通过将前臂向右转动角度θ而再次使头部和前臂的方向一致的时刻，指向位置返回到画面的中心。显示调整部89进行反映这样的用户的体感并通过变更移动命令mv的内容来变更指向位置的处理。具体而言，显示调整部89例如
在使用位置姿势传感器45检测到用户的头部向右旋转了角度θ的情况下，变更移动命令mv以使指向位置向左旋转角度θ。
80.如图3所示，显示控制部88将指向光束12的指向位置显示在显示器42上，根据来自显示调整部89的移动命令mv控制该指向位置，根据触发命令选择该指向位置所指的目标11。此外，在此，方向检测部91、旋转检测部92以及原点坐标检测部93被设置于主体设备2的控制部80，但根据情况，也可以设置于控制器3的控制部70。此外，根据情况，操作命令转换部87也可以设置于控制器3的控制部70。另外，控制部70、80不限于基于cpu22、46的程序处理，根据情况，也可以通过fpga(field programmable gate array：现场可编程门阵列)等硬件、或者硬件和软件的组合来实现。
81.《hmd的整体控制流程》
82.图7是表示图5的头戴式信息处理装置中的概略的控制方法的一例的流程图。在图7中，控制器3在电源接通后(步骤s101)进行初始化处理(步骤s102)。初始化处理是用于对与传感器数据的处理相伴的坐标轴进行初始化的处理，例如通过使用户以预先决定的操作方法输入初始化指令来进行。
83.之后，控制器3每隔预定的检测周期进行使用图6a的传感器数据处理部75取得传感器数据(角速度矢量ωc以及加速度矢量ac)的处理(步骤s103)和使用通信控制部76发送该传感器数据的处理(步骤s104)。然后，控制器3重复该步骤s103、s104的处理，直到电源断开为止(步骤s105)。
84.另一方面，主体设备2也在电源接通之后(步骤s201)进行初始化处理(步骤s202)。该初始化处理(步骤s202)与控制器3的初始化处理(步骤s102)联动地进行。然后，主体设备2在初始化处理(步骤s202)中，例如相对于输入了初始化指令的时间点的控制器3的坐标轴，将指向光束12的指向位置唯一地关联起来。
85.之后，主体设备2根据控制器3中的步骤s104的处理，经由图6b的通信控制部85逐次接收来自控制器3的传感器数据(步骤s203)。即，主体设备2逐次接收表示控制器3的位置和姿势从初始化时刻起如何变化的传感器数据。
86.然后，主体设备2基于接收到的传感器数据，使用图6b的方向检测部91等检测控制器3的方向(方向的变化)，基于该检测结果，使用显示控制部88来更新指向光束12的指向位置(步骤s204)。另外，主体设备2基于接收到的传感器数据，使用图6b的旋转检测部92以及操作命令转换部87，进行来自用户的触发命令的检测和其种类的判别，进行与触发命令的种类相应的处理(步骤s205)。然后，主体设备2重复该步骤s203～s205的处理直到电源断开为止(步骤s206)。
87.《控制部的详细内容》
88.《符号的用法》
89.以下，对图6a以及图6b所示的控制部70、80的详细的处理内容进行说明。作为对控制器3中的位置姿势传感器5的检测结果进行处理的方式，代表性地可以举出使用欧拉角的方式、使用标准化四元数的方式等。在实施方式1中，作为一个例子，设想使用标准化四元数的情况。在使用标准化四元数时，首先，对在说明书中使用的符号的用法进行说明。
90.坐标系的旋转能够使用标准化四元数来表示。所谓标准化四元数，是范数为1的四元数，表示绕某轴的旋转。表示以单位矢量(n
x
，ny，nz)为旋转轴的角度η的旋转q的标准化四
元数由式(1)给出。在式(1)中，i、j、k是四元数的单位。另外，角度η为正的情况下的旋转q与朝向单位矢量(n
x
，ny，nz)的方向的状态下的右旋的旋转对应。任意坐标系的旋转由该标准化四元数表示。
91.q＝cos(η/2) n
x
sin(η/2)i nysin(η/2)j nzsin(η/2)k
…
(1)
92.将式(1)中的旋转q的实数部分定义为sc(q)，将旋转q的矢量部分定义为vc(q)。q
*
表示相对于旋转q的四元数的共轭四元数。将四元数的范数标准化为1的运算符定义为[
·
]。若将旋转q设为任意的四元数，则式(2)是[
·
]的定义，式(2)的右边的分母是旋转q的四元数的范数。另外，表现坐标点或者矢量(p
x
，py，pz)的四元数p由式(3)表示。
[0093]
[q]＝q/(qq
*
)
1/2
…
(2)
[0094]
p＝p
x
i pyj p
zk…
(3)
[0095]
在说明书中，只要没有特别说明，则对不是分量显示的坐标点或矢量进行表示的符号为四元数显示，表示旋转的符号为标准化四元数。在此，将向单位矢量n方向的矢量的投影运算符定义为ps(n)。矢量p的投影由式(4)表示。另外，若坐标点或者方向矢量p1通过由旋转q表示的原点中心的旋转操作而变换为坐标点或者方向矢量p2，则方向矢量p2通过式(5)计算。
[0096]
ps(n)p＝-nsc(np)
…
(4)
[0097]
p2＝qp1q
*
…
(5)
[0098]
在此，用于在手性相等的任意2个坐标系之间使方向一致的旋转q如下得到。首先，为了使单位矢量n1与单位矢量n2重叠，围绕与包含n1和n2的平面垂直的轴旋转的标准化四元数r(n1，n2)由式(6)给出。
[0099]
r(n1,n2)＝[1-n2n1]
…
(6)
[0100]
考虑使坐标系“1”旋转而使各轴的方向与坐标系“2”的各轴一致。作为符号，将在坐标系“1”的y轴、z轴方向的单位矢量的坐标系“2”中的表现定义为n
y12
、n
z12
，将在坐标系“2”的y轴、z轴方向的单位矢量的坐标系“2”自身中的表现定义为ny、nz。旋转作为坐标系“2”中的表现被求出。
[0101]
首先，考虑使坐标系“1”的z轴旋转而与坐标系“2”的z轴的方向一致。该旋转q
t1
使用式(6)，由式(7)给出。通过该旋转q
t1
，在坐标系“2”中，表示坐标系“1”的y轴的单位矢量n
y12
成为式(8)的单位矢量n
y12m
。单位矢量n
y12m
与坐标系“2”的z轴正交。因此，接下来，考虑使该单位矢量n
y12m
绕坐标系“2”的z轴旋转而与坐标系“2”的y轴方向一致。该旋转q
t2
由式(9)给出。
[0102]qt1
＝r(n
z12
,nz)
…
(7)
[0103]ny12m
＝q
t1ny12qt1*
…
(8)
[0104]qt2
＝r(n
y12m
,ny)
…
(9)
[0105]
通过以上方式，在使坐标系“1”旋转，使各轴的方向与坐标系“2”的各轴的方向一致的旋转q
t
的坐标系“2”中的表现，基于式(7)～式(9)，通过式(10)而得到。其结果是，在坐标系“1”中表示为n1的单位矢量或表示旋转的标准化四元数在坐标系“2”中通过式(11)的单位矢量n2来表现。即，在利用旋转q
t
使坐标系“1”旋转的情况下，在旋转后的坐标系“2”的视角下，旋转前的坐标系“1”的单位矢量n1可以视为向旋转q
t
的相反方向旋转。
[0106]qt
＝q
t2qt1
…
(10)
[0107]
n2＝q
t*
n1q
t
…
(11)
[0108]
《方向检测部和原点坐标检测部的详细内容》
[0109]
首先，对与控制器3关联的控制器坐标系的表现进行说明。控制器坐标系的坐标轴是陀螺仪传感器31的坐标轴。图8a以及图8b是表示与图6a的控制器相关联的控制器坐标系的一个例子的图。在图8a和图8b中，作为一个例子，示出了用户将控制器3佩戴于右手，将位置姿势传感器5(陀螺仪传感器31)配置于手腕的内侧的例子。
[0110]
在此，将控制器3所具有的腕套形状的轴线方向设为x轴。另外，将与x轴垂直且相对于腕套面垂直的方向设为y轴，将相对于腕套面平行的方向设为z轴。在使手掌的面成为垂直方向而使前臂成为水平方向时，z轴成为垂直方向。在说明书中，将这样的坐标系称为右手系的坐标系。在说明书中，只要没有特别说明，则使用右手系的坐标系。
[0111]
用户在图7的步骤s102中，在将前臂置于基准的位置的状态下，进行控制器3等的初始化。例如，将手腕连续3次倒向内侧这样的动作设为初始化指令。在该情况下，图6b的控制部80例如能够基于角速度矢量ωc的绕z轴的旋转分量来检测初始化指令。在此，在说明书中，将该初始化时刻的控制器坐标系称为初始坐标系。初始坐标系是固定的坐标系，控制器坐标系是根据控制器3的动作而变化的坐标系。控制器坐标系的朝向是通过使初始坐标系的朝向旋转而得到的。通过q
cs
表现表示该旋转的标准化四元数。初始化时的旋转q
cs
例如是表示无旋转的1。
[0112]
控制器坐标系的旋转由陀螺仪传感器31检测。辅助地可以使用地磁传感器32、摄像机20、测距传感器21，但不是必须的结构要素。若将陀螺仪传感器31检测的角速度矢量ωc设为(ω
x
，ωy，ωz)，则该角速度矢量ωc由式(12)的四元数来表现。式(12)的角速度矢量ωc是控制器坐标系中的表现。因此，初始坐标系中的角速度矢量ωs由式(13)给出。即，在按旋转q
cs
使初始坐标系进行旋转而得到控制器坐标系的情况下，在初始坐标系的视角下，控制器坐标系的角速度矢量ωc可以视为按旋转q
cs
来进行旋转。
[0113]
ωc＝ω
x
i ωyj ω
zk…
(12)
[0114]
ωs＝q
cs
ωcq
cs*
…
(13)
[0115]
在此，如果注意到旋转q
cs
是初始坐标系中的表现，则决定旋转q
cs
的时间发展的差分方程式反映式(13)的关系而成为式(14)。在式(14)中，若将δt确定为陀螺仪传感器31的检测周期，则旋转q
cs
接受针对每个δt而得到的角速度矢量ωc而逐次更新。由此，能够逐次得到控制器3从初始化时刻起进行了怎样的旋转。图6b的方向检测部91基于式(14)进行运算，由此针对每个δt输出旋转q
cs
。
[0116]
δq
cs
/δt＝(1/2)ω
sqcs
＝(1/2)q
cs
ωc…
(14)
[0117]
此外，在利用式(14)运算旋转q
cs
时，既可以并用提高近似精度的方法，也可以追加将旋转q
cs
的范数保持为1的校正。而且，为了校正误差的蓄积，可以利用地磁传感器32的地磁方向的测定结果，也可以利用由摄像机20、测距传感器21检测出的外界的特征点的位置信息。
[0118]
接着，对原点坐标检测部93的处理内容进行说明。例如，在控制器3的平行移动、即控制器坐标系原点的移动也用于控制的情况下，进行原点坐标检测部93的处理。控制器坐标系的初始坐标系中的原点坐标的更新，基于由加速度传感器30检测出的加速度矢量ac来进行。若将加速度矢量ac设为(a
x
，ay，az)，则加速度矢量ac由式(15)的四元数来表现。由于该
加速度矢量ac是控制器坐标系中的表现，所以在初始坐标系中的加速度矢量as由式(16)给出。
[0119]ac
＝a
x
i ayj a
zk…
(15)
[0120]as
＝q
csacqcs*
…
(16)
[0121]
在此，将初始坐标系中的控制器坐标系的原点坐标设为o
cs
，将控制器坐标系的原点的速度矢量设为vs，将重力加速度矢量设为gs。重力加速度矢量gs在图7的步骤s102中的控制器3的初始化时被测定。当使用该重力加速度矢量gs时，决定速度矢量vs的时间发展的差分方程式成为式(17)。另外，决定原点坐标o
cs
的时间发展的差分方程式为式(18)。
[0122]
δvs/δt＝a
s-gs…
(17)
[0123]
δo
cs
/δt＝vs…
(18)
[0124]
在式(17)以及式(18)中，若将δt确定为加速度传感器30的检测周期，则速度矢量vs接受针对每个δt而得到的加速度矢量as(加速度矢量ac)而被逐次更新，基于该速度矢量vs，原点坐标o
cs
也被逐次更新。图6b的原点坐标检测部93基于式(16)、式(17)以及式(18)进行运算，由此针对每个δt更新加速度矢量as、速度矢量vs以及原点坐标o
cs
。
[0125]
此外，在通过式(17)以及式(18)来运算速度矢量vs以及原点坐标o
cs
时，也可以并用提高近似精度的方法。另外，也可以利用由摄像机20、测距传感器21检测出的外界的特征点的位置信息。进而，为了简化处理，加速度传感器30的检测周期也可以与陀螺仪传感器31的检测周期相同。
[0126]
《初始化处理的细节》
[0127]
在图7的初始化处理(步骤s102、s202)时，用户首先将前臂置于基准位置，然后输入控制器3的初始化指令。初始化指令例如除了如上述那样将手腕倒向内侧(在右手的情况下使其向左旋转)3次这样的动作之外，也可以通过另一只手对控制器3拍打3次以上的动作来进行输入。或者，初始化指令不限于这样的动作，例如，也可以通过按下设置于主体设备2的硬开关等来进行输入。
[0128]
例如，主体设备2的传感器数据处理部86，将输入了初始化指令的时刻、或者如果是基于动作的输入则为确定为初始化指令的时刻的控制器坐标系识别为新的初始坐标系。并且，传感器数据处理部86将该时刻的控制器坐标系的旋转q
cs
复位为表示无旋转的1。进而，传感器数据处理部86将手腕的旋转角r
rc
(后述)复位为0。
[0129]
另外，传感器数据处理部86在初始化时使前臂静止的状态下，基于从控制器3接收到的加速度矢量ac来测定重力加速度矢量gc(控制器坐标系)。如式(19)所示，初始坐标系中的重力加速度矢量gs与该控制器坐标系中的重力加速度矢量gc相同。重力加速度矢量gs例如在上述的式(17)中使用。
[0130]gs
＝gc…
(19)
[0131]
《控制器方向的检测和指向光束位置的更新的细节》
[0132]
对图7中的步骤s204的处理的详细情况进行说明。如图8b所示，用户的前臂的方向在控制器坐标系中由单位矢量n
ac
决定。然后，根据从初始化时刻起的旋转q
cs
计算各时刻(各检测周期)的前臂的方向。若将初始坐标系中的前臂的方向的单位矢量设为n
as
，则单位矢量n
as
由式(20)求出。
[0133]nas
＝q
csnacqcs*
…
(20)
[0134]
图9是说明在图7中与控制器方向的检测和指向光束位置的更新相伴的处理内容的一例的图。图6b的操作命令转换部87基于式(20)，在通过旋转q
cs
从单位矢量n
ac
向单位矢量n
as
仅变更了角度变化量α的方向的情况下，例如，如图9所示，生成移动命令mv，使得指向光束12的指向位置也以角度变化量α变更朝向。
[0135]
此时，在作为显示指向光束12的空间的主体设备2的坐标系中控制指向光束12的角度变化量α。在说明书中将该主体设备2的坐标系称为用户坐标系。初始坐标系中的旋转q
cs
在用户坐标系中由旋转q
csu
表现。操作命令转换部87例如输出旋转q
csu
作为移动命令mv。
[0136]
图10是表示与图6b的主体设备相关联的用户坐标系的一例的图。如图10所示，用户坐标系是固定于主体设备2的坐标系，例如，x轴在水平面内为主体设备2的正面方向，y轴在水平面内为用户的左手方向，z轴为垂直向上方向。关于指向光束12的显示，图6b的显示控制部88在佩戴有控制器3的前臂的肘所在的附近，设定指向光束12的起点，并以指向光束12是否从该起点延伸的方式在显示器42上进行显示。然后，显示控制部88以来自操作命令转换部87的移动命令mv(具体而言为旋转q
csu
)来控制指向光束12的延伸方向。此外，显示控制部88也可以根据用户的喜好来调整该起点的位置。
[0137]
另外，初始坐标系与用户坐标系的位置关系例如预先在设计上确定。代表性的是设计为在佩戴有主体设备2的用户朝向正面方向的状态下，指向光束12从起点向水平正面方向延伸的位置关系。在图7的初始化处理(步骤s102、s202)中，用户在维持了在该设计上决定的位置关系的状态下，发出初始化指令。
[0138]
在此，在用户坐标系的视角下，将使控制器3的初始坐标系的方向与用户坐标系的方向一致的旋转设为q
t
。旋转q
t
能够预先在设计上确定，代表性的是表示无旋转(即，初始坐标系与用户坐标系的方向一致的状态)的1。但是，当用户在操作上方便(例如，前臂的方向与指向光束12的方向错开了预定角度的情况更容易操作等)的情况下，旋转q
t
也可以为不是1的其他值。当使用该旋转q
t
时，用户坐标系中的旋转q
csu
由式(21)给出。图6b的操作命令转换部87运算式(21)，输出旋转q
csu
。
[0139]qcsu
＝q
t*qcsqt
…
(21)
[0140]
另外，若将指向光束12的初始状态下的单位矢量设为n
au0
、将朝向变更后的指向光束12的单位矢量设为n
au
，则单位矢量n
au
由式(22)求出。图6b的显示控制部88根据式(22)，对指向光束12的指向位置进行控制。
[0141]nau
＝q
csunau0qcsu*
…
(22)
[0142]
此外，如上所述，用户在将前臂确定为基准的位置的状态下发出初始化指令，但此时，前臂的位置有时偏离理想的基准的位置。由于该位置偏移，在前臂的方向与指向光束12的方向之间可能产生角度差的偏移，但只要在用户的体感上，位置偏移收敛在某种程度的范围内，就不会产生特别的问题。另一方面，在方向检测部91运算旋转q
cs
时也可能产生误差。由于该误差能够通过累积而以时间序列进行放大，因此，此时用户只要重新开始初始化即可。
[0143]
图11是表示通过图6b的显示控制部显示于显示器的指向光束的显示方式的一例的图。在显示器42上，在用户坐标系的空间上，与目标(在图11中为执行按钮)11一起显示指向光束12。指向光束12以在可显示的范围内延伸的形式显示在显示空间内。首先，在指向光束12的指向位置不与目标11接触的情况下，目标11处于非选择状态(步骤s301)。
[0144]
接着，当用户通过操作前臂的方向，指向光束12的指向位置碰到目标11时，目标11成为临时选择状态，变为表示临时选择状态的显示(步骤s302)。在该临时选择状态下，用户不改变指向光束12的指向位置，例如使手腕旋转时(进行旋转操作16b)，目标11成为选择状态，变为表示选择状态的显示(步骤s303)。显示控制部88进行这样的显示变更，并且在如步骤s303那样选择了目标11(换言之，按下了执行按钮)的情况下，通过将该情况通知给预定的处理部来进行与预定的处理部对应的处理。
[0145]
《触发解析(旋转检测部和操作命令转换部)的细节》
[0146]
接着，对图7中的步骤s205的处理的详细情况进行说明。手腕的旋转是以前臂的方向为旋转轴的旋转。因此，通过从陀螺仪传感器31的输出中提取该旋转轴方向的分量，能够检测手腕的旋转。如图8b所示，将控制器坐标系中的前臂的方向(在图8b中为x轴方向)的单位矢量设为n
ac
。
[0147]
在此，若一般化记述，则手腕的旋转的角速度矢量ω
rc
在控制器坐标系中的表现使用式(4)的投影运算符和控制器坐标系的角速度矢量ωc，成为式(23)。若使手腕旋转，则产生单位矢量n
ac
方向的分量。图6b的旋转检测部92基于式(23)，从角速度矢量ωc中提取该单位矢量n
ac
方向的分量，由此检测手腕的旋转。
[0148]
ω
rc
＝ps(n
ac
)ωc…
(23)
[0149]
另外，当基于角速度矢量ω
rc
以旋转角r
rc
表示手腕的旋转位置时，旋转角r
rc
通过式(24)的发展方程式来计算。旋转检测部92基于式(24)计算旋转角r
rc
。
[0150]
δr
rc
/δt＝ω
rc
…
(24)
[0151]
在此，将控制器3的初始化时刻的旋转角r
rc
设为0
°
。图6b的操作命令转换部87基于来自该旋转检测部92的旋转角r
rc
来判别触发命令tg。图12a及图12b是表示在图6b的操作命令转换部中触发命令的判别方法的一例的图。如图12a以及图12b所示，操作命令转换部87(详细而言，图6b的操作命令信息66b)预先具备以基准线r
rc0
为基准的旋转阈值r
rct1
、r
rct2
。
[0152]
在由旋转检测部92检测出的控制器3的旋转的旋转量(旋转角r
rc
)超过了预先确定的旋转阈值r
rct1
、r
rct2
的情况下，操作命令转换部87发出触发命令。在图12a的例子中，用户将手腕以超过旋转阈值r
rct1
的旋转角向右旋转后返回到原来的位置。与此相应地，操作命令转换部87发出1次与右旋转对应的第一触发命令(换言之，判别为第一按钮被按下1次)。
[0153]
在图12b的例子中，用户连续进行2次将手腕以超过旋转阈值r
rct2
的旋转角向左旋转后返回到原来位置的动作。与此相应地，操作命令转换部87发出2次与左旋转对应的第二触发命令(换言之，判别为按下了2次第二按钮)。在此，操作命令转换部87也能够根据在预先确定的一定时间内产生的多次触发命令的产生状况，确定最终的1次触发命令。在图12b的例子中，操作命令转换部87能够将在一定时间内产生的2次第二触发命令的发出作为所谓的双击来处理。
[0154]
此外，基准线r
rc0
伴随角度检测的误差、手腕的保持角度的偏差等，不限于0
°
。因此，操作指令转换部87也可以如式(25)那样，提取旋转角r
rc
的低频分量，将其设定为基准线r
rc0
。式(25)的右边是指旋转角r
rc
的平均化处理。作为平均化处理的方法，例如可举出式(26)所示的指数移动平均处理等。在式(26)中，ξ是平均化系数，取0到1之间的值。
[0155]rrc0
＝《r
rc
》
…
(25)
[0156]
《r
rc
(t δt)≥ξr
rc
(t) (1-ξ)《r
rc
(t)》
…
(26)
[0157]
在此，若使用基于这样的手腕的旋转的触发命令，则图6b的方向检测部9受到手腕的旋转的影响，有可能使指向光束12的指向位置偏离用户的意图。具体而言，例如在图11的步骤s303中，用户在使目标(执行按钮)11成为选择状态时，有可能使指向光束12的指向位置因旋转操作16b而从目标11偏离，无法使目标11成为选择状态。
[0158]
因此，使用图13a、图13b、图14所示的方式是有益的。图13a和图13b是说明在图6b的操作命令转换部和显示控制部中与目标的选择相伴的处理内容的一例的图，图14是说明在图6b的操作命令转换部中与目标的选择相伴的处理内容的一例的图。
[0159]
如图14所示，操作命令转换部87例如除了图12a所述的旋转阈值r
rct1
之外，还具备比旋转阈值r
rct1
小的值即旋转开始阈值r
rcst
。然后，操作命令转换部87在由旋转检测部92检测出的控制器3的旋转的旋转量(旋转角r
rc
)超过旋转阈值r
rct1
的情况下发出触发命令，在超过旋转开始阈值r
rcst
的情况下发出旋转开始通知。
[0160]
另一方面，如图13a或图13b所示，显示控制部88在接受到旋转开始通知的时刻，使指向光束12的指向位置所指的目标(执行按钮)11成为临时选择状态(步骤s401、s501)。之后，显示控制部88在接受到触发命令的情况下，无论接受到触发命令的时刻的指向位置是否指向临时选择状态的目标11，都将临时选择状态的目标11变更为选择状态(步骤s402、s502)。
[0161]
作为具体的处理内容，在图13a的例子中，显示控制部88在使目标11成为临时选择状态的情况下(步骤s401)，无论之后的实际的指向位置有无移动，都将该目标11的临时选择状态维持一定时间。另外，在图13b的例子中，显示控制部88在使目标11成为临时选择状态的情况下(步骤s501)，无论之后的实际的指向位置有无移动，都视为指向位置一定时间没有变化而进行处理。
[0162]
《初始化处理中的坐标系的修正》
[0163]
如在图7的步骤s102中所述，用户在将前臂置于基准位置的状态下输入初始化指令。基准的位置例如是将前臂保持在水平方向的位置。但是，即使用户想要将前臂保持在水平方向上，实际上前臂也会从水平方向稍微偏离。即，在用户体感的水平方向与基于重力加速度的实际的水平方向之间可能产生误差。该误差在用户通过前臂的方向操作指向光束12时使用户产生不协调感。因此，为了使水平方向与用户的体感匹配，也可以进行利用了重力加速度矢量的修正。
[0164]
具体而言，相对于通过初始化处理得到的重力加速度矢量gs(式(19))，将理想状态下的(设计上的)初始坐标系中的重力加速度矢量设为g
s0
。另外，将从初始坐标系向控制器坐标系的旋转q
cs
的初始值设为q
cs0
。在该情况下，图6b的方向检测部91将旋转q
cs
的初始值q
cs0
设定为旋转了重力加速度矢量的偏差的量的值，而不是表示无旋转的1。即，方向检测部91使用式(6)的标准化四元数r(n1，n2)，将初始值q
cs0
设定为式(27)的值。由此，能够减轻用户的不协调感。
[0165]qcs0
＝r(gs,g
s0
)
…
(27)
[0166]
《显示器的显示方式的变形例》
[0167]
图15是表示在图1中与在主体设备的显示器上显示的图3不同的图像的一例的图。在图15中，代替图3所示的指向光束12而显示光标13。在该情况下，从用户的视线观察，与光标13重叠的目标(执行按钮)11成为选择目标。与图3的情况相同，用户通过前臂的方向控制
光标的位置(指向位置)。
[0168]
图6b的显示控制部88例如在处理上假定以用户为中心的球面，在不显示的指向光束12与该球面的交点显示光标13。另外，在光标13不存在于用户能够视觉确认的区域内的情况下，显示控制部88也可以使基于控制器3的触发命令的输入无效。这在指向光束12的情况下也是同样的。
[0169]
《实施方式1的主要效果》
[0170]
以上，通过使用实施方式1的头戴式信息处理装置，代表性地能够提高用户的便利性。具体而言，与使用图24所示的控制器110的情况不同，用户能够自由地使用手。另外，能够根据用户的移动方式增加触发命令(指令)的数量。此外，如上所述，与该用户的运动方式相应的触发命令(指令)也能够应用于图24所示的控制器110。
[0171]
(实施方式2)
[0172]
《触发命令的变形例》
[0173]
图16a是表示在本发明的实施方式2的头戴式信息处理装置中，基于图6b的操作命令转换部的触发命令的判别方法的一例的图。图16b是说明与图16a对应的图6b的显示控制部的处理内容的一例的图。图6b的操作命令转换部87在维持了使控制器3旋转的状态的情况下，发出拖拽和放下的开始命令，在该旋转的状态复原的情况下，发出拖拽和放下的结束命令。
[0174]
在图16a的例子中，操作命令转换部87在来自旋转检测部92的旋转角r
rc
超过旋转阈值r
rct1
，与图12a的情况不同，超过了该旋转阈值r
rct1
的状态超过了一定时间t1的情况下，发出拖拽和放下的开始命令。之后，在旋转角r
rc
低于在基准线r
rc0
与旋转阈值r
rct1
之间靠近基准线r
rc0
设置的旋转结束阈值r
rced
的情况下，操作命令转换部87发出拖拽和放下的结束命令。
[0175]
另一方面，如图16b所示，用户在将指向光束12的指向位置对准预定的目标17的状态下使手腕向右旋转，并维持该状态(步骤s601)。之后，用户在维持手腕的右旋转的状态下改变前臂的方向后(步骤s602)，使手腕的右旋转复原(步骤s603)。操作命令转换部87根据步骤s601发出拖拽和放下的开始命令，并根据步骤s603发出拖拽和放下的结束命令。图6b的显示控制部88在从拖拽和放下的开始命令到拖拽和放下的结束命令为止的期间，根据由操作命令转换部87发出的移动命令mv(即前臂的方向的变化)，移动指向光束12的指向位置所指的目标17的位置。
[0176]
图17是表示在本发明的实施方式2的头戴式信息处理装置中，图6b的主体设备的变形例的框图。图17的主体设备2在图6b的结构例的基础上，在传感器数据处理部86a内具备突出检测部94。突出检测部94基于控制器3的位置姿势传感器5的检测结果，通过运算来检测朝向前臂的方向(即旋转轴的方向)的控制器3的移动。另外，与此相应地，图17的操作命令转换部87a将由突出检测部94检测出的控制器3的移动转换为其他的触发命令tg。
[0177]
图18是说明与图17对应的由用户进行的控制器的操作方法的一例的图。如图18所示，用户通过朝向前臂的方向15(旋转轴的方向)进行前臂的突出操作16c，发出触发命令。例如，用户通过在将指向光束的指向位置对准对象的目标的状态下进行突出操作16c，对该对象的目标发出触发命令。
[0178]
这样的突出操作16c能够使用控制器3内的加速度传感器30来进行检测。具体而
言，首先，如图6b以及式(16)～式(18)所述，图17所示的原点坐标检测部93基于来自加速度传感器30的加速度矢量ac，检测初始坐标系中的加速度矢量as、速度矢量vs以及原点坐标o
cs
。但是，该原点坐标o
cs
有时因检测误差而漂移。
[0179]
因此，图17的突出检测部94例如在加速度矢量as中的向前臂方向的绝对值分量超过了预先决定的阈值的时刻，识别前臂的突出动作的开始。然后，突出检测部94以突出动作的开始时刻的原点坐标o
cs
为起点o
cs0
，以起点o
cs0
为基准，运算之后的原点坐标o
cs
的向前臂方向的偏差矢量o
csd
。具体而言，突出检测部94使用式(4)的投影运算符ps(n)和初始坐标系中的前臂的方向的单位矢量n
as
运算式(28)。并且，突出检测部94基于式(29)来运算偏差矢量o
csd
的范数d。
[0180]ocsd
＝ps(n
as
)(o
cs-o
cs0
)
…
(28)
[0181]
d＝(o
csdocsd*
)
1/2
…
(29)
[0182]
图19是表示在图17的操作命令转换部中触发命令的判别方法的一例的图。如图19所示，操作命令转换部87a预先具备突出阈值d
t
。在来自突出检测部94的范数d超过突出阈值d
t
的情况下，操作命令转换部87a发出触发命令(第三触发命令)tg。例如如实施方式1所述那样，在手腕的右旋转以及左旋转与第一按钮以及第二按钮的按下对应的情况下，该触发命令tg与第三按钮的按下对应。
[0183]
《实施方式2的主要效果》
[0184]
以上，通过使用实施方式2的头戴式信息处理装置，除了实施方式1所述的各种效果以外，还能够进一步增加触发命令(指令)的数目。另外，也可以组合使用图18中的突出操作16c和图16b中的拖拽动作。在这种情况下，例如，当用户在3d显示中移动目标时，可以通过突出操作16c向3d显示内的深度方向移动目标。
[0185]
进而，利用该拖拽动作，hmd1例如也可以在用户决定了指向光束的方向的状态下维持使手腕向右或左旋转的状态时，进行在光束的方向上使虚拟空间内的用户的位置前进(例如左旋转时)或后退(例如右旋转时)那样的控制。
[0186]
(实施方式3)
[0187]
《控制器的控制方法的其他例子》
[0188]
图20是说明在本发明的实施方式3的头戴式信息处理装置中，利用了图6a以及图6b的结构例的其他控制方法的一个例子的图。例如，图6b的操作命令转换部87也可以将由旋转检测部92检测出的控制器3的旋转的旋转量(旋转角r
rc
)转换为在主体设备2中的连续的控制中使用的状态控制命令。作为状态控制，例如可举出虚拟空间内的旋转的位置、速度控制等。
[0189]
在图20的例子中，在显示器42的图像10内显示有拨盘的目标18。用户根据伴随旋转操作16b的手腕的旋转量来操作该拨盘的旋转量。在该情况下，操作命令转换部87将旋转量(旋转角r
rc
)直接输出到显示控制部88，显示控制部88根据该旋转量逐次更新拨盘的旋转量的显示。
[0190]
另外，用户例如也可以在使指向光束对准了拨盘的目标18的状态下，在进行了突出操作16c之后进行旋转操作16b。在该情况下，显示控制部88接受与来自图17的操作命令转换部87a的突出操作16c对应的触发命令而选择目标18，在该状态下，根据来自操作命令转换部87的旋转量(旋转角r
rc
)逐次更新拨盘的旋转量的显示。由此，例如能够防止由于仅
仅是无意间横切指向光束而变更了拨盘的值这样的事态。
[0191]
《实施方式3的主要效果》
[0192]
以上，通过使用实施方式3的头戴式信息处理装置，除了实施方式1等所述的各种效果以外，用户还能够通过手腕的旋转操作对主体设备2进行连续的控制(状态控制)。
[0193]
(实施方式4)
[0194]
《控制器的安装部位(变形例)》
[0195]
图21是表示在本发明的实施方式4的头戴式信息处理装置中，控制器的安装部位的变形例的图。如图21所示，用户也可以不将控制器3卷绕于手腕，而卷绕于手(手背或手掌位置)的状态下使用。在该情况下，与卷绕于手腕的情况相比较，虽然手的自由度降低，但用户能够以手掌部分的朝向来控制指向光束的方向，因此无需大幅变更前臂的方向即可完成。
[0196]
但是，在该情况下，手腕的旋转轴(前臂的方向)与决定指向光束的方向的控制器3的轴线方向可能成为不一致的状态。因此，为了检测手腕的旋转，也可以采用在手腕部分另外安装搭载了角速度传感器101的带子100等的方式。在通过手腕的角速度传感器101检测出手腕的旋转的情况下，也可以与图13a或图13b的情况同样地进行不使指向光束的指向位置变化的控制。
[0197]
图22是表示在图21的头戴式信息处理装置中显示于显示器的图像的一例的图。在将控制器3安装于图21那样的部位的情况下，手的位置成为指向光束的起点，因此也可以通过手的移动来进行起点的移动。在该情况下，如图22所示，优选显示起点的位置105。手的位置能够使用控制器3内的加速度传感器30来进行检测。此外，在此，用户在将控制器3卷绕于手的状态下使用，但根据情况，也可以以卷绕于手指的状态使用。
[0198]
《用户坐标系(变形例)》
[0199]
图23是表示在本发明的实施方式4的头戴式信息处理装置中，用户坐标系的变形例的图。用户坐标系除了图10所示的固定于主体设备2的坐标系以外，如图23所示，也可以是固定于用户的躯体的坐标系。在图23的例子中，躯体的正面水平方向为x轴，在水平面内用户的左手方向为y轴，垂直方向为z轴。
[0200]
主体设备2与躯体的位置关系，例如能够通过由主体设备2的摄像机40等拍摄躯体并进行图像解析来检测。或者，也可以通过在躯体上另外设置姿势传感器来进行检测。由于指向光束的指向位置通过前臂的方向被控制，因此，这样，有时通过以固定于躯体的坐标系为基准来显示指向光束，能够进行更符合用户的体感的控制。
[0201]
(实施方式5)
[0202]
《hmd中的其他变形例》
[0203]
《复合传感器》
[0204]
例如，在图5中，也能够通过搭载于控制器3的陀螺仪传感器31的检测结果与摄像机20的拍摄图像的组合来控制指向光束的指向位置。具体而言，例如，控制器3基于摄像机20的拍摄图像检测手背(或者也可以是手掌)的特征点的方向，通过图像处理来检测该特征点从基准点起的方向变化量。
[0205]
然后，图6b的方向检测部91向操作命令转换部87输出在基于位置姿势传感器5的检测结果而检测出的控制器3的方向上加上基于该摄像机20的拍摄图像而检测出的手的方
向而得的方向。由此，显示控制部88视为控制器坐标系旋转了前臂的方向的变化量加上手的特征点的方向变化量而得的量，从而控制指向光束的指向位置。
[0206]
作为详细的处理内容，例如，图6b的方向检测部91将变更后的控制器坐标系的旋转设为q
csm
，用于代替由式(14)计算出的旋转q
cs
。在控制器坐标系中，若将手背的特征点的基准位置处的单位方向矢量设为n
h0
，将基于摄像机20的拍摄图像逐次检测出的特征点的单位方向矢量设为nh，则从基准位置起的旋转qh使用式(6)的标准化四元数r(n1，n2)由式(30)求出。例如使用控制器3的cpu22计算该旋转qh，并发送至主体设备2。
[0207]
qh＝r(n
h0
,nh)
…
(30)
[0208]
旋转qh是控制器坐标系中的表现，在初始坐标系中通过式(31)的旋转q
hs
来表现。由此，对旋转q
cs
加上旋转q
hs
而通过式(32)求出变更后的控制器坐标系的旋转q
csm
。方向检测部91例如使用根据手腕的旋转而由自身计算出的旋转q
cs
和从控制器3接收到的旋转qh来运算式(31)以及式(32)，由此求出旋转q
csm
。
[0209]qhs
＝q
cs
qhq
cs*
…
(31)
[0210]qcsm
＝q
hsqcs
＝q
cs
r(n
h0
,nh)
…
(32)
[0211]
通过使用这样的复合传感器，用户能够在将控制器3佩戴于手腕的状态下，就像是在手背上设置控制器3那样操作指向光束的指向位置。由此，用户能够从在手背设置控制器3的烦恼中解放出来，并且不那么大幅移动前臂，而将前臂的方向和手的方向组合就能够操作指向光束的指向位置。其结果是，能够实现用户的便利性的提高。
[0212]
《指向光束的旋转角控制》
[0213]
在上述的图9的例子中，示出了控制器3的角度变化量α与指向光束的角度变化量α相同的情况，但也可以是指向光束的角度变化量大于或小于控制器3的角度变化量。由此，用户例如能够在抑制了前臂的活动的状态下操作指向光束的指向位置，或者精细地控制指向位置等。其结果是，能够实现用户的便利性的提高。
[0214]
作为详细的处理内容，例如，图6b的显示控制部88对控制器3的角度变化量乘以系数，对指向光束的指向位置的角度变化量进行控制。具体而言，显示控制部88将正的系数设为w，使用如式(34)那样将角度变化量变更为w倍的旋转q
csm
来代替旋转q
cs
，从而控制指向光束的指向位置。在式(34)中，旋转q
cs
表示的角度变化量为λ，角度变化量λ使用旋转q
cs
的实数部分并通过式(33)求出。需要说明的是，式(33)中的cos-1
取0至π的值。
[0215]
|λ|＝2cos-1
(sc(q
cs
))
…
(33)
[0216]qcsm
＝cos(w|λ|/2) sin(w|λ|/2)vc(q
cs
)/sin(|λ|/2)
…
(34)
[0217]
《超时功能》
[0218]
在切换是否使用控制器3(即接通、断开)的情况下，可以设置明示的开关等，但也可以设置自动地切换接通、断开的功能。具体而言，主体设备2例如在来自操作命令转换部87的触发命令一定期间未被发出的情况下，作为超时而使来自控制器3的输入无效。之后，在再次开始来自控制器的输入的情况下，例如使用户发出初始化指令。
[0219]
例如，在执行了作业辅助等应用程序的情况下，用户有时并不想发出触发命令(指令)，而是进行手腕的旋转等。此时，若手腕的旋转等被解释为触发命令，则可能产生不良情况。因此，在一定期间没有发出触发命令的情况下，主体设备2使来自控制器3的输入无效。由此，能够实现用户的便利性的提高。
[0220]
此外，本发明并不限定于上述的实施方式，包括各种变形例。例如，上述的实施方式是为了容易理解地说明本发明而详细地进行了说明，并不限定于必须具备所说明的全部结构。另外，能够将某实施方式的结构的一部分置换为其他实施方式的结构，另外，也能够在某实施方式的结构中添加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够进行其他结构的追加、删除、置换。
[0221]
另外，上述的各结构、功能、处理部、处理单元等，也可以例如由集成电路进行设计它们的一部分或者全部等，由此通过硬件来实现。另外，上述的各结构、功能等也可以通过处理器解释并执行实现各个功能的程序而由软件实现。实现各功能的程序、表、文件等信息能够放置在存储器、硬盘、ssd(solid state drive：固态驱动器)等记录装置、或者ic卡、sd卡、dvd等记录介质中。
[0222]
另外，控制线、信息线表示在说明上所需要的，在产品上不一定表示全部的控制线、信息线。实际上也可以认为几乎全部的结构相互连接。
[0223]
附图标记说明
[0224]
1：头戴式信息处理装置(hmd)、2：主体设备、3、3a、3b：控制器、5：位置姿势传感器、10：图像、11：目标、12：指向光束、15：控制器的方向、16a：方向操作、16b：旋转操作、16c：突出操作、17、18：目标、20：摄像机、21：测距传感器、22：cpu、23：存储器、24：接近通信接口、25：天线、26：总线、30：加速度传感器、31：陀螺仪传感器、32：地磁传感器、35：程序、36：信息数据、40：摄像机、41：测距传感器、42：显示器、43：声音输出部、44：麦克风、45：位置姿势传感器、46：cpu、47：存储器、48：通信接口、49：天线、50：接近通信接口、51：天线、52：总线、55：扬声器、56：耳机、60：加速度传感器、61：陀螺仪传感器、62：地磁传感器、63：gps接收器、65：程序、66：信息数据、66a：坐标系信息、66b：操作命令信息、70：控制部、75：传感器数据处理部、76：通信控制部、80：控制部、85：通信控制部、86：传感器数据处理部、87：操作命令转换部、88：显示控制部、89：显示调整部、91：方向检测部、92：旋转检测部、93：原点坐标检测部、94：突出检测部、100：带子、101：角速度传感器、105：起点的位置、110：控制器。