信息处理装置、信息处理方法和计算机可读记录介质与流程

1.本技术涉及用于通过用户的注视来执行操作等的信息处理装置、信息处理方法和计算机可读记录介质。


背景技术：

2.常规地，已经开发了检测用户的视线的技术。例如，通过使用检测用户的视线的结果，可以执行通过视线的选择操作等。例如，用户可以选择用户注视的目标等。
3.专利文献1公开了一种使得能够通过使用用户的视线来选择图标的头戴式终端。该头戴式终端设置有用于检测用户的颈部的移动的陀螺仪传感器。例如，根据由陀螺仪传感器检测到的用户的颈部的移动来改变显示区域中显示的图标的显示位置、间隔等，使得通过视线容易地选择图标。例如，这使得能够通过注视输入来容易地选择图标(参见专利文献1的段落[0021]、[0029]、[0024]、[0036]、图2等)。
[0004]
引用列表
[0005]
专利文献
[0006]
专利文献1：wo 2015/170520 a1


技术实现要素：

[0007]
技术问题
[0008]
期望将通过注视来选择目标的技术应用于诸如娱乐、教育和购物的广泛领域，并且期望能够提高通过注视执行选择操作的可操作性的技术。
[0009]
鉴于上述情况，本技术的目的是提供用于提高通过注视执行选择操作的可操作性的信息处理装置、信息处理方法和计算机可读记录介质。
[0010]
问题的解决方案
[0011]
为了实现上述目的，根据本技术的实施方式的信息处理装置包括眼球信息获取部、视线估计部、显示控制部、姿势信息获取部和模式切换部。
[0012]
眼球信息获取部从第一传感器获取用户的眼球的位置姿态信息。
[0013]
视线估计部基于眼球的位置姿态信息来估计用户的视线矢量。
[0014]
显示控制部控制显示装置，使得显示装置显示引导图像，引导图像表示基于所估计的视线矢量的注视状态。
[0015]
姿势信息获取部从第二传感器获取与眼球的位置姿态信息不同的用户的姿势信息。
[0016]
模式切换部根据由用户关于引导图像提供的模式切换输入，在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映在引导图像中的模式，第二模式是基于姿势信息来校正注视状态的模式。
[0017]
信息处理装置获取用户眼球的位置姿态信息，并且基于眼球的位置姿态信息来估计视线矢量。显示装置显示用于表示基于视线矢量的注视状态的引导图像。另外，信息处理
装置根据用于在与引导图像有关的模式之间切换的模式切换输入来在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映在引导图像中的模式，第二模式是基于与眼球的位置姿态信息不同的姿势信息来校正注视状态的模式。这使得能够提高通过注视执行选择操作的可操作性。
[0018]
根据本技术的实施方式的信息处理方法是将由计算机系统执行的信息处理方法。信息处理方法包括从第一传感器获取用户眼球的位置姿态信息。
[0019]
基于眼球的位置姿态信息来估计用户的视线矢量。
[0020]
控制显示装置，使得显示装置显示引导图像，引导图像表示基于所估计的视线矢量的注视状态。
21.从第二传感器获取与眼球的位置姿态信息不同的用户的姿势信息。
[0022]
根据由用户进行的关于引导图像的模式切换输入，在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映在引导图像中的模式，第二模式是基于姿势信息来校正注视状态的模式。
[0023]
根据本技术的实施方式的计算机可读记录介质记录程序，该程序用于使计算机系统执行以下步骤，所述步骤包括：
[0024]
从第一传感器获取用户眼球的位置姿态信息的步骤；
[0025]
基于眼球的位置姿态信息来估计用户的视线矢量的步骤；
[0026]
控制显示装置以使得显示装置显示引导图像的步骤，引导图像表示基于所估计的视线矢量的注视状态；
[0027]
从第二传感器获取与眼球的位置姿态信息不同的用户的姿势信息的步骤；以及
[0028]
根据由用户关于引导图像提供的模式切换输入而在第一模式与第二模式之间进行切换的步骤，第一模式是将眼球的位置姿态信息反映在引导图像中的模式，第二模式是基于姿势信息来校正注视状态的模式。
附图说明
[0029]
[图1]图1是根据本技术的实施方式的头戴式显示器的外观的透视图。
[0030]
[图2]图2是示出hmd的功能配置示例的框图。
[0031]
[图3]图3是示出引导图像的示例的示意图。
[0032]
[图4]图4是用于描述hmd的基本行为的示意图。
[0033]
[图5]图5是用于描述用户头部的旋转的示意图。
[0034]
[图6]图6是示出视线矢量的校正处理的示例的流程图。
[0035]
[图7]图7是示出视线矢量的校正处理的示例的示意图。
[0036]
[图8]图8是示出要用于校正视线矢量的头部旋转方向的示意图。
[0037]
[图9]图9是示出视线矢量的最大旋转范围的示例的示意图。
[0038]
[图10]图10是示出校正视线矢量的处理的另一示例的示意图。
[0039]
[图11]图11是示出视线矢量的校正处理的另一示例的示意图。
[0040]
[图12]图12是示出经受使用注视的选择操作的画面的示例的示意图。
[0041]
[图13]图13是示出经受使用注视的选择操作的画面的示例的示意图。
[0042]
[图14]图14是示出经受使用注视的选择操作的画面的示例的示意图。
[0043]
[图15]图15是示出第二模式下的画面的显示示例的示意图。
[0044]
[图16]图16是示出由用户做出的身体姿势的示例的示意图。
[0045]
[图17]图17是示出由用户做出的手部姿势的示例的示意图。
[0046]
[图18]图18是用于描述根据比较示例的使用注视的选择操作的示意图。
[0047]
[图19]图19是示出根据另一实施方式的注视位置的校正处理的示例的示意图。
[0048]
[图20]图20是示出注视目标的选择处理的示例的示意图。
[0049]
[图21]图21是示出注视目标的选择处理的示例的示意图。
[0050]
[图22]图22是示出用作注视目标的虚拟对象的显示示例的示意图。
[0051]
[图23]图23是用于描述取决于角度间隔的显示器处理的示意图。
[0052]
[图24]图24是示出根据另一实施方式的hmd的功能配置示例的框图。
[0053]
[图25]图25是示出根据另一实施方式的hmd的基本行为示例的流程图。
具体实施方式
[0054]
在下文中，将参照附图描述本技术的实施方式。
[0055]
[hmd的配置]
[0056]
图1是根据本技术的实施方式的头戴式显示器(hmd)的外观的透视图。图2是示出hmd 100的功能配置示例的框图。在hmd 100穿戴在用户的头部上时使用hmd 100。hmd 100用作在用户的视场中显示图像的显示装置。例如，当穿戴hmd 100时，用户可以体验虚拟现实(vr)、增强现实等。
[0057]
如图1所示，hmd 100包括基部10和可穿戴带11。基部10是位于用户的左眼和右眼的前方的部分。基部10被配置成使得基部10覆盖用户的视场，并且基部10用作存储用于显示图像的显示器15的壳体。
[0058]
可穿戴带11被穿戴在用户的头部上。如图1所示，可穿戴带11包括侧头带11a和顶头带11b。侧头带11a连接至基部10，并且围绕用户的包括头部的侧面和背面的头部被穿戴。顶头带11b连接至侧头带11a，并且围绕用户的包括头部的侧面和顶部的头部被穿戴。这使得能够将基部10保持在用户的眼睛前方。
[0059]
如图2所示，hmd 100还包括内向摄像装置12、行为传感器13、外部传感器14、显示器15、通信部16、存储部17和控制器20。
[0060]
内向摄像装置12捕获用户的眼球的图像。捕获用户的眼球的眼球图像被用于检测用户的视线矢量的处理，这将在后面进行描述。例如，内向摄像装置12包括左眼摄像装置和右眼摄像装置，左眼摄像装置和右眼摄像装置被定位在基部10内部，使得左眼摄像装置和右眼摄像装置捕获用户的左眼的图像和右眼的图像。根据本实施方式，内向摄像装置12对应于第一传感器。
[0061]
例如，包括诸如互补金属氧化物半导体(cmos)传感器、电荷耦合装置(ccd)传感器的图像传感器的数字摄像装置用作内向摄像装置12(左眼摄像装置和右眼摄像装置)。替选地，例如，可以使用设置有诸如红外led的红外光源的红外摄像装置。例如，这使得能够捕获眼球的红外图像，并且能够以高精度检测用户的视线矢量。内向摄像装置12的具体配置不受限制。
[0062]
行为传感器13是检测与hmd 100的移动有关的信息的传感器。例如，行为传感器13
固定在基部10中或基部10上的预定位置，并且检测hmd100的倾斜、旋转等。因此，还可以说行为传感器13是检测与穿戴hmd100的用户的头部的移动有关的信息的传感器。根据本实施方式，行为传感器13对应于第二传感器。
[0063]
例如，惯性测量单元(imu)等可以用作行为传感器13。例如，惯性测量单元是通过使用三轴陀螺仪和加速度计来检测三维角速度和加速度的传感器。另外，例如，包括三轴陀螺仪和加速度计以及三轴速度计的9轴传感器等可以用作行为传感器13。另外，行为传感器13的类型不受限制。可以使用任何能够检测hmd 100的行为的传感器。
[0064]
外部传感器14是检测与hmd 100的外部有关的信息的传感器。捕获hmd 100的前方(用户的前方)的图像的数字摄像装置(外向摄像装置)等被用作外部传感器14。另外，例如，使得能够在真实空间中检测深度信息等的包括立体摄像装置、飞行时间(time
‑
of
‑
flight,tof)传感器等的摄像装置等可以用作外部传感器14。例如，通过在显示器15上显示由外部传感器14检测到的图像，可以提供ar体验等。替选地，可以安装雷达传感器、激光雷达传感器等作为外部传感器14。
[0065]
显示器15安装在基部10上，使得显示器15覆盖用户的视场的至少一部分。例如，两个显示器15定位在用户的视场中，使得两个显示器15显示左眼图像和右眼图像。替选地，可以采用单个显示器15，使得单个显示器15显示左眼图像和右眼图像。另外，例如，可以在用户的左眼与右眼之间安装透镜等，使得透镜等调节焦点。
[0066]
例如，有机el显示器、液晶显示器(lcd)等被用作显示器15。另外，显示器15的具体配置不受限制。根据本实施方式，显示器15对应于显示装置。
[0067]
通信部16是执行与另一装置的网络通信、近场无线通信等的模块。例如，可以安装用于wi
‑
fi等的无线lan模块、用于蓝牙(注册商标)等的通信模块作为通信部16。
[0068]
另外，通信部16与接收由用户利用他/她的手提供的操作输入等的输入装置(未示出)进行通信。例如，设置有选择按钮、模拟棒、开关等的装置(例如游戏控制器)用作输入装置。输入装置的类型等不受限制。例如，键盘等可以被用作输入装置。
[0069]
存储部17是非易失性存储装置。例如，使用诸如固态驱动器(ssd)的固态装置的记录介质或诸如硬盘驱动器(hdd)的磁记录介质被用作存储部17。另外，用作存储部17的记录介质的类型等不受限制。例如，可以使用任何不临时记录数据的记录介质。
[0070]
存储部17存储用于控制hmd 100的总体行为的控制程序18。控制程序18是根据本实施方式的程序，并且存储部17对应于其上记录有程序的计算机可读记录介质。
[0071]
控制器20控制包括在hmd 100中的各个块的行为。例如，控制器20具有诸如cpu和存储器(ram，rom等)的计算机所需的硬件配置。当cpu将存储在存储部17中的控制程序18加载到ram中并且执行该控制程序时，各种处理被执行。根据实施方式，控制器20对应于信息处理装置。
[0072]
例如，诸如现场可编程门阵列(fpga)的可编程逻辑器件(pld)或者诸如专用集成电路(asic)的另一装置可以用作控制器20。替选地，例如，诸如图形处理单元(gpu)的处理器可以用作控制器20。
[0073]
注意，可以独立于hmd 100的主体来准备控制器20和存储部17。例如，可以在hmd 100的主体经由通信部(未示出)等与控制器20等通信时控制hmd 100。这使得能够抑制hmd 100的主体的功耗并且增加hmd 100的操作时间。
[0074]
根据本实施方式，控制器20的cpu执行根据本实施方式的程序，并且从而视线检测部21、头部位置姿态检测部22、显示控制部23和模式切换部24被实现为功能块。另外，这样的功能块执行根据本实施方式的信息处理方法。注意，也可以适当地使用诸如集成电路(ic)的专用硬件来实现各个功能块。
[0075]
视线检测部21基于用户的眼球的位置姿态信息来检测用户的视线。此处，用户的眼球的位置姿态信息是能够检测用户的眼球的位置和姿态的信息。例如，用于检测左眼球与右眼球之间的间隔、眼球的前后位置、用户眼球的取向(姿态)等的信息用作眼球的位置姿态信息。
[0076]
根据本实施方式，视线检测部21从内向摄像装置12获取用户的眼球的位置姿态信息。具体地，由内向摄像装置12捕获的眼球图像被适当地加载作为用户的眼球的位置姿态信息。因此，根据本实施方式，眼球图像用作用户眼球的位置姿态信息。
[0077]
另外，视线检测部21基于眼球的位置姿态信息来估计用户的视线矢量。换言之，基于由内向摄像装置12捕获的眼球图像来估计用户的视线矢量。视线矢量是指示估计用户的视线方向的结果的矢量。例如，视线矢量被检测为由hmd 100(控制器20)使用的预定坐标系中的矢量。根据本实施方式，视线检测部21用作眼球信息获取部和视线估计部。
[0078]
例如，通过角膜反射来估计视线矢量。当使用角膜反射时，例如，通过使用红外摄像装置(内向摄像装置12)和红外光源来捕获眼球的图像。在这种情况下，眼球图像包括当红外光被角膜等反射时出现的亮点(浦肯野(purkinje)图像)。基于红外光的亮点和瞳孔位置来估计视线矢量。当使用角膜反射时，可以精确地检测视线矢量。
[0079]
另外，例如，还可以使用用于基于诸如眼睛的外角的特征点、通过使用眼球图像来估计视线矢量的方法等。例如，当使用这样的方法时，不需要准备红外光源等。因此，可以减少部件的数目。另外，通过使用眼球图像来估计视线矢量的方法不受限制。还可以使用用于通过机器学习等来估计视线矢量的方法等。
[0080]
根据本实施方式，例如，估计了左眼球和右眼球的各自的视线矢量，并且适当地组合这些矢量。从而，估计单个视线矢量。本技术不限于此。例如，本技术还适用于使用关于左眼球和右眼球估计的各个视线矢量的情况。注意，估计误差可以由视线矢量的估计处理引起。因此，视线矢量不一定与用户看到的实际方向匹配。其细节将在后面描述。
[0081]
头部位置姿态检测部22加载行为传感器13的检测结果，并且检测用户的头部的位置和姿态。另外，头部位置姿态检测部22检测与用户旋转他/她的头部时的头部姿势相关联的用户头部的旋转方向和旋转角度。
[0082]
如上所述，行为传感器13检测与hmd 100的移动有关的信息，即，与用户的头部的移动有关的信息。因此，行为传感器13的检测结果(例如，头部的速度、加速度以及角速度)用作与用户旋转他/她的头部时的头部姿势(在下文中，称为头部姿势信息)有关的信息。
[0083]
如上所述，头部位置姿态检测部22从行为传感器13获取头部姿势信息。根据本实施方式，头部姿势信息是用户的姿势信息的示例，该姿势信息不同于眼球的位置姿态信息。另外，根据本实施方式，头部位置姿态检测部22对应于姿势信息获取部。
[0084]
头部位置姿态检测部22基于行为传感器13的检测结果来检测用户的头部的位置和姿态。例如，通过估计头部的移动方向来检测头部的位置。例如，头部的位置用作用户的视线方向的基点(视点)。另外，例如，基于头部的倾斜等来检测头部的姿态。
[0085]
另外，头部位置姿态检测部22检测用户的头部的旋转方向和旋转角度。例如，基于在某个时刻获得的头部姿态来计算头部姿态的变化量。基于上述变化量来检测头部的旋转方向、旋转角度等。检测头部的位置、姿态、旋转方向、旋转角度等的方法不受限制。
[0086]
显示控制部23控制图像在hmd 100的显示器15上的显示。换言之，可以说显示控制部23控制显示器15，使得显示器15根据情况显示适当的图像。根据本实施方式，显示控制部23包括视线方向调整部25和图像处理部26。
[0087]
视线方向调整部25根据用户做出的头部姿势来校正(调整)由视线检测部21检测到的视线矢量。例如，通过基于由头部位置姿态检测部22检测到的用户的头部的旋转方向、旋转角度等旋转视线矢量来校正视线矢量。稍后将描述校正视线矢量的方法的细节。
[0088]
注意，取决于由模式切换部24指定的模式(将在后面描述)来校正视线矢量。例如，视线方向调整部25根据所指定的模式开启不校正视线矢量的模式(第一模式)或校正视线矢量的模式(第二模式)。例如，在第一模式中，关于由视线检测部21检测到的视线矢量的信息在不进行任何校正的情况下被输出至图像处理部26。替选地，在第二模式中，关于经校正的视线矢量的信息被输出至图像处理部26。
[0089]
图像处理部26生成要显示在显示器15上的图像。例如，图像处理部26获取关于要由hmd 100执行的内容的内容信息，并且根据用户(hmd 100)的头部的位置姿态来生成内容图像。
[0090]
另外，图像处理部26生成指示基于视线矢量的注视状态的引导图像。此处，例如，注视状态是指用户的视觉行为的状态。例如，可以通过可视化用户注视的位置、对象等来指示注视状态。因此，基于视线矢量的注视状态的示例包括通过使用视线矢量计算的注视位置p、注视对象等。
[0091]
图像处理部26基于从视线方向调整部25输出的视线矢量来计算注视位置p。因此，在第一模式中计算基于未校正的视线矢量的注视位置p，并且在第二模式中计算基于经校正的视线矢量的注视位置p。
[0092]
另外，例如，关于内容等的信息被用于计算注视位置p。例如，计算将视线矢量与显示在虚拟空间中的虚拟对象相交的位置作为注视位置p。另外，检测包括注视位置p的虚拟对象——即，与视线矢量相交的虚拟对象——作为注视对象。计算注视位置p的方法、检测注视对象的方法等不受限制。
[0093]
图3是示出引导图像的示例的示意图。图3a至图3c示意性地示出了不同类型的引导图像30。注意，图3a至图3c所示的各个引导图像30是通过使用同一视线矢量计算出的图像。
[0094]
图3a所示的引导图像30是指针图像31(指针对象)。指针图像31是指示基于视线矢量计算的注视位置p的图像。指针图像31是根据视线矢量显示在显示器15上的任何位置上的引导图像30。在图3a所示的示例中，指针图像31包括相互垂直的两条线和以这两条线的交点为中心的圆。指针图像31通过使用两条线的交点(圆的中心)指示注视位置p。
[0095]
图3a示出了包括在水平方向上排成一行的五个虚拟对象40(立方体)的内容图像27。在上述图像中，以指针图像31与最左边的虚拟对象40重叠的方式显示指针图像31。这使得能够显示由hmd 100(控制器20)计算的可视化注视位置p(视线矢量)。
[0096]
如上所述，图3a所示的引导图像30(指针图像31)是通过使用基于视线矢量的注视
位置p来指示注视状态的图像。注意，如上所述，视线矢量具有估计误差。因此，注视位置p不一定是用户实际注视的位置。
[0097]
图3b所示的引导图像30是以使虚拟对象40被突出显示的方式显示的突出显示图像32。在突出显示图像32中，虚拟对象40与视线矢量相交，即，包括注视位置p的虚拟对象40被强调。在下文中，包括注视位置p的虚拟对象40被称为注视对象41。注意，显示在显示器15上的5个虚拟对象40是用作注视对象41的候选的候选对象42。
[0098]
例如，突出显示图像32是内容图像27中所包括的注视对象41被突出显示的图像。换言之，引导图像30也包括包括内容图像27的一部分的图像，内容图像27的该部分以该部分指示注视状态的方式被强调。如上所述，图3b所示的引导图像30(突出显示图像32)是通过使用包括注视位置p的注视对象41来指示注视状态的图像。注意，类似于注视位置p，注视对象41不一定是用户实际注视的对象。
[0099]
图3c所示的引导图像30是在显示器15上的预定位置处显示的范围图像33。范围图像33是通过使用基于视线矢量的注视位置p来指示注视状态的图像。与图3a所示的指针图像31不同，范围图像33在显示器15上的指定位置处显示。
[0100]
例如，以范围图像33位于显示器15的中心的方式显示范围图像33。在这种情况下，适当地调整内容图像27的显示范围等，使得范围图像33的中心(显示器15的中心)与注视位置p重叠。因此，在图3c所示的示例中，显示内容(内容图像27)与用户的视线协同移动。
[0101]
注意，可以单独使用或者可以组合使用图3a至图3c所示的引导图像30。例如，可以执行将与指针图像31重叠的虚拟对象40强调为突出显示图像32的处理。替选地，例如，可以使用范围图像33和突出显示图像32的组合。
[0102]
如上所述，显示控制部23(视线方向调整部25和图像处理部26)控制显示器15，使得显示器15显示引导图像30，引导图像30表示基于所估计的视线矢量的注视状态。例如，当显示注视位置或注视对象时，用户可以通过注视来执行选择操作等。
[0103]
模式切换部24根据模式切换输入来在第一模式与第二模式之间进行切换。例如，模式切换输入是用于指定校正视线矢量的第二模式的开始和结束的输入信息。另外，模式切换部基于第二模式的开始条件和结束条件来确定模式切换输入。响应于确定的结果，切换第一模式和第二模式，并且执行模式之一。下面将描述模式切换输入的类型、关于模式切换输入的确定条件等的细节。
[0104]
在第一模式中，不对由视线检测部21检测到的视线矢量进行校正，并且通过使用原始视线矢量生成引导图像30。换言之，可以说第一模式是将用户的眼球的位置姿态信息反映在引导图像30中的模式。
[0105]
第二模式是基于头部姿势信息来校正由视线检测部21检测到的视线矢量的模式。因此，在第二模式中，通过使用经校正的视线矢量来生成引导图像。换言之，可以说第二模式是基于头部姿势信息来校正注视状态(注视位置p和注视对象)的模式。
[0106]
如上所述，模式切换部24根据由用户关于引导图像30提供的模式切换输入，在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映在引导图像30中的模式，第二模式是基于头部姿势信息来校正注视状态的模式。换言之，hmd 100通过在这些模式之间进行切换来执行使用未进行任何校正的原始视线矢量的模式或者校正视线矢量并且校正注视位置p的模式。
[0107]
图4是用于描述hmd的基本行为的示意图。图4a和图4b示意性地示出了在第一模式和第二模式下用户1与三个虚拟对象40a至40c之间的位置关系。另外，图4示出作为引导图像32的指针图像31和突出显示图像32。
[0108]
如图4a所示，假设用户在执行第一模式的状态下注视最左边的虚拟对象40a。图4a示意性地示出了指示实际视线矢量50的虚线箭头，实际视线矢量50表示用户1实际注视的方向。实际视线矢量50与虚拟对象40a的交点(图4中的十字准线标记)用作用户1实际注视的实际注视点r。在这种情况下，虚拟对象40a用作用户意在选择的对象。
[0109]
另外，图4a示意性地示出了指示由hmd 100(视线检测部210)检测到的视线矢量51的实线箭头。视线矢量51具有估计误差(视线检测误差)。因此，视线矢量51与实际视线矢量50不同。在图4a所示的示例中，视线矢量51与放置在用户1实际注视的虚拟对象40a的右前侧的虚拟对象40b相交。因此，基于视线矢量51的注视位置p被检测为位于虚拟对象40b上的位置，并且虚拟对象40b用作注视对象41。
[0110]
例如，如图4a所示，在选择了错误的虚拟对象40b作为注视对象41的状态下已经经过了预定时间段的情况下，hmd 100将第一模式切换至第二模式。在这种情况下，用户1的注视持续时间用作模式切换输入。替选地，例如，当用户1操作诸如游戏控制器的按钮时，可以将第一模式切换至第二模式。在这种情况下，通过使用按钮提供的操作输入的存在/不存在用作模式切换输入。
[0111]
根据本实施方式，在执行第二模式的情况下，显示控制部23基于头部姿势信息来校正注视位置p。换言之，在第二模式中，用户1可以通过旋转他/她的头部来校正注视位置p。图4b示意性地示出了指示头部2的旋转方向的箭头，该箭头表示当用户1校正注视位置p时由用户1做出的头部姿势。
[0112]
例如，在注视位置p(指针图像31)显示在用户1实际注视的实际注视位置r的右侧的情况下，认为用户1将他/她的头部2向左旋转，使得注视位置p如图4b所示向左移动。根据本实施方式，基于这样的头部姿势来校正注视位置p。
[0113]
图5是用于描述用户1的头部的旋转的示意图。图5的左侧和右侧示意性地示出了通过使用图4b所示的用户1的俯视图获得的用户1的头部2。在图5中，例如，x轴方向表示用户1的左右方向，y轴方向表示在竖直平面中与x轴方向正交的方向，并且z轴方向表示在水平平面中与x轴方向正交的方向。注意，假设用户1的鼻子3面向的方向是头部2的前方方向。
[0114]
例如，如图5的左侧所示，假设在用户1面向左前侧的状态下执行第二模式。hmd 100在该状态下检测用户的头部2的旋转位置，并且将检测到的旋转位置存储为参考位置。例如，矢量(姿态)等被适当地检测为旋转位置。例如，矢量指示头部2的前方方向。
[0115]
在执行第二模式时用户1做出旋转用户1的头部2的头部姿势的情况下，检测此时获得的旋转方向和旋转角度。例如，如图5的右侧所示，假设用户1旋转他/她的头部2，使得用户1面向参考位置的左侧。在这种情况下，通过旋转鼻子3所面向的前方方向(图5中的逆时针方向)获得的方向被检测为头部姿势的旋转方向。另外，将旋转后的前方方向与在参考位置处获得的前方方向之间的差(头部差旋转量)检测为头部姿势的旋转角度。
[0116]
如上所述，基于在执行第二模式时用户1的头部2的旋转位置来计算用户1的头部2的旋转角度。这使得能够精确地检测由用户1做出的用于校正注视位置p(视线矢量51)的移动量(头部姿势的旋转角度)。因此，可以精确地校正视线矢量51和注视位置p。
[0117]
注意，通常，人们可以在注视相同位置的同时旋转他们的头部2。因此，用户1可以在注视用户感兴趣的目标(虚拟对象40a)的同时做出用于校正注视位置p的头部姿势。
[0118]
如图4b所示，显示控制部23将视线矢量51偏转至与检测到的头部姿势的旋转方向相似的方向。换言之，显示控制部23沿用户1的头部的旋转方向旋转视线矢量51。这使得能够如图4b所示使注视位置p向左移动。如上所述，用户1可以通过旋转视线矢量51来直观地指定注视位置p(视线矢量51)的校正方向，并且可以容易地校正视线矢量51和注视位置p。
[0119]
另外，根据头部姿势的旋转角度适当地调整视线矢量51的偏转量，即，视线矢量51的旋转角度，使得视线矢量51的旋转角度落入一定范围内。其细节将在后面描述。如上所述，显示控制部23通过基于头部姿势信息校正视线矢量51来校正注视位置p。
[0120]
另外，生成示出经校正的注视位置p的引导图像30(指针图像31和突出显示图像32)并且将其显示在显示器15上。因此，指针图像31移动至如图4b所示的左侧虚拟对象40a上的位置。另外，其中强调了虚拟对象40a的突出显示图像32显示为注视对象41。如上所述，显示控制部23控制显示器15，使得：在执行第二模式的情况下，显示器15显示包括经校正的注视位置p的引导图像30。
[0121]
如上所述，在第二模式中，基于用户1的头部2的旋转来调整由hmd100检测到的视线矢量51。换言之，可以说第二模式是基于头部2调整视线矢量51的头部调整模式。这使得能够容易地选择用户1所期望的对象。例如，如图4a和图4b所示，可以容易地从彼此相邻的虚拟对象40等中选择期望目标。这使得能够提高通过注视进行选择的可操作性。
[0122]
图6是示出视线矢量51的校正处理的示例的流程图。图7是示出视线矢量51的校正处理的示例的示意图。在下文中，将参照图6和图7描述视线矢量51的校正处理(注视位置p的校正处理)的细节。
[0123]
图7示意性地示出了用于选择项目的内容图像27的示例。在图7所示的示例中，执行选择操作以从放置在架子上的多个项目(虚拟对象40)中选择期望的项目。内容图像27是经受使用注视的选择操作的画面的示例。注意，图7示出了选择项目43b的状态。项目43b不同于用户1注视的项目43a。
[0124]
图6所示的处理是在内容开始时执行的循环处理。首先，检测视线矢量51和头部2的位置和姿态(旋转位置)(步骤101)。例如，视线检测部21从内向摄像装置12加载眼球的位置姿态信息(用户1的眼球图像)，并且检测视线矢量51。另外，头部位置姿态检测部22加载行为传感器13的检测结果(头部姿势信息)，并且检测头部2的位置和姿态。
[0125]
确定是否执行(开启)第二模式(步骤102)。例如，在第二模式被关闭的情况下(在步骤102中的否)，模式切换部24执行确定第二模式的开始条件的处理。
[0126]
在图6所示的示例中，确定用户1是否正在注视同一方向100毫秒或100毫秒以上。此处，例如，用户1正在注视同一方向的状态意指视线矢量51落入预定角度内或预定角度以下的状态。例如，在100毫秒前获得的视线矢量51与当前视线矢量51之间的角度为预定角度(例如5度)或预定角度以下的情况下，确定用户1正在注视同一方向100毫秒或100毫秒以上。
[0127]
例如，如图7所示，在用户1意图选择项目43a的情况下，用户1持续地注视所期望的项目43a。因此，认为出现视线矢量51几乎不移动的状态。在这种情况下，用户1的注视同一方向的动作用作由用户1提供的模式切换输入。这允许用户1自然地切换模式。
[0128]
用于确定视线矢量51的这样的时间段和角度用作第二模式的开始条件。如上所述，第二模式的开始条件包括针对视线矢量51的变化量的条件。注意，用于确定视线矢量51的诸如时间段和角度的开始条件不受限制。例如，可以根据视线矢量51的估计误差、控制器20的处理速度等适当地设置开始条件。
[0129]
另外，例如，可以在步骤130中确定注视同一对象的时间段。例如，在图7中，当用户1正在注视项目43a时，用户1不期望的项目43b用作注视对象41。在这种情况下，例如，在选择项目43b作为注视对象41的时间段是预定时间段(例如，诸如100毫秒)的情况下，确定满足开始条件。如上所述，第二模式的开始条件包括关于注视对象41被注视的时间段的条件。
[0130]
另外，例如，可以在步骤103中确定用户1通过按钮等是否输入了操作。换言之，可以确定用户1已经输入了用于开始第二模式的操作。这使得能够肯定地开始第二模式。如上所述，第二模式的开始条件包括关于由用户提供的操作输入的存在/不存在的条件。另外，第二模式的开始条件不受限制，而是可以适当地被设置。
[0131]
返回图6，在确定用户1没有注视同一方向100毫秒或100毫秒以上的情况下，即，在确定不满足第二模式的开始条件的情况下(步骤103中的否)，再次执行步骤101之后的处理。
[0132]
在确定用户1已经注视同一方向100毫秒或100毫秒以上的情况下，即，在确定满足第二模式的开始条件的情况下(步骤103中的是)，存储视线矢量51(步骤104)。另外，当视线矢量51被存储时，存储头部的参考旋转位置(步骤105)。接着，模式切换部24开启第二模式(步骤106)。
[0133]
当第二模式开启时，再次执行步骤101，并且检测视线矢量51和用户的头部的位置和姿态。另外，执行步骤102，并且确定第二模式是否开启。在第二模式开启的情况下(步骤102中的是)，模式切换部24执行确定第二模式的结束条件的处理。
[0134]
在图6所示的示例中，确定与步骤104中存储的视线矢量51相比视线矢量51是否改变了5度或5度以上(步骤107)。换言之，确定当前视线矢量51与用于开始第二模式的视线矢量51之间的角度是否为5度或5度以上。
[0135]
例如，在用户1已经将他/她的兴趣从用户1已经注视的项目43转向另一项目43的情况下，认为用户1将他/她的注视转向另一项目43。因此，在视线矢量51的变化量为一定角度(图6中的5度或5度以上)的情况下，执行结束第二模式的处理。
[0136]
在这种情况下，用户1的注视另一方向(项目)的动作用作由用户1提供的模式切换输入。另外，用于确定视线矢量51的变化量的角度用作第二模式的结束条件。如上所述，第二模式的结束条件包括视线矢量51的变化量的条件。注意，诸如角度等用于确定视线矢量51的变化量的结束条件不受限制。
[0137]
另外，例如，可以在步骤107中确定用户1的头部的旋转速度(例如角速度)。例如，在用户1的头部旋转速度超过一定速度的情况下，可以执行结束第二模式的处理。这使得能够在用户1对用户1已经注视的项目43a失去兴趣的情况下快速地取消第二模式。替选地，例如，可以在用户1剧烈地左右摇动他/她的头部2的情况下结束第二模式。在这种情况下，用户1的头部的旋转速度用作模式切换输入，并且用于确定旋转速度的角速度等用作第二模式的结束条件。如上所述，第二模式的结束条件包括关于用户1的头部2的旋转速度的条件。
[0138]
另外，例如，可以在步骤107中确定用户1的眼部的行为(眼部行为)。例如，在用户1
使他/她的眼睛闭合了一定时间段或更长时间段的情况下，或者在另一情况下，可以执行结束第二模式的处理。这使得能够容易地取消第二模式。在这种情况下，用户1的闭眼的行为用作模式切换输入，并且用于确定闭眼的行为的时间段用作第二模式的结束条件。如上所述，第二模式的结束条件包括关于用户1的眼部行为的条件。
[0139]
另外，例如，可以在步骤107中确定用户1通过按钮等是否输入了操作。换言之，可以确定用户1已经输入了用于结束第二模式的操作。这使得能够肯定地结束第二模式。如上所述，第二模式的结束条件包括关于由用户提供的操作输入的存在/不存在的条件。另外，第二模式的结束条件不受限制，而是可以适当地被设置。
[0140]
返回图6，在开始第二模式之后确定视线矢量51未改变5度或5度以上的情况下，即，在确定第二模式的结束条件不满足的情况下(步骤107中的否)，执行校正视线矢量51的处理(步骤108)。
[0141]
在图6所示的示例中，执行根据在步骤105中存储的参考旋转位置与当前旋转位置之间的差来偏转视线矢量51的处理作为校正视线矢量51的处理。换言之，根据开始第二模式之后获得的用户1的头部5的旋转角度来设置视线矢量51的旋转角度。
[0142]
另外，例如，校正视线矢量51的处理是校正当前视线矢量51的处理。换言之，在步骤108中，执行对在最近步骤101中检测到的视线矢量51进行校正的处理。在下文中，将描述校正视线矢量51的处理的细节。
[0143]
图8是示出要用于校正视线矢量51的头部2的旋转方向的示意图。图8示意性地示出了基于用户1面向前方方向的情况下、头部2在水平方向(左右方向)上的旋转方向55a和头部2在竖直方向(上下方向)上的旋转方向55b。根据本实施方式，关于要用于校正视线矢量51的头部2的旋转角度来设置最大调整范围。例如，将最大调整范围设置为相对于参考旋转位置的角度范围。根据本实施方式，最大调整范围对应于第二范围。
[0144]
通常，关于在人正在注视某个点时能够旋转头部2的范围，上下方向的旋转大于左右方向的旋转。例如，根据这样的特征来设置最大调整范围。例如，将在水平方向上的旋转方向55a的最大调整范围设置为相对于参考旋转位置正负7度的范围。另外，例如，将在竖直方向上的旋转方向55b的最大调整范围设置为相对于参考旋转位置正负3度的范围。
[0145]
图9是示出视线矢量51的最大旋转范围的示例的示意图。图9a是示出视线矢量51在水平方向上的最大旋转范围56a的示意图，并且图9b是示出视线矢量51在竖直方向上的最大旋转范围56b的示意图。另外，实线箭头指示当前视线矢量51。
[0146]
视线矢量51的最大旋转范围是要用于校正视线矢量51的最大旋转范围。在图9a和图9b所示的示例中，将水平方向上的最大旋转范围56a和竖直方向上的最大旋转范围56b两者都设置为正负2度的范围。
[0147]
显示控制部23(视线方向调整部25)根据头部2的旋转角度来将视线矢量51的旋转角度设置在最大旋转范围56内。如上所述，显示控制部23根据用户1的头部2的旋转角度来设置视线矢量51的旋转角度，使得视线矢量51的旋转角度落入最大旋转范围56内。根据本实施方式，最大旋转范围56对应于第一范围。
[0148]
例如，设置视线矢量51的旋转角度，使得视线矢量51的旋转角度与头部2的旋转角度成比例。例如，在图9a中，假设头部2在水平方向上的旋转的最大调整范围57a是正负7度的范围(参照图9a中的虚线)。在这种情况下，例如，当头部2的旋转角度从0度旋转至7度时，
视线矢量51的旋转角度(调整量)成比例地从0度变化至2度。
[0149]
另外，在图9b中，假设头部2在竖直方向上的旋转的最大调整范围57b是正负3度的范围(参照图9b中的虚线)。在这种情况下，例如，当头部2的旋转角度从0度旋转至3度时，视线矢量51的旋转角度(调整量)成比例地从0度变化至2度。如上所述，将视线矢量51的旋转角度与头部2的旋转角度之间的比例系数设置成使得系数根据旋转方向而变化。
[0150]
注意，可以关于最大调整范围57来设置死区。例如，在头部2的旋转角度足够小的情况下，执行防止视线矢量51的校正的处理或其他处理。例如，可以配置这样的设置。
[0151]
另外，假设用户1的头部2在水平方向上的旋转角度超过正负7度的范围。在这种情况下，视线矢量51的旋转角度被限制于相对于视线矢量51的最大旋转范围的最大值正负2度的范围。换言之，在水平方向上超过正负7度的范围的旋转角不反映在视线矢量51的校正中。以类似的方式，在竖直方向上旋转角度超过正负3度的范围的情况下，视线矢量51的旋转角度被限制于相对于最大旋转范围56b的最大值正负2度的范围。
[0152]
如上所述，在用户1的头部2的旋转角度超过最大调整范围57的情况下，显示控制部23将视线矢量51的旋转角度设置为最大旋转范围56中的最大角度。例如，这使得能够防止用户1以不舒服的姿态校正视线矢量51。
[0153]
设置用户1的头部2的最大调整范围57的方法不受限制。例如，可以根据内容的进展状态、用户1的姿态等动态地设置头部2的最大调整范围57。
[0154]
例如，可以基于当执行第二模式时用户1的头部2的姿态来设置头部2的最大调整范围57。例如，可以认为用户将他/她的头部2向左或向右旋转，并且从一定角度注视诸如图7所示的架子的内容图像。在这种情况下，头部2在水平方向上旋转。因此，与在与身体的前侧相反的方向上旋转头部2相比，更容易将头部2旋转至用户的身体的前侧。
[0155]
在第二模式中检测到头部2的这样的姿态(参考旋转位置)的情况下，可以执行将朝向前侧的旋转方向上的最大旋转范围56设置为宽范围并且将相反方向上的最大旋转范围56设置为小范围的处理。换言之，最大旋转范围56被设置成使得最大旋转范围56相对于参考旋转位置不对称。这使得能够在能够在容易地旋转头部2的方向上精细地调整视线矢量51。
[0156]
另外，例如，可以基于用作注视对象41的候选的候选对象42的密度来设置头部2的最大调整范围57。例如，在示出如图7所示的许多候选对象42(项目43)的画面的情况下，将最大调整范围57设置为宽范围，使得可以精细地调整视线矢量51。这使得能够容易地执行精细选择操作。
[0157]
另外，例如，可以基于视线矢量51的估计精度来设置头部2的最大调整范围57。例如，在估计精度低的情况下，将最大调整范围57设置为宽范围。在估计精度高的情况下，将最大调整范围设置为小范围。这使得能够根据估计精度以适当的灵敏度执行选择操作。例如，可以配置这样的设置。
[0158]
另外，例如，可以基于视线矢量51的校准数据来设置头部2的最大调整范围57。例如，视线矢量51的校准数据是在校准穿戴hmd 100的用户的视线矢量51时获得的数据。例如，校准数据包括在校准时获得的眼球等的姿态的记录。
[0159]
例如，有时关于在眼球的位置超过在校准数据上记录的眼球的姿态的范围的状态下估计的视线矢量51获得低精度。例如，在用户1正在注视某个点时旋转头部2的情况下，适
当地设置头部2的最大调整范围57，使得眼球的姿态不超过记录在校准数据上的眼球的姿态的范围。这使得能够在保持估计精度的同时调整视线矢量51。
[0160]
另外，设置视线矢量51的最大旋转范围56的方法不受限制。例如，以类似于头部2的最大调整范围57的方式，可以根据内容的进展的状态、用户1的姿态等动态地设置最大旋转范围56。
[0161]
例如，可以基于候选对象42的密度来设置视线矢量51的最大旋转范围56。例如，在候选对象42密集地聚集的情况下，将最大旋转范围56设置为小范围，使得能够精细地调整视线矢量51。另外，在存在稀疏候选对象42的情况下，将最大旋转范围56设置为宽范围。
[0162]
另外，例如，可以基于视线矢量51的估计精度来设置视线矢量51的最大旋转范围56。例如，在估计精度低的情况下，将最大调整范围57设置为宽范围。在估计精度高的情况下，将最大调整范围57设置为小范围。这使得能够根据估计精度以适当的灵敏度执行选择操作。例如，可以配置这样的设置。
[0163]
返回图6，当在步骤108中校正视线矢量51时，显示控制部23(图像处理部26)基于校经正的视线矢量51来校正注视位置p。接着，根据经校正的注视位置p生成指针图像31和突出显示图像32，并且将它们显示在显示器15上。如上所述，显示控制部23控制显示器15，使得在执行第二模式的情况下，显示器15显示包括根据用户1的头部2的旋转而校正的注视位置p的引导图像30。例如，当显示突出显示图像32时，用户1可以视觉地识别出选择了期望的项目43。
[0164]
注意，在开始第二模式之后确定视线矢量51变化了5度或5度以上的情况下，即，在确定满足第二模式的结束条件的情况下(步骤107中的是)，模式切换部24关闭第二模式并且开始第一模式。当关闭第二模式时，再次执行步骤101和后续步骤中的处理。
[0165]
图10是示出校正视线矢量51的处理的另一示例的示意图。在图10所示的示例中，对视线矢量51进行校正，使得视线矢量51在用户1的头部2的旋转方向上持续旋转。
[0166]
图10a和图10b示出了以5行
×
5列布置的25个虚拟对象40(立方体)。在虚拟对象40中，中心虚拟对象40d的紧邻左侧的虚拟对象40e用作用户1实际注视的虚拟对象40。换言之，指示用户1的实际视线方向的实际视线矢量50(图10a中的虚线箭头)指向虚拟对象40e。
[0167]
图10a示意性地示出了在第一模式中正在注视虚拟对象40e的用户1。注意，由hmd 100估计的视线矢量51(图10a中的实线箭头)指向中心虚拟对象40d。因此，注视位置p被检测为位于中心虚拟对象40d上的位置，并且虚拟对象40d被选择为注视对象41。
[0168]
如上所述，在相邻虚拟对象40排列的状态下，用户可以缩小用户1实际正在注视的虚拟对象40。换言之，通过校正视线矢量51，可以预先预测用于选择目标的候选。可以由用户1潜在地选择选择目标。在第一模式中，例如，图像处理部26计算候选区域(图10a中的圆圈)，该候选区域包括在预定角度范围内变化的当前视线矢量51。例如，根据视线矢量51的估计精度等适当地设置预定角度范围。
[0169]
如图10b所示，在执行第二模式时，缩小选择目标的候选。例如，显示控制部23(图像处理部26)将包括在如图10a所示计算出的候选区域中的虚拟对象40检测为用作选择目标的候选的对象组。在图10b所示的示例中，围绕中心虚拟对象40d的9个虚拟对象40用作选择目标的候选。
[0170]
另外，在执行第二模式的情况下，检测用户旋转他/她的头部2时的头部姿势的旋
转方向。接着，对视线矢量51进行校正，使得视线矢量51在头部2的旋转方向上持续旋转，即，使得视线矢量51惯性地移动。在图10b所示的示例中，例如，用户1的头部2在图10b中向左旋转。在这种情况下，显示控制部23持续地改变视线矢量51，使得视线矢量51向左移位。注意，在该处理中，不设置视线矢量51的旋转角度。
[0171]
另外，注视位置p也与视线矢量51的移动协同地持续向左移动。换言之，可以说用户1的头部姿势是指定注视位置p的移动方向的姿势。如上所述，无论用户1的头部2的旋转角度如何，显示控制部23通过在用户1的头部2的旋转方向上持续地旋转视线矢量51来持续地移动注视位置。
[0172]
连续移动的注视位置p朝向用作选择目标的对象组移动。例如，如图10c所示，注视位置p到达位于虚拟对象40d的紧邻左侧的虚拟对象40e。因此，用户1实际正在注视的虚拟对象40e被选择为注视对象41。换言之，在视线矢量51的角度已经变化之后，将所选择的对象切换为注视位置p已经第一次到达的虚拟对象40。
[0173]
注意，当切换所选择的对象时，停止视线矢量51的旋转(注视位置p的移动)。如上所述，参照图10，还可以说注视位置p在与头部2的旋转方向相同的方向上移动，并且引起吸附行为。吸附行为是将注视位置p附着至用于选择目标的候选的行为。
[0174]
例如，切换至注视对象41的虚拟对象40e被显示为突出显示图像32(引导图像30)。换言之，显示控制部23控制显示器15，使得显示器15显示引导图像30，在引导图像30中，注视对象41根据持续移动的注视位置p而被切换。
[0175]
如上所述，通过持续地移动注视位置p，可以在不指定注视位置p的移动量等的情况下校正注视位置p。因此，例如，在密集地显示虚拟对象40等的情况下，可以在不指定移动距离等的情况下容易地选择期望的虚拟对象40。替选地，即使在分别显示虚拟对象40等的情况下，也可以仅通过旋转头部2和指定注视位置p的运动方向来将注视位置p引导至期望位置。
[0176]
图11是示出视线矢量的校正处理的另一示例的示意图。在图11所示的示例中，关于正在移动的多个虚拟对象40来校正用户1的视线矢量51。
[0177]
图11a和图11b示意性地示出了在图11a和图11b中向右移动的三个虚拟对象40(飞机)。在虚拟对象40中，位于移动方向右侧的领头虚拟对象40f用作用户1实际正在注视的虚拟对象40。换言之，指示用户1的实际视线方向的实际视线矢量50(图11a和图11b中的虚线箭头)指向领头虚拟对象40f。
[0178]
图11a示意性地示出了在第一模式中正在注视虚拟对象40f的用户1。注意，由hmd 100估计的视线矢量51(图11a和图11b中的实线箭头)指向位于领头虚拟对象40f后面的虚拟对象40g。因此，注视位置p被检测为位于虚拟对象40g上的位置，并且虚拟对象40g被选择为注视对象41。
[0179]
例如，在图11a所示的状态下开始第二模式。注意，假设在执行第二模式的同时虚拟对象40正在移动。正在注视虚拟对象40f的用户1在向右方向上与虚拟对象40f的移动协同地旋转他/她的头部2。因此，实际视线矢量50和视线矢量51如图11b所示与虚拟对象40f的移动协同地旋转。
[0180]
显示控制部23(图像处理部26)计算与各个虚拟对象40的移动协同旋转的用户1的头部2的旋转速度。例如，计算连接用户1的视点位置o与注视对象41(虚拟对象40f)的位置
的矢量的旋转角速度ω1。注意，例如，可以将基于内容信息等计算出的矢量或视线矢量51用作连接视点位置o与注视对象41的矢量。
[0181]
另外，显示控制部23加载用户1的头部2的旋转角速度ω2。例如，假设用户1在注视虚拟对象40f的同时在校正注视位置p的方向(图11中的右方向)上旋转他/她的头部2。在这种情况下，认为头部2的旋转角速度ω2高于与虚拟对象40的运动协同移动的旋转角速度ω1。
[0182]
例如，通过基于ω1和ω2抵消与虚拟对象40的移动协同移动的头部2的运动来计算旋转角速度(经校正的角速度r)。例如，如果如图11b所示ω2>＝ω1，则通过使用下面列出的式子来计算经校正的角速度r。
[0183]
r＝ω1
‑
ω2
[0184]
另外，显示控制部23通过将经校正的角速度r乘以采样周期δt(秒)等来计算头部2的角位移量(r
·
δt)。通过使用上面列出的式子来计算经校正的角速度r。角位移量是通过抵消与虚拟对象40的移动协同移动的头部2的旋转而获得的位移的量。另外，可以说角位移量是用户的头部2相对于移动虚拟对象40的相对旋转角度。
[0185]
如上所述，显示控制部23基于与用作注视对象41的候选的虚拟对象40的移动协同地移动的用户1的头部的旋转速度，计算用户的头部相对于移动虚拟对象40的相对旋转角度。例如，通过使用这样的相对旋转角度(角位移量)，可以表示由用户1做出的用于校正注视位置p(视线矢量51)的头部姿势的旋转角度。
[0186]
如图11c所示，通过使用角位移量r
·
δt作为旋转角度来校正视线矢量51。例如，校正指向虚拟对象40g的视线矢量51，使得视线矢量51变成指向领头虚拟对象40f。因此，注视位置p移动至虚拟对象40f，并且虚拟对象40f被选择作为注视对象41。如上所述，即使在选择目标正在移动的情况下，也可以通过消除与选择目标的移动协同移动的用户1的头部2的旋转的影响来选择期望目标。
[0187]
图12至图14是各自示出了经受使用注视的选择操作的画面的示例的示意图。图12示意性地示出了在第一人称射击(fps)视频游戏中使用的内容图像27。在图12所示的示例中，使用参照图3b描述的范围图像33被用作表示注视位置p的引导图像30。
[0188]
图12所示的范围图像33示出了包括瞄准器34的枪型虚拟对象40。例如，以瞄准器34的中心位于画面(显示器15)的中心的方式显示范围图像33。另外，控制内容图像27的显示，使得画面的中心与注视位置p重叠。注意，内容图像27还示出了射击目标35。
[0189]
在图12所示的示例中，瞄准器34的中心不与射击目标35重叠。假设在上述状态下用户1在存在射击目标35的方向(图12中的左上方向)上旋转他/她的头部2。在这种情况下，对注视位置p进行校正，使得注视位置p朝向射击目标35移动。因此，对整个内容图像27进行校正，使得射击目标35移动至画面的中心(注视位置p)。如上所述，可以通过使用头部2的定向来精细地调整使瞄准器34瞄准射击目标35的瞄准行为。这使得能够充分地提高关于视频游戏内容的可操作性。
[0190]
图13示出了显示鸟瞰地图的地图内容的内容图像27。如图13所示，例如，地图内容包括指示许多地标36的虚拟对象40。例如，地标36由图标指示，每个图标表示用作诸如商场、餐馆、学校和停车场的地标36的位置/建筑物的特征。从上述地标36中选择用户1期望的地标36。
[0191]
例如，显示指示注视位置p的指针图像31。在指针图像31不与期望的地标36重叠的情况下，用户旋转他/她的头部2。这使得能够容易地校正注视位置p(指针图像31)。因此，即使在许多地标36密集地聚集的情况下，也可以容易地选择期望的地标36。
[0192]
另外，例如，即使在用户1意在选择道路上的点(例如十字路口)的情况下，有时也认为错误地选择了诸如相邻建筑物或地标36的另一对象。即使在这样的情况下，用户1也可以通过在注视地图内容的同时适当地旋转他/她的头部2来校正注视位置p(指针图像31)。另外，可以容易地选择期望的点。
[0193]
图14示出了表示3d模型的内容图像27。图14示意性地示出了包括多个原子37(虚拟对象40)的化学式的三维模型。例如，3d模型指示在深度方向上彼此重叠的虚拟对象40。例如，在用户1意在选择显示在后面的虚拟对象40(原子37)的情况下，存在注视位置p错误地选择在前面的另一虚拟对象40的可能性。
[0194]
在这样的情况下，例如，用户1可以以如下方式调整注视位置p(指针图像31)：通过在虚拟对象40显示在后面的方向上旋转他/她的头部2使注视位置p朝向显示在后面的虚拟对象40移动。如上所述，即使在三维地显示选择目标的情况下，也可以容易地选择期望的目标。
[0195]
图15是示出第二模式下的画面的显示示例的示意图。在图15的左侧示出的图像是在执行第一模式的情况下显示在显示器15上的画面的示例。该图像是在不校正注视位置p的模式下获得的显示示例。注意，图15的左侧示出的图像示出了在参照图12描述的视频游戏中使用的内容图像27的一部分。
[0196]
在图15的中央示出的图像是在执行第二模式的情况下显示在显示器15上的画面的示例。如中央图像所示，例如，在执行第二模式并且开始校正注视位置p的操作的情况下，整个画面被扩大(放大)。例如，如上所述，通过显示放大的视点，可以详细观察注视位置p与用户1实际注视的虚拟对象40(射击目标35)之间的位置关系。例如，这使得能够通过使用头部2的旋转来精确地执行对注视位置p的校正处理。
[0197]
图15的右侧所示的图像是在执行第二模式的情况下显示在显示器15上的画面的另一示例。在右边图像所示的示例中，在执行第二模式的情况下，将瞄准器34的内部颜色切换为与在第一模式中使用的颜色不同的颜色。这使得能够清楚地指示第二模式被开始。因此，例如，能够充分地防止在第二模式未被开始的状态下做出用于移动注视位置p的姿势。
[0198]
注意，本技术不限于图15所示的示例。还可以执行适当地切换指示执行第二模式的显示的处理或其他处理。例如，在开始第二模式的情况下，还可以改变指针图像31的颜色、尺寸、设计等。另外，例如，还可以执行改变突出显示图像32的颜色的处理、闪烁突出显示图像32的处理或者在开始第二模式的情况下的其他处理。
[0199]
头部姿势的示例已经在上面被描述为校正注视位置p(视线矢量51)的姿势。本技术不限于此。例如，还可以检测穿戴hmd 100的用户1可以做出的任何姿势，并且基于与该姿势有关的姿势信息来执行校正注视位置p的处理。
[0200]
图16是示出由用户1做出的身体姿势的示例的示意图。例如，作为姿势信息，可以使用与用户1倾斜他/她的上身4时的身体姿势有关的信息。图16示意性地示出了用户1倾斜他/她的上身4时的身体姿势。
[0201]
在图16的左侧示出的图像是用户1向左和向右倾斜他/她的上身4时的身体姿势的
示例。例如，当用户1将上身4向左倾斜时，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向左移动。另外，例如，当用户1将上身4向右倾斜时，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向右移动。在图16的右侧示出的图像是当用户1向前和向后倾斜他/她的上身4时的身体姿势的示例。例如，当用户1向后倾斜他/她的上身4时，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向上移动。另外，例如，当用户1向前倾斜他/她的上身4时，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向下移动。
[0202]
如上所述，根据上身4向左、向右、向后或向前倾斜，可以校正视线矢量51，使得视线矢量51向左、向右、向上或向下移动。注意，可以根据倾斜量等适当地设置视线矢量51的诸如旋转角度的调整量。
[0203]
例如，由安装在hmd 100中的行为传感器13检测这样的身体姿势。替选地，可以通过使用用于从外部捕获穿戴hmd 100的用户1的图像的摄像装置等来检测身体姿势。在这种情况下，安装在外部的摄像装置用作第二传感器。
[0204]
图17是示出由用户1做出的手部姿势的示例的示意图。例如，作为姿势信息，可以使用与用户1移动他/她的手部5时的手部姿势有关的信息。图17示意性地示出了当用户1将他/她的手5向左、向右、向上和向下挥动时的手部姿势。
[0205]
在图17的左侧示出的图像是当用户1将他/她的手部5向左和向右挥动时的手部姿势的示例。例如，在用户1将他/她的手掌保持在竖直方向的状态下，用户1做出向左和向右挥动他/她的肘、腕等的姿势。例如，在用户1将他/她的手部5向右挥动的情况下，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向右移动。在用户1将他/她的手部5向左挥动的情况下，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向左移动。
[0206]
在图17的右侧示出的图像是当用户1将他/她的手部5向上和向下挥动时的手部姿势的示例。例如，在用户1将他/她的手掌保持在水平方向的状态下，用户1做出向上和向下挥动他/她的肘、腕等的姿势。例如，在用户1将他/她的手部5向上挥动的情况下，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向上移动。在用户1将他/她的手部5向下挥动的情况下，调整视线矢量51(注视位置p)，使得视线矢量51(注视位置p)向下移动。
[0207]
如上所述，可以校正视线矢量51，使得：根据用户1的手部5向左、向右、向上或向下移动，视线矢量51向左、向右、向上或向下移动。注意，可以根据手部5的移动量等适当地设置视线矢量51的诸如旋转角的调整量。例如，通过使用用于从外部捕获穿戴hmd 100的用户1的图像的摄像装置等来检测这样的身体姿势。替选地，可以基于用户1在他/她的手部5中持有的游戏控制器等的移动来检测用户1移动他/她的手部5的手部姿势。
[0208]
如上所述，根据本实施方式的控制器20获取用户1的眼球的位置姿态信息，并且基于眼球的位置姿态信息来估计视线矢量51。显示器15显示用于表示基于视线矢量51的注视状态的引导图像30。另外，控制器20根据用于在与引导图像30有关的模式之间进行切换的模式切换输入而在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映在引导图像30中的模式，第二模式是基于与眼球的位置姿态信息不同的姿势信息校正注视状态的模式。这使得能够提高通过注视执行选择操作的可操作性。
[0209]
图18是用于描述根据比较示例的使用注视的选择操作的示意图。如图18的左侧所示，在用户1正在注视放置在后方的虚拟对象40的状态下，由系统检测到的注视点60可能错
误地选择放置在前方的虚拟对象40。在这种情况下，未选择放置在后方并且用户1意在选择的虚拟对象40。
[0210]
例如，考虑用户1在注视放置在后方的虚拟对象40的同时执行向左和向左右摇动他/她的头部的行为以移动注视点60。在这种情况下，即使当用户1向左和向右摇动他/她的头部时，用户1的原始注视点几乎不移动并且错误趋势几乎不改变。因此，即使当用户1执行向左和向右摇动他/她的头部的行为时，系统检测到的注视点60也几乎不移动，并且选择虚拟对象40的状态不改变。
[0211]
另外，例如，如图18的右侧所示，也可以考虑通过有意地移位用户1实际注视的注视点来在系统侧移动注视点60的方法。在这种情况下，需要在有意地注视远离用户1意在选择的虚拟对象40的位置的同时执行选择操作。另一方面，还需要检查用于调整注视点60的调整量。因此，存在变得难以自身执行选择操作的可能性。如上所述，有时变得难以在不校正视线方向、注视点等的情况下执行选择操作等。
[0212]
还可以考虑通过移动虚拟对象40本身而不是校正注视方向、注视点等来使用户更容易视觉地识别虚拟对象40的方法。在这种情况下，例如，虚拟对象40根据用户1的注视点移动。因此，容易执行选择操作。另一方面，如果内容等包括对象并且不适当地改变了对象的布置，则存在内容本身的质量可能由于移动虚拟对象40而劣化的可能性。
[0213]
在本实施方式中，基于估计的视线矢量51和注视对象41的注视状态等，生成用于表示注视位置p的引导图像30。另外，基于用户的姿势信息执行第二模式。第二模式是校正由引导图像30所指示的注视状态的模式。这允许用户1容易地调整注视位置p等，使得在执行选择操作的同时选择期望的目标。
[0214]
因此，例如，在选择了错误的虚拟对象40的情况下，可以通过在用户1最初意在选择的虚拟对象40所在的方向上执行旋转头部2的行为来容易地改变所选择的对象。另外，也可以通过姿势来调整注视位置p。因此，不需要以注视位置p移动的方式将视线方向移动至另一方向。另外，可以在不执行移动选择目标的处理的情况下容易地选择期望的目标。
[0215]
在本实施方式中，头部2的姿势用作使用注视的附加选择操作。这使得可以自然地执行将校正注视位置p作为选择操作的一部分的处理，并且可以显著提高使用注视的选择操作的可操作性。另外，在本实施方式中，能够通过注视快速移动注视位置p的选择操作与使用头部2的高分辨率选择操作兼容。
[0216]
如上所述，可以执行高分辨率选择操作。例如，这使得即使在对象聚集在狭窄空间中的状态下或者在对象放置得很远的状态下，也可以执行通过注视的选择操作。因此，可以扩大使用注视的选择操作的应用范围，并且还可以提供新颖的用户界面等。
[0217]
另外，即使在注视检测精度较低的情况下，也可以通过使用本技术来构建能够容易地选择期望对象的系统等。这使得能够降低注视检测摄像装置的成本，并且能够建立无需校准人人都能够容易地使用的系统等。
[0218]
<其他实施方式>
[0219]
本技术不限于上述实施方式。可以实现各种其他实施方式。
[0220]
图19是示出根据另一实施方式的注视位置p的校正处理的示例的示意图。在图19所示的示例中，校正注视位置p在深度方向(前后方向)上的位置。在图19中，其他虚拟对象40放置在半透明虚拟对象40h之后。另外，假设用户1意在选择放置在半透明虚拟对象40h后
面的虚拟对象40i。
[0221]
例如，可以通过检测左眼球和右眼球的视线矢量51的交点(会聚)来检测注视位置p在深度方向上的位置。注意，有时，左视线矢量和右视线矢量51随着注视目标的位置远离用户1而变得彼此更平行。这可能使估计各个视线矢量51的交点的精度下降。另外，当使用组合左右矢量51并且计算单个视线矢量51的方法时，有时难以确定选择放置在前方的虚拟对象40和放置在后方的虚拟对象40中的哪一个。
[0222]
例如，在图19中，选择位于前方的半透明虚拟对象40h。在这种情况下，根据用户1做出的预定姿势来执行校正注视位置p的处理(第二模式)。预定姿势的示例包括向前和向后移动上身的身体姿势(参照图16的右侧)。在这种情况下，例如，当用1向前倾斜他/她的上身时，校正注视位置p，使得注视位置p移动到后面。另外，当用户1向后倾斜他/她的上身时，校正注视位置p，使得注视位置p朝向前方移动。
[0223]
另外，可以根据用户1做出的手部姿势来调整注视位置p的深度方向。例如，根据用户1的向前移动他/她的手部5的行为，校正注视位置p，使得注视位置p移动到后面。另外，根据用户1的朝向前方移动他/她的手部5的行为，校正注视位置p，使得注视位置p朝向前方移动。替选地，在用户1使用游戏控制器等的情况下，可以根据游戏控制器的移动来检测用户1的手部5的行为。
[0224]
如上所述，可以通过根据用户1做出的手部姿势来校正注视位置p的深度方向以选择放置在虚拟对象40h后面的虚拟对象40i。例如，可以执行上述处理。
[0225]
如参照图6中的步骤108所述，针对每个循环处理计算用于校正视线矢量51的旋转角度(校正量)。例如，校正量可以用于计算第一模式中的视线矢量51等。
[0226]
例如，在第二模式中，显示控制部计算用于校正基于视线矢量51的注视位置p等的校正量。例如，用于校正视线矢量51的旋转角度对应于校正量。可以说，校正量指示由hmd 100估计的视线矢量51与用户1的实际视线方向之间的差异的量。校正量用作校准视线矢量51的数据。
[0227]
显示控制部23基于校正量计算第一模式中的视线矢量51。例如，根据校正量(旋转角度)适当地旋转在执行第一模式时估计的视线矢量51。这使得能够高精度地估计第一模式中的视线矢量51，并且能够显示用于表示高精度的注视位置p的引导图像30等。换言之，显示控制部23计算在第二模式中用于校正注视状态的校正量，并且基于该校正量执行第一模式下的引导图像30的显示。
[0228]
如上所述，通过使用在第二模式中计算的校正量，即，视线矢量51的调整量作为用于校准视线的数据，可以在使用装置的同时提高视线检测精度。这使得能够显著提高使用注视的选择操作的精度。
[0229]
图20和图21是示出注视目标的选择处理的示例的示意图。接下来，将描述从显示在显示器上的一个或更多个虚拟对象40中选择虚拟对象40(注视目标)的处理。虚拟对象40(注视目标)被估计为由用户1注视。注意，注视目标不一定是用户实际注视的对象。在下文中，被选择作为注视目标的虚拟对象40被称为选择对象45。
[0230]
在图20所示的选择处理中，通过操作视线矢量51使得视线矢量51与虚拟对象40重叠来选择注视目标。在这种情况下，用户1可以通过完成将用于表示视线矢量51的注视位置p的指针图像31与用户1正在注视的位置(注视目标)匹配的操作来选择注视目标。例如，选
择处理是基于在参照图4等描述的第二模式中视线矢量51的校正处理来执行的。
[0231]
参照图20的顶部，用户1的视线矢量51指向虚拟对象40j的附近。基于视线矢量51的注视位置p被显示为指针图像31。此处，假设用户1实际正在注视的对象是放置在注视位置p右侧的虚拟对象40k。在这种情况下，如图20的底部所示，用户1可以通过做出头部姿势来校正指针图像31(视线矢量51)。
[0232]
例如，当用户1将他/她的头部向右旋转时，指针图像31向右移动并且变得更靠近虚拟对象40k。接着，当指针图像31与虚拟对象40k重叠时，选择虚拟对象40k作为注视目标。此时，虚拟对象40k用作包括注视位置p的注视对象，并且用作选择为注视目标的选择对象45。
[0233]
如上所述，在图20所示的示例中，指针图像31所指示的位置与视线矢量51的注视位置p相同。因此，通过在注视指针图像31的同时适当地校正位置，用户1可以选择用户1实际正在注视的虚拟对象40作为注视目标。
[0234]
在图21所示的选择处理中，自动选择接近视线矢量51的虚拟对象40作为注视目标。这是通过使用视线矢量51执行用于从多个虚拟对象40中自动选择接近的虚拟对象40的对象捕捉的处理。具体地，显示控制部23从用作注视目标的一个或更多个虚拟对象40中选择与视线矢量51的分离度最小的虚拟对象40作为用户1的注视目标。
[0235]
与视线矢量51的分离度是能够表示虚拟对象40与视线矢量51之间的分离度的参数。例如，可以说，视线矢量51与能够落入用户1的中心视场内的虚拟对象40之间的分离度小于视线矢量51与能够落入用户1的外围视场内的虚拟对象40之间的分离度。
[0236]
典型地，视线矢量51与虚拟对象40的位置矢量52之间的角度间隔θ用作与视线矢量51的分离度。此处，例如，虚拟对象40的位置矢量52是连接视线矢量51的原点o与虚拟对象40的中心的矢量。换言之，可以说，视线矢量51和位置矢量52是共享同一原点o的三维矢量。例如，角度间隔θ是在包括视线矢量51和位置矢量52的平面上的各个矢量之间的角度。通过使用角度间隔θ，可以适当地表示偏离视线矢量51的程度。
[0237]
注意，除了角度间隔之外的参数可以用作分离度。例如，视线矢量51与虚拟对象40的中心之间的距离可以用作分离度。替选地，例如，在平面上显示各个虚拟对象40的情况下，平面上的各个虚拟对象40与注视位置p之间的距离可以用作分离度。
[0238]
在图21所示的选择处理中，显示控制部23选择具有最小角度间隔θ的虚拟对象40作为注视目标。换言之，执行对象捕捉以自动选择最接近视线矢量51的虚拟对象40(具有最小角度间隔θ的虚拟对象40)。
[0239]
例如，确定是否存在其与视线矢量51的角度间隔θ为预定阈值或预定阈值以下的虚拟对象40。在存在这样的虚拟对象40的情况下，选择具有最小角度间隔θ的虚拟对象40作为注视目标(选择对象45)。此时，显示指针图像1等，使得指示视线矢量51的注视位置p的指针图像31与选择对象45重叠。另外，在不存在其角度间隔θ为预定阈值或预定阈值以下的虚拟对象40的情况下，不执行选择注视目标的处理，并且在注视位置p处显示指针图像31。例如，根据视线矢量51的检测精度、虚拟对象40的密度等适当地设置用于确定角度间隔θ的阈值。
[0240]
参照图21的顶部，与其他虚拟对象40相比，假设虚拟对象40j的位置矢量52与视线矢量51之间的角度间隔θj最小。注意，假设视线矢量51不与虚拟对象40j相交。例如，当角度
间隔θj变为预定阈值或以下时，选择虚拟对象40j作为选择对象45，并且显示指针图像31使得指针图像31在注视位置p与虚拟对象40j重叠。这使得能够向用户1通知选择了虚拟对象40j。注意，即使选择了虚拟对象40j，也不一定校正视线矢量51。
[0241]
此处，假设用户1实际注视的对象是放置在注视位置p右侧的虚拟对象40k。在这种情况下，如图21的底部所示，用户1可以通过做出头部姿势来校正视线矢量51并且选择虚拟对象40k。例如，选择处理是基于在参照图4等描述的第二模式中视线矢量51的校正处理来执行的。
[0242]
例如，当用户1将他/她的头部向右旋转时，视线矢量51(注视位置p)向右移动并且更靠近虚拟对象40k。在上述处理期间，当视线矢量51与虚拟对象40j之间的角度间隔θj变得大于阈值时，在注视位置p处显示指针图像31。另外，当注视位置p更靠近虚拟对象40k并且与虚拟对象40k的角度间隔θk变得小于阈值时，选择虚拟对象40k作为选择对象45。此时，显示指针图像31，使得指针图像31从注视位置p移动并且指针图像31与虚拟对象40k重叠。注意，在虚拟对象40j与40k之间的间隔较窄的情况下，或者在其他情况下，有时可以将选择对象45从虚拟对象40j直接切换到虚拟对象40k。这允许用户1选择用户1实际注视的虚拟对象40k作为注视目标。
[0243]
如上所述，在图21中，关于多个虚拟对象40(对象组)执行将最接近视线矢量51的对象置于选定状态的处理。这使得能够在短时间段内容易地选择目标。另外，确定用户1的注视状态，并且在视线矢量的调整中反映头部的旋转量。因此，可以通过使用头部姿势来改变选择对象45。这使得能够通过使用对视线矢量51的校正来执行适当的选择操作，并且快速地选择期望的对象。另外，如后面所述，可以使用通过自动选择虚拟对象40计算的校正量(例如角度间隔)作为校准数据。
[0244]
注意，如参照图21所描述的，自动选择虚拟对象40的处理可以应用于没有执行视线矢量51的校正处理(第二模式)的情况。换言之，上述对象捕捉功能可以在不校正视线矢量51的hmd等上实现。
[0245]
在以上描述中，通过使用诸如指针图像31的引导图像30，清楚地显示由装置估计的视线矢量51的注视位置p。例如，在没有示出指针图像31的情况下或者在注视位置p与由指针图像31指示的位置不一致的情况下(例如自动选择虚拟对象40的情况)，视线矢量51和注视位置p的取向变得未知。在这种情况下，失去了做出头部姿势等的线索，并且可能变得难以调整视线矢量51。
[0246]
如上所述，例如，即使在未清楚地显示注视位置p的情况下，也可以通过使用虚拟对象40来显示辅助以调整视线矢量51。接下来，将描述显示虚拟对象40的方法的细节。
[0247]
图22是示出用作注视目标的虚拟对象40的显示示例的示意图。图22a至图22c示意性地示出了通过使用不同的显示处理而显示的虚拟对象40。包括用作注视目标的一个或更多个虚拟对象40的这些图像用作用于显示基于视线矢量51的注视状态的引导图像30。注意，例如，图22所示的显示处理中的每一个在校正视线矢量51的第二模式(注视状态)下执行，并且在第二模式关闭时结束。
[0248]
在图22中，显示控制部23控制显示器15，使得显示器15显示引导图像30，包括一个或更多个对象的显示，所述一个或更多个对象根据一个或更多个虚拟对象40与视线矢量51之间的分离度而改变。换言之，生成包括虚拟对象40的图像(引导图像30)并且将其显示在
显示器15上。虚拟对象40具有根据分离度而变化的显示参数等。此处，将角度间隔θ用作与视线矢量51的分离度。已经参照图21对角度间隔θ进行了说明。注意，可以执行使用除了角度间隔θ之外的分离度的处理。
[0249]
如上所述，通过使用与视线矢量51的分离度(例如，角度间隔θ)作为指示符，可以根据用户1的注视的改变而改变各个虚拟对象40的显示。这使得即使在没有清楚地显示视线矢量51和注视位置p的情况下，也可以向用户1通知指示视线矢量51的取向或注视位置p的位置的信息。
[0250]
在图22a所示的显示处理中，根据角度间隔θ设置虚拟对象40的各种颜色。例如，以浅色显示远离视线矢量51并且具有大角度间隔θ的虚拟对象40，并且以深色显示靠近视线矢量51并且具有小角度间隔θ的虚拟对象40。因此，在这种情况下，各个虚拟对象的阴影根据视线矢量51的变化而变化。可以说，随着对象更接近视线矢量51，对象被更突出显示。
[0251]
在图22a中，基于视线矢量51对包括在预定角度范围70中的虚拟对象40执行处理。典型地，通过使用视线矢量51为中心轴，将角度范围70设置为圆锥范围。例如，圆锥角范围70是通过绕视线矢量51旋转直线而获得的范围。直线穿过视线矢量51的原点o，并且以一定角度φ与视线矢量51相交。图22a示意性地示出了通过使用以视线矢量51的注视位置p为中心的圆形范围的角度范围70。
[0252]
注意，在图22a所示的示例中，被选择作为注视目标的虚拟对象40j在被虚线包围的同时被显示，使得虚拟对象40变得可识别。此时，不显示用于示出视线矢量51和注视位置p的图像。例如，在用户1做出头部姿势以选择除虚拟对象40j之外的对象的情况下，可以将角度范围70内的各个虚拟对象40的阴影的变化称为线索。
[0253]
图23是用于描述根据角度间隔θ的显示处理的示意图。图23示出了包括在图22a中的角度范围70中的虚拟对象40j、40k和401，以及视线矢量51与各个虚拟对象40之间的角度间隔θj、θk和θl。接下来，将描述改变虚拟对象40j、40k和401的显示的处理。
[0254]
首先，计算连接视线矢量51的原点o与用作处理目标的虚拟对象40j、40k和40l的各个矢量(位置矢量52)。接着，计算视线矢量51与位置矢量52之间的角的角度间隔(θj、θk和θl)。可以通过与角度间隔成比例地改变各个对象的显示来强调对象。
[0255]
例如，假设通过使用8位色阶的rgb来指定各个虚拟对象40的颜色。此时，虚拟对象40的颜色如下设置：
[0256]
rgb＝(255，xg，255)
[0257]
其中，xg表示指示绿色(g)的色阶值的参数。在这种情况下，红色(r)和蓝色(b)被设置为固定值(255)，并且仅绿色(g)是变量。
[0258]
变量xg如下设置：
[0259]
xg＝θ
·
c
[0260]
其中，将上述角度间隔θj、θk和θl中的任一个替换为θ，并且c表示变化的斜率。
[0261]
例如，根据虚拟对象40的密度等适当地设置变化的斜率c。另外，调整xg，使得当xg达到色阶的最大值(255)时发生箝位。
[0262]
在使用这样方法的情况下，虚拟对象40的颜色随着视线矢量51与虚拟对象40之间的角度变小而变为更暗的品红色。虚拟对象40的颜色随着虚拟对象40远离视线矢量51而变得更白。注意，图23示意性地示出了通过使用灰阶阴影的品红色的阴影。例如，虚拟对象40j
具有最小角度间隔θj，并且最接近视线矢量51。因此，虚拟对象40j为暗品红色。另一方面，虚拟对象401具有最大角度间隔θ1，并且距视线矢量51最远。因此，虚拟对象401为暗白色。
[0263]
如上所述，例如，当与距视线矢量51的距离(角度间隔θ)成比例地改变靠近视线矢量51的对象的外观时，可以关于指示用于校正视线矢量51的调整方向的信息向用户1给出反馈。因此，用户1可以参照外围视场中的各个对象的颜色等来决定头部移动方向等。
[0264]
代替虚拟对象40的颜色，也可以执行改变虚拟对象40的尺寸、形状、行为等的显示处理。例如，以如下方式执行该处理：随着角度间隔θ变小，虚拟对象40具有更大的尺寸或更复杂的形状。这使得能够强调虚拟对象40。另外，在虚拟对象40执行预定行为(例如旋转行为、振动行为或角色行为)的情况下，也可以随着角度间隔θ变小而增加行为的量。如上所述，可以执行根据角度间隔θ而改变一个或更多个虚拟对象40的尺寸、形状和行为中的至少一个的处理。另外，使虚拟对象40突出显示的方法等不受限制。
[0265]
在图22b所示的显示处理中，对一个或更多个视线对象40中的不包括在基于视线矢量51的预定角度范围70内的虚拟对象40执行模糊处理。可以说，显示处理是清楚地显示靠近视线矢量51的对象、模糊远离视线矢量51的对象、并且显示模糊的对象的处理。
[0266]
例如，包括在角度范围70中的虚拟对象40j、40k和40l按原样显示。另一方面，例如，对不包括在角度范围70中的其他虚拟对象40执行使用模糊过滤器等的模糊处理。注意，在图22b所示的示例中，显示指针图像31，使得指针图像31与被选择作为注视目标的虚拟对象40j重叠，并且可以识别注视目标。例如，当用户1移动他/她的注视时，角度范围70也移动，并且模糊处理的范围也改变。角度范围70的移动是校正视线矢量51的线索。
[0267]
例如，在如图22a所示独立地改变各个虚拟对象40的显示但是靠近视线矢量51的对象的数目少的情况下，有时各个虚拟对象40的这样的显示不作为线索。另一方面，可以通过使不包括在角度范围70中的虚拟对象40的显示模糊来容易地识别视线矢量51的取向等。注意，代替模糊处理，还可以执行隐藏不包括在角度范围70中的虚拟对象40的隐藏处理。在这种情况下，仅显示包括在角度范围70中的虚拟对象40。这使得能够支持视线矢量51的调整。
[0268]
在图22c所示的显示处理中，组合图22a和图22b所示的显示处理的处理。换言之，通过使用根据角度间隔θ的颜色和尺寸来显示包括在角度范围70中的虚拟对象40，并且对不包括在角度范围70内的虚拟对象40执行模糊处理等。这使得能够容易地设置头部移动方向等以校正视线矢量51。
[0269]
注意，如参照图22和图23所描述的，显示虚拟对象40的处理可以应用于不执行视线矢量51的校正处理(第二模式)的情况。换言之，不校正视线矢量51的hmd等可以根据与视线矢量51的分离度执行显示虚拟对象40的处理等。
[0270]
图24是示出根据另一实施方式的hmd的功能配置示例的框图。通过将校准处理部28添加至参照图2描述的hmd 100的控制器20(控制部)来获得hmd 200。另外，操作部29经由通信部16连接至hmd 200。在下文中，将省略关于类似于hmd 100的结构元件的描述。
[0271]
校准处理部28执行校准由视线检测部21估计的视线矢量51的校准处理。另外，校准处理部28生成用于校准的数据(在下文中，称为校准数据)。如下所述，hmd 200在内容被处理的同时生成校准数据。通过使用校准数据执行校准处理，并且依次校准视线矢量51。因此，hmd 20(校准处理部28)可以执行运行校准，运行校准是在执行内容的同时执行校准的
处理。
[0272]
校准处理是将装置检测到的视线方向(视线矢量51)与实际视线方向(实际视线矢量50)进行匹配的校准处理。通常，在执行通过注视的输入操作的装置的情况下，当装置的使用开始时，显示用于执行校准的专用ui画面。随后，执行校准。在这种情况下，例如，当注视显示在ui画面上的多个点时检测各个视线方向。接着，计算检测到的视线方向上各个点的校正角度。
[0273]
校正角度是装置检测到的视线方向与在注视每个点时应当被检测的视线方向(例如，理想视线方向)的角度之间的差。例如，将所检测的视线方向与理想视线方向匹配所需的旋转的量用作校正角度。典型地，将校正角度表示为指示三维空间中的旋转的四元数。替选地，还可以通过使用绕三维空间中的正交轴的旋转量(滚转、俯仰和偏航)来表示校正角。
[0274]
与在注视每个点时检测到的视线方向(视线矢量51)和视线方向的校正角度相关联地记录校准数据。在校准视线方向时参考这样的数据。例如，在校准当前视线方向的情况下，从校准数据中选择与接近当前视线方向的方向相关联的一个或更多个校正角度。基于与当前视线方向的接近度，通过选择的校正角度的加权平均值来计算当前视线方向的校正角度。如上所述，可以通过使用通过加权平均值计算的校正角来校准当前视线方向。
[0275]
hmd 200的校准处理部28还在内容的执行期间生成校准数据。因此，例如，用于校准视线矢量51的数据点的数目增加，并且可以显著提高校准视线矢量51的精度。注意，校准视线矢量51的方法不受限制，并且可以使用其他方法。
[0276]
操作部29是接收用户1输入的各种操作的控制器。例如，操作部29接收在内容被执行时用户输入的决定操作、选择操作等。例如，包括按钮、开关等的有线或无线遥控器用作操作部29。另外，诸如鼠标或键盘的装置可以用作操作部29。
[0277]
图25是示出根据其他实施方式的hmd 200的基本行为示例的流程图。图25所示的处理是hmd 200与内容的处理并行重复执行的处理。接下来，将描述由hmd 200执行的对视线矢量的校正处理和对校准数据的生成处理。
[0278]
首先，视线检测部21检测视线矢量51，并且头部位置姿态检测部22检测用户的头部的位置和姿态(旋转位置)(步骤201)。接下来，确定视线矢量51的速度是否为预定阈值或预定阈值以下(步骤202)。例如，计算视线矢量51的旋转速度，并且然后做出关于旋转速度的阈值的确定。例如，这使得能够将关于用户1的注视的静止状态(注视缓慢移动或注视几乎不移动的状态)与动态(注视快速移动的状态)进行区分。例如，可以根据人的特征、内容的类型等适当地设置与视线矢量51的速度有关的阈值。
[0279]
在确定视线矢量51的速度为阈值或阈值以下的情况下(步骤203中的是)，确定第二模式是否开启(步骤203)。在第二模式被关闭的情况下，即，在第一模式开启的情况下(步骤203中的否)，确定定时器测量的时间是否超过预定时间段(步骤204)。定时器测量用户1的注视处于静止状态的时间段。具体地，在关闭第二模式之后(稍后要描述的步骤209)，测量注视处于静止状态的时间段。例如，可以根据人的特征、内容的类型等适当地设置与定时器有关的阈值(预定时间段)。
[0280]
在定时器所测量的时间超过预定时间段的情况下(步骤204中的是)，存储头部的参考旋转位置(步骤205)。此时，还存储在步骤201中计算的最新视线矢量51。当存储了参考旋转位置和视线矢量时，开启第二模式(步骤206)。如上所述，当用户1的注视处于静止状态
的时间段超过阈值时，hmd 200开始第二模式。
[0281]
如上所述，可以在第二模式中通过头部姿势来校正视线矢量51。另外，当开启第二模式时，hmd 200将虚拟对象40的显示方法切换为参照图22a至图22c描述的显示方法。当开始第二模式时，执行步骤210以及后续的步骤中的处理。注意，在定时器所测量的时间未超过预定时间段的情况下(步骤204中的否)，在不切换到第二模式的情况下以第一模式执行步骤210和后续步骤中的处理。
[0282]
返回至步骤203，在开启第二模式的情况下(步骤203中的是)，执行校正视线矢量51的处理(步骤207)。此处，执行根据在步骤205中存储的参考旋转位置与当前旋转位置之间的差来偏转(旋转)视线矢量51的处理作为校正视线矢量51的处理。例如，步骤207中的处理是与参照图6中的步骤108描述的处理相似的处理。这使得能够通过使用用户1的头部姿势来校正视线矢量51。当校正视线矢量51时，执行步骤210以及后续步骤中的处理。
[0283]
返回至步骤202，在确定视线矢量51的速度为阈值或阈值以上的情况下(步骤202中的否)，确定用户1的注视处于动态，关闭第二模式(步骤208)并且开启第一模式。注意，在执行步骤202时已经关闭第二模式的情况下(或者在已经开启第一模式的情况下)，保持该状态。另外，当执行步骤208时，重置定时器(步骤209)。
[0284]
如上所述，在用户1的注视处于动态的情况下，结束第二模式并且重置已经测量到静态的时间段的定时器。注意，在重置之后，定时器再次开始测量。因此，在视线矢量51的速度比阈值快的情况下，在每次执行循环处理时重置定时器。在重置计时器之后，执行步骤210以及后续步骤中的处理。
[0285]
在步骤210中，选择最接近视线矢量51的虚拟对象40。此处，如参照图21所描述的那样执行自动选择虚拟对象40的处理(对象捕捉)。例如，当执行步骤210时记录视线矢量51。检测与视线矢量51的角度间隔θ为预定阈值或预定阈值以下的虚拟对象40，并且从虚拟对象40中选择角度间隔θ最小的虚拟对象40作为注视目标(选择对象45)。注意，显示选择对象45，使得指针图像31等与选择对象45重叠，以向用户1通知选择对象45被选择。
[0286]
当选择对象45被选择时，校准处理部28开始用于生成校准数据的处理(步骤211至步骤210)。首先，确定是否检测到关于选择对象45的决定操作(步骤211)。此处，例如，决定操作是用户1通过操作部29输入的操作，并且当用户1确定选择时执行决定操作。接下来，将参照图21描述决定操作的细节。
[0287]
例如，如图21的顶部的图像所示，假设自动选择接近视线矢量51的虚拟对象40j。此时，如果虚拟对象40j不是用户1实际期望的对象，则可以认为用户1不执行通过操作部29的决定操作。在这种情况下，自动选择虚拟对象40j作为选择对象45，但是不执行确定该选择的决定操作。
[0288]
另外，例如，如图21的底部的图像所示，假设用户1校正视线矢量51以选择用户1实际期望(用户1实际注视)的虚拟对象40k。此时，认为用户1因为选择了期望的对象而执行决定操作。在这种情况下，自动选择虚拟对象40k作为选择对象45，并且用户1执行确定该选择的决定操作。
[0289]
如上所述，可以说，决定操作是在用户1实际注视的虚拟对象40与通过选择处理选择的选择对象45相同的情况下确定选择的操作。例如，通过参考决定操作的存在/不存在，可以确定用户1实际注视的虚拟对象40，并且适当地检测用户1的实际注视位置。
[0290]
在没有检测到关于选择对象45的决定操作的情况下(步骤211中的否)，再次执行步骤201和后续步骤中的处理。注意，处理返回至步骤201，并且即使在步骤210中没有选择对象的情况下，也开始下一个循环处理。另一方面，在检测到关于选择对象45的决定操作的情况下(在步骤211中的否)，计算选择对象45的位置矢量52(步骤212)。例如，将连接矢量51的原点o和选择对象45的中心的矢量计算为选择对象45的位置矢量52。
[0291]
在计算位置矢量52时，计算原始视线矢量51的角度与位置矢量52的角度之间的差，并且将该差登记在校正数据上(步骤213)。此处，原始视线矢量51是不通过使用头部姿势校正的视线矢量51。例如，计算原始视线矢量51与位置矢量52之间的旋转量(例如，四元数)作为角度之间的差。接下来，将原始视线矢量51和角度之间的差彼此关联地记录在校准数据上。这使得能够接连地添加校准数据的数据点。
[0292]
例如，在执行步骤207并且校正视线矢量51的情况下，将未校正的视线矢量51(在步骤205中存储的视线矢量51)用作原始视线矢量51。在这种情况下，代替由于校正而偏离的视线矢量51，计算在开始校正时的视线矢量51的角度与选择对象45的位置矢量52的角度之间的差。这使得能够校正由装置实际检测的视线矢量51。
[0293]
另外，在不执行步骤207并且不校正视线矢量51的情况下，执行步骤s210时获得的视线矢量51用作原始视线矢量51。换言之，在基于头部姿势等未校正视线矢量51的情况下，计算用于自动选择的视线矢量51的角度与选择对象45的位置矢量52的角度之间的差。在如上所述自动选择选择对象45的情况下，可以添加新的校准数据，并且由用户1执行的决定操作触发该添加。
[0294]
另外，还可以将在步骤207中用于视线矢量51的校正处理的校正量(例如，诸如根据头部旋转调整的角度)添加到校准数据中。这使得能够使用由用户1实际校正的角度作为校准数据，并且能够提高校准精度。注意，即使在没有自动选择虚拟对象40的情况下，或者在其他情况下，也可以使用视线矢量51的校正量作为校准数据。
[0295]
在登记校准数据时，处理返回至步骤201，并且执行下一个循环处理。另外，在步骤201中，可以使用新添加的校准数据以检测视线矢量51。如上所述，即使在执行内容时，hmd 200也接连累积校准数据。这使得能够充分地提高估计视线矢量51的精度。
[0296]
通常，有时需要关于基于视线的内容来校正检测到视线的结果与用户实际注视的方向之间的差。在这种情况下，在内容被操作的同时执行校准是理想的。然而，与专用于校准的ui画面不同，在执行内容的同时显示的画面包括用作注视目标的多个对象。因此，在许多情况下，难以检测用户实际注视的位置。因此，例如，在需要执行校准的情况下，可以考虑将画面临时切换到专用于校准的ui画面，并且再次执行校准。然而，该方法需要中断内容的操作，并且这可能妨碍便利性。
[0297]
另外，在存在用作注视目标的多个对象的情况下，对象必须被定位成彼此远离超过注视检测的变化范围，以检测用户实际注视哪个对象。然而，注视精度的变化范围因人而异，并且难以在有限的空间中在对象之间保持足够的距离。另外，为了加宽内容画面中对象之间的间隔，需要预先准备定制于校准等的布局，并且需要引入用于动态地将对象彼此分离的机制。这可能限制本技术的应用。
[0298]
hmd 200自动选择虚拟对象40。另外，用户1可以通过头部姿势等校正的视线矢量51来适当地改变通过自动选择获得的选择结果(参见图21)。因此，例如，即使在密集地聚集
虚拟对象40的情况下，用户1也可以容易地选择期望的虚拟对象40。
[0299]
另外，在校正视线矢量51时，根据与视线矢量51的分离度来显示虚拟对象40(参见图22)。这使得能够向用户1通知视线矢量51的校正方向，并且能够容易地执行改变自动选择的对象等的操作。
[0300]
另外，hmd 200检测由用户1执行的决定操作，并且确定虚拟对象40(选择对象45)的选择。这样的决定操作使得能够确定用户1实际注视虚拟对象40中的哪一个。这使得能够新生成可用作校准数据的数据(例如用户1的实际视线矢量50的角度与视线矢量51的角度之间的差)。
[0301]
如上所述，通过使用hmd 200，用户1可以在需要时校正视线矢量51，并且可以在无需有意地重新排列用作选择目标的对象组的情况下容易地选择期望的虚拟对象40。另外，即使在执行使用视线的内容时，也可以通过累积包括在选择虚拟对象40时的角度差等的校准数据来逐步提高检测视线矢量51的精度。
[0302]
在以上描述中，已经通过使用内向摄像装置检测了用户的眼球的位置姿态信息(眼球图像)。本技术不限于此。例如，可以基于眼球电位来检测用户的注视点p。通常，人眼球的角膜(瞳孔)侧带有正电荷，并且人眼球的与角膜(瞳孔)侧相反的视网膜侧带有负电荷。例如，当hmd设置有预定电势传感器(未示出)时，可以检测由眼球的移动引起的电势变化。可以基于与电势的变化有关的这样的信息(眼球的位置姿态信息)来检测视线矢量51和用户的注视位置p。
[0303]
在上述实施方式中，已经描述了设置有显示装置的沉浸式hmd。然而，根据本技术的使用视线的选择操作不仅可应用于沉浸式hmd，而且可应用于任何显示装置。
[0304]
例如，可以使用光透射型hmd。根据本公开内容的光透射型hmd可以包括用于检测视线的内向摄像装置和用于测量真实世界中的三维空间的诸如外部摄像装置的传感器，并且可以通过使用关于真实对象的信息来适当地检测注视位置p等。光透射型hmd可以基于真实空间中的三维坐标(即，全局坐标系)将虚拟对象叠加在真实空间上，就好像虚拟对象在真实空间中一样。例如，通过使用光透射型hmd，用户1可以体验ar空间。有时，真实空间中的真实对象用作以下对象：该对象用作用户1的注视目标。即使在这种情况下，也可以通过适当地检测用户1的头部姿势、视线矢量51等来校正注视位置p等。
[0305]
替选地，例如，可以通过使用诸如个人计算机(pc)显示器或tv的显示装置、通过注视来执行选择操作。在这种情况下，例如，可以通过使用捕获用户1的面部(眼球)的图像的摄像装置来估计正在注视pc显示器等的用户1的视线矢量51。另外，例如，通过使用类似的摄像装置等来检测用户旋转他/她的头部等的头部姿势。这使得能够校正注视位置p等。
[0306]
在以上描述中，已经通过使用已经由用户1操作的诸如hmd 100的计算机来执行根据本技术的信息处理方法。然而，可以通过使用由用户1操作的计算机和能够经由网络等与由用户1操作的计算机通信的另一计算机来执行根据本技术的信息处理方法和程序。另外，可以在由用户1操作的计算机和其他计算机彼此协作工作时构建根据本技术的内容提供系统。
[0307]
也就是说，根据本技术的信息处理方法和程序不仅可以在由单个计算机配置的计算机系统中执行，而且可以在多个计算机协作工作的计算机系统中执行。应当注意，在本公开内容中，系统意指多个部件(装置、模块(部件等))的集合，并且所有部件是否容纳在同一
壳体中不重要。因此，容纳在分开的壳体中并且经由网络彼此连接的多个装置和具有容纳在单个壳体中的多个模块的单个装置两者都是该系统。
[0308]
例如，计算机系统执行根据本技术的信息处理方法和程序包括由单个计算机执行的以下情况：例如，获取用户的眼球的位置姿态信息，估计用户的视线矢量，控制显示用于表示基于视线矢量的注视状态的引导图像的显示装置，获取用户的姿势信息，在第一模式与第二模式之间进行切换等，以及由不同的计算机执行的这些处理的情况。此外，由预定计算机执行各个处理包括使其他计算机执行这些处理中的一些或全部并且获取其结果。
[0309]
也就是说，根据本技术的信息处理方法和程序还适用于由多个装置经由网络共享和协同处理一个功能的云计算配置。
[0310]
在上述根据本技术的特征部分中，可以组合至少两个特征部分。也就是说，在实施方式中描述的各种特征部分可以与实施方式无关地任意组合。此外，上述各种效果仅是示例而非限制，并且可以施加其他效果。
[0311]
在本公开内容中，术语“相同”、“相等”、“正交”、“垂直”等用作包括“基本上相同”、“基本上相等”、“基本上正交”、“基本上垂直”等含义的概念。例如，它们包括在预定范围内(例如在
±
10％的范围内)从诸如“完全相同”、“完全相等”、“完全正交”、“完全垂直”等标准状态变化的状态。
[0312]
注意，本技术也可以按如下配置。
[0313]
(1)一种信息处理装置，包括：
[0314]
眼球信息获取部，其从第一传感器获取用户的眼球的位置姿态信息；
[0315]
视线估计部，其基于眼球的位置姿态信息来估计用户的视线矢量；
[0316]
显示控制部，其控制显示装置以使得所述显示装置显示引导图像，所述引导图像表示基于所估计的视线矢量的注视状态；
[0317]
姿势信息获取部，其从第二传感器获取与眼球的位置姿态信息不同的用户的姿势信息；以及
[0318]
模式切换部，其根据用户进行的关于引导图像提供的模式切换输入，在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映在引导图像中的模式，第二模式是基于姿势信息来校正注视状态的模式。
[0319]
(2)根据(1)的信息处理装置，其中
[0320]
引导图像是表示基于视线矢量的注视位置以及包括注视位置的注视对象中的至少一者来作为注视状态的图像：并且
[0321]
在执行第二模式的情况下，显示控制部基于姿势信息来校正注视位置。
[0322]
(3)根据(2)的信息处理装置，其中
[0323]
显示控制部控制显示装置，以使得：在执行第二模式的情况下，显示装置显示包括经校正的注视位置的引导图像。
[0324]
(4)根据(2)或(3)的信息处理装置，其中
[0325]
显示控制部通过基于姿势信息校正视线矢量来校正注视位置。
[0326]
(5)根据(2)至(4)的信息处理装置，其中
[0327]
姿势信息包括与用户旋转头部的头部姿势有关的信息，并且
[0328]
显示控制部控制显示装置，以使得：在执行第二模式的情况下，显示装置显示包括
根据用户的头部的旋转而被校正的注视位置的引导图像。
[0329]
(6)根据(5)的信息处理装置，其中，
[0330]
显示控制部在用户的头部的旋转方向上旋转视线矢量。
[0331]
(7)根据(5)或(6)的信息处理装置，其中，
[0332]
显示控制部根据用户的头部的旋转角度来设置视线矢量的旋转角度，以使得视线矢量的旋转角度落入第一范围内。
[0333]
(8)根据(7)的信息处理装置，其中，
[0334]
在用户的头部的旋转角度超过第二范围的情况下，显示控制部将视线矢量的旋转角度设置为第一范围内的最大角度。
[0335]
(9)根据(8)的信息处理装置，其中
[0336]
第二范围是基于以下中的至少一者而设置的：视线矢量的估计精度、视线矢量的校准数据、用作注视对象的候选的候选对象的密度、以及执行第二模式时用户的头部的姿态。
[0337]
(10)根据(7)至(9)的信息处理装置，其中
[0338]
用户的头部的旋转角度是基于执行第二模式时用户的头部的旋转位置计算的。
[0339]
(11)根据(5)的信息处理装置，其中
[0340]
显示控制部通过与用户的头部的旋转角度无关地在用户的头部的旋转方向上持续地旋转视线矢量来持续地移动注视位置。
[0341]
(12)根据(11)的信息处理装置，其中
[0342]
显示控制部控制显示装置，以使得显示装置显示引导图像，在引导图像中，注视对象根据注视位置而被切换，注视位置持续地移动。
[0343]
(13)根据(5)至(12)的信息处理装置，其中
[0344]
显示控制部基于与用作注视对象的候选的候选对象的移动协同地移动的用户的头部的旋转速度，计算用户的头部相对于移动的候选对象的相对旋转角度。
[0345]
(14)根据(2)至(13)的信息处理装置，其中
[0346]
模式切换部基于第二模式的开始条件和结束条件来确定模式切换输入。
[0347]
(15)根据(14)的信息处理装置，其中
[0348]
开始条件包括以下中的至少一者：关于注视对象被注视的时间段的条件、关于由用户进行的操作输入的存在/不存在的条件、以及关于视线矢量的变化量的条件。
[0349]
(16)根据(14)或(15)的信息处理装置，其中
[0350]
结束条件包括以下中的至少一者：关于用户的眼睛的行为的条件、关于用户的头部的旋转速度的条件、关于由用户进行的操作输入的存在/不存在的条件、以及关于视线矢量的变化量的条件。
[0351]
(17)根据(1)至(16)的信息处理装置，其中
[0352]
姿势信息包括以下信息中的至少一者：与用户倾斜上半身的身体姿势有关的信息、以及与用户移动手的手部姿势有关的信息。
[0353]
(18)根据(1)至(17)的信息处理装置，其中
[0354]
显示控制部计算用于在第二模式下校正注视状态的校正量，并且基于校正量执行第一模式下的引导图像的显示。
[0355]
(19)根据(1)至(18)的信息处理装置，其中
[0356]
显示控制部从用作用户的注视目标的一个或更多个对象中选择与视线矢量的分离度最小的对象作为注视目标。
[0357]
(20)根据(19)的信息处理装置，其中
[0358]
与视线矢量的分离度是视线矢量与对象的位置矢量之间的角度间隔。
[0359]
(21)根据(1)至(20)的信息处理装置，其中
[0360]
引导图像包括用作用户的注视目标的一个或更多个对象，并且
[0361]
显示控制部控制显示装置，以使得显示装置显示引导图像，在引导图像中，各个对象的显示根据所述一个或更多个对象与视线矢量之间的分离度而变化。
[0362]
(22)根据(21)的信息处理装置，其中
[0363]
与视线矢量的分离度是视线矢量与对象的位置矢量之间的角度间隔，并且
[0364]
显示控制部根据角度间隔而改变所述一个或更多个对象的颜色、尺寸、形状及行为中的至少一者。
[0365]
(23)根据(21)或(22)的信息处理装置，其中
[0366]
显示控制部对所述一个或更多个对象中的不包括在基于视线矢量的预定角度范围内的对象执行模糊处理和隐藏处理之一。
[0367]
(24)一种信息处理方法，使计算机系统：
[0368]
从第一传感器获取用户的眼球的位置姿态信息；
[0369]
基于眼球的位置姿态信息来估计用户的视线矢量；
[0370]
控制显示装置以使得显示装置显示引导图像，引导图像表示基于所估计的视线矢量的注视状态；
[0371]
从第二传感器获取与眼球的位置姿态信息不同的用户的姿势信息；以及
[0372]
根据由用户进行的关于引导图像的模式切换输入，在第一模式与第二模式之间进行切换，第一模式是将眼球的位置姿态信息反映至引导图像的模式，第二模式是基于姿势信息来校正注视状态的模式。
[0373]
(25)一种计算机可读记录介质，其上存储有程序，程序执行：
[0374]
从第一传感器获取用户的眼球的位置姿态信息的步骤；
[0375]
基于眼球的位置姿态信息来估计用户的视线矢量的步骤；
[0376]
控制显示装置以使得显示装置显示引导图像的步骤，引导图像表示基于所估计的视线矢量的注视状态；
[0377]
从第二传感器获取与眼球的位置姿态信息不同的用户的姿势信息的步骤；以及
[0378]
根据由用户进行的关于引导图像的模式切换输入在第一模式与第二模式之间切换的步骤，第一模式是将眼球的位置姿态信息反映至引导图像的模式，第二模式是基于姿势信息来校正注视状态的模式。
[0379]
(26)一种信息处理装置，包括：
[0380]
眼球信息获取部，其从第一传感器获取用户的眼球的位置姿态信息；
[0381]
视线估计部，其基于眼球的位置姿态信息来估计用户的视线矢量；以及
[0382]
显示控制部，其控制显示装置以使得显示装置显示引导图像，引导图像表示基于所估计的视线矢量的注视状态；
[0383]
其中，引导图像包括用作用户的注视目标的一个或更多个对象，并且
[0384]
显示控制部控制显示装置，以使得显示装置显示引导图像，在引导图像中，各个对象的显示根据所述一个或更多个对象与视线矢量之间的分离度而变化。
[0385]
(27)一种信息处理装置，包括：
[0386]
眼球信息获取部，其从第一传感器获取用户的眼球的位置姿态信息；
[0387]
视线估计部，其基于眼球的位置姿态信息来估计用户的视线矢量；以及
[0388]
显示控制部，其控制显示装置以使得显示装置显示引导图像，引导图像表示基于所估计的视线矢量的注视状态；
[0389]
其中，显示控制部从用作注视目标的一个或更多个对象中选择与视线矢量的分离度最小的对象作为用户的注视目标。
[0390]
附图标记列表
[0391]
θ 角度间隔
[0392]
1 用户
[0393]
2 头部
[0394]
15 显示器
[0395]
17 存储部
[0396]
18 控制程序
[0397]
20 控制器
[0398]
21 视线检测部
[0399]
22 头部位置姿态检测部
[0400]
23 显示控制部
[0401]
24 模式切换部
[0402]
25 视线方向调整部
[0403]
26 图像处理部
[0404]
30 引导图像
[0405]
40、40a至40i 虚拟对象
[0406]
41 注视对象
[0407]
42 候选对象
[0408]
45 选择对象
[0409]
50 实际视线矢量
[0410]
51 视线矢量
[0411]
52 位置矢量
[0412]
70 角度范围
[0413]
100 hmd