信息处理装置、信息处理方法和程序与流程

1.本发明涉及信息处理装置、信息处理方法和程序。


背景技术：

2.近年来，被称为增强现实(ar)和混合现实(mr)的技术作为附加于真实世界的信息而引起注意，在ar中，虚拟对象被叠加并显示在真实空间上并且呈现给用户，在mr中，真实空间的信息被反映在虚拟空间中。从这样的背景，也对假设使用ar技术和mr技术的用户接口进行了各种研究。例如，下面的专利文献1公开了将用户持有的移动终端的显示单元的显示内容作为虚拟对象显示在由用户佩戴的头戴式显示器(hmd)上显示的虚拟空间上的技术。于是，根据上面的技术，用户可以在视觉识别虚拟对象的同时通过对移动终端执行触摸操作来将移动终端用作控制器。
3.引文列表
4.专利文献
5.专利文献1：jp 2018-036974a


技术实现要素：

6.技术问题
7.随着ar技术和mr技术的进一步使用，如专利文献1中那样，假设由用户同时使用多个显示设备。然而，在现有技术中，在使用同时显示相同虚拟对象的多个显示设备时，没有充分考虑用户体验的改善和可操作性的改善。
8.因此，本公开内容提出了能够进一步改善在使用同时显示相同虚拟对象的多个显示设备时的用户体验和可操作性的信息处理装置、信息处理方法和程序。
9.问题的解决方案
10.根据本公开内容，提供了一种信息处理装置。该信息处理装置包括控制部，该控制部被配置成动态地改变与虚拟对象的显示有关的每个参数，该参数根据表达图像的方法来控制虚拟对象在每个显示设备上的显示，该方法被分配至显示与相同虚拟对象有关的图像的多个显示设备中的每一个以用于显示图像。
11.此外，根据本公开内容，提供了一种信息处理方法。该信息处理方法包括由信息处理装置动态地改变与虚拟对象的显示有关的每个参数，该参数根据表达图像的方法来控制虚拟对象在每个显示设备上的显示，该方法被分配至显示与相同虚拟对象有关的图像的多个显示设备中的每一个以用于显示图像。
12.此外，根据本公开内容，提供了一种程序。该程序使得计算机用作控制部，该控制部动态地改变与虚拟对象的显示有关的每个参数，该参数根据表达图像的方法来控制虚拟对象在每个显示设备上的显示，该方法被分配至显示与相同虚拟对象有关的图像的多个显示设备中的每一个以用于显示图像。
附图说明
13.图1是用于描述本公开内容的概要的说明图。
14.图2是示出根据本公开内容的第一实施方式的信息处理系统10的配置的示例的框图。
15.图3是示出根据实施方式的信息处理方法的示例的流程图。
16.图4是用于描述根据实施方式的显示的示例的说明图(其1)。
17.图5是用于描述根据实施方式的显示的示例的说明图(其2)。
18.图6是用于描述根据实施方式的显示的示例的说明图(其3)。
19.图7是用于描述根据实施方式的显示控制的示例的说明图。
20.图8是用于描述本公开内容的第二实施方式的概要的说明图。
21.图9是示出根据实施方式的信息处理方法的示例的流程图。
22.图10是用于描述根据实施方式的显示控制的示例的说明图。
23.图11是用于描述根据实施方式的显示的示例的说明图。
24.图12是用于描述本公开内容的第三实施方式的概要的说明图。
25.图13是用于描述根据实施方式的信息处理方法的示例的流程图(其1)。
26.图14是用于描述根据实施方式的信息处理方法的示例的流程图(其2)。
27.图15是用于描述根据实施方式的指定选择设备的方法的示例的说明图。
28.图16是用于描述本公开内容的第三实施方式的修改示例的概要的说明图。
29.图17是示出实现控制单元500的功能的计算机1000的示例的硬件配置图。
具体实施方式
30.在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的部件由相同的附图标记表示，并且省略冗余的描述。
31.另外，在本说明书和附图中，可以通过在相同的附图标记后面附加不同的字母来区分具有基本相同或类似的功能配置的多个部件。然而，在不需要特别区分具有基本相同或类似的功能配置的多个部件中的每一个的情况下，仅附加相同的附图标记。
32.注意，在下面的描述中，虚拟对象意指可以被用户感知为存在于真实空间中的真实对象的虚拟对象。具体地，虚拟对象可以是例如要显示或投影的游戏的角色、项等的动画、作为用户接口的图标、文本(按钮等)等。
33.此外，在下面的描述中，ar显示将虚拟对象显示为叠加在由用户视觉识别的真实空间上，以扩展真实世界。此外，由ar显示作为真实世界中的附加信息呈现给用户的虚拟对象也被称为注释。此外，在下面的描述中，非ar显示是除了用以通过将附加信息叠加在真实空间上来扩展真实世界的显示之外的显示。在本实施方式中，例如，非ar显示包括将虚拟对象显示在虚拟空间上或者只是显示仅虚拟对象。
34.注意，将按下面的顺序给出描述。
35.1.概述
36.1.1背景
37.1.2本公开内容的实施方式的概述
38.2.第一实施方式
39.2.1信息处理系统10的示意性配置
40.2.2控制单元500的详细配置
41.2.3信息处理方法
42.3.第二实施方式
43.3.1控制单元500的详细配置
44.3.2信息处理方法
45.4.第三实施方式
46.4.1控制单元500的详细配置
47.4.2信息处理方法
48.4.3.修改示例
49.5.总结
50.6.硬件配置
51.7.补充
52.《《1.概述》》
53.《1.1背景》
54.首先，将参照图1描述本公开内容的背景。图1是用于描述本公开内容的概要的说明图。在本公开内容中，如图1所示，将考虑可以在用户900使用两个设备、视觉识别虚拟对象600并且控制虚拟对象600的情形中使用的信息处理系统10。
55.详细地，假设两个设备之一是ar设备(第一显示设备)100，例如图1中示出的头戴式显示器(hmd)，该ar设备100能够在真实空间上叠加并显示虚拟对象600，使得用户900可以将虚拟对象感知为存在于真实空间中的真实物体(真实对象)。
56.即，ar设备100可以说是使用上述ar显示作为图像表达方法的显示设备。此外，例如，假设两个设备之一是非ar设备(第二显示设备)200，例如图1中示出的智能电话，该非ar设备200可以显示虚拟对象600，但是虚拟对象600未被显示为被用户900感知为存在于真实空间中的真实物体(真实对象)。即，可以说非ar设备200是使用上述非ar显示作为图像表达方法的显示设备。
57.于是，在本公开内容中，假设用户900可以使用ar设备100和非ar设备200，视觉识别相同虚拟对象600并且对虚拟对象600执行操作的情形。更具体地，在本公开内容中，例如，假设下述情形：用户900在使用ar设备100与作为被感知为存在于与用户他/她自己相同的空间中的虚拟对象600的角色交互的同时，使用非ar设备200检查角色的整个图像和简档信息(profile information)、根据角色的视点的视频、地图等。
58.于是，在本公开内容中假设的情形中，由于用户900的感知相对于通过使用不同表达方法的两个设备的虚拟对象600的显示是不同的，因此本发明人考虑优选的是显示虚拟对象600以具有与分配给每个设备的表达方法对应的形式。
59.具体地，在ar设备100中，本发明人选择了控制，使得虚拟对象600的显示根据在真实空间中用户900与虚拟对象600的虚拟位置之间的距离以及用户900的视点的位置而改变，使得用户900可以感知为存在于真实空间中的真实对象。此外，由于不要求非ar设备200能够感知为存在于真实空间中的真实对象，因此本发明人考虑：虚拟对象600的显示可能不根据距离或视点的位置而改变。即，本发明人选择了在非ar设备200中独立地控制虚拟对象
600的显示，而不取决于距离或视点的位置。
60.即，本发明人考虑在上面的情形中，为了能够显示自然虚拟对象600并且进一步改善用户体验和可操作性，优选的是，虚拟对象600在使用不同表达方法的两个设备上的显示具有不同的形式、不同的改变、或对来自用户900的操作的不同的反应。然后，本发明人基于这样的构思创建了本公开内容的实施方式。
61.《《1.2本公开内容的实施方式的概述》》
62.在由本发明人创建的本公开内容的实施方式中，在由包括上述ar设备100和非ar设备200的多个显示设备显示相同虚拟对象600的情形中，根据分配给每个显示设备的表达方法，关于虚拟对象600的显示执行不同的控制。具体地，在本公开内容的实施方式中，使用根据在真实空间中用户900与虚拟对象600的虚拟位置之间的距离或用户900的视点的位置动态地改变的参数来控制虚拟对象600在ar设备100上的显示。此外，在本公开内容的实施方式中，使用不根据距离或位置动态地改变的预定义参数来控制虚拟对象600在非ar设备200上的显示。
63.在本公开内容的实施方式中，以这种方式，虚拟对象600在使用用户900的感知不同的表达方法的ar设备100和非ar设备200上的显示将对不同的形式、不同的改变或来自用户900的操作作出不同反应。因此，在本公开内容的实施方式中，虚拟对象600的更自然的显示变得可能，并且用户体验和可操作性可以进一步改善。在下文中，将顺序地描述本公开内容的每个实施方式的细节。
64.《《2.第一实施方式》》
65.《2.1信息处理系统10的示意性配置》
66.首先，将参照图2描述根据本公开内容的第一实施方式的信息处理系统10的示意性配置。图1是示出根据本实施方式的信息处理系统10的配置的示例的框图。如图1所示，根据本实施方式的信息处理系统10可以包括例如ar设备(第一显示设备)100、非ar设备(第二显示设备)200、深度测量单元(真实空间信息获取设备)300、视线传感器单元(视线检测设备)400和控制单元(信息处理装置)500。
67.注意，在本实施方式中，ar设备100可以是集成有深度测量单元300、视线传感器单元400和控制单元500中的一个、两个或全部的设备，即，ar设备100可以不通过单个设备实现。此外，信息处理系统10中包括的ar设备100、非ar设备200、深度测量单元300和视线传感器单元400的数目不限于图2中示出的数目，并且可能更大。
68.此外，ar设备100、非ar设备200、深度测量单元300、视线传感器单元400和控制单元500可以经由各种有线或无线通信网络彼此通信。注意，通信网络的类型不受特别限制。作为具体示例，网络可以包括移动通信技术(还包括gsm、umts、lte、lte-advanced、5g或以后的技术)、无线局域网(lan)、专用线路等。此外，网络可以包括多个网络，并且网络的一部分可以被配置为无线网络，并且其余的可以被配置为有线网络。在下文中，将描述根据本实施方式的信息处理系统10中包括的每个设备的概要。
69.(ar设备100)
70.ar设备100是执行虚拟地布置有虚拟对象600的真实空间中的场景(scenery)的ar显示的显示设备，该真实空间中的场景是从被定义为真实空间中的用户900的视点的第一视点视觉识别的。详细地，ar设备100可以根据在真实空间中用户900与虚拟对象600的虚拟
位置之间的距离以及用户900的视点的位置来改变和显示虚拟对象600的形式等。具体地，ar设备100可以是hmd、设置在用户900前方并显示叠加在真实空间上的虚拟对象600的图像的平视显示器(hud)等、可以在真实空间中投影并显示虚拟对象600的图像的投影仪等。即，ar设备100是如下显示设备，该显示设备通过将虚拟对象600叠加在位于真实空间中的真实对象的光学图像上、就好像虚拟对象存在于真实空间中的虚拟设置位置处一样，来显示虚拟对象600。
71.此外，如图2所示，ar设备100包括显示虚拟对象600的显示单元102、以及根据来自稍后描述的控制单元500的控制参数来控制显示单元102的控制部104。
72.在下文中，将描述在根据本实施方式的ar设备100是例如佩戴在用户900的头部的至少一部分上以供使用的hmd的情况下的显示单元102的配置示例。在这种情况下，可以应用ar显示的显示单元102的示例包括透视型、视频透视型和视网膜投影型。
73.透视型显示单元102使用例如半反半透镜或透明导光板来将包括透明导光单元等的虚拟图像光学系统保持在用户900的眼睛前方，并且在虚拟图像光学系统内显示图像。因此，佩戴具有透视型显示单元102的hmd的用户900即使在观看显示在虚拟图像光学系统内的图像的同时也可以观看外部真实空间中的场景。利用这样的配置，透视型显示单元102例如可以基于ar显示来将虚拟对象600的图像叠加在位于真实空间中的真实对象的光学图像上。
74.在视频透视型显示单元102被佩戴在用户900的头部或面部上的情况下，视频透视型显示单元被佩戴以覆盖用户900的眼睛并且被保持在用户900的眼睛前方。此外，包括视频透视型显示单元102的hmd包括用于对周围场景进行成像的向外相机(未示出)，并且使显示单元102显示由向外相机成像的用户900前方的场景的图像。利用这样的配置，佩戴具有视频透视型显示单元102的hmd的用户900尽管难以直接将外部场景纳入视野，但是可以从显示在显示器上的图像确认外部场景(真实空间)。此外，此时，hmd例如可以基于ar显示来将虚拟对象600的图像叠加在外部场景的图像上。
75.视网膜投影型显示单元102包括保持在用户900的眼睛前方的投影单元(未示出)，并且投影单元朝向用户900的眼睛投影图像，使得图像叠加在外部场景上。更具体地，在包括视网膜投影型显示单元102的hmd中，图像从投影单元直接投影到用户900的眼睛的视网膜上，并且图像形成在视网膜上。利用这样的配置，即使在用户900近视或远视的情况下，也可以观看更清晰的视频。此外，佩戴具有视网膜投影型显示单元102的hmd的用户900即使在观看从投影单元投影的图像的同时也可以观看外部场景(真实空间)。利用这样的配置，包括视网膜投影型显示单元102的hmd例如可以基于ar显示来将虚拟对象600的图像叠加在位于真实空间中的真实对象的光学图像上。
76.此外，在本实施方式中，ar设备100还可以是智能电话、平板电脑等，其可以显示叠加在从由用户900持有的安装的相机(未示出)的位置观看的真实空间的图像上的虚拟对象600。在这样的情况下，上述第一视点不限于真实空间中的用户900的视点，而是由用户900持有的智能电话的相机的位置。
77.此外，ar设备100中包括的控制部104根据来自稍后描述的控制单元500的参数等来控制显示单元102的整体操作。控制部104例如可以通过诸如中央处理单元(cpu)或图形处理单元(gpu)的微处理器的电子电路来实现。此外，控制部104可以包括存储要使用的程
序、操作参数等的只读存储器(rom)、临时存储适当地改变的参数等的随机存取存储器(ram)等。例如，控制部104根据来自控制单元500的参数执行控制，以根据在真实空间中用户900与虚拟对象600的虚拟位置之间的距离，动态地改变虚拟对象600在显示单元102上的显示。
78.此外，ar设备100可以包括通信单元(未示出)，该通信单元是可以通过无线通信等连接至外部设备的通信接口。通信单元例如由诸如通信天线、发送/接收电路或端口的通信设备来实现。
79.此外，在本实施方式中，ar设备100可以设置有用于供用户900执行输入操作的按钮(未示出)、开关(未示出)等(操作输入单元的示例)。此外，作为用户900相对于ar设备100的输入操作，除了如上所述的相对于按钮等的操作之外，还可以选择诸如通过语音的输入、通过手部或头部的姿势输入、以及通过视线的输入的各种输入方法。注意，通过这些各种输入方法的输入操作可以通过ar设备100中设置的各种传感器(声音传感器(未示出)、相机(未示出)和运动传感器(未示出))等来获取。另外，ar设备100可以设置有向用户900输出语音的扬声器(未示出)。
80.此外，在本实施方式中，ar设备100可以设置有深度测量单元300、视线传感器单元400和控制单元500，如稍后所描述的。
81.另外，在本实施方式中，ar设备100可以设置有定位传感器(未示出)。定位传感器是检测佩戴ar设备100的用户900的位置的传感器，并且具体地，可以是全球导航卫星系统(gnss)接收器等。在这种情况下，定位传感器可以基于来自gnss卫星的信号来生成指示用户900的当前位置的纬度和经度的感测数据。此外，在本实施方式中，由于可以根据例如射频识别(rfid)、关于wi-fi的接入点的信息、关于无线电基站的信息等来检测用户900的相对位置关系，因此用于这样的通信的通信设备也可以用作定位传感器。此外，在本实施方式中，可以通过对上述运动传感器(未示出)中包括的加速度传感器、陀螺仪传感器、地磁传感器等的感测数据进行处理(累积计算等)来检测佩戴ar设备100的用户900的位置和姿态。
82.(非ar设备200)
83.非ar设备200是可以向用户900非ar显示虚拟对象600的图像的显示设备。详细地，可以显示从在与定义为真实空间中用户900的视点的第一视点不同的位置处的第二视点视觉识别的虚拟对象600。在本实施方式中，第二视点可以是在真实空间中虚拟地设置的位置，可以是与虚拟对象600或用户900在真实空间中的位置分开预定距离的位置，或者可以是在虚拟对象600上设置的位置。非ar设备200例如可以是由用户900携带的智能电话或平板个人计算机(pc)、佩戴在用户900手臂上的智能手表等。此外，如图2所示，非ar设备200包括显示虚拟对象600的显示单元202和根据来自稍后描述的控制单元500的控制参数等来控制显示单元202的控制部204。
84.显示单元202被设置在非ar设备200的表面上，并且可以通过由控制部204控制来向用户900执行虚拟对象600的非ar显示。例如，显示单元202可以从诸如液晶显示(lcd)设备和有机发光二极管(oled)设备的显示设备来实现。
85.此外，控制部204根据来自稍后描述的控制单元500的控制参数等来控制显示单元202的整体操作。控制部204例如由诸如cpu或gpu的微处理器的电子电路来实现。此外，控制部204可以包括存储要使用的程序、操作参数等的rom、临时存储适当改变的参数等的ram
等。
86.此外，非ar设备200可以包括通信单元(未示出)，该通信单元是可以通过无线通信等连接至外部设备的通信接口。通信单元例如由诸如通信天线、发送/接收电路或端口的通信设备来实现。
87.此外，在本实施方式中，非ar设备200可以设置有输入单元(未示出)以供用户900执行输入操作。输入单元例如包括诸如触摸面板或按钮的输入设备。在本实施方式中，非ar设备200可以用作可以改变虚拟对象600的操作、位置等的控制器。另外，非ar设备200可以设置有向用户900输出语音的扬声器(未示出)、可以对真实空间中的真实对象或用户900的身形进行成像的相机(未示出)等。
88.此外，在本实施方式中，非ar设备200可以设置有深度测量单元300、视线传感器单元400和控制单元500，如稍后所描述的。另外，在本实施方式中，非ar设备200可以设置有定位传感器(未示出)。此外，在本实施方式中，非ar设备200可以设置有包括加速度传感器、陀螺仪传感器、地磁传感器等的运动传感器(未示出)。
89.(深度测量单元300)
90.深度测量单元300可以获得用户900周围的真实空间的三维信息。具体地，如图2所示，深度测量单元300包括能够获取三维信息的深度传感器单元302、以及存储获取的三维信息的存储单元304。例如，深度传感器单元302可以是获取用户900周围的真实空间的深度信息的飞行时间(tof)传感器(距离测量设备)、以及诸如立体相机或结构光传感器的成像设备。在本实施方式中，由深度传感器单元302获得的用户900周围的真实空间的三维信息不仅可以用作用户900周围的环境信息，而且还可以用于获得位置信息，该位置信息包括在真实空间中虚拟对象600与用户900之间的距离信息和位置关系信息。
91.具体地，tof传感器用诸如红外光的照射光照射用户900周围的真实空间，并且检测由真实空间中的真实对象(墙壁等)的表面反射的反射光。然后，tof传感器可以通过计算照射光与反射光之间的相位差来获取从tof传感器到真实对象的距离(深度信息)，并且因此可以获得包括到真实对象的距离信息(深度信息)的距离图像作为真实空间的三维形状数据。注意，如上所述通过相位差获得距离信息的方法被称为间接tof方法。此外，在本实施方式中，也可以使用直接tof方法，该直接tof方法能够通过检测从发射照射光的时间点直到照射光被真实对象反射并且作为反射光而被接收的光的往返时间，来获取从tof传感器到真实对象的距离(深度信息)。
92.这里，距离图像例如是通过将针对tof传感器的每个像素获取的距离信息(深度信息)与对应像素的位置信息相关联而生成的信息。此外，这里，三维信息是通过基于tof传感器在真实空间中的位置将距离图像中的像素的位置信息转换成真实空间中的坐标并且将与通过转换获得的坐标对应的距离信息相关联而生成的真实空间中的三维坐标信息(具体地，多个三维坐标信息的集合)。在本实施方式中，可以通过使用这样的距离图像和三维信息来掌握真实空间中的遮蔽对象(墙壁等)的位置和形状。
93.此外，在本实施方式中，在tof传感器被设置在ar设备100中的情况下，可以通过将由tof传感器获得的三维信息与预先获取的相同真实空间(室内空间等)的三维信息模型(墙壁的位置、形状等)进行比较来检测真实空间中的用户900的位置和姿态。此外，在本实施方式中，在tof传感器被安装在真实空间(室内空间等)中的情况下，可以通过从由tof传
感器获得的三维信息中提取人的形状来检测真实空间中的用户900的位置和姿态。在本实施方式中，以这种方式检测到的用户900的位置信息可以用于获得包括在真实空间中虚拟对象600与用户900之间的距离信息和位置关系信息的位置信息。此外，在本实施方式中，可以生成基于三维信息的真实空间的虚拟场景(模仿真实空间的图示)并将其显示在上述非ar设备200等上。
94.此外，结构光传感器利用诸如红外线的光将预定图案照射到用户900周围的真实空间并捕获图像，由此可以基于从成像结果获得的预定图案的变形来获得包括从结构光传感器到真实对象的距离(深度信息)的距离图像。此外，立体相机可以利用两个相机从两个不同方向同时捕获用户900周围的真实空间，并且使用这些相机的视差来获取从立体相机到真实对象的距离(深度信息)。
95.此外，存储单元304可以存储用于深度传感器单元302执行感测的程序等，以及通过感测获得的三维信息。存储单元304例如由诸如硬盘(hd)的磁记录介质、诸如闪存的非易失性存储器等来实现。
96.此外，深度测量单元300可以包括通信单元(未示出)，该通信单元是可以通过无线通信等连接至外部设备的通信接口。通信单元例如由诸如通信天线、发送/接收电路或端口的通信设备来实现。
97.此外，在本实施方式中，如上所述，深度测量单元300可以被设置在上述ar设备100或非ar设备200中。替选地，在本实施方式中，深度测量单元300可以被安装在用户900周围的真实空间(例如，室内空间等)中，并且在这种情况下，深度测量单元300在真实空间中的位置信息是已知的。
98.(视线传感器单元400)
99.视线传感器单元400可以对用户900的眼球进行成像并且检测用户900的视线。注意，视线传感器单元400主要用于稍后描述的实施方式中。视线传感器单元400例如可以被配置为作为ar设备100的hmd中的向内相机(未示出)。然后，分析由向内相机获取的用户900的眼睛的捕获视频以检测用户900的视线方向。注意，在本实施方式中，视线检测的算法不受特别限制，但是例如，可以基于眼睛的内角与虹膜之间的位置关系或者角膜反射(浦肯野图像等)与瞳孔之间的位置关系来实现视线检测。此外，在本实施方式中，视线传感器单元400不限于如上所述的向内相机，并且可以是可以对用户900的眼球进行成像的相机或者通过在用户900的眼睛周围附接电极来测量眼电图的眼电图传感器。此外，在本实施方式中，可以使用通过机器学习获得的模型来识别用户900的视线方向。注意，将在稍后描述的实施方式中描述视线方向的识别的细节。
100.此外，视线传感器单元400可以包括通信单元(未示出)，该通信单元是可以通过无线通信等连接至外部设备的通信接口。通信单元例如由诸如通信天线、发送/接收电路或端口的通信设备来实现。
101.此外，在本实施方式中，如上所述，视线传感器单元400可以被设置在上述ar设备100或非ar设备200中。替选地，在本实施方式中，视线传感器单元400可以被安装在用户900周围的真实空间(例如，室内空间等)中，并且在这种情况下，视线传感器单元400在真实空间中的位置信息是已知的。
102.(控制单元500)
103.控制单元500是用于控制上述ar设备100和非ar设备200上的显示的设备。具体地，在本实施方式中，由ar设备100对虚拟对象600的ar显示是由控制单元500使用根据在真实空间中用户900与虚拟对象600的虚拟位置之间的距离以及用户900的视点的位置而动态地改变的参数来控制的。此外，在本实施方式中，由非ar设备200对虚拟对象600的显示也由控制单元500使用预定义参数来控制。此外，控制单元500可以主要包括cpu、ram、rom等。此外，控制单元500可以包括通信单元(未示出)，该通信单元是可以通过无线通信等连接至外部设备的通信接口。通信单元例如由诸如通信天线、发送/接收电路或端口的通信设备来实现。
104.此外，在本实施方式中，如上所述，控制单元500可以被设置在上述ar设备100或非ar设备200中(作为集成设备提供)，并且通过这样做，可以抑制显示控制时的延迟。替选地，在本实施方式中，控制单元500可以被设置为与ar设备100和非ar设备200分开的设备(例如，其可以是网络上存在的服务器等)。稍后将描述控制单元500的详细配置。
105.《2.2控制单元500的详细配置》
106.接下来，将参照图2描述根据本实施方式的控制单元500的详细配置。如上所述，控制单元500可以控制在ar设备100和非ar设备20处显示的虚拟对象600的显示。具体地，如图2所示，控制单元500主要包括三维信息获取单元(位置信息获取单元)502、对象控制部(控制部)504、ar设备渲染单元506、非ar设备渲染单元508、检测单元(选择结果获取单元)510和视线评估单元520。在下文中，将顺序地描述控制单元500的每个功能单元的细节。
107.(三维信息获取单元502)
108.三维信息获取单元502从上述深度测量单元300获取用户900周围的真实空间的三维信息，并且将三维信息输出至稍后描述的对象控制部504。三维信息获取单元502可以从三维信息中提取诸如真实空间中的真实对象的位置、姿态和形状的信息，并且将信息输出至对象控制部504。此外，三维信息获取单元502可以参考被虚拟地分配用于显示虚拟对象600的真实空间中的位置信息，基于三维信息来生成包括在真实空间中虚拟对象600与用户900之间的距离信息和位置关系信息的位置信息，并且将位置信息输出至对象控制部504。此外，三维信息获取单元502不仅可以从深度测量单元300而且还可以从上述定位传感器(未示出)获取用户900在真实空间中的位置信息。
109.(对象控制部504)
110.对象控制部504根据分配给ar设备100和非ar设备200中的每一个以用于显示虚拟对象600的表达方法来控制虚拟对象600在ar设备100和非ar设备200中的显示。具体地，对象控制部504根据分配给ar设备100和非ar设备200中的每一个以用于显示虚拟对象600的表达方法，来动态地改变与虚拟对象600的显示有关的每个参数(例如，运动图像显示中的虚拟对象600的显示改变量、通过用户900的输入操作而改变的显示改变量等)。然后，对象控制部504将以这种方式改变的参数输出至稍后描述的ar设备渲染单元506和非ar设备渲染单元508。使用输出参数来控制虚拟对象600在ar设备100和非ar设备200中的显示。
111.更具体地，例如，对象控制部504根据基于从深度测量单元300获取的三维信息的、包括在真实空间中虚拟对象600与用户900之间的距离的位置信息，动态地改变与虚拟对象600在ar设备100上的显示有关的参数。
112.更具体地，随着虚拟对象600与用户900之间的距离变得更长(更远)，显示在ar设
备100上的虚拟对象600的尺寸变得更小，使得用户900将其感知为存在于真实空间中的真实对象。因此，用户900对虚拟对象600的可视性降低，并且例如，在虚拟对象600是游戏等的角色的情况下，角色的细微动作变得难以被视觉识别。因此，在本实施方式中，对象控制部504改变参数，使得要显示在ar设备100上的虚拟对象600的运动图像显示中的显示改变量(虚拟对象600的移动(跳跃等)的量化的程度)随着距离的增加而增加。此外，对象控制部504改变参数以随着距离增加而使要显示在ar设备100上的虚拟对象600的运动图像显示中的轨迹平滑。通过这样做，在本实施方式中，即使当显示在ar设备100上的虚拟对象600的尺寸减小以被用户900感知为存在于真实空间中的真实对象时，也可以抑制虚拟对象600的移动的可视性的降低。
113.此外，在本实施方式中，尽管用户900难以将虚拟对象感知为存在于真实空间中的真实对象，但是对象控制部504可以改变参数，使得要显示在ar设备100上的虚拟对象600的显示面积随着虚拟对象600与用户900之间的距离的增加而增加。此外，在本实施方式中，对象控制部504可以改变参数，使得虚拟对象600更可能接近、远离显示在ar设备100上的其他虚拟对象、或者相对于显示在ar设备100上的其他虚拟对象采取诸如攻击的动作。
114.此外，在本实施方式中，对象控制部504使用预定义参数(例如，固定值)作为与虚拟对象600在非ar设备200中的显示有关的参数。注意，在本实施方式中，预定义参数可以在经过预定规则的处理之后用于虚拟对象600在非ar设备200上的显示。
115.(ar设备渲染单元506)
116.ar设备渲染单元506使用从上述对象控制部504输出的参数等对要显示在ar设备100上的图像执行渲染处理，并且将渲染之后的图像数据输出至ar设备100。
117.(非ar设备渲染单元508)
118.非ar设备渲染单元508使用从上述对象控制部504输出的参数等对要显示在非ar设备200上的图像执行渲染处理，并且将渲染之后的图像数据输出至非ar设备200。
119.(检测单元510)
120.如图2所示，检测单元510主要包括视线检测单元512和视线分析单元514。视线检测单元512检测用户900的视线并获取用户900的视线方向，并且视线分析单元514基于用户900的视线方向来指定用户900将选择作为控制器(输入设备)的设备。然后，指定的指定结果(选择结果)在稍后描述的视线评估单元520中经受评估处理之后被输出至对象控制部504，并且在与虚拟对象600的显示有关的参数改变时使用。注意，将在稍后描述的本公开内容的第三实施方式中描述由检测单元510进行的处理的细节。
121.(视线评估单元520)
122.视线评估单元520可以通过针对由上述检测单元510指定的用户900将选择作为控制器的设备，使用通过机器学习获得的模型等计算用户900选择每个设备作为控制器的概率，来评估指定结果。在本实施方式中，视线评估单元520计算用户900选择每个设备作为控制器的概率，并且基于概率来最终指定由用户900选择作为控制器的设备，由此即使在用户900的视线的方向不是一直固定的情况下，也可以基于用户900的视线方向准确地指定选择作为控制器的设备。注意，将在稍后描述的本公开内容的第三实施方式中描述由视线评估单元520进行的处理的细节。
123.＜2.3信息处理方法＞
124.接下来，将参照图3至图7描述根据本公开内容的第一实施方式的信息处理方法。图3是用于描述根据本实施方式的信息处理方法的示例的流程图，图4至图6是用于描述根据本实施方式的显示的示例的说明图，以及图7是用于描述根据本实施方式的显示控制的示例的说明图。
125.具体地，如图3所示，根据本实施方式的信息处理方法可以包括从步骤s101至步骤s105的步骤。下面将描述根据本实施方式的这些步骤的细节。
126.首先，控制单元500确定执行ar显示的ar设备100是否包括在要控制的显示设备中(步骤s101)。控制单元500在包括ar设备100的情况下(步骤s101：是)进行到步骤s102的处理，并且在不包括ar设备100的情况下(步骤s101：否)进行到步骤s105的处理。
127.接下来，控制单元500获取包括关于在真实空间中用户900的位置和姿态的信息的位置信息(步骤s102)。此外，控制单元500基于获取的位置信息来计算在真实空间中虚拟对象600与用户900之间的距离。
128.然后，控制单元500根据在上述步骤s102中计算的距离来控制显示在ar设备100上的虚拟对象600的显示(距离依赖控制)(步骤s103)。具体地，控制单元500根据在真实空间中虚拟对象600与用户900之间的距离和位置关系，动态地改变与虚拟对象600在ar设备100上的显示有关的参数。
129.更具体地，如图4所示，ar设备100的显示单元102显示要叠加在从佩戴ar设备100的用户900的视点(第一视点)700观看的真实空间的图像(例如，真实对象800的图像)上的虚拟对象600。此时，控制单元500动态地改变参数，使得虚拟对象600以从用户900的视点(第一视点)700观看的形式显示，以使得用户900可以将虚拟对象感知为存在于真实空间中的真实对象。此外，控制单元500动态地改变参数，使得虚拟对象600被显示为具有与上述步骤s102中计算的距离对应的尺寸。然后，控制单元500使用以这种方式获得的参数对要显示在ar设备100上的图像执行渲染处理，并且将渲染之后的图像数据输出至ar设备100，由此可以以距离依赖方式控制虚拟对象600在ar设备100中的ar显示。注意，在本实施方式中，在虚拟对象600移动或者用户900移动或改变姿态的情况下，相应地对要显示的虚拟对象600执行距离依赖控制。以这种方式，以ar显示的虚拟对象600可以被用户900感知为存在于真实空间中的真实对象。
130.接下来，控制单元500确定执行非ar显示的非ar设备200是否包括在要控制的显示设备中(步骤s104)。控制单元500在包括非ar设备200的情况下(步骤s104：是)进行到步骤s105的处理，并且在不包括非ar设备200的情况下(步骤s104：否)结束处理。
131.然后，控制单元500根据预先定义(设置)的参数来控制显示在非ar设备200上的虚拟对象600的显示(步骤s105)。然后，控制单元500结束信息处理方法中的处理。
132.更具体地，如图4所示，非ar设备200的显示单元202显示从虚拟固定在真实空间中的视点(第二视点)702观看的虚拟对象600(具体地，虚拟对象600的后表面的图像)。此时，控制单元500选择预先定义(设置)的参数，并且根据情形改变选择的参数。此外，控制单元500可以通过使用参数对要显示在非ar设备200上的图像执行渲染处理并将渲染的图像数据输出至非ar设备200，来控制虚拟对象600在非ar设备200上的非ar显示。
133.此外，在本实施方式中，如图5所示，在视点702相对于虚拟对象600在真实空间中的虚拟位置位于与用户900侧相对的一侧的情况下，非ar设备200的显示单元202可以以与
图4不同的形式显示虚拟对象600(具体地，虚拟对象600的前表面)。
134.此外，在本实施方式中，如图6所示，在视点702被虚拟布置在虚拟对象600中的情况下，非ar设备200的显示单元202可以显示使从视点702观看的用户900被成像的化身650。在这样的情况下，在虚拟对象600移动或者用户900移动或改变姿态的情况下，可以相应地改变要显示的化身650的形式。
135.在本实施方式中，可以使用虚拟对象600在真实空间中的虚拟位置的改变或者用户900的位置或姿态的改变作为触发来重复执行图3中示出的信息处理方法。以这种方式，由ar设备100以ar显示的虚拟对象600可以被用户900感知为存在于真实空间中的真实对象。
136.在本实施方式中，如上所述，根据在真实空间中虚拟对象600与用户900之间的距离来动态地改变与虚拟对象600在ar设备100上的显示有关的参数(距离依赖控制)。因此，将参照图7描述本实施方式中由ar设备100以ar显示的虚拟对象600的控制的具体示例。
137.更具体地，如图7所示，随着虚拟对象600与用户900之间的距离的增加，显示在ar设备100上的虚拟对象600的尺寸减小，使得用户900将其感知为存在于真实空间中的真实对象。因此，用户900对虚拟对象600的可视性降低，并且例如，在虚拟对象600是游戏等的角色的情况下，角色的细微动作变得难以被视觉识别。因此，在本实施方式中，控制单元500改变参数，使得要显示在ar设备100上的虚拟对象600的运动图像显示中的显示改变量(跳动量、移动量和方向量化量)随着距离的增加而增加。此外，控制单元500改变参数，以随着距离的增加而增加要显示在ar设备100上的虚拟对象600的运动图像显示中的轨迹的平滑。通过这样做，在本实施方式中，即使当显示在ar设备100上的虚拟对象600的尺寸减小以被用户900感知为存在于真实空间中的真实对象时，也可以抑制虚拟对象600的移动的可视性的降低。
138.此外，在本实施方式中，如图7所示，控制单元500可以根据在真实空间中虚拟对象600与用户900之间的距离来改变参数，使得虚拟对象600例如使用来自用户900的操作作为触发而大幅地移动以接近或大幅地移动以远离显示在ar设备100上的其他虚拟对象602。此外，在本实施方式中，控制单元500可以根据距离来改变参数，使得虚拟对象600可以例如使用来自用户900的操作作为触发来容易地执行诸如针对其他虚拟对象602的攻击的动作。通过这样做，在本实施方式中，即使当显示在ar设备100上的虚拟对象600的尺寸减小以被用户900感知为存在于真实空间中的真实对象时，也可以抑制虚拟对象600的可操作性的降低。
139.此外，在本实施方式中，尽管用户900变得难以将虚拟对象感知为存在于真实空间中的真实对象，但是控制单元500可以改变参数，使得显示在ar设备100上的虚拟对象600的显示面积随着虚拟对象600与用户900之间的距离的增加而增加。
140.如上所述，根据本实施方式，在用户感知方式不同的ar设备100和非ar设备中，虚拟对象600的显示对不同形式、不同改变或来自用户900的操作作出不同的反应，并且因此，可以进一步提高用户体验和可操作性。
141.《《3.第二实施方式》》
142.首先，将参照图8描述在本公开内容的第二实施方式中假设的情形。图8是用于描述本实施方式的概要的说明图。例如，当用户900使用根据本实施方式的信息处理系统10玩
游戏时，如图8所示，存在这样的情况，其中在真实空间中在用户900与虚拟对象600之间存在诸如墙壁的遮蔽对象802以阻挡用户900的视野。在这样的情形中，用户900被遮蔽对象802遮蔽，并且不能使用ar设备100的显示单元102视觉识别虚拟对象600，并且因此，难以操作虚拟对象600。
143.因此，在本实施方式中，根据ar设备100上的虚拟对象600的全部或部分的显示是否处于显示被遮蔽对象802阻碍的情形(发生遮挡)，来动态地改变虚拟对象600的显示。具体地，例如，在由于遮蔽对象802的存在而导致虚拟对象600不能被视觉识别的情形中，使用ar设备100的显示单元102来将虚拟对象600的显示位置改变为视觉识别不被遮蔽对象802阻碍的位置。利用这种配置，在本实施方式中，即使在真实空间中在用户900与虚拟对象600之间存在阻挡用户900的视野的遮蔽对象802的情况下，用户900也可以使用ar设备100的显示单元102容易地观看虚拟对象600。因此，根据本实施方式，用户900容易操作虚拟对象600。
144.注意，在本实施方式中，不仅在由于遮蔽对象802的存在而不能视觉识别虚拟对象600的情况下，而且在真实空间中虚拟对象600周围的深度信息不能由深度测量单元300获取的情况(例如，真实空间中存在透明真实对象或黑色真实对象的情况，深度传感器单元302出现噪声等的情况，等等)下，可以动态地改变虚拟对象600在ar设备100上的显示。替选地，在本实施方式中，ar设备100可以在真实空间中且在不能获取深度信息的区域中叠加并显示(ar显示)其他虚拟对象610(参见图11)。在下文中，将描述本实施方式的细节。
145.《3.1控制单元500的详细配置》
146.根据本实施方式的信息处理系统10和控制单元500的配置示例与上述第一实施方式的配置示例类似，并且因此，这里省略其描述。然而，在本实施方式中，控制单元500的对象控制部504还具有以下功能。
147.具体地，在本实施方式中，在基于三维信息存在作为真实对象的并且在真实空间中位于虚拟对象600与用户900之间的遮蔽物体(遮蔽对象)802的情况下，对象控制部504将存在遮蔽对象802的区域设置为遮挡区域。此外，对象控制部504改变参数以改变在ar设备100中虚拟对象600的显示位置或显示形式或者虚拟对象600在运动图像显示中的移动量，以减小虚拟对象600和遮挡区域重叠的区域。
148.此外，在本实施方式中，在检测到不能获取三维信息的区域的情况(例如，真实空间中存在透明真实对象或黑色真实对象的情况，出现深度传感器单元302的噪声等的情况，等等)下，对象控制部504将该区域设置为不定区域(indefinite region)。此外，对象控制部504改变参数以改变在ar设备100中虚拟对象600的显示位置或显示形式或者虚拟对象600在运动图像显示中的移动量，以减小虚拟对象600和不定区域重叠的区域。此外，在本实施方式中，对象控制部504可以生成用于在不定区域中显示其他虚拟物体(其他虚拟对象)610(参见图11)的参数。
149.＜3.2信息处理方法＞
150.接下来，将参照图9至图11描述根据本公开内容的第二实施方式的信息处理方法。图9是用于描述根据本实施方式的信息处理方法的示例的流程图，图10是用于描述根据本实施方式的显示控制的示例的说明图，以及图11是用于描述根据本实施方式的显示的示例的说明图。
151.具体地，如图9所示，根据本实施方式的信息处理方法可以包括从步骤s201至步骤s209的步骤。下面将描述根据本实施方式的这些步骤的细节。注意，在以下描述中，将仅描述与上述第一实施方式不同的点，并且将省略与第一实施方式共同的点的描述。
152.由于步骤s201和步骤s202与图3中示出的第一实施方式的步骤s101和步骤s102类似，因此这里省略其描述。
153.首先，控制单元500确定是否可以获取真实空间中虚拟对象600的设置位置周围的三维信息(步骤s203)。控制单元500在可以获取真实空间中虚拟对象600周围的三维信息的情况下(步骤s203：是)进行到步骤s204的处理，以及在不能获取真实空间中虚拟对象600周围的三维信息的情况下(步骤s203：否)进行到步骤s205的处理。
154.由于步骤s204与图3中示出的第一实施方式的步骤s103类似，因此这里省略其描述。
155.接下来，控制单元500确定是否因为遮蔽对象802而不能获取虚拟对象600周围的三维信息(步骤s205)。即，在可以获取关于遮蔽对象802的三维信息(位置、姿态和形状)但不能获取真实空间中虚拟对象600的设置位置周围的三维信息的情况下(步骤s205：是)，处理进行到步骤s206，以及在由于例如深度传感器单元302的噪声而不是遮蔽对象802的存在而不能获取虚拟对象600周围的三维信息的情况下(步骤s205：否)，处理进行到步骤s207。
156.接下来，控制单元500将存在遮蔽对象802的区域设置为遮挡区域。然后，控制单元500改变在ar设备100中虚拟对象600的显示位置或显示形式或者虚拟对象600在运动图像显示中的移动量，以减小虚拟对象600和遮挡区域重叠的区域(遮挡区域的距离依赖控制)(步骤s206)。
157.更具体地，在本实施方式中，如图10所示，在虚拟对象600的全部或部分处于被遮蔽对象802隐藏的位置的情况下，执行控制使得可以通过增加平行方向上的移动量(增加移动速度或扭曲(warping))来视觉识别虚拟对象或者立即出现可以视觉识别虚拟对象600的情形。此外，在类似的情况下，在本实施方式中，如图10所示，可以控制虚拟对象600跳高，使得可以视觉识别虚拟对象600。此外，在本实施方式中，可以限制虚拟对象600的可移动方向，使得可以视觉识别虚拟对象600(例如，限制在图10中的深度方向上的移动)。
158.接下来，控制单元500将其中由于噪声等而不能获取虚拟对象600周围的三维信息的区域设置为不定区域。然后，与上述步骤s206类似，控制单元500改变在ar设备100中虚拟对象600的显示位置或显示形式或者虚拟对象600在运动图像显示中的移动量，以减小虚拟对象600和不定区域重叠的区域(不定区域的距离依赖控制)(步骤s207)。
159.更具体地，在步骤s207中，与上述步骤s206类似，在虚拟对象600的全部或部分处于要隐藏在不定区域中的位置的情况下，执行控制使得可以通过增加平行方向上的移动量(增加移动速度或扭曲)来视觉识别虚拟对象600或者立即出现可以视觉识别虚拟对象的情形。此外，在类似的情况下，在步骤s207中，如在上述步骤s206中那样，可以控制虚拟对象600跳高，使得可以视觉识别虚拟对象600。此外，在本实施方式中，可以限制虚拟对象600的可移动方向，使得可以视觉识别虚拟对象600。
160.此外，在步骤s207中，如图11所示，ar设备100可以显示其他虚拟物体(其他虚拟对象)610以对应于不定区域。
161.由于步骤s208和步骤s209与图3中示出的第一实施方式的步骤s104和步骤s105类
似，因此这里省略其描述。
162.同样在本实施方式中，如在第一实施方式中那样，可以使用虚拟对象600在真实空间中的虚拟位置的改变或者用户900的位置或姿态的改变作为触发来重复执行图9中示出的信息处理方法。以这种方式，由ar设备100以ar显示的虚拟对象600可以被用户900感知为存在于真实空间中的真实对象。
163.如上所述，根据本实施方式，即使在真实空间中在用户900与虚拟对象600之间存在阻挡用户900的视野的遮蔽对象802的情况下，用户900也可以使用ar设备100的显示单元102容易地观看虚拟对象600。因此，根据本实施方式，用户900容易操作虚拟对象600。
164.《《4.第三实施方式》》
165.首先，将参照图12描述在本公开内容的第三实施方式中假设的情形。图13是用于描述本实施方式的概要的说明图。例如，当用户900使用根据本实施方式的信息处理系统10玩游戏时，如图12所示，假设用户900使用ar设备100和非ar设备200两者视觉识别相同的虚拟对象600并且可以操作虚拟对象。即，使用ar设备100和非ar设备200对虚拟对象600的操作不是排他的。
166.在这样的情形中，需要用户900根据从ar设备100和非ar设备200中选择作为控制器(操作设备)的设备来控制虚拟对象600的显示。换言之，在这样的情形中，即使当对于用户900对虚拟对象600的操作相同时，也需要通过根据选择作为控制器的设备改变在每种情况下显示的虚拟对象600的形式(例如，改变量等)，来进一步改善用户体验和可操作性。
167.因此，在本实施方式中，基于用户900的视线来指定由用户900选择作为控制器的设备，并且基于指定结果动态地改变虚拟对象600的显示。在本实施方式中，例如，在用户900选择ar设备100的情况下，在虚拟对象600的显示中执行如上所述的距离依赖控制，以及在用户900选择非ar设备200的情况下，利用在虚拟对象600的显示中预先定义的参数执行控制。根据本实施方式，通过以这种方式执行控制，即使当对于用户900对虚拟对象600的操作相同时，要显示的虚拟对象600的形式也根据选择作为控制器的设备而改变，并且因此，可以进一步改善用户体验和可操作性。
168.此外，在本实施方式中，由用户900选择作为控制器的设备是基于用户900的视线的方向来指定的。然而，在上述情形中，由于用户900可以使用ar设备100和非ar设备200两者，因此视线的目的地不被确定为一个，并且假设用户一直移动。因此，在视线的目的地不是一直固定的情况下，难以基于用户900的视线的方向来指定设备，并且此外，难以以高准确度指定设备。此外，在基于用户的视线的方向来简单地指定选择设备并且基于指定结果来动态地改变虚拟对象600的显示的情况下，可以想到每次指定设备改变时，虚拟对象600的移动就变得不连续，并且可操作性反而劣化。
169.因此，在本实施方式中，计算用户900选择每个设备作为控制器的概率，基于计算的概率来指定由用户900选择作为控制器的设备，并且基于指定结果来动态地改变虚拟对象600的显示。根据本实施方式，通过这样做，即使在用户900的视线的目的地不是一直固定的情况下，也可以基于用户900的视线的方向来准确地指定选择作为控制器的设备。此外，根据本实施方式，通过这样做，可以抑制虚拟对象600的移动变得不连续，并且可以避免可操作性的降低。
170.《4.1控制单元500的详细配置》
171.根据本实施方式的信息处理系统10和控制单元500的配置示例与第一实施方式的配置示例类似，并且因此，这里省略其描述。然而，在本实施方式中，控制单元500还具有以下功能。
172.具体地，在本实施方式中，对象控制部504可以动态地改变与虚拟对象600的显示有关的参数，使得例如由用户900的输入操作改变的显示改变量根据由用户900选择作为控制器的设备而改变。
173.＜4.2信息处理方法＞
174.接下来，将参照图13至图15描述根据本公开内容的第三实施方式的信息处理方法。图13和图14是示出根据本实施方式的信息处理方法的示例的流程图，并且具体地，图14是图13中示出的步骤s301的子流程图。此外，图15是用于描述根据本实施方式的指定选择设备的方法的示例的说明图。
175.具体地，如图13所示，根据本实施方式的信息处理方法可以包括从步骤s301至步骤s305的步骤。下面将描述根据本实施方式的这些步骤的细节。注意，在以下描述中，将仅描述与上述第一实施方式不同的点，并且将省略与第一实施方式共同的点的描述。
176.首先，控制单元500基于用户900的视线来指定由用户900选择作为控制器的设备(步骤s301)。注意，稍后将参照图14描述步骤s301中的详细处理。
177.接下来，控制单元500确定在上述步骤s301中指定的设备是否是ar设备100(步骤s302)。当指定的设备是ar设备100时(步骤s302：是)，处理进行到步骤s303，以及当指定的设备是非ar设备200时(步骤s302：否)，处理进行到步骤s305。
178.由于步骤s303至步骤s305与图3中示出的第一实施方式的步骤s102、步骤s103和步骤s105类似，因此这里将省略其描述。
179.注意，同样在本实施方式中，如在第一实施方式中那样，可以使用虚拟对象600在真实空间中的虚拟位置的改变或者用户900的位置或姿态的改变作为触发来重复执行图13中示出的信息处理方法。以这种方式，由ar设备100以ar显示的虚拟对象600可以被用户900感知为存在于真实空间中的真实对象。此外，在本实施方式中，由用户900基于用户900的视线选择作为控制器的设备的改变可以用作触发，并且可以重复执行改变。
180.接下来，将参照图14描述图13中的步骤s301的详细处理。具体地，如图14所示，根据本实施方式的步骤s301可以包括从步骤s401到步骤s404的子步骤。下面将描述根据本实施方式的这些步骤的细节。
181.首先，控制单元500基于来自检测用户900的眼球的移动的视线传感器单元400的感测数据来指定用户900的视线的方向(步骤s401)。具体地，例如，控制单元500可以通过使用由视线传感器单元400获得的用户900的眼球的捕获图像，基于眼睛的内角与虹膜之间的位置关系来指定用户900的视线方向。注意，在本实施方式中，由于在预定时间内指定的用户900的视线方向上总是发生用户的眼球的移动，因此可以获得多个结果。此外，在步骤s401中，可以使用通过机器学习获得的模型来指定用户900的视线方向。
182.接下来，控制单元500基于在上述步骤s401中指定的视线方向来指定用户900注意的虚拟对象600(步骤s402)。例如，如图15所示，通过相对于从用户900的眼睛950延伸的水平线在视线方向上的角度a和角度b，可以指定用户900关注的虚拟对象600是在图15中的上侧示出的显示在ar设备100上的虚拟对象600a还是在图15中下侧示出的显示在非ar设备
200上的虚拟对象600b。注意，在本实施方式中，在获得多个视线方向的结果的情况下，指定与每个视线方向对应并且用户900注意的虚拟对象600。此外，在步骤s402中，可以使用通过机器学习获得的模型来指定用户900关注的虚拟对象600。
183.接下来，控制单元500计算用户900注意在上述步骤s402中指定的虚拟对象600的概率，计算用户900选择用于显示每个虚拟对象600的设备作为控制器的概率，并且评估指定结果(步骤s403)。
184.具体地，例如，在移动的虚拟对象600的情况下，被用户900注意的概率高，并且在具有鲜明的颜色的虚拟对象600的情况下，例如，被用户900注意的概率高。此外，例如，伴随如同发声的语音输出(效果)显示的虚拟对象600也很有可能受到来自用户900的注意。此外，在虚拟对象600是游戏的角色的情况下，被用户900注意到的概率取决于分配给角色的简档(角色(主角、同事、敌人)等)而不同。因此，基于关于指定的虚拟对象600的这样的信息(操作、尺寸、形状、颜色、简档)来计算每个虚拟对象600被用户900注意到的概率。注意，此时，控制单元500可以使用通过机器学习获得的模型等来计算概率，并且另外，可以使用由设置在ar设备100中的运动传感器(未示出)检测到的用户900的运动等、或者由设置在非ar设备200中的运动传感器(未示出)检测到的非ar设备200的位置、姿态等来计算概率。此外，在用户900正在使用根据本实施方式的信息处理系统10玩游戏的情况下，控制单元500可以使用关于游戏的情形来计算概率。注意，在本实施方式中，计算的概率可以在与虚拟对象600的显示有关的参数改变时使用。
185.然后，控制单元500基于计算的概率来指定选择设备(步骤s404)。在本实施方式中，例如，当计算的概率为预定值或更大时，将与概率对应的显示虚拟对象600的设备指定为从用户900选择作为控制器的选择设备。此外，在本实施方式中，例如，将与最高概率对应的显示虚拟对象600的设备指定为选择设备。此外，在本实施方式中，可以通过使用计算的概率执行诸如外推的统计处理来指定选择设备。根据本实施方式，通过这样做，即使在用户900的视线的目的地不是一直固定的情况下，也可以基于用户900的视线的方向来准确地指定选择作为控制器的设备。
186.如上所述，在本实施方式中，基于用户900的视线来指定由用户900选择作为控制器的设备，并且可以基于指定结果来动态地改变虚拟对象600的显示。根据本实施方式，通过以这种方式执行控制，即使当对于用户900对虚拟对象600的操作相同时，要显示的虚拟对象600的形式也根据选择作为控制器的设备而改变，并且因此，可以进一步改善用户体验和可操作性。
187.此外，在本实施方式中，计算用户900选择每个设备作为控制器的概率(具体地，用户900注意虚拟对象600的概率)，基于计算的概率来指定由用户900选择作为控制器的设备，并且基于指定结果来动态地改变虚拟对象600的显示。根据本实施方式，通过这样做，即使在用户900的视线的目的地不是一直固定的情况下，也可以基于用户900的视线的方向来准确地指定选择作为控制器的设备。此外，根据本实施方式，通过这样做，可以抑制虚拟对象600的移动变得不连续，并且可以避免可操作性的降低。
188.此外，在本实施方式中，为了防止由于与虚拟对象600的显示有关的参数(控制参数)由于用户900的视线的移动而频繁改变而导致虚拟对象600的移动变得不连续，可以使用选择每个设备的概率对与虚拟对象600的显示有关的参数进行调整(插值)，而不是使用
选择每个设备的概率来直接选择与虚拟对象600的显示有关的参数。例如，假设基于用户900的视线的方向获得的设备被选择作为控制器的概率在设备a中为0.3，而在设备b中为0.7。然后，假设当设备a被选择作为控制器时的控制参数为ca，而当设备b被选择时的控制参数为cb。在这样的情况下，代替基于具有选择设备作为控制器的高概率的设备b将最终控制参数c设置为cb，可以通过使用选择每个设备的概率以例如c＝0.3
×
ca 0.7
×
cb的形式对最终控制参数c进行插值来获得最终控制参数c。以这种方式，可以抑制虚拟对象600的移动不连续。
189.注意，在本实施方式中，为了防止由于与虚拟对象600的显示有关的参数由于用户900的视线的移动而频繁改变而导致虚拟对象600的移动变得不连续，可以通过由用户900预先设置来限制参数改变的频率或量。此外，在本实施方式中，例如，与虚拟对象600的显示有关的参数可以被限制为在连续执行用户900的操作时不改变。此外，在本实施方式中，检测到用户900注视特定虚拟对象600达预定时间或更长时间可以用作改变与虚拟对象600的显示有关的参数的触发。此外，在本实施方式中，可以通过不仅使用根据用户900的视线的方向对选择设备的识别，而且还使用检测到用户900执行了预定操作作为触发，来改变与虚拟对象600的显示有关的参数。
190.此外，在本实施方式中，为了使用户900识别哪个设备被指定为控制器，例如，当ar设备100被指定为控制器时，在非ar设备200中可以不显示根据设置在虚拟对象600上的视点702的图像。此外，类似地，例如，当非ar设备200被指定为控制器时，可以在ar设备100上显示与由非ar设备200显示的图像相同的图像。
191.《4.3.修改示例》
192.此外，在本实施方式中，不仅可以检测用户900的视线的方向，而且还可以检测用户900的姿势，使得指定由用户900选择作为控制器的选择设备。在下文中，将参照图16描述本实施方式的修改示例。图16是用于描述本公开内容的第三实施方式的修改示例的概要的说明图。
193.具体地，在本修改示例中，在从对用户900的手部920的运动进行成像的成像设备(姿势检测设备)(未示出)的图像检测到如图16所示的预定姿势的情况下，控制单元500基于检测到的姿势来指定由用户900选择作为控制器的选择设备。
194.此外，在本修改示例中，在ar设备100是hmd的情况下，设置在hmd中的运动传感器(未示出)可以检测佩戴hmd的用户900的头部的移动，并且可以基于检测到的头部的移动来指定由用户900选择作为控制器的选择设备。此外，在本修改示例中，在ar设备100、非ar设备200等中设置有声音传感器(未示出)的情况下，可以基于用户900的语音或从语音中提取的预定短语来指定由用户900选择作为控制器的选择设备。
195.《《5.总结》》
196.如上所述，在本公开内容的每个实施方式中，在使用同时显示相同虚拟对象600的多个显示设备时，在具有不同的用户的感知方式的ar设备100和非ar设备中，虚拟对象600的显示对不同形式、不同改变或来自用户900的操作作出不同的反应，并且因此，可以进一步改善用户体验和可操作性。
197.注意，在本公开内容的每个实施方式中，如上所述，虚拟对象600不限于游戏的角色、物品等，并且例如可以是作为其他应用(业务工具)中的用户接口的图标、文本(按钮
等)、三维图像等，并且不受特别限制。
198.《《6.硬件配置》》
199.例如，通过具有如图17所示的配置的计算机1000来实现诸如根据上述每个实施方式的控制单元500的信息处理装置。在下文中，将以根据本公开内容的实施方式的控制单元500作为示例进行描述。图17是示出实现控制单元500的功能的计算机1000的示例的硬件配置图。计算机1000包括cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
200.cpu 1100基于存储在rom 1300或hdd 1400中的程序进行操作，并且控制每个单元。例如，cpu 1100在ram 1200中开展存储在rom 1300或hdd 1400中的程序，并且执行与各种程序对应的处理。
201.rom 1300存储诸如在计算机1000启动时由cpu 1100执行的基本输入输出系统(bios)的引导程序、取决于计算机1000的硬件的程序等。
202.hdd 1400是计算机可读记录介质，其非暂态地记录由cpu 1100执行的程序、由程序使用的数据等。具体地，hdd 1400是记录作为程序数据1450的示例的根据本公开内容的信息处理程序的记录介质。
203.通信接口1500是用于计算机1000连接至外部网络1550(例如，因特网)的接口。例如，cpu 1100经由通信接口1500从其他设备接收数据或者将由cpu 1100生成的数据发送至其他设备。
204.输入/输出接口1600是用于连接输入/输出设备1650和计算机1000的接口。例如，cpu 1100经由输入/输出接口1600从诸如键盘、鼠标和麦克风(麦克)的输入/输出设备1650接收数据。另外，cpu 1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出设备。此外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的媒体接口。例如，介质是诸如数字多功能光盘(dvd)或相变可重写盘(pd)的光学记录介质、诸如磁光盘(mo)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
205.例如，在计算机1000用作根据本公开内容的实施方式的控制单元500的情况下，计算机1000的cpu 1100通过执行存储在ram 1200中的程序来实现控制部200等的功能。另外，hdd 1400存储根据本公开内容的信息处理程序等。注意，cpu 1100从hdd 1400读取程序数据1450并执行该程序数据，但是作为其他示例，可以经由外部网络1550从其他设备获取这些程序。
206.此外，根据本实施方式的信息处理装置可以应用于包括多个设备的系统，前提是连接至网络(或设备之间的通信)，诸如云计算。即，上述根据本实施方式的信息处理装置可以通过例如多个设备实现为根据本实施方式的信息处理系统。
207.上面描述了控制单元500的硬件配置的示例。上述部件中的每一个可以使用通用构件来配置，或者可以由特定于每个部件的功能的硬件来配置。可以根据实现时的技术水平适当地改变这样的配置。
208.《《7.补充》》
209.注意，上述本公开内容的实施方式可以包括例如由如上所述的信息处理装置或信息处理系统执行的信息处理方法、用于使信息处理装置起作用的程序、以及记录有程序的非暂态有形介质。此外，可以经由诸如因特网的通信线路(包括无线通信)来分发程序。
210.此外，上述根据本公开内容的实施方式的信息处理方法中的每个步骤可以不必按照所描述的顺序进行处理。例如，可以以适当改变的顺序处理每个步骤。另外，代替以时间序列处理，可以并行或单独地部分处理每个步骤。此外，每个步骤的处理不一定必须根据所描述的方法来执行，并且例如可以由其他功能单元通过其他方法来执行。
211.尽管已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的示例。明显的是，本公开内容的技术领域中的普通技术人员可以在权利要求中描述的技术构思的范围内想到各种改变或修改，并且自然地理解，这些改变和修改也属于本公开内容的技术范围。
212.此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，与上述效果一起或代替上述效果，根据本公开内容的技术可以表现出根据本说明书的描述对于本领域技术人员明显的其他效果。
213.注意，本技术还可以具有以下配置。
214.(1)一种信息处理装置，包括：
215.控制部，所述控制部被配置成动态地改变与虚拟对象的显示有关的每个参数，所述参数根据表达图像的方法来控制所述虚拟对象在每个显示设备上的显示，所述方法被分配至显示与相同虚拟对象有关的图像的多个显示设备中的每一个以用于显示所述图像。
216.(2)根据(1)所述的信息处理装置，
217.其中，所述多个显示设备包括：
218.第一显示设备，所述第一显示设备被控制成显示虚拟地布置了所述虚拟对象的真实空间的场景，所述场景是从被定义为用户在所述真实空间中的视点的第一视点观看的，以及
219.第二显示设备，所述第二显示设备被控制成显示所述虚拟对象的图像。
220.(3)根据(2)所述的信息处理装置，
221.其中，所述控制部根据来自真实空间信息获取设备的所述用户周围的所述真实空间的三维信息，动态地改变用于控制所述第一显示设备的所述参数。
222.(4)根据(3)所述的信息处理装置，
223.其中，所述真实空间信息获取设备是对所述用户周围的所述真实空间进行成像的成像设备或者获取所述用户周围的所述真实空间的深度信息的距离测量设备。
224.(5)根据(3)或(4)所述的信息处理装置，
225.其中，在基于所述三维信息检测到在所述真实空间中的位于所述虚拟对象与所述用户之间的遮蔽对象所在的区域或者不能获取所述三维信息的区域的情况下，
226.所述控制部将所述区域设置为遮挡区域，并且改变所述第一显示设备上的所述虚拟对象的显示位置或显示形式或者所述虚拟对象在运动图像显示中的移动量，以便减小所述虚拟对象和所述遮挡区域重叠的区域。
227.(6)根据(5)所述的信息处理装置，
228.其中，所述控制部控制所述第一显示设备，以在不能获取所述三维信息的不定区域中显示其他虚拟对象。
229.(7)根据(2)至(6)中任一项所述的信息处理装置，还包括位置信息获取单元，所述位置信息获取单元获取包括在所述真实空间中所述虚拟对象与所述用户之间的距离信息
和位置关系信息的位置信息，
230.其中，所述控制部根据所述位置信息动态地改变用于控制所述第一显示设备的所述参数。
231.(8)根据(7)所述的信息处理装置，
232.其中，所述控制部执行控制，使得要在所述第一显示设备上显示的所述虚拟对象的显示面积随着所述虚拟对象与所述用户之间的距离的增加而增加。
233.(9)根据(7)所述的信息处理装置，
234.其中，所述控制部执行控制，使得要在所述第一显示设备上显示的所述虚拟对象的运动图像显示中的显示改变量随着所述虚拟对象与所述用户之间的距离的增加而增加。
235.(10)根据(7)所述的信息处理装置，
236.其中，所述控制部执行控制以随着所述虚拟对象与所述用户之间的距离的增加而使要显示在所述第一显示设备上的所述虚拟对象的运动图像显示中的轨迹更平滑。
237.(11)根据(7)所述的信息处理装置，
238.所述控制部根据所述位置信息动态地改变要在所述第一显示设备上显示的所述虚拟对象的显示改变量，所述显示改变量通过所述用户的输入操作而改变。
239.(12)根据(2)至(11)中任一项所述的信息处理装置，
240.所述控制部控制所述第二显示设备以显示从在所述真实空间中不同于所述第一视点的第二视点视觉识别的所述虚拟对象的图像。
241.(13)根据(12)所述的信息处理装置，
242.其中，所述第二视点虚拟地布置在所述虚拟对象上。
243.(14)根据(2)所述的信息处理装置，
244.其中，所述控制部根据分配给所述第一显示设备和所述第二显示设备中的每一个以用于显示所述图像的表达图像的所述方法，改变要显示在所述第一显示设备和所述第二显示设备中的每一个上的所述虚拟对象在运动图像显示中的显示改变量。
245.(15)根据(2)所述的信息处理装置，还包括选择结果获取单元，所述选择结果获取单元获取指示所述用户是否选择了所述第一显示设备和所述第二显示设备中的一个作为输入设备的选择结果，
246.其中，所述控制部根据所述选择结果动态地改变通过所述用户的输入操作而改变的所述虚拟对象的显示改变量。
247.(16)根据(15)所述的信息处理装置，
248.其中，所述选择结果获取单元基于来自视线检测设备的所述用户的视线的检测结果来获取所述选择结果。
249.(17)根据(15)所述的信息处理装置，
250.其中，所述选择结果获取单元基于来自姿势检测设备的所述用户的姿势的检测结果来获取所述选择结果。
251.(18)根据(2)至(17)中任一项所述的信息处理装置，
252.其中，所述第一显示设备将所述虚拟对象的图像叠加并显示在所述真实空间的图像上，
253.将所述虚拟对象的图像投影并显示在所述真实空间中，或者
254.将所述虚拟对象的图像投影并显示在所述用户的视网膜上。
255.(19)一种信息处理方法，包括：
256.由信息处理装置动态地改变与虚拟对象的显示有关的每个参数，所述参数根据表达图像的方法来控制所述虚拟对象在每个显示设备上的显示，所述方法被分配至显示与相同虚拟对象有关的图像的多个显示设备中的每一个以用于显示所述图像。
257.(20)一种程序，所述程序使得计算机用作控制部，所述控制部动态地改变与虚拟对象的显示有关的每个参数，所述参数根据表达图像的方法来控制所述虚拟对象在每个显示设备上的显示，所述方法被分配至显示与相同虚拟对象有关的图像的多个显示设备中的每一个以用于显示所述图像。
258.附图标记列表
259.10信息处理系统
260.100ar设备
261.102，202显示单元
262.104，204控制部
263.200非ar设备
264.300深度测量单元
265.302深度传感器单元
266.304存储单元
267.400视线传感器单元
268.500控制单元
269.502三维信息获取单元
270.504对象控制部
271.506ar设备渲染单元
272.508非ar设备渲染单元
273.510检测单元
274.512视线检测单元
275.514视线分析单元
276.520视线评估单元
277.600，600a，600b，602，610虚拟对象
278.650化身
279.700，702视点
280.800真实对象
281.802遮蔽对象
282.900用户
283.920手部
284.950眼睛
285.a，b角度