用于改变虚拟空间中的视点的方法与流程

1.本技术涉及信息处理装置、信息处理方法和程序。


背景技术：

2.已知用于在控制虚拟空间的显示时增强用户舒适度的技术。例如，以下专利文献1公开了用于减轻伴随用户在虚拟空间中的连续移动而视点改变的期间可能发生的诸如用户的晕动病(所谓的虚拟现实病(vr病))的不适的技术。
3.引用列表
4.专利文献
5.专利文献1：国际申请号2018/216402


技术实现要素：

6.本发明要解决的问题
7.同时，作为改变虚拟空间中的视点的方法，存在执行不伴随用户的连续移动的移动(离散移动)的方法。在这种情况下，与伴随着连续移动的视点改变相比，可以减少用户的晕动病，但是难以掌握虚拟空间中的自身状态(例如，位置、取向等)。此外，用户难以预先确认视点改变目的地处的虚拟空间的外观。这样，在传统技术中存在改善用户舒适度的空间。
8.本技术的目的是提出能够显示用户舒适的图像的信息处理装置、信息处理方法和程序。
9.问题的解决方案
10.本技术涉及
11.一种信息处理装置，包括：
12.控制单元，其在对伴随视点改变的虚拟空间的显示的控制期间执行控制，以能够改变为用户期望的任何外观的方式显示虚拟空间的模型，并且通过将虚拟用户视点移动到虚拟空间上的获得与模型的外观相同的外观的位置来显示虚拟空间。
13.本技术涉及
14.一种信息处理方法，包括
15.使处理器执行以下操作：
16.在对伴随视点改变的虚拟空间的显示的控制期间进行控制，以能够改变为用户期望的任何外观可改变的方式显示虚拟空间的模型，并且通过将虚拟用户视点移动到虚拟空间上的获得与模型的外观相同的外观的位置来显示虚拟空间。
17.本技术涉及一种
18.程序，使计算机进行以下操作：
19.在对伴随视点改变的虚拟空间的显示的控制期间实现控制功能，以能够改变为用户期望的任何外观的方式显示虚拟空间的模型，并且通过将虚拟用户视点移动到虚拟空间上的获得与模型的外观相同的外观的位置来显示虚拟空间。
附图说明
20.图1是示出根据本实施方式的信息处理系统的配置示例的图。
21.图2是示出控制装置的配置示例的框图。
22.图3是示出显示装置的配置示例的框图。
23.图4是示出操作装置的配置示例的框图。
24.图5是示出显示图像的状态转变的示例的视图。
25.图6是示出在初始状态下由用户观看的图像示例的视图。
26.图7是示出缩影显示状态下的图像示例的视图。
27.图8是示出在视点移动状态下的图像示例的视图。
28.图9是示出在视点确定状态下的图像示例的视图。
29.图10是示出在vr空间删除状态下的图像示例的视图。
30.图11是示出移动目的地vr空间显示状态的图像示例的视图。
31.图12是示出在缩影删除状态下的图像示例的视图。
32.图13是示出在缩影重新显示状态下的图像示例的视图。
33.图14是示出在初始状态下的另一图像示例的视图。
34.图15是示出在缩影显示状态下的另一图像示例的视图。
35.图16是示出在视点确定状态下的另一图像示例的视图。
36.图17是示出在vr空间删除状态下的另一图像示例的视图。
37.图18是示出移动目的地vr空间显示状态的另一图像示例的视图。
38.图19是示出在缩影删除状态下的另一图像示例的视图。
39.图20是示出缩影模型的显示示例的视图。
40.图21是示出控制单元的显示控制处理的流程的示例的流程图。
41.图22a是示出虚拟用户视点在局部坐标系中的位置的示例的视图。图22b是示出虚拟用户视点在世界坐标系中的位置的示例的视图。
42.图23是用于描述删除缩影模型时的瞳孔间距控制的示例的视图。
43.图24是用于描述通过改变瞳孔间距控制的双目视差的视图。
具体实施方式
44.下文要描述的实施方式是本技术的优选具体示例，并且给出了各种技术上优选的限制。然而，本技术的范围不限于以下实施方式，除非在以下描述中另外指明。注意，在本说明书和附图中具有基本相同的功能配置的部件将由相同的附图标记表示，并且适当地省略其冗余描述。将按以下顺序描述本技术。
45.1.实施方式
46.1-1.信息处理系统的概要
47.1-2.控制装置的配置
48.1-3.显示装置的配置
49.1-4.操作装置的配置
50.1-5.显示控制处理
51.2.总结
52.《1.实施方式》
53.[1-1.信息处理系统的概要]
[0054]
首先，将参照图1描述根据本实施方式的信息处理系统的概要。图1是示出根据本实施方式的信息处理系统的配置示例的图。图1所示的信息处理系统1显示要由用户(观察者)u视觉识别的显示图像。通过显示图像提供给用户u的内容的示例包括使用虚拟空间的游戏、直播流、体育广播、导航、教育、旅游信息、购物和其他基于体验的内容。此处，虚拟空间是由控制装置(信息处理装置)10执行的信息处理构建的虚拟三维空间。信息处理系统1包括控制装置10、显示装置20、操作装置30以及通信线路40和50。
[0055]
控制装置10使用虚拟空间的图像生成用户u的视点(第一人称视点)的显示图像。虚拟空间的图像是虚拟现实(vr)、增强现实(ar)、包括这些的混合现实(mr)等的图像。图像包括静止图像和运动图像(视频)。注意，虚拟空间的图像可以是通过捕获实际场景的图像而获得的图像。即，虚拟空间的图像可以是表示捕获的被摄体的图像，具体地，实际捕获的图像、基于实际捕获的图像生成的计算机图形等。显示图像是在由安装在虚拟空间中的预定位置处的虚拟相机对虚拟空间成像的情况下获得的图像。例如，显示图像是指在虚拟空间中的用户u的视野中看到的图像。具体地，控制装置10设置作为虚拟空间中的用户u的视点的虚拟用户视点，并且生成从虚拟用户视点看到的显示图像。此处，基于从显示装置20发送的姿态检测信息来指定虚拟用户视点。姿态检测信息由包含在显示装置20中的姿态检测单元生成。然后，控制装置10使显示装置20显示所生成的显示图像，由此使显示装置20显示虚拟空间。
[0056]
显示装置20是所谓的头戴式显示器(hmd)，并且佩戴在用户u的眼睛周围。上述显示图像显示在显示装置20上。然后，当用户u通过视点改变操作(例如，移动脸部、执行指示“所谓的翘曲移动(离散移动)”的操作等)改变虚拟用户视点时，相应地改变显示图像。因此，用户u可以像用户u存在于虚拟空间中一样享受虚拟体验。
[0057]
操作装置30是根据用户u的操作意图对控制装置10中的控制进行操作的装置(例如，游戏控制器等)。具体地，如图1所示，操作装置30通过握持在用户u的手中而被操作。然而，操作装置30不限于此，并且可以是例如穿戴在用户u的身体上并且根据用户u的身体的运动来操作的装置、通过诸如语音的声音来操作的装置、使用触摸面板来操作的装置等。上述控制装置10根据使用操作装置30的用户操作来控制要显示在显示装置20上的显示图像。
[0058]
通信线路40连接控制装置10和显示装置20，并且能够在它们之间进行信息通信。通信线路50连接控制装置10和操作装置30，并且能够在它们之间进行信息通信。通信线路40和50可以采用任何连接方案，例如有线或无线方案。注意，只要显示装置20和操作装置30中的每一个连接至控制装置10，就可以采用连接的任何组合。例如，连接的组合不限于图1所示的组合，并且操作装置30可以连接至显示装置20，并且操作装置30和控制装置10可以与插入其间的显示装置20连接。此外，例如，控制装置10、显示装置20和操作装置30可以使用诸如局域网(lan)的网络彼此连接。
[0059]
此处，信息处理系统1可以被配置成使得控制装置10、显示装置20和操作装置30中的至少两个或更多个被集成。例如，显示装置20可以具有控制装置10的功能。此外，显示装置20不限于头戴式显示器，并且可以是另一类型的显示器。例如，显示装置20可以是固定显示器或移动终端(例如，移动电话、智能电话、智能平板电脑、便携式游戏机等)的显示器。在
这种情况下，上述显示装置20的姿态检测单元可以通过例如在这些显示器和移动终端上提供成像装置来实现。
[0060]
在传统的信息处理系统中，在显示伴随视点改变的虚拟空间的情况下，有时会出现用户不舒适的情形。例如，伴随着用户在虚拟空间中的连续移动的视点改变引起用户的晕动病。因此，上述专利文献1公开了用于减少这种不适的技术。
[0061]
具体地，首先，在虚拟空间中布置地图图像，并且在地图图像上布置目标点(视点改变位置)图像和角色图像。然后，角色图像被移动到用户正在注视的目标点图像。即，角色图像跟随虚拟用户视点移动。接下来，在角色图像周围的虚拟空间中显示实际场景图像(场景图像)，并且以角色图像为中心放大地图图像和角色图像。然后，生成并显示从虚拟用户视点看到的显示图像。因此，实际场景图像显示在眼睛前面。然后，指定与实际场景图像的用户所注视的注视点图像最接近的目标点图像以生成移动视点图像(从从注视点移动到目标点的虚拟用户视点看到的实际场景图像)，将所生成的图像显示在布置在虚拟空间中的图像显示帧上，从而执行伴随用户的连续移动的视点改变。此时，在图像显示帧周围的实际场景图像被固定的状态下显示图像，以减轻不舒适的感觉例如用户的晕动病，并且防止在视点改变期间意外移动的感觉。
[0062]
在该技术中，需要显示移动视点图像，并且难以说执行了具有离散移动的视点改变。此外，难以通过在虚拟空间中的任何地方搜索用户期望的外观的位置来设置视点。因此，在本技术的实施方式中，当控制伴随着视点改变的虚拟空间的显示时，执行控制以按照用户期望的任何外观可改变的方式显示虚拟空间的模型，并且通过将虚拟用户视点移动到虚拟空间上的获得与模型的外观相同的外观的位置来显示虚拟空间。在下文中，将详细描述根据本实施方式的信息处理系统1。
[0063]
[1-2.控制装置的配置]
[0064]
图2是示出控制装置10的配置示例的框图。控制装置10包括通信单元11、存储单元12和控制单元13。控制装置10包括作为特定硬件配置的中央处理单元(cpu，即处理器)、随机存取存储器(ram)、只读存储器(rom)、硬盘、通信装置等。rom存储控制装置10处理所需的信息，例如程序等。cpu读取并执行存储在rom中的程序。注意，程序可以存储在诸如通用串行总线(usb)存储器的外部存储装置中，或者可以经由网络提供，或者由另一信息处理装置经由网络部分地执行。
[0065]
通信单元11例如包括通信装置等，并且经由通信线路40(参见图1)与显示装置20通信，并且经由通信线路50与操作装置30通信。此外，通信单元11还可以经由网络与另一信息处理装置(未示出)通信，并且可以通过通信获取例如虚拟空间的图像等。
[0066]
通信单元11将通过上述每个通信获得的信息(例如，从显示装置20给出的姿态检测信息、从操作装置30给出的操作信息和姿态检测信息)输出至控制单元13。此外，通信单元11将从控制单元13给出的信息(例如，显示图像)发送至显示装置20。
[0067]
存储单元12例如包括rom、ram、硬盘等，并且存储控制装置10进行处理所需的信息。例如，存储单元12存储程序、各种图像等。此处，要存储在存储单元12中的图像包括虚拟空间的图像等。
[0068]
控制单元13包括例如cpu等，并且控制控制装置10的每个部件。此外，控制单元13生成要在显示装置20上显示的显示图像，并且将该显示图像输出至通信单元11。具体地，控
制单元13设置作为虚拟空间中的用户的视点的虚拟用户视点，并且生成从虚拟用户视点看到的显示图像。此时，控制单元13生成虚拟空间的模型，并且使所生成的模型被包括在显示图像中并被显示。例如，基于虚拟空间的图像、从操作装置30给出的姿态检测信息等生成模型。
[0069]
此处，虚拟空间的模型是包括在虚拟空间中并用作视点改变的参考的目标。例如，在虚拟空间是现场地点的情况下，目标的示例包括整个现场地点、舞台部分、特定艺术家等。具体地，该模型相对于虚拟空间的显示尺寸(真实尺寸)被放大或缩小。因此，无论真实尺寸如何，都可以以适当的尺寸显示模型。注意，可以应用同等的放大率。此外，该模型包括由显示图像显示的整个虚拟空间，或者用户从由显示图像显示的虚拟空间中选择该模型。该模型优选地是虚拟空间的副本。因此，能够消除如下所述的根据视点改变切换显示图像的情况下的不舒适的感觉。
[0070]
[1-3.显示装置的配置]
[0071]
图3是示出显示装置20的配置示例的框图。显示装置20包括通信单元21、姿态检测单元22、显示单元23和显示控制单元24。显示装置20包括作为特定硬件配置的cpu、ram、rom、姿态检测传感器、头戴式显示面板、通信装置等。rom存储显示装置20进行处理所需的信息，例如程序等。cpu读取并执行存储在rom中的程序。注意，程序可以存储在诸如通用串行总线(usb)存储器的外部存储装置中，或者可以经由网络提供，或者由另一信息处理装置经由网络部分地执行。
[0072]
通信单元21例如包括通信装置等，并且经由通信线路40与控制装置10通信。通信单元21向显示控制单元24输出通过上述每个通信获得的信息，例如显示图像。另外，通信单元21将从显示控制单元24给出的信息例如稍后描述的姿态检测信息发送至控制装置10。
[0073]
姿态检测单元22包括例如姿态检测传感器并且检测显示装置20的姿态。姿态检测传感器可以是例如陀螺仪传感器。姿态检测单元22生成与显示装置20的姿态有关的姿态检测信息，并且将该姿态检测信息输出至显示控制单元24。此处，显示装置20的姿态根据用户u的头部的取向而改变。然后，可以基于用户u的头部的取向粗略地指定用户u的视点。因此，在本实施方式中，姿态检测信息用于指定虚拟用户视点。这样，基于姿态检测单元22的姿态检测信息来指定虚拟用户视点。因此，用户u可以通过改变头部的取向来移动虚拟用户视点。
[0074]
此处，姿态检测传感器可以是检测用户u的视线的视线检测传感器(即，捕获用户的眼睛附近的图像的成像装置)。在这种情况下，姿态检测传感器可以直接检测用户u的视线。此外，用户u可以通过改变视线来移动虚拟用户视点。
[0075]
显示单元23包括例如头戴式显示面板，并且在显示控制单元24的控制下显示显示图像等。显示控制单元24包括例如cpu等，并且控制显示装置20的每个部件。此外，显示控制单元24使显示单元23显示从通信单元21提供的显示图像。此外，显示控制单元24将从姿态检测单元22提供的姿态检测信息输出至通信单元21。
[0076]
[1-4.操作装置的配置]
[0077]
图4是示出操作装置30的配置示例的框图。操作装置30包括通信单元31、姿态检测单元32、操作单元33和操作控制单元34。作为具体的硬件配置，操作装置30包括cpu、ram、rom、姿态检测传感器、操作开关、通信装置等。rom存储操作装置30进行处理所需的信息，例
如程序等。cpu读取并执行存储在rom中的程序。注意，程序可以存储在诸如通用串行总线(usb)存储器的外部存储装置中，或者可以经由网络提供，或者由另一信息处理装置经由网络部分地执行。
[0078]
通信单元31例如包括通信装置等，并且经由通信线路50与控制装置10通信。通信单元31将从操作控制单元34给出的信息(例如，姿态检测信息和操作信息)发送至控制装置10。
[0079]
姿态检测单元32包括例如姿态检测传感器，并且检测操作装置30的姿态。姿态检测传感器可以是例如陀螺仪传感器。姿态检测单元32生成与操作装置30的姿态有关的姿态检测信息，并且将该姿态检测信息输出至操作控制单元34。此处，操作装置30的姿态根据握持操作装置30的用户u的手的运动而改变。因此，在本实施方式中，该姿态检测信息用于移动上述模型。注意，在移动模型时使用的信息可以是当用户u操作操作单元33时生成的操作信息。
[0080]
操作单元33包括例如诸如操作按钮或操作杆的操作开关，根据用户操作生成操作信息，并且将所生成的操作信息提供给操作控制单元34。操作控制单元34包括例如cpu等，并且控制操作装置30的每个部件。此外，操作控制单元34将从姿态检测单元32给出的信息(例如，姿态检测信息)和从操作单元33给出的信息(例如，操作信息)输出至通信单元31。
[0081]
注意，信息处理系统1可以包括检测用户u的整个身体的姿态的传感器(例如，成像装置)。然后，控制装置10的控制单元13可以基于从传感器给出的检测信息指定虚拟用户视点。即，在这种情况下，控制单元13以全面的方式使用用户的面部、身体和视线的取向。类似地，控制单元13可以基于从传感器给出的检测信息指定操作装置30的姿态。
[0082]
[1-5.显示控制处理]
[0083]
接下来，将描述伴随视点改变的显示图像的状态转变。注意，在以下描述中，将描述虚拟现实空间(vr空间)用作上述虚拟空间的情况作为示例。此外，将描述显示缩影模型的情况作为示例，在该缩影模型中，包括vr空间中的所有显示对象的模型相对于真实尺寸被缩小。
[0084]
图5是示出显示图像的状态转变的示例的视图。在图5中，“用户”列表示与要由用户视觉识别的显示图像相关的控制定时，“缩影”列表示缩影模型的控制定时，并且“vr空间”列表示vr空间的控制定时。在图5中，状态x表示显示图像正被显示，状态y表示缩影模型正被显示图像显示，并且状态z表示vr空间正被显示图像显示。注意，在以下描述中参考的图6至图13是示出由用户u观看的图像示例的视图。
[0085]
如图6所示，对伴随着视点改变的显示图像的控制从由显示图像显示vr空间s的状态(初始状态a)开始。该初始状态a是用户u处于vr空间s中的状态。在示出的示例中，显示图像显示在显示装置20上，使得可以看到vr空间s，在vr空间s中，室内空间由用户u前面的墙壁和地板围绕，桌子放置在室内空间的中心墙壁附近的地板上，并且坐在桌子上的熊的装饰物面向用户u。
[0086]
然后，当从初始状态a发出开启缩影显示的指令时，vr空间s的缩影模型m与上述vr空间s一起显示(缩影显示状态b)，如图7所示。在示出的示例中，包括图6所示的整个室内空间(vr空间s的显示对象)的缩影模型m与vr空间s一起显示。
[0087]
注意，优选地显示缩影模型m，以在比vr空间s更靠近用户u的位置处被看到。例如，
在缩影模型m的中心位置比vr空间s的中心位置更靠近用户u的位置处显示缩影模型m，因此，可以使得用户u容易地看到缩影模型m。如图中所示，缩影模型m具体地显示在用户u的附近，更具体地，靠近用户u的手。注意，缩影模型m的显示位置不限于这些位置。
[0088]
然后，用户u从如图8所示的缩影显示状态b移动虚拟用户视点与缩影模型m之间的位置关系(视点移动状态c)，并且如图9所示确定用户u期望的任何位置关系。即，确定虚拟用户视点相对于缩影模型m的位置(视点确定状态d)。注意，缩影模型m被配置成与由用户操作的操作装置30的移动一起移动，并且被显示为使得可以搜索用户u期望改变视点的位置(获得期望外观的位置)。例如，显示缩影模型m以便其能够绕诸如其中心部分的预定点在所有方向上旋转。注意，缩影模型m可以绕预定轴而不是预定点旋转。例如，在视点的高度不改变的情况下，例如用户u的水平移动，仅需要缩影模型m能够绕沿垂直方向延伸的轴旋转。此外，显示缩影模型m，使得可以调整距用户u的距离。具体地，用户u通过接近或远离缩影模型m来调整距离。注意，该距离可以通过移动缩影模型m来调整。根据从操作装置30给出到控制装置10的控制单元13的姿态检测信息等，控制缩影模型m的旋转角度和距用户u的距离。注意，用户u可以操作装置30的操作单元33，并且可以基于通过操作获得的操作信息来执行控制。
[0089]
在图8所示的示例中，图7所示的缩影模型m被移动至用户u从左上侧的位置看到的状态。注意，不是缩影模型m而是用户u可以移动，或者用户u可以在移动缩影模型m的同时移动。
[0090]
在图9所示的示例中，通过从图8所示的状态看缩影模型m，将虚拟用户视点相对于缩影模型m的位置确定为用户u和缩影模型m彼此接近的位置。例如，可以基于缩影模型m是否注视预定的时间段或更长的时间段来确定虚拟用户视点的位置。注意，用户u可以通过操作装置30的操作单元33来直接给出指令。
[0091]
具体地，虚拟用户视点相对于缩影模型m的位置由以虚拟空间中的预定位置作为参考点的坐标位置(缩影坐标系视点位置)来表示。然后，响应于缩影坐标系视点位置的确定，确定虚拟用户视点在vr空间中的与视点位置(vr空间坐标系视点位置)相对应的位置。稍后将描述该对应关系的细节。具体地，虚拟用户视点在vr空间中的位置由以虚拟空间中的预定位置作为参考点的坐标位置(vr空间坐标系视点位置)来表示。
[0092]
接下来，如图10所示，删除vr空间s(vr空间删除状态e)。在所示的示例中，通过以黑色显示除了缩影模型m之外的vr空间s已经显示的部分以执行暗显示，删除vr空间s。注意，vr空间s的删除可以通过使得场景能够平滑切换的任何显示器来执行，并且例如可以通过显示除了黑色之外的颜色(例如白色或灰色)或者通过淡出来执行。
[0093]
此外，除了删除vr空间s之外，还如图5所示开始显示图像的显示的移动效果。在开始移动效果之后，基于如上所述确定的vr空间s中的视点位置(vr坐标系视点坐标)来执行vr空间s中的虚拟用户视点的移动(vr空间坐标系移动)，并且完成移动效果。然后，因此，如图11所示显示虚拟用户视点的移动之后的vr空间s(移动目的地vr空间显示状态f)。在所示示例中，视点移动之后的vr空间s显示在缩影模型m后面。例如，vr空间s的显示可以淡入。因此，可以显示vr空间s而没有不舒适的感觉。
[0094]
在显示视点移动后的vr空间s之后，删除缩影模型m的显示，如图12所示。即，缩影模型m被隐藏(缩影删除状态g)。注意，为了消除不舒适的感觉，可以通过淡出来删除缩影模
型m。对伴随着视点改变的显示图像的控制随着缩影模型m的删除而结束。
[0095]
在视点改变目的地处再次执行视点改变的情况下，如图13所示，再次显示缩影模型m(缩影显示状态b1)来控制显示图像，这与上述的情况类似。在所示示例中，显示了与图6所示的缩影模型m相同的缩影模型m。注意，也可以显示图12所示的移动后的状态下的缩影模型m。
[0096]
缩影模型m不限于如参照图6至图13所述的包括预定vr空间s中的所有显示对象的缩影模型，并且可以是如下所述的由用户u从预定的vr空间s中的显示对象中部分选择的缩影模型。注意，除了缩影模型m的显示不同之外，以下描述与上述的情况(参照图6至图13描述的情况)相同，并且可以适当省略其描述。
[0097]
在这种情况下，对伴随着视点改变的显示图像的控制从显示图像显示vr空间s的状态(初始状态a)开始，如图14所示。在示出的示例中，可以看到类似于图6所示的vr空间s。
[0098]
然后，当从初始状态a发出开启缩影显示的指令时，从vr空间s的显示对象中选择的缩影模型m与上述vr空间s一起显示(缩影显示状态b)，如图15所示。在示出的示例中，显示了由用户u从图14所示的室内空间选择的熊装饰物的缩影模型m。具体地，用户u使用操作装置30从vr空间中的显示对象中选择并确定任何目标，由此显示缩影模型m。注意，选择方法不限于此，并且例如，成像装置可以读取由用户u执行的激光指示器的照射，并且可以选择照射点的目标作为缩影模型m。因此，用户u可以容易地选择目标。注意，激光指示器可以包括在操作装置30中，或者可以单独地设置在信息处理系统1中。
[0099]
然后，用户u从缩影显示状态b移动虚拟用户视点与缩影模型m之间的位置关系(视点移动状态c)，并且如图16所示确定用户u期望的任何位置关系。即，确定虚拟用户视点相对于缩影模型m的位置(视点确定状态d)。
[0100]
然后，响应于视点位置的确定来确定缩影坐标系视点位置，并且确定与缩影坐标系视点位置相对应的vr空间坐标系视点位置。
[0101]
接下来，如图17所示，删除vr空间s(具体地，以暗显示)(vr空间删除状态e)。此外，除了删除vr空间s之外，还开始显示图像的显示的移动效果。在开始移动效果之后，基于vr空间坐标系视点位置执行vr空间坐标系移动，并且完成移动效果。然后，因此，如图18所示显示虚拟用户视点的移动之后的vr空间s(移动目的地vr空间显示状态f)。
[0102]
在显示视点移动后的vr空间s之后，删除缩影模型m的显示，如图19所示。即，缩影模型m被隐藏(缩影删除状态g)。对伴随着视点改变的显示图像的控制随着缩影模型m的删除而结束。
[0103]
图20是示出缩影模型m的显示示例的视图。在示出的示例中，操作装置30被虚拟地显示，即，对应于操作装置30的用于手动操作的虚拟控制器c被显示以在控制器c上显示缩影模型m。例如，控制器c显示靠近用户u的手的信息。控制控制器c的显示，使得控制装置10的控制单元13使用从操作装置30给出的姿态检测信息与操作装置30一起移动(与操作装置30相同的移动)。由于缩影模型m以这种方式显示在控制器c上，所以用户u可以直观且容易地移动缩影模型m。例如，在这种情况下，通过使缩影模型m绕控制器c的中心部分旋转，缩影模型m可以与操作装置30的移动一起操作，而没有不舒适的感觉。例如，在音乐会图像等的内容中，使用户u从多个人中选择最喜欢的艺术家，并且在虚拟控制器c上显示所选择的艺术家的缩影模型。以这种方式，可以享受从最喜欢的位置和角度观看最喜欢的目标。此外，
可以执行更接近最喜欢的目标的观看。注意，可以类似地显示参照图6至图13描述的缩影模型m。
[0104]
接下来，将详细描述由执行显示图像的控制的控制装置10进行的显示控制处理。图21是示出控制装置10的控制单元13的显示控制处理的流程的示例的流程图。注意，只要在每个处理中不存在问题，可以以改变的顺序执行以下处理。
[0105]
在该显示控制处理中，首先，响应于用于缩影显示的指令执行控制以显示缩影模型m(步骤s1)。例如，用于缩影显示的指令由用户u使用操作装置30来指示。
[0106]
接下来，基于从显示装置20提供的姿态检测信息等，确定用户u是否正在观看缩影模型m，并且在确定用户正在观看的情况下，执行使缩影模型m的背景模糊以不显眼的背景处理(步骤s2)。当背景模糊时，可以由用户u聚焦缩影模型m。注意，该背景处理不限于模糊，并且可以通过具有白色填充等的显示来执行，并且可以根据需要适当地执行。
[0107]
接下来，确定用户是否注视作为视点改变的参考的目标，即缩影模型m(步骤s3)。在步骤s3中确定目标未被注视的情况下(否)，重复步骤s3中的处理，直到确定目标被注视。例如，在确定即使在经过预定时间段之后目标仍未被注视的情况下，可以删除缩影模型m以结束处理。
[0108]
在步骤s3中确定目标正被注视的情况下(是)，基于如上所述确定的用户视点在局部坐标系中的位置(缩影坐标系视点位置)来计算用户视点在世界坐标系中的位置(vr空间坐标系视点位置)(步骤s4)。具体地，基于用户视点在局部坐标系中的位置矢量来计算用户视点在世界坐标系中的位置(vr空间坐标系视点位置)。可以通过已知的计算方法获得该vr空间坐标系视点位置。
[0109]
图22是示出局部坐标系与世界坐标系之间的关系的示例的视图。图22a示出虚拟用户视点在局部坐标系中的位置的示例，并且图22b示出虚拟用户视点在世界坐标系中的位置的示例。控制单元13获得虚拟用户视点在世界坐标系中的位置(坐标)，其中虚拟用户视点的外观与当用户u从局部坐标系中的虚拟用户视点注视注视点(缩影模型m的头部)时的外观相同。注意，视线取向与局部坐标系中的取向相同，并且可以由例如从显示装置20给出的姿态检测信息来指定。例如，通过将用户视点在局部坐标系中的位置的坐标转换为用户视点在世界坐标系中的位置来获得虚拟用户视点在世界坐标系中的位置。此时，执行比例转换，使得vr空间s中的缩影模型m和目标v具有与用户u相同的外观。由于以这种方式指定虚拟用户视点的位置和vr空间s中的视线方向，所以可以获得与vr空间s中的缩影模型m的外观相同的外观。
[0110]
如图21所示，在计算vr空间坐标系视点位置之后，使用例如真实尺寸空间(vr空间)中的虚拟用户视点与注视点之间的距离来计算双目视差的宽度(步骤s5)。注意，双目视差的宽度可以通过已知的计算方法来计算。此处，根据本实施方式的显示装置20使用双目视差执行三维(3d)显示(立体视图图像的显示)。具体地，上述显示单元23独立地向用户u的左眼和右眼给出不同视点的图像，以在显示装置20后面显示立体图像。即，控制装置10生成立体视图图像(左眼图像和右眼图像)作为显示图像，并且控制显示使得所生成的左眼图像和右眼图像分别显示在用户u的左眼和右眼上。生成左眼图像和右眼图像，以使得根据用户u的瞳孔间距距(瞳孔间距：ipd)在显示面板上具有双目视差(左眼图像与右眼图像在面板表面上的对应点之间的距离)。3d显示的方法不限于上述方法，并且可以是例如在显示面板
与用户u等之间投影立体图像的方法。注意，稍后将描述通过上述计算获得的双目视差的宽度的具体使用。
[0111]
接下来，通过在视场外围中带出以注视点为中心的移动效果来删除(具体地，变暗)vr空间s(步骤s6)。即，删除用户u所注视的缩影模型m周围的vr空间s。
[0112]
在如上所述执行3d显示的情况下，当到显示对象的距离短时强烈地感觉到立体效果，而当到显示对象的距离长时立体效果减弱。即，远显示对象看起来比近显示对象更平坦。因此，当如上所述删除缩影模型m时，如果突然执行删除以切换到vr空间s的真实尺寸，则由于立体效果的突然改变而生成不舒适的感觉。因此，在本实施方式中，在删除缩影模型m以显示从中删除缩影模型m的vr空间之前，逐渐使缩影模型m的立体效果与删除缩影模型m之后的vr空间s(目标v)的立体效果相同，而不是在删除缩影模型m时突然执行删除来切换显示以显示从中删除缩影模型m的vr空间。具体地，通过逐渐改变上述显示图像的双目视差来调整立体效果。即，逐渐改变显示面板上的双目视差以逐渐使立体效果与观看vr空间s时的立体效果相同。具体地，可以通过改变瞳孔间距来改变显示面板上的双目视差。例如，可以通过在生成显示图像时调整虚拟相机之间的距离来控制瞳孔间距。即，可以通过软件调整左眼虚拟相机与右眼虚拟相机之间的距离来改变瞳孔间距。
[0113]
因此，如图21所示，在步骤s6中删除vr空间s之后，逐渐改变瞳孔间距，直到双目视差变得与真实尺寸空间(vr空间)中的双目视差相同(步骤s7)。即，双目视差的宽度逐渐改变为与通过上述计算获得的双目视差的宽度相同。然后，更新当前vr空间s的当前视点位置(显示虚拟用户视点移动后的vr空间)(步骤s8)，并且最终删除缩影模型m(步骤s9)以结束处理。
[0114]
图23是用于描述删除缩影模型m时瞳孔间距控制的示例的视图。图23的左侧(上游侧)示出了用户u正在观看缩影模型m的状态，并且图23的右侧(下游侧)示出了在删除缩影模型m之后用户u正在观看vr空间中的目标v的状态。根据用户u的双眼的位置预先设置正常状态下的瞳孔间距ipd。然后，在用户正在观看缩影模型m、虚拟空间中的目标v等的情况下，基于该设置生成左眼图像和右眼图像作为显示图像。具体地，左眼图像和右眼图像分别由与用户u的眼睛位置l和r相对应的两个虚拟相机(左眼虚拟相机和右眼虚拟相机)生成。然后，在左眼显示面板上显示所生成的左眼图像，并且在右眼显示面板上显示右眼图像。因此，用户可以感知立体图像。
[0115]
如上所述，当删除缩影模型m以显示从中删除缩影模型m的vr空间时，如果执行从图23中左侧的状态到右侧的状态的突然切换，则生成不舒适的感觉。因此，在删除缩影模型m之前，调整(逐渐变窄)瞳孔间距ipd以获得与在如图23的中央部分(中游部分)所示的在vr空间中观看目标v的情况下的立体效果相同的立体效果。图24是用于描述通过改变瞳孔间距ipd控制的双目视差的视图。注意，在图24中以交叠的方式显示左眼图像和右眼图像。例如，假设如上部所示当观看缩影模型m时的双目视差是p1，并且如下部所示当观看vr空间中的目标v时的双目视差是p2。双目视差p1是左眼图像的缩影模型m(左眼)与右眼图像的缩影模型m(右眼)之间的距离，并且双目视差p2是左眼图像的目标v(左眼)与右眼图像的目标v(右眼)之间的距离。
[0116]
在这种情况下，在缩影模型m被删除之前，改变瞳孔间距ipd，直到双目视差p1逐渐变为p2。例如，在示出的示例的情况下，立体效果逐渐减弱。此时，优选设定不产生不舒适感
觉的模式和改变时间(例如，以用户u不注意的程度)。因此，当缩影模型m已经被删除时，可以减少由在vr空间s中到目标v的距离的意义上的突然改变引起的不舒适的感觉。因此，根据本实施方式，立体效果逐渐改变(在示出的示例中减弱)的事实是唯一的外观差异(图像改变)，使得自然视点改变成为可能。
[0117]
如上所述，在控制单元13的控制下，用户u无缝地(在观看缩影模型m时)移动到获得与从缩影模型m看到的视点的外观相同的外观的位置。由于通过用缩影模型m确认外观来无缝地改变视点，所以在掌握vr空间中的自身位置的同时改变视点(不需要连续移动)。因此，可以显着地减轻诸如用户的晕动病的不适。即，当缩影模型m被删除时，与被观看的缩影模型m相同的内容被显示为被观看，并且因此，不会引起vr晕动病并且不会引起混乱。
[0118]
《2.总结》
[0119]
如上所述，在对伴随着视点改变的vr空间s的显示的控制期间，控制单元13执行控制，以便以用户u期望的可改变为任何外观的方式显示vr空间s的缩影模型m，并且通过将虚拟用户视点移动到vr空间s上的获得与缩影模型m的外观相同的外观的位置来显示vr空间s。
[0120]
因此，用户u可以从任何位置观看缩影模型m，并且自由地选择虚拟用户视点的位置。由于外观与缩影模型m的外观相同，所以即使虚拟用户视点的位置不连续(视点不连续地改变)，也可以连续地确认外观。此外，在不伴随连续移动并且不识别不连续性的情况下，可以移动到期望的视点位置。即，可以在真实尺寸空间中掌握自身位置的同时在不伴随连续移动的情况下移动视点。
[0121]
尽管上面已经具体描述了本技术的实施方式，但是本技术不限于上述实施方式，并且基于本技术的技术思想的各种修改是可能的。例如，如下所述的各种修改是可能的。此外，还可以适当地组合要在下面描述的修改的一个或多个任意选择的模式。此外，在不脱离本技术的要旨的情况下，上述实施方式的配置、方法、步骤、形状、材料、数值等可以彼此组合。
[0122]
在上述实施方式中，显示图像已经被描述为立体视图图像(3d图像)，但是可以是2d图像。
[0123]
尽管在上述实施方式中已经将通过缩小目标v而获得的缩影模型示例为vr空间的模型，但是可以通过对目标v进行同等放大或扩大来获得该模型。
[0124]
尽管在上述实施方式中已经将目标v的副本例示为vr空间的模型，但是vr空间的模型可以是比目标v更清楚的模型，可以是通过简化目标v或使目标v变形而获得的模型等。
[0125]
注意，本技术还可以具有以下配置。
[0126]
(1)
[0127]
一种信息处理装置，包括
[0128]
控制单元，其在对伴随视点改变的虚拟空间的显示的控制期间执行控制，以能够改变为用户期望的任何外观的方式显示所述虚拟空间的模型，并且通过将虚拟用户视点移动到所述虚拟空间上的获得与所述模型的外观相同的外观的位置来显示所述虚拟空间。
[0129]
(2)
[0130]
根据(1)所述的信息处理装置，其中，
[0131]
所述控制单元根据移动后的虚拟用户视点显示所述虚拟空间，并且然后删除所述
模型以显示从其删除所述模型的所述虚拟空间。
[0132]
(3)
[0133]
根据(2)所述的信息处理装置，其中，
[0134]
在删除所述模型以显示从其删除所述模型的所述虚拟空间之前，所述控制单元逐渐将所述模型的立体效果设置为与删除所述模型之后的所述虚拟空间的立体效果相同。
[0135]
(4)
[0136]
根据(3)所述的信息处理装置，其中，
[0137]
所述控制单元通过逐渐改变显示图像的双目视差来调整所述立体效果。
[0138]
(5)
[0139]
根据(4)所述的信息处理装置，其中，
[0140]
通过改变生成所述显示图像时的虚拟相机之间的瞳孔间距来改变所述双目视差。
[0141]
(6)
[0142]
根据(1)至(5)中任一项所述的信息处理装置，其中，
[0143]
所述控制单元将所述模型显示为在比所述虚拟空间更靠近所述用户的位置处被看到。
[0144]
(7)
[0145]
根据(1)至(6)中任一项所述的信息处理装置，其中，
[0146]
所述模型相对于所述虚拟空间的显示尺寸被放大或缩小。
[0147]
(8)
[0148]
根据(1)至(7)中任一项所述的信息处理装置，其中，
[0149]
所述模型是所述虚拟空间的副本。
[0150]
(9)
[0151]
根据(1)至(8)中任一项所述的信息处理装置，其中，
[0152]
所述模型包括由显示图像显示的整个虚拟空间。
[0153]
(10)
[0154]
根据(1)至(9)中任一项所述的信息处理装置，其中，
[0155]
用户从由显示图像显示的虚拟空间中选择所述模型。
[0156]
(11)
[0157]
根据(1)至(10)中任一项所述的信息处理装置，其中，
[0158]
所述控制单元显示所述模型为移动至任何外观的位置。
[0159]
(12)
[0160]
根据(11)所述的信息处理装置，其中，
[0161]
所述模型与由用户操作的操作装置的移动一起移动。
[0162]
(13)
[0163]
根据(1)至(12)中任一项所述的信息处理装置，其中，
[0164]
所述控制单元虚拟地显示要由用户操作的操作装置，并且在虚拟显示的操作装置上的位置处显示所述模型。
[0165]
(14)
[0166]
根据(1)至(13)中任一项所述的信息处理装置，其中，
[0167]
当用户观看所述模型时，所述控制单元将所述模型的背景显示为不显眼。
[0168]
(15)
[0169]
根据(1)至(14)中任一项所述的信息处理装置，其中，
[0170]
所述控制单元在以暗色显示所述模型以外的部分之后，根据移动后的虚拟用户视点显示所述虚拟空间。
[0171]
(16)
[0172]
一种信息处理方法，包括
[0173]
使处理器
[0174]
在对伴随视点改变的虚拟空间的显示的控制期间执行控制，以能够改变为用户期望的任何外观的方式显示所述虚拟空间的模型，并且通过将虚拟用户视点移动到所述虚拟空间上的获得与所述模型的外观相同的外观的位置来显示所述虚拟空间。
[0175]
(17)
[0176]
一种程序，使计算机：
[0177]
在对伴随视点改变的虚拟空间的显示的控制期间实现控制功能，所述控制功能被配置成：能够改变为用户期望的任何外观的方式显示所述虚拟空间的模型，并且通过将虚拟用户视点移动到所述虚拟空间上的获得与所述模型的外观相同的外观的位置来显示所述虚拟空间。
[0178]
附图标记列表
[0179]
1 信息处理系统
[0180]
10 控制装置
[0181]
20 显示装置
[0182]
30 操作装置
[0183]
13 控制单元
[0184]
c 控制器
[0185]
m 缩影模型
[0186]
s vr空间
[0187]
p1,p2 双目视差
[0188]
ipd 瞳孔间距