本公开内容涉及信息处理装置、信息处理方法和计算机程序。
背景技术
近年来，提供了虚拟现实(VR)技术，其通过使用佩戴在用户的头部或面部上的显示装置(所谓的头戴式显示器(HMD))来向用户提供虚拟视频，就好像它们是真实事件一样。
在HMD装置中，显示屏在被佩戴时位于用户的眼睛前方，并且存在可以透过显示屏看到外部情况的透射式HMD装置和视场被显示屏遮挡的遮蔽HMD装置。在遮蔽HMD装置中，阻挡了用户的外部视觉信息，这使得更容易获得内容中的沉浸感，并且可以说它适合于提供虚拟现实空间。注意，在可以控制显示屏的透射率的情况下，透射型和遮蔽型两者都可以用单个HMD装置来实现。
此外，在虚拟现实技术中，通过剪切广角图像的一部分而获得的图像可以通过跟随用户头部的移动来呈现。例如，可以从陀螺仪传感器等获取用户头部的移动，并且可以体验跟随用户头部的移动的整个圆周的360度视频(所谓的球面图像)。移动广角图像中的显示区域以便消除由陀螺仪传感器检测到的头部的移动可以实现自由视点观看和视点移动环境。
另外，佩戴遮蔽HMD装置以查看内容或执行各种工作的用户可以专注于相关内容或工作，但是难以理解外部情况，并且有时不知道外部人员接近进行通信。在下述专利文献1中，公开了一种通知状态控制方法，其能够使佩戴了遮蔽HMD装置的用户与外部的人更顺畅地进行通信。
引文列表
专利文献
专利文献1：WO2014/156388
技术实现要素：
技术问题
然而，当佩戴遮蔽HMD装置并观看内容时需要在真实空间中的小移动或工作时，HMD装置被拆卸和附接，或者显示屏的透射率被调整以每次将HMD装置改变为透射式HMD装置，并且可能错过重要的场景，特别是在诸如体育广播的实况观看的情况下。即使不是实况观看，用户也希望尽可能不中断地享受内容观看。
问题的解决方法
根据本公开内容，提供了一种信息处理装置，其包括控制单元，该控制单元被配置成执行控制，使得当在覆盖用户的整个视场的广角图像的再现期间检测到包括用户的站立动作或移动动作的用户的状态转变时，在显示单元上实时显示由设置在显示装置上的向外摄像机获取的真实空间图像，并且在真实空间图像上显示与广角图像的一部分相对应的2D图像，显示装置被佩戴在用户的头部上并且具有覆盖整个视场的显示单元。
根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：通过处理器进行控制，使得当在覆盖用户的整个视场的广角图像的再现期间检测到包括用户的站立动作或移动动作的用户的状态转变时，在显示单元上实时显示由设置在显示装置上的向外摄像机获取的真实空间图像，并且在真实空间图像上显示与广角图像的一部分相对应的2D图像，显示装置被佩戴在用户的头部上并且具有覆盖整个视场的显示单元。
根据本公开内容，提供了一种计算机程序，其使计算机用作控制单元，该控制单元被配置成具有控制，使得当在覆盖用户的整个视场的广角图像的再现期间检测到包括用户的站立动作或移动动作的用户的状态转变时，在显示单元上实时显示由设置在显示装置上的向外摄像机获取的真实空间图像，并且在真实空间图像上显示与广角图像的一部分相对应的2D图像，显示装置被佩戴在用户的头部上并且具有覆盖整个视场的显示单元。
附图说明
图1是解释根据本公开内容的一个实施方式的信息处理系统的概要的图。
图2是示出本实施方式中的显示装置的配置的一个示例的框图。
图3是示出通过第一示例的操作处理的流程的一个示例的流程图。
图4是示出通过第一示例的表示球面图像的一部分的2D图像的显示示例的图。
图5是示出通过第二示例的操作处理的流程的一个示例的流程图。
图6是示出通过第二示例的表示球面图像的一部分的2D图像的显示示例的转变图。
图7是示出通过第二示例的表示球面图像的一部分的2D图像的另一显示示例的转变图。
图8是示出通过第三示例的操作处理的流程的一个示例的流程图。
图9是示出通过第三示例的表示球面图像的一部分的2D图像的显示示例的图。
图10是解释在本实施方式中当在真实空间中工作时内容的2D图像的显示位置的图。
图11是示出通过第四示例的操作处理的流程的一个示例的流程图。
图12是解释通过第五示例的虚拟空间中的用于其他用户的用户状态通知显示的一个示例的图。
图13是通过第五示例的2D图像的显示示例。
图14是示出本实施方式中的真实空间的穿孔显示的一个示例的图。
图15是解释在本实施方式中在行进方向上分割的球面图像的显示示例的图。
具体实施方式
下面参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能配置的构成元件由相同的附图标记表示，使得将省略重复的描述。
此外，将按以下顺序给出描述。
1.本公开内容的一个实施方式中的信息处理系统的概要
2.配置示例
3.操作处理
3-1.第一示例
3-2.第二示例
3-3.第三示例
3-4.第四示例
3-5.第五示例
3-6.第六示例
4.其他
5.概要
1.本公开内容的一个实施方式中的信息处理系统的概要
图1是解释根据本公开内容的一个实施方式的信息处理系统的概要的图。如图1所示，本实施方式中的信息处理系统包括显示装置10(信息处理装置)和内容服务器20。
显示装置10是具有向用户呈现虚拟空间的图像的显示单元150的装置(图2)。例如，显示装置10由要佩戴在用户的头部或面部上的HMD装置来实现。HMD装置具有用于左眼和右眼中每一个眼的图像显示单元，并且被配置成使得通过组合使用耳机，能够控制视觉和听觉。另外，HMD装置还可以将不同的视频投影到左眼和右眼，并且通过显示具有用于左眼和右眼的视差的图像，还可以呈现3D图像。
此外，显示装置10具有感测真实空间以便识别用户的位置和姿势的惯性测量单元(IMU)、向外摄像机、向内摄像机、麦克风等。
显示装置10从内容服务器20获取虚拟空间的内容。显示装置10根据用户的移动从获取的内容生成自由视点图像，并将其显示在显示单元150上。用户的移动包括用户的姿势，并且基于感测到用户的各种感测数据，显示装置10跟随用户的姿势。例如，显示装置10可以基于感测数据来执行头部跟踪和眼睛跟踪。另外，本公开内容中的信息处理系统还可以包括遥控器或游戏控制器，以将用户的意图传达给系统。在用户被期望在就座位置或直立静止状态下观看虚拟空间内容的情况下，假设可以通过遥控器或游戏控制器的操作来移动虚拟空间中的向前、向后、向上、向下、向左和向右的移动。
在本实施方式中，将描述由显示装置10执行自由视点图像的生成和跟踪处理，但是本公开内容不限于此，并且可以被配置成由外部装置执行。
此外，提供给用户的虚拟空间的内容是球面内容、自由视点内容、游戏内容等。球面内容是整个圆周的360度视频(所谓的球面图像)的内容，但是它可以是至少覆盖用户的整个视场的广角图像(例如，180度图像)。另外，自由视点内容是以下内容：通过使用利用多个摄像机捕获的视频来生成当将虚拟摄像机放置在任意期望的位置时的视频，从而可以允许从任意视点观看视频。例如，从多个摄像机获取的人或对象被3D建模，并且然后被组合和补充，从而允许从包括没有摄像机的角度的任何期望视点观看。内容被记录或实时地被记录。
这里使用的术语“虚拟空间”(所谓的VR空间)是指具有交互规则的真实或虚构环境的表示，该交互规则由一个或更多个处理器模拟，实际用户可以经由一个或更多个显示装置感知和/或经由一个或更多个用户接口交互。在虚拟空间中，用户可以由化身表示，或者，在不将化身显示在显示器上的情况下，可以显示从化身的视点看的虚拟空间世界。在本说明书中，虚拟空间中的用户(或化身)的视点可以被认为是虚拟摄像机的视场。“虚拟摄像机”是指虚拟空间中的视点，并且用于将三维虚拟空间作为二维图像绘制在显示器(显示装置)上的计算。
背景技术
在通过以基本上遮挡用户的整个视场的状态佩戴HMD装置来观看覆盖用户的整个视场的球面图像或至少广角图像的内容的同时，当需要在真实空间中进行诸如去浴室、制作咖啡、响应于访问等的小的移动或工作时，需要用户拆卸和附接HMD装置或操作HMD装置，使得每次都能够看到真实空间。在这种情况下，特别地，在观看诸如体育广播或事件广播的实况时，可能在离开座位并且不显示内容的同时错过重要场景。另外，即使不是观看实况，也希望在离开座位的状态下尽可能不中断地享受内容观看。
因此，在本公开内容中，提供了一种方案，其能够通过在观看覆盖用户的整个视场的广角图像期间允许用户在继续观看广角图像的一部分的同时离开座椅来提高可用性。
2.配置示例
图2是示出本实施方式中的显示装置10的配置的一个示例的框图。如图2所示，本实施方式中的显示装置10包括控制单元100、通信单元110、传感器单元120、向外摄像机130、操作输入单元140、显示单元150、扬声器160和存储单元170。
2-1.传感器单元120
传感器单元120以特定周期感测用户状态或周围情况，并且将感测到的信息输出至控制单元100。传感器单元120具有多个传感器，例如当显示装置10被佩戴在用户的头部或面部上时捕获用户的眼睛的向内摄像机121、收集用户的语音或周围声音的麦克风122、感测用户的移动的IMU123、以及检测显示装置10的取向的方向传感器124。
向内摄像机121是捕获佩戴显示装置10的用户的眼睛的摄像机(例如，具有红外发射单元和红外成像单元的红外传感器)。向内摄像机121可以被提供用于右眼捕获和左眼捕获两者，或者可以仅被提供用于它们中的一个。
麦克风122收集用户的语音和环境声音(例如环境声音)并向控制单元100输出音频信号。
IMU 123是具有三轴陀螺仪传感器和三轴加速度传感器并且能够计算三维角速度和加速度的运动传感器的一个示例。注意，运动传感器可以是能够通过还具有三轴地磁传感器来检测总共九个轴的传感器。替选地，运动传感器可以是陀螺仪传感器和加速度传感器中的至少一个的传感器。
方向传感器124是测量显示装置10的取向的传感器，并且例如由地磁传感器实现。
2-2.控制单元100
控制单元100用作算术处理单元和控制装置，并且根据各种计算机程序控制显示装置10的整体操作。控制单元100例如由诸如中央处理单元(CPU)和微处理器的电子电路实现。控制单元100还可以包括存储要使用的计算机程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)。
另外，本实施方式中的控制单元100还用作姿势信息获取单元101、移动信息获取单元102、视线信息获取单元103、内容重要区域识别单元104和绘制处理单元105。
姿势信息获取单元101基于从传感器单元120获取的感测数据来获取(计算)关于用户的姿势信息(包括头部姿势)。例如，姿势信息获取单元101可以基于IMU 123和方向传感器124的感测数据来计算包括用户的头部姿势的用户姿势。这也使得能够掌握用户身体的转变状态，例如用户是坐着还是站着。
移动信息获取单元102基于从传感器单元120获取的感测数据，获取(计算)关于用户在真实空间中的实际移动的信息。例如，移动信息获取单元102基于IMU 123和方向传感器124的感测数据获取包括用户的行走、行进方向等的移动信息。
视线信息获取单元103基于从传感器单元120获取的感测数据来获取(计算)关于用户的视线信息。例如，视线信息获取单元103基于向内摄像机121的感测数据来计算用户的视线方向和注视点(视线位置)。在这种情况下，使用向内摄像机121作为用于获取(计算)用户的视线信息的视线检测传感器的一个示例，但是视线检测传感器不限于此，并且可以是检测用户眼睛周围的肌肉的移动的肌电传感器或脑电图传感器。此外，视线信息获取单元103可以通过使用由姿势信息获取单元101获取的头部姿势(头部的朝向)以伪方式估计视线方向。
内容重要区域识别单元104具有识别用户正在观看的内容中的重要区域的功能。可以根据内容预先设置用于确定重要区域的标准。例如，在足球的实况视频的情况下，至少包含球和最接近球的选手的区域被识别为重要区域。
绘制处理单元105对要在显示单元150上显示的图像执行生成和显示控制。例如，如上所述，绘制处理单元105根据通过用户或控制器的动作的操作输入，根据从内容服务器20获取的内容(例如，作为虚拟空间的视频的球面图像)生成自由视点图像，并将其显示在显示单元150上。
另外，本实施方式的绘制处理单元105进行控制，以使由设置在显示装置10中的向外摄像机130获取的真实空间图像被显示在显示单元150，并且即使在佩戴了遮蔽HMD装置的状态下也能够看到外部世界(所谓的视频透视)。这使得用户能够在佩戴遮蔽HMD装置的状态下在真实空间中执行安全移动或工作。
在这种情况下，当用户在观看覆盖用户的至少整个视场的广角图像(例如球面图像)的同时站立和离开座位(检测用户的状态转变，包括用户的站立动作或移动动作)时，绘制处理单元105进行控制，使得实时显示真实空间图像，并且在真实空间图像上显示表示已经观看的广角图像的一部分的2D图像。这允许用户在离开座位并在真实空间中移动或工作的同时继续观看广角图像的至少一部分。例如，通过将内容的重要区域显示为广角图像的一部分，可以防止在远离座位时错过重要场景。此外，绘制处理单元105可以在要显示的广角图像的一部分中包括用户紧接在离开座位之前观看的区域(注视区域)。此外，绘制处理单元105可以将表示广角图像的一部分的2D图像放置在相对于显示装置10的局部坐标系中的特定位置处。
2-3.通信单元110
通信单元110通过有线或无线方式连接至内容服务器20以发送和接收数据。通信单元110通过有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)等连接至内容服务器20并与之通信。
2-4.向外摄像机130
向外摄像机130对真实空间进行成像，并且将所捕获的图像(真实空间图像)输出到控制单元100。可以提供多个向外摄像机130。例如，通过其上提供多个向外摄像机130的立体摄像机，可以获取右眼图像和左眼图像。
2-5.操作输入单元140
操作输入单元140检测用户对显示装置10的操作输入，并将操作输入信息输出到控制单元100。操作输入单元140可以是例如触摸面板、按钮、开关、控制杆等。此外，用户对显示装置10的操作输入不限于通过按钮等的物理操作，而可以是手势输入或语音输入。用户还可以使用与显示装置10分离的控制器来执行操作输入。
2-6.显示单元150
当显示装置10被配置为HMD装置时，显示单元150包括被固定以分别对应于用户的左眼和右眼的左屏幕和右屏幕，并且显示左眼图像和右眼图像。此外，显示单元150被设置成至少覆盖用户的整个视场。此外，显示单元150的屏幕可以是诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示面板。
2-7.扬声器160
扬声器160被配置为头戴式耳机，以在显示装置10被配置为HMD装置并再现音频信号时佩戴在用户的头部上。此外，扬声器160不限于头戴式耳机类型，并且可以被配置为耳机或骨传导扬声器。
2-8.存储单元170
存储单元170由只读存储器(ROM)和随机存取存储器(RAM)实现，ROM存储控制单元100的处理所使用的计算机程序、计算参数等，RAM临时存储适当改变的参数等。另外，在存储单元170中，可以存储从内容服务器20获取的虚拟空间的内容(球面图像等)。
如上所述，已经具体描述了显示装置10的配置，但是通过本公开内容的显示装置10的配置不限于图2中所示的示例。例如，控制单元100的功能配置的至少一部分可以设置在外部装置(例如，连接至显示装置10并与其通信的信息处理装置、网络上的服务器等)中。
另外，当内容不是从内容服务器20实时传送的内容时，例如实况视频，即使在未连接至网络的状态下，也可以通过将内容预先存储在存储单元170中来再现内容。
3.操作处理
接下来，将参照附图具体地描述在本实施方式中在覆盖用户的整个视场的广角图像的再现期间根据用户的状态转变的显示控制处理的流程。在这种情况下，使用球面图像作为广角图像的一个示例。
3-1.第一实施方式
图3是示出通过第一示例的操作处理的流程的流程图。如图3所示，当佩戴显示装置10的用户在就座位置观看球面图像时(步骤S103)，显示装置10通过向内摄像机121连续检测用户的视线(步骤S106)。
然后，显示装置10基于从IMU 123感测的感测数据，通过姿势信息获取单元101检测用户的站立动作(直立位置)(步骤S109)。当姿势在就座位置时简单地移动(诸如前倾或环视)时，其不被检测为直立位置，并且显示装置10可以根据用户姿势的改变在虚拟空间中移动用户的视点。
然后，如果检测到用户的直立位置(步骤S109中的是)，则显示装置10假设用户离开座位，并且执行打开向外摄像机130的处理(步骤S112)、紧接在直立位置检测之前的球面图像中识别用户的注视点(步骤S115)、识别内容(球面图像)中的重要区域(步骤S118)以及禁止对虚拟空间的操作(例如，自由视点操作)(步骤S127)。这些过程可以并行处理。
为了降低功耗，获取真实空间图像的向外摄像机130在用户观看球面图像时基本上被关闭，但是因为当用户站立时期望在真实空间中移动或工作，所以向外摄像机130被控制成开启并且获取真实空间图像。
随后，显示装置10通过绘制处理单元105根据球面图像生成包括所识别的注视区域和重要区域的2D图像。
然后，显示装置10在显示单元150上显示真实空间图像，并且在真实空间图像上显示球面图像的一部分，具体地，包括重要区域的2D图像和包括用户之前正在注视的注视区域的2D图像(步骤S124)。图4是示出第一示例中的显示装置10的显示单元150中的显示示例的图。如图4的左侧所示，当用户在就座状态下使用显示装置10观看球面图像时，当用户站立时，如图4的右侧所示，显示真实空间图像400以便使其处于视频透视状态，并且以叠加的方式在真实空间图像400上显示包括用户之前正在注视的注视区域310和当前内容的重要区域320(例如，足球和追逐选手)的2D图像500。
结果，可以连续地观看内容的至少一部分，而不干扰真实空间中的移动或工作，并且特别地，通过显示至少包括内容的重要区域320的2D图像，可以防止错过例如进球时刻的重要场景。
2D图像500的显示位置不受具体限制，并且例如，其可以显示在相对于显示装置10的局部坐标系中的特定位置处(例如，视场下方)。当用户开始行走时，可以将其放置在不干扰用户移动的位置处。
2D图像500的形状可以是如图4所示的四边形，或者可以是圆形、椭圆形等。显示装置10还可以使背景图像的层为真实空间图像，并且通过连续地减小球面图像的面积并将其切换到2D图像500，可以以叠加的方式将其显示在真实空间图像上。
显示装置10还控制显示视角，使得球面图像的重要部分在2D图像500中总是可见的。
3-2.第二实施方式
在上述示例中，已经描述了显示具有包括用户的最后注视区域和重要区域的视角的2D图像500的情况，但是当注视区域和重要区域离得太远等时，当使得视角包括两个区域时，视频可能被过度缩小并且难以看到。因此，作为第二示例，将参照图5至图7描述将2D图像的视角转变到重要区域以使得用户不失去对显示视角的移动目的地的视线的显示控制。
图5是示出通过第二示例的操作处理的流程图。如图5所示，显示装置10首先紧接在检测直立位置之前识别用户的注视点(步骤S203)，并且还识别内容(球面图像)的重要区域(步骤S206)。
接着，显示装置10计算注视区域与重要区域之间的距离(步骤S209)。
然后，显示装置10确定重要区域的放大率(步骤S212)。重要区域的放大率是预定的。例如，在足球广播的情况下，可以设置球处于特定尺寸(可识别尺寸)的放大率。
接下来，显示装置10确定注视区域和重要区域两者是否在2D图像的呈现范围(也就是说，2D图像的显示尺寸、视角)内(步骤S215)。因为2D图像的显示尺寸也基本上是预定的(例外是，因为当用户在真实空间中工作等时，可以将其控制成较小，以便不干扰工作区域)，所以显示装置10可以基于例如注视区域与重要区域之间的距离是否超过特定值来进行确定。此外，当缩小并显示图像时，其可以适合2D图像的呈现范围，但是如果其太小，则难以看到，并且因此，如上所述，通过考虑预定放大率，可以确定注视区域和重要区域两者是否都在特定视角内。
然后，如果两者都被包括(步骤S215中的是)，则显示装置10的绘制处理单元105生成包括两者的2D图像(步骤S218)。
另一方面，如果两者都不包括(步骤S215中的否)，则显示装置10的绘制处理单元105生成在改变显示放大率的同时从注视区域转变到重要区域的2D图像(步骤S221)。稍后将参照图7描述具体的显示示例。显示装置10的绘制处理单元105可以生成从包括注视区域和重要区域两者的宽范围(缩小图像)到重要区域聚焦(放大)的2D图像。稍后将参照图6描述这样的示例。
然后，显示装置10执行控制，使得在显示单元150上以真实空间图像为背景显示内容的2D图像(球面图像)(步骤S224)。
具体显示示例
将参照图6和图7描述第二示例中的2D图像的具体显示示例。
图6是示出通过第二示例的表示球面图像的一部分的2D图像的显示示例的转变图。例如，如图6的左上所示，当注视区域310和重要区域320分开并且不在2D图像的呈现范围内时，显示装置10可以首先如图6的右上所示通过缩小图像来呈现包括注视区域310和重要区域320两者的2D图像500a，然后如图6的左下所示呈现聚焦在重要区域320上的2D图像500b，并且最后如图6的右下所示显示其中重要区域320被放大到特定放大率的2D图像500c。
另外，如图7的左上所示，类似地，当注视区域310和重要区域320分开并且不在2D图像的呈现范围内时，显示装置10可以首先如图7的右上所示呈现包括注视区域310的2D图像500d，并且然后如图7的左下所示呈现其中显示视角朝向重要区域320转变的2D图像500e，并且最后如图7的右下所示显示包括重要区域320并且被放大到特定放大率的2D图像500f。
通过以这种方式从注视区域转变到重要区域，可以防止用户看不到显示视角的移动目的地并且不知道其已经转变到哪里。
此外，显示装置10可以为了明确显示视角的转变目的地，预先突出显示重要区域(例如，照亮该区域，用闪烁线围绕该区域，或者显示箭头)，并且然后进行转变。
此外，当注视区域不同于重要区域部分时，显示装置10可以进行注释(可如上文所述进行突出显示)。
此外，显示装置10可以在特定时间段显示注视区域，并且然后从该注视区域过渡到重要区域(此时，可以使用倒计时显示等)。
3-3.第三实施方式
随后，将参照图8和图9描述当用户站立并进一步开始移动时对2D图像500的显示位置的控制。
图8是示出通过第三示例的操作处理的流程图。如图8所示，显示装置10在处于直立位置状态(在显示单元150上呈现真实空间图像和2D图像的状态)(步骤S303)之后首先检测用户身体的运动(步骤S306)。在这种情况下，当执行实际开始行走等时，而不是执行前倾程度的姿势变化时，其被检测为身体的移动。例如，显示装置10的移动信息获取单元102可以基于来自IMU 123、方向传感器124和通信单元110的感测数据来检测用户身体的移动。
接下来，显示装置10确定是否可以在不干扰移动的位置处显示2D图像(步骤S309)。在真实空间图像中，将不干扰移动的位置假设为避开用户的行进方向或脚的位置、墙壁、天花板等。例如，当可以根据走廊的形状等估计用户的行进方向是直的时，可以确定它可以被放置在走廊的左侧或右侧，并且当在通道中存在许多对象并且用户必须小心行走时，可以确定它可以被放置在上方。
接下来，当确定可以在不干扰移动的位置处显示2D图像时(步骤S309中的是)，显示装置10进行控制以在不干扰用户的移动的位置处显示2D图像(步骤S312)。这里，图9示出了通过第三示例的表示球面图像的一部分的2D图像的显示示例。如图9所示，例如，当用户正朝向位于真实空间图像400中的右侧的厨房行走时，显示装置10向左显示2D图像500。
另一方面，当确定不能在不干扰移动的位置处显示时(步骤S309中的否)，显示装置10将2D图像变成非显示，并暂停内容观看，并且确保移动方向上的视场(步骤S315)。在这种情况下，当用户处于就座位置并且准备好再次观看时，可以执行内容的追赶再现或追赶高速再现、停止期间的摘要再现等。
视线使用
本实施方式中的显示装置10可以通过使用用户的视线来控制内容(球面图像)的再现。
例如，在诸如实况视频的非实时内容的情况下，当用户的视线在内容内(例如，在表示叠加在真实空间图像上的内容的一部分的2D图像内)达特定时间段或更长时间时，显示装置10可以继续再现，并且当视线关闭达特定时间段或更长时间时，暂停再现。当通过视线状态控制再现和停止时，在恢复时，可以在停止之前的特定时间段内从该部分起重复地开始再现。
此外，当IMU的确信度低时(当估计不成功时)，当用户的注视点连续地在观看内容(内容中的对象)上时，显示装置10可以确定用户只是移动姿势而不是直立位置，并且优先观看内容。相反，当注视点不在内容中的对象上或者被移动到外围时，可以确定注视点是直立位置。
此外，显示装置10可以根据视线来个性化重要区域。当重要区域可能因人而异时，这是有用的。具体地，当内容观看空间中的注视点分布集中在特定时间段内的特定位置时，显示装置10可以将相关部分假设为用户的重要区域，并且个性化该重要区域。然后，例如，当用户的视线在真实空间图像中时，至少内容的个性化重要区域被存储(记录)，并且当返回到内容观看时，可以执行相关重要区域的追赶再现或追赶高速再现，或者停止期间的摘要再现。
在真实空间中工作时2D图像的显示
当移动速度小于或等于特定值且注视点不指向内容(2D图像)时，显示装置10可以假设正在真实空间中工作(制作咖啡、去浴室、响应于递送服务等)。在这种情况下，显示装置10根据视线的移动来确定内容(2D图像)的呈现位置。例如，如图10中所示，当用户正在手边或他/她的脚上工作并且识别不干扰工作的位置时，分析注视点L的轨迹，并且然后调整内容的2D图像570的放置。例如，在工作中的视线位置附近，可以假设没有对象的位置、没有检测到诸如用户的手的身体的位置等。
此外，显示装置10可以通过分析真实空间图像并且预先检测用户正在尝试做什么工作来控制2D图像的放置。例如，当预测制作咖啡时，也预先从2D图像放置可能区域中排除存在糖、奶等的位置。
显示装置10还可以根据用户的运动范围执行再现控制。具体地，当用户的工作区域延伸超过真实空间中的特定范围时，诸如存在大于或等于特定频率的身体方向的变化(在诸如烘干衣物、移动对象等的宽范围中工作)，可以暂停内容的2D图像的再现以便不干扰工作，并且当用户准备好观看时，诸如再次坐下时，可以恢复内容的2D图像的再现。
此外，当检测到用户正在与真实空间中的其他人交互时，显示装置10可以暂停内容(2D图像)。
2D图像的显示示例
显示装置10可以预先分析非实时视频的内容，并且当刺激时间接近时向用户呈现相关信息，或者当刺激时间接近时在将球面图像改变为2D图像时，给予使显示视角难以缩小的效果或者当缩小时给予与正常不同的效果。即使实时内容在期望兴奋时，也可以向用户呈现相关信息。
此外，显示装置10可以根据周围环境来控制内容的再现。例如，当真实空间是明亮的地方时，显示装置10可以增加内容(2D图像)的亮度并且以大尺寸呈现它。另外，显示装置10可以在嘈杂的地方将2D成像的内容的声音减少不那么多。另外，内容的2D图像可以显示在真实空间的颜色与内容的色调不同的地方。
此外，当不能识别重要区域时，显示装置10可以默认显示控制，其中显示视角朝向球面图像的中心(例如，用户的视线的中心)减小以形成2D图像。替选地，可以将球面图像中存在字符的位置视为重要区域。
另外，可以允许用户任意地设置可以连续观看2D图像显示的模式。
2D图像的形状不限于均匀的正方形或圆形，并且可以被缩放为适合于内容的形状。2D图像可以是多个视频(例如，足球广播内容中的得分显示屏幕、球周围的比赛显示屏幕等)。
此外，当通过检测用户的直立位置或移动来切换显示时，显示装置10还可以通过动画来转变显示屏幕的过渡的中间状态，以便防止屏幕突然切换。此外，当检测到从就座位置到直立位置的转变时，2D图像可以每次显示在相同的特定位置(例如，视场的中心)，然后移动到适当的位置(可以使得用户不会错过已经从球面图像改变为2D图像的图像)。
此外，预期由于感测的检测部分的影响而可能发生抖动，但是同时，期望尽可能没有延迟地切换。因此，显示装置10例如在检测到直立位置时开始显示的切换，但在规定时间内没有结束转变，并且在识别移动动作的确信度为大于或等于规定值时完成切换的转变。另外，当可以使用用户的视线时，切换的转变可以在视线被移动到(背景的)真实空间图像时开始。
3-4.第四实施方式
随后，将参照图11描述返回到观看球面图像的操作处理。图11是示出通过第四示例的操作处理的流程的流程图。
如图11所示，当在处于移动状态(呈现真实空间图像和2D图像的状态)(步骤S403)之后检测到停止或就座位置(步骤S406中的是)时，显示装置10首先确定视线(注视点)是否在内容(重叠显示在真实空间图像上的2D图像)中(步骤S409)。
接下来，如果视线(注视点)在内容中(步骤S409中的是)，则显示装置10关闭向外摄像机130(步骤S412)并控制返回观看球面图像(步骤S415)。
另一方面，如果视线(注视点)不在内容中(步骤S409中的否)，则显示装置10假设正在真实空间中执行工作，并且进行控制，使得内容的2D图像被显示在不干扰工作并且视线可以跟随的位置(步骤S418)。
3-5.第五实施方式
此外，本实施方式的显示装置10不仅限于内容的显示控制，而且可以具有关于声音的控制。例如，当用户在真实空间中移动或工作时，因为需要听到环境声音，所以显示装置10可以通过减小内容(2D图像)的音量来继续再现。此外，当执行声音的AR表示时，这被停止。当停止非实时的内容的再现时，显示装置10也停止声音。相反，当停止实时内容的再现时，可以仅再现声音以便防止忽视。
此外，在存在重要事件或兴奋的同时，当用户没有观看内容(2D图像)时，显示装置10可以通过利用声音警告并突出兴奋来实现防止忽视。
当体验虚拟空间时，例如观看球面图像时，显示装置10可以消除环境声音，因为当听到环境声音时难以集中于内容。替选地，显示装置10可以调节扬声器160，使得环境音量相对于内容的音量相对较小。
在这种情况下，用户变得难以注意到环境声音，但是例如，可以将其配置成不取消作为特定触发器(例如，门铃、家庭呼叫等)的环境声音。一般声音可以作为取消排除声音登记在DB中，而其他声音可以由用户预先登记。
此外，当用户站立并自发地移动时，在打开向外摄像机130的时刻，可以停止消除环境声音。
3-6.第六实施方式
接下来，将描述除了观看类型内容之外的示例。例如，在多人在虚拟空间中玩游戏的通信型内容的情况下，由于当其他用户(化身等)突然停止移动或停止对游戏进行响应时，可能是令人困惑的，因此，可以被配置成切换内容显示并向通信对方通知状态。
例如，当在坐下游戏的情况下检测到直立位置时，或者当在直立游戏的情况下检测到移动时，显示装置10切换显示以便在背景上显示真实空间图像，将游戏屏幕的球面图像的一部分变成2D图像并且将其叠加在真实空间图像上，并且禁止虚拟空间中的操作。结果，当从在虚拟空间中一起玩游戏的其他用户观看时，可以看到相关用户的化身等突然停止移动或停止对游戏的响应。因此，此时，显示装置10向内容服务器20通知状态(例如，“开始移动”、“暂停”、“离开座位”等)，使得如图12所示，在其他用户正在观看的游戏画面600(球面图像)中，在相关用户的化身601上显示诸如“移动”的状态通知图像602。这允许其他用户直观地理解相关用户正在真实空间中移动或工作。
注意，即使在2D图像显示期间，也可以响应于来自虚拟空间的吸引。例如，显示装置10可以向用户强调吸引人的声音。
此外，即使当游戏由于直立位置或移动而暂停时，实时进行的游戏的2D图像也被显示在注视区域等周围，以便不干扰移动或工作，使得游戏的进行能够在一定程度上被掌握。此外，当游戏恢复时，可以执行高速再现(摘要再现)。此外，当游戏由于直立位置或移动而被暂停时，仅虚拟空间的声音可以保持在再现状态。
另外，即使当切换到2D图像的显示时(当离开座位时)，也可以允许操作游戏。图13是通过本示例的2D图像620的显示示例。因为控制器在移动时难以使用，所以显示装置10可以使得能够通过对图13中示出的2D图像620的触摸手势或语音来进行操作输入。然而，因为当涉及在真实空间中移动或工作时，可能发生对2D图像620的错误操作，所以通过组合语音识别和姿势，可以通过语音执行激活，或者可以通过语音执行操作确认。另外，可以组合视线和姿势，使得可以仅在用户正在看的地方执行操作。
此外，在假设由于用户的踏步等而引起物理移动的虚拟空间内容(诸如游戏)的情况下，显示装置10可以将仅将踏步动作或姿势改变视为内容的操作，并且将特定距离或更大距离的实际步行(例如，当检测到特定方向上的加速度达到特定水平或更大)视为步行(移动)的检测，并且确保移动所需的视场(显示真实空间图像)。
显示装置10在离开诸如离开进行观看的房间的预先设定的特定区域之外时，可以中止内容观看，并且显示真实空间图像。
此外，从避免危险的观点来看，显示装置10可以总是呈现周围真实空间的环境。例如，显示装置10可以使诸如脚下、左右下等的可能引起危险(踩踏、撞击等)的地方总是保持可见。此外，显示装置10可以根据情况(危险条件等)呈现周围的真实空间环境。
4.其他
在本实施方式中，根据直立位置或移动的检测的显示的切换不限于上述示例中的每一个。下面描述一些修改。
例如，当在真实空间中的移动或工作不经常发生时，或者当移动仅在特定范围内时，显示装置10可以使球面图像半透明，并显示整个真实空间图像以使其可见。此时，当注视点对真实空间中的对象有许多移动时，显示装置10可以增加球面图像的透明度，并且相反地，当球面图像中有许多注视点时，可以减小球面图像的透明度。内容被保持再现，并且当用户停止或坐下时，半透明度被取消。
此外，显示装置10可以切除球面图像的一部分，使得真实空间可见。图14是示出本实施方式中的真实空间的穿孔显示的一个示例的图。如图14所示，在球面图像300的一部分上，显示真实空间图像400，以便能够观看它。例如，可以根据用户的视线的注视点的分布来确定在哪里进行穿孔以及穿孔的大小(真实空间图像的显示范围)。例如，当正在注视真实空间时，显示装置10可以扩大真实空间图像的显示范围。
此外，显示装置10可以在移动方向上显示真实空间图像，并且在除了移动方向之外的周围部分中继续内容的再现。然后，当用户停止或坐下时，填充为了确保真实空间中的视场而打开的内容中的穿孔部分，并且恢复球面图像的再现。
此外，显示装置10可以总是固定内容的2D图像的显示位置，诸如在正面以下。
此外，如图15所示，显示装置10可以执行显示控制，使得球面图像看起来在用户的行进方向上被分割。在图15所示的示例中，图像500(球面图像)在用户的行进方向上被分割，并且分别被显示在左侧和右侧(2D图像500g、500h)。
如上所述，在本实施方式中，可以在确保真实空间中的视场的同时继续观看虚拟空间中的球面图像的至少一部分。
5.概述
如上所述，已经参照附图详细描述了本公开内容的优选实施方式，但是本技术不限于这样的示例。显然，在本公开内容的技术领域中的任何普通技术人员可以在权利要求中设定的技术思想的范围内构思各种变更或修改，并且自然理解，它们属于本公开内容的技术范围。
例如，也能够制作将显示装置10和内容服务器20的功能在内置于显示装置10(信息处理装置)和内容服务器20的CPU、ROM、RAM等硬件上发挥功能的计算机程序。此外，还提供存储有相关计算机程序的计算机可读存储介质。
这里描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，根据本公开内容的技术，除了上述效果之外或者代替上述效果，还可以表现出根据本文的描述对本领域技术人员明显的其他效果。
注意，本技术还可以采用以下配置。
(1)
一种信息处理装置，包括控制单元，所述控制单元被配置成执行控制，使得当在覆盖用户的整个视场的广角图像的再现期间检测到包括所述用户的站立动作或移动动作的用户的状态转变时，在显示单元上实时显示由设置在显示装置上的向外摄像机获取的真实空间图像，并且在所述真实空间图像上显示与所述广角图像的一部分相对应的2D图像，所述显示装置被佩戴在所述用户的头部上并且具有覆盖整个视场的所述显示单元。
(2)
根据(1)所述的信息处理装置，其中，所述控制单元生成包括所述广角图像中的特定重要区域的一部分的图像作为2D图像。
(3)
根据(2)所述的信息处理装置，其中，所述控制单元生成还包括所述广角图像中的、基于紧接在检测到所述状态转变之前的关于所述用户的视线信息的注视区域的一部分的图像作为所述2D图像。
(4)
根据(1)所述的信息处理装置，其中，所述控制单元生成从包括所述广角图像中的、基于紧接在检测到所述状态转变之前的关于所述用户的视线信息的注视区域和特定重要区域的一部分的图像转变到所述重要区域的放大图像的2D图像。
(5)
根据(1)所述的信息处理装置，其中，所述控制单元生成从所述广角图像中的、基于紧接在检测到所述状态转变之前的关于所述用户的视线信息的注视区域转变到特定重要区域的2D图像。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，当检测到所述用户的移动动作时，所述控制单元根据移动方向来控制所述2D图像的显示位置。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，当检测到所述状态转变时，所述控制单元控制接通所述向外摄像机的电源。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，当检测到所述用户的移动停止动作或就座位置时，所述控制单元基于关于所述用户的视线信息从所述2D图像的显示切换到覆盖所述用户的整个视场的广角图像的显示。
(9)
一种信息处理方法，包括：通过处理器执行控制，使得当在覆盖用户的整个视场的广角图像的再现期间检测到包括所述用户的站立动作或移动动作的用户的状态转变时，在显示单元上实时显示由设置在显示装置上的向外摄像机获取的真实空间图像，并且在所述真实空间图像上显示与所述广角图像的一部分相对应的2D图像，所述显示装置被佩戴在所述用户的头部上并且具有覆盖整个视场的所述显示单元。
(10)
一种计算机程序，其使计算机用作控制单元，所述控制单元被配置成执行控制，使得当在覆盖用户的整个视场的广角图像的再现期间检测到包括所述用户的站立动作或移动动作的用户的状态转变时，在显示单元上实时显示由设置在显示装置上的向外摄像机获取的真实空间图像，并且在所述真实空间图像上显示与所述广角图像的一部分相对应的2D图像，所述显示装置被佩戴在所述用户的头部上并且具有覆盖整个视场的所述显示单元。
附图标记列表
10 显示装置
20 内容服务器
100 控制单元
101 姿势信息获取单元
102 移动信息获取单元
103 视线信息获取单元
104 内容重要区域识别单元
105 绘制处理单元
110 通信单元
120 传感器单元
121 向内摄像机
122 麦克风
124 方向传感器
130 向外摄像机
140 操作输入装置
150 显示单元
160 扬声器
170 存储单元
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
