边界显示控制设备，边界显示控制方法和程序与流程

1.本发明涉及边界显示控制设备、边界显示控制方法和程序。


背景技术：

2.存在一种虚拟现实(vr)技术，该技术使得包括在头戴式显示器(hmd)中的显示单元显示虚拟空间的状态。
3.在vr技术中，当虚拟空间的状态显示在显示单元上时，佩戴hmd的用户通常无法从视觉上识别真实空间的状态。因此，在保持佩戴其显示单元显示虚拟空间状态的hmd的用户的沉浸感的同时，防止用户触及真实空间中的对象(例如布置在地板或墙壁上的对象)的技术是重要的。
4.作为这种技术的示例，存在用于设置将允许用户存在的真实空间中的区域(以下称为允许区域)与不允许用户存在的真实空间中的区域(以下称为不允许区域)分开的边界表面的技术。根据该技术，当佩戴hmd的用户接近设置的边界表面时，在包括在hmd中的显示单元上显示表示边界表面的虚拟对象。因此，通过将未布置对象的区域设置为允许区域，可以防止佩戴hmd的用户触及对象。


技术实现要素：

5.[技术问题]
[0006]
然而，在上述技术中，当佩戴hmd的用户接近设置的边界表面时，表示该边界表面的所有虚拟对象显示在包括在hmd中的显示单元上。因此，特别是在允许区域狭窄的情况下，佩戴hmd的用户可能由于显示的虚拟对象而感到压迫感。
[0007]
本发明是鉴于上述情况做出的，并且本发明的目的是提供一种边界显示控制设备、边界显示控制方法和程序，当显示表示用于将真实空间中允许用户存在的区域与真实空间中不允许用户存在的区域划分的边界表面的虚拟对象时，能够减少用户的压迫感。
[0008]
[问题的解决方案]
[0009]
为了解决上述问题，根据本发明的边界显示控制设备包括：用户定位部分，其定位佩戴头戴式显示器的用户的位置；接近部分识别部分，其基于所述用户的定位位置将边界表面的部分识别为接近部分，所述边界表面将作为允许所述用户存在的真实空间中的区域的允许区域与作为不允许所述用户存在的所述真实空间中的区域的不允许区域分开；以及显示控制部分，使所述头戴式显示器显示表示所识别的接近部分的虚拟对象。
[0010]
在本发明的一方面，所述接近部分识别部分将与所述用户的定位位置的距离小于预定距离的所述边界表面的部分识别为所述接近部分。
[0011]
可选地，根据本发明的边界显示控制设备还包括：参考距离决定部分，其基于所述用户的定位位置与所述边界表面之间的距离来决定参考距离。所述接近部分识别部分将与所述用户的定位位置的距离小于所述参考距离的所述边界表面的部分识别为所述接近部分。
[0012]
在该方面，所述参考距离决定部分决定所述参考距离，使得所述参考距离随着所述用户的定位位置与所述边界表面之间的距离变短而变长。
[0013]
此外，在本发明的一方面，所述用户定位部分定位与彼此不同的参考距离相关联的多个传感器的位置。所述接近部分识别部分将与所述多个传感器中的每个传感器的定位位置的距离小于与所述多个传感器中的每个传感器相关联的所述参考距离的所述边界表面的部分识别为所述接近部分。
[0014]
此外，在本发明的一方面，所述边界表面包括第一高度的第一边界线和第二高度的第二边界线，所述第一高度是所述用户的定位位置的高度。所述第一边界线的部分或全部不同于所述第二边界线。所述接近部分识别部分基于通过将所述第二边界线平移到所述第一高度的位置而获得的线并且基于所述用户的位置来识别包括在所述接近部分中的所述第二边界线的部分。
[0015]
此外，在本发明的一方面，所述显示控制部分还使所述头戴式显示器显示表示围绕基于所述用户的定位位置和所述边界表面定位的位置扩散的波纹的虚拟对象。
[0016]
此外，在本发明的一方面，所述显示控制部分进一步突出显示在所述头戴式显示器上的图像的边缘的部分，所述边缘的部分是基于所述用户的定位位置和所述边界表面被识别的。
[0017]
此外，根据本发明的边界显示控制方法包括：定位佩戴头戴式显示器的用户的位置的步骤；基于所述用户的定位位置将边界表面的部分识别为接近部分的步骤，所述边界表面将作为允许所述用户存在的真实空间中的区域的允许区域与作为不允许所述用户存在的所述真实空间中的区域的不允许区域分开；以及使所述头戴式显示器显示表示所识别的接近部分的虚拟对象的步骤。
[0018]
此外，根据本发明的程序使计算机执行：定位佩戴头戴式显示器的用户的位置的过程；基于所述用户的定位位置将边界表面的部分识别为接近部分的过程，所述边界表面将作为允许所述用户存在的真实空间中的区域的允许区域与作为不允许所述用户存在的所述真实空间中的区域的不允许区域分开；以及使所述头戴式显示器显示表示所识别的接近部分的虚拟对象的过程。
附图说明
[0019]
图1是示出根据本发明实施例的娱乐系统的总体配置的示例的图。
[0020]
图2a是示出根据本发明实施例的头戴式显示器的配置示例的图。
[0021]
图2b是示出根据本发明实施例的娱乐设备的配置的示例的图。
[0022]
图3是示出虚拟空间的示例的图。
[0023]
图4是示出虚拟空间的另一示例的图。
[0024]
图5是示意性地示出位置p和接近区域对象之间的关系的示例的图。
[0025]
图6是示出根据本发明实施例的娱乐设备中实现的功能的示例的功能框图。
[0026]
图7是示出根据本发明实施例的娱乐设备中执行的处理流程的示例的流程图。
[0027]
图8是示出虚拟空间的另一示例的图。
[0028]
图9是示出虚拟空间的另一示例的图。
[0029]
图10是示出强调图像的示例的图。
具体实施方式
[0030]
以下，将参考附图描述本发明的实施例。
[0031]
图1是示出根据本发明实施例的娱乐系统10的总体配置的示例的图。图2a是示出根据本实施例的头戴式显示器(hmd)12的配置示例的图。图2b是示出根据本实施例的娱乐设备14的配置的示例的图。
[0032]
如图1所示，根据本实施例的娱乐系统10包括hmd 12、娱乐设备14、中继设备16、显示器18、相机麦克风单元20和控制器22。
[0033]
如图2a所示，例如，根据本实施例的hmd 12包括处理器30、存储单元32、通信单元34、输入/输出单元36、显示单元38和传感器单元40。
[0034]
处理器30是一种程序控制设备，如根据安装在hmd 12中的程序运行的微处理器。
[0035]
存储单元32是诸如只读存储器(rom)或随机存取存储器(ram)之类的存储元件。存储单元32存储由处理器30执行的程序等。
[0036]
通信单元34是诸如无线局域网(lan)模块的通信接口。
[0037]
输入/输出单元36是输入/输出端口，例如高清多媒体接口(hdmi)(注册商标)端口或通用串行总线(usb)端口。
[0038]
显示单元38是诸如液晶显示器或有机电致发光(el)显示器的显示器，并且显示由娱乐设备14等生成的图像。如图1所示，当用户佩戴hmd 12时，显示单元38被布置在用户的前面。例如，显示单元38可以接收由娱乐设备14输出并由中继设备16中继的视频信号，并且可以输出由视频信号表示的视频。根据本实施例的显示单元38可以通过例如显示用于左眼的图像和用于右眼的图像来显示三维图像。注意，显示单元38可以是不能显示三维图像并且只能显示二维图像的显示单元。
[0039]
传感器单元40是诸如加速度传感器或运动传感器之类的传感器。传感器单元40可以以预定采样率向处理器30输出hmd12的姿态、旋转量、移动量等的测量结果。
[0040]
根据本实施例的娱乐设备14是诸如游戏控制台、数字多功能光盘(dvd)播放器或蓝光(注册商标)播放器的计算机。根据本实施例的娱乐设备14例如通过执行存储或记录在光盘上的游戏程序并再现内容来生成视频和音频。然后，根据本实施例的娱乐设备14经由中继设备16向显示器18输出表示生成的视频的视频信号和表示生成的音频的音频信号。
[0041]
如图2b所示，根据本实施例的娱乐设备14包括例如处理器50、存储单元52、通信单元54和输入/输出单元56。
[0042]
处理器50是一种程序控制设备，如根据安装在娱乐设备14中的程序运行的中央处理单元(cpu)。根据本实施例的处理器50还包括图形处理单元(gpu)，其基于从cpu提供的图形命令和数据在帧缓冲器中绘制图像。
[0043]
存储单元52是例如rom或ram或硬盘驱动器之类的存储元件。存储单元52存储由处理器50执行的程序等。此外，在根据本实施例的存储单元52中，保护其中由gpu绘制图像的帧缓冲器的区域。
[0044]
通信单元54是诸如无线lan模块的通信接口。
[0045]
输入/输出单元56是诸如hdmi(注册商标)端口或usb端口的输入/输出端口。
[0046]
根据本实施例所述中继设备16是包括控制单元(如控制电路、图像处理电路或语音处理电路)和存储单元(如存储器)等的计算机。中继设备16将从娱乐设备14输出的视频
信号和音频信号中继并输出到hmd 12或显示器18。
[0047]
根据本实施例的显示器18例如是液晶显示器，并且显示由从娱乐设备14输出的视频信号表示的视频。
[0048]
例如，根据本实施例的相机麦克风单元20包括向娱乐设备14输出对象的捕获图像的相机20a和获取周围声音并将声音转换为音频数据以将数据输出到娱乐设备14的麦克风20b。顺便提一下，根据本实施例的相机20a是立体相机。
[0049]
例如，hmd 12和中继设备16可以无线地相互发送和接收数据。顺便提一下，hmd 12和中继设备16可以经由诸如hdmi电缆或usb电缆的电缆连接。例如，娱乐设备14和中继设备16经由hdmi电缆或usb电缆连接。例如，中继设备16和显示器18经由hdmi电缆连接。例如，娱乐设备14和相机麦克风单元20通过辅助(aux)电缆连接。
[0050]
根据本实施例的控制器22是用于执行对娱乐设备14的操作输入的操作输入设备。根据本实施例的娱乐系统10包括两个控制器22。此外，控制器22配备有多个按钮。用户可以通过按下控制器22上提供的按钮或在左手和右手握住控制器22的同时改变控制器22的位置或姿态来使用控制器22执行各种操作输入。
[0051]
然后，在本实施例中，控制器22将与操作输入相关联的输入数据输出到娱乐设备14。根据本实施例的控制器22包括无线通信模块等，并且可以将输入数据无线地发送到娱乐设备14的通信单元54。
[0052]
此外，根据本实施例的控制器22可以包括诸如加速度传感器或运动传感器之类的传感器。然后，传感器可以以预定采样率向娱乐设备14或hmd12输出指示控制器22的姿态、旋转量和移动量等的测量结果的输入数据。由hmd 12接收的输入数据可用于由hmd 12的处理器30执行的处理。此外，由hmd 12接收的输入数据可以与指示从hmd 12的传感器单元40输出的测量结果的数据一起发送到娱乐设备14。然后，娱乐设备14的处理器50可以使用输入数据和指示测量结果的数据执行处理。
[0053]
在本实施例中，控制器22的位置被定位。这里，在本实施例中，控制器22的位置可以通过所谓的由外而内的方法进行跟踪来定位。例如，包括在相机麦克风单元20中的相机20a可以以预定采样率将控制器22的捕获图像输出到娱乐设备14。然后，娱乐设备14可以基于控制器22的捕获图像来定位控制器22的位置。
[0054]
此外，在本实施例中，控制器22的位置可以通过所谓的由内而外的方法进行跟踪来定位。这里，例如，hmd 12的传感器单元40还可以包括多个相机。然后，多个相机可以以预定采样率生成由用户操作的控制器22的捕获图像。然后，可以从控制器22的捕获图像计算控制器22相对于hmd 12的相对位置。然后，娱乐设备14可以基于由传感器单元40测量的hmd 12的位置和方向以及计算出的相对位置来识别控制器22的绝对位置。
[0055]
顺便提一下，控制器22的位置可以由hmd 12或中继设备16而不是娱乐设备14定位。
[0056]
此外，控制器22可以包括诸如发光二极管(led)的发光部件。然后，可以基于由相机20a或包括在hmd 12中的相机捕获的发光部件的图像来识别控制器22的位置和方向。
[0057]
在本实施例中，例如，生成表示从布置在图3所示的虚拟空间60中的视点62在注视方向64上观看的状态的运动图像。这里，例如，以预定帧速率生成帧图像。此外，图3所示的虚拟空间60是虚拟三维空间。在本实施例中，图3所示的虚拟空间60中的位置以一对一的方
式与真实空间中的位置相关联。注意，例如，响应于在娱乐设备14中使用vr技术执行第一人称视点游戏程序，可以生成运动图像。此外，本实施例中的vr技术可以是房间规模的vr技术，其允许用户通过与附加到用户的hmd 12一起四处走动来体验如同用户在虚拟空间60中移动一样的体验。
[0058]
注视方向64和视点62的位置根据游戏情况(例如用户对控制器22的操作或游戏中发生的事件)而改变。此外，例如，视点62的注视方向64和位置根据hmd 12的位置和姿态的改变而改变。然后，显示在hmd 12的显示单元38上的内容根据注视方向64和视点62的位置的改变而改变。可以以上述预定帧速率执行根据游戏情况的处理，该处理包括更新视点62的位置和注视方向64、生成帧图像和显示帧图像。
[0059]
此外，与用户左手位置相关联的左手对应点66的位置根据用户在左手中持有的控制器22的操作或控制器22的位置或姿态的变化而变化。此外，与用户右手位置相关联的右手对应点68的位置根据用户持有的控制器22的操作或控制器22的位置或姿态的变化而变化。
[0060]
佩戴hmd 12的用户的头部在真实空间中的位置与视点62在虚拟空间60中的位置相关联。此外，真实空间中佩戴hmd 12的用户的头部的方向与虚拟空间60中的注视方向64相关联。此外，佩戴hmd 12的用户左手所持有的控制器22在真实空间中的位置与虚拟空间60中左手对应点66的位置相关联。此外，佩戴hmd 12的用户右手所持有的控制器22在真实空间中的位置与虚拟空间60中右手对应点68的位置相关联。
[0061]
这里，例如，可以基于传感器单元40的测量结果来识别佩戴hmd 12的用户的头部在真实空间中的位置和方向。此外，可以基于包括在控制器22中的传感器的测量结果来识别控制器22在真实空间中的位置。
[0062]
此外，例如，可以基于由包括在相机麦克风单元20中的相机20a捕获的图像来确定佩戴hmd 12的用户的头部在真实空间中的位置和方向并且控制器22的位置。或者，可以基于由包括在hmd 12的传感器单元40中的多个相机捕获的图像来识别用户头部在真实空间中的位置和方向以及控制器22的位置。在这种情况下，可以通过使用由hmd 12、娱乐设备14或中继设备16执行的对象识别算法来定位控制器22的位置。
[0063]
当在vr技术中在显示单元38上显示虚拟空间60的状态时，佩戴hmd 12的用户通常不能视觉上识别真实空间的状态。因此，在保持佩戴hmd 12的用户在显示单元38上显示虚拟空间60的状态的沉浸感的同时，防止用户触及真实空间中的对象的技术是重要的。
[0064]
基于此，在本实施例中，可以设置将允许用户存在的真实空间中的区域与不允许用户存在的真实空间中的区域分开的边界表面。以下，在真实空间中允许用户存在的区域被称为允许区域。此外，真实空间中不允许用户存在的区域称为不允许区域。例如，用户将在允许区域内玩第一人称视点游戏。
[0065]
然后，在本实施例中，如图3所示，在虚拟空间60中布置表示在真实空间中设置的边界表面的虚拟对象。以下，将虚拟对象称为边界表面对象70。在本实施例中，例如，边界表面对象70被布置在虚拟空间60中的某个位置，该位置与在真实空间中设置边界表面的位置相关联。例如，在包括在边界表面对象70中的多边形内部，可以粘贴包括沿高度方向延伸的多条线和沿水平方向延伸的多条线的晶格状纹理。
[0066]
然后，当佩戴hmd 12的用户接近设置的边界表面时，边界表面对象70的部分或全
部被显示在包括在hmd 12中的显示单元38上。这里，例如，可以如图4所示标识作为边界表面对象70的一部分的接近区域对象72。然后，可以显示识别的接近区域对象72。在这种情况下，可以隐藏除接近区域对象72之外的边界表面对象70的其余部分。以下，表示除接近区域对象72之外的边界表面对象70的其余部分的虚拟对象将被称为外部区域对象74。即，根据本实施例的边界表面对象70包括接近区域对象72和外部区域对象74。
[0067]
图4示出了虚拟空间60中的位置p，该位置p与用户在真实空间中的位置相关联。这里，例如，由传感器单元40的测量结果表示的hmd 12的位置可以被识别为位置p。在这种情况下，位置p对应于视点62的位置。或者，由包括在控制器22中的传感器的测量结果表示的控制器22的位置可以被识别为位置p。在这种情况下，位置p对应于左手对应点66的位置或右手对应点68的位置。此外，可以基于两个控制器22的位置来识别位置p。例如，虚拟空间60中的一点(该点与用户在左手中持有的控制器22的位置相关联)与虚拟空间60中的另一点(该点与用户在右手中持有的控制器22的位置相关联)之间的中点的位置可被标识为位置p。
[0068]
图5是示出位置p和接近区域对象72之间的关系的示例的图。图5示出了具有半径r并且以位置p为中心的球体76。然后，在本实施例中，例如，包括在球体76中并且占据边界表面对象70的一部分的区域被识别为接近区域对象72。顺便提一下，虚拟空间60中的位置p和边界表面对象70之间的距离对应于用户的位置和真实空间中的边界表面之间的距离。
[0069]
这里，半径r可以是预定值。在这种情况下，接近区域对象72是表示与用户位置的距离小于预定距离的边界表面的一部分的虚拟对象。
[0070]
此外，例如，可以基于用户位置和边界表面之间的距离来确定半径r。下文中，在这种情况下，半径r将被称为参考距离。这里，例如，当用户位置和边界表面之间的距离变短时，可以确定更长的参考距离。在这种情况下，接近区域对象72是表示与用户位置的距离小于参考距离的边界表面的一部分的虚拟对象。这样，与参考距离恒定的情况相比，当用户的位置接近边界表面时被强调得更多的区域被识别为接近区域对象72，而不管用户的位置和边界表面之间的距离如何。因此，用户可以更容易地识别用户正在接近边界表面。
[0071]
此外，例如，取决于传感器的类型，用户位置和边界表面之间的距离与参考距离的对应关系可能不同。例如，在用户位置与边界表面之间的距离为一定距离的情况下，与hmd 12的传感器单元40相关联的参考距离可以大于与包括在控制器22中的传感器相关联的参考距离。
[0072]
然后，对于多个传感器中的每一个，可以识别接近区域对象72，接近区域对象72表示与传感器位置的距离小于与传感器相关联的参考距离的边界表面的一部分。
[0073]
此外，hmd 12的前侧和后侧之间的参考距离可以不同。在用户位置与边界表面之间的距离为一定距离的情况下，hmd 12的前侧的参考距离可以大于hmd 12的后侧的参考距离。或者，在用户位置与边界表面之间的距离为一定距离的情况下，hmd 12的后侧的参考距离可以大于hmd 12的前侧的参考距离。
[0074]
注意，存在将边界表面对象70的全部包括在球体76中的可能性。在这种情况下，可将边界表面对象70的全部识别为接近区域对象72。此外，存在将边界表面对象70的全部从球体76排除的可能性。在这种情况下，可以将边界表面对象70的全部识别为外部区域对象74。
[0075]
此外，接近区域对象72可以包括多个部分区域。然后，每个部分区域可以在显示模式中根据到位置p的距离显示。例如，每个部分区域可以以与到位置p的距离相对应的颜色显示。更具体地说，例如，当从位置p到部分区域的距离变短时，部分区域显示为更红，当从位置p到部分区域的距离变长时，部分区域显示为更黄。此外，取决于与位置p的距离，显示接近区域对象72的色调可以不同。
[0076]
此外，还可以显示外部区域对象74。这里，例如，外部区域对象74可以根据从位置p到边界表面对象70的距离以不透明度(α值)显示。例如，在从位置p到边界表面对象70的距离大于预定第一距离的情况下，可以将0设置为外部区域对象74的不透明度。在这种情况下，外部区域对象74变得透明(不可见)。
[0077]
然后，在从位置p到边界表面对象70的距离小于第一距离的情况下，可以为外部区域对象74设置与从位置p到边界表面对象70的距离相对应的不透明度。这里，外部区域对象74的不透明度可以随着从位置p到边界表面对象70的距离变短而增加。然后，例如，在从位置p到边界表面对象70的距离小于预定第二距离的情况下，可以将外部区域对象74的不透明度设置为1。在这种情况下，外部区域对象74是完全不透明的。顺便提一下，第二距离可以是0。
[0078]
此外，接近区域对象72和外部区域对象74的显示模式可以彼此不同。例如，接近区域对象72和外部区域对象74可以以不同的颜色显示。
[0079]
因此，根据与本实施例相关的娱乐系统10，可以通知佩戴hmd 12的用户其正在接近边界表面，并且结果是，可以防止用户偏离允许区域。
[0080]
此外，根据根据本实施例的娱乐系统10，使作为边界表面对象70的一部分的接近区域对象72被显示，使得当显示边界表面对象70时可以减少用户的压迫感。
[0081]
顺便提一下，在本实施例中，可以根据用户在真实空间中的边界表面设置操作来设置上述设置表面。
[0082]
在下文中，将通过聚焦于接近区域对象72的显示来进一步描述根据本实施例由娱乐设备14实现的功能和根据本实施例由娱乐设备14执行的处理。
[0083]
图6是示出根据本实施例的在娱乐设备14中实现的功能的示例的功能框图。应当注意，根据本实施例的娱乐设备14不需要配备图6所示的所有功能，并且可以配备图6所示功能以外的功能。
[0084]
如图6所示，根据本实施例的娱乐设备14在功能上例如包括边界表面设置部分80、边界表面对象布置部分82、程序执行部分84、接近部分识别部分86、边界表面对象更新部分88、运动图像生成部分90和显示控制部分92。
[0085]
边界表面设置部分80和程序执行部分84主要在处理器50和通信单元54中实现。边界表面对象布置部分82、接近部分识别部分86、边界表面对象更新部分88和运动图像生成部分90主要在处理器50中实现。显示控制部分92主要在处理器50和输入/输出单元56中实现。
[0086]
通过在处理器50中执行包括与安装在作为计算机的娱乐设备14中的上述功能相对应的指令的程序来实现上述功能。该程序经由计算机可读信息存储介质(例如光盘、磁盘、磁带、磁光盘或闪存)或经由因特网等提供给娱乐设备14。
[0087]
在本实施例中，例如，边界表面设置部分80设置将上述允许区域与上述不允许区
域分开的边界表面。这里，边界表面设置部分80可以根据佩戴hmd12的用户的边界表面设置操作(例如，用户对控制器22的操作)来设置边界表面。
[0088]
在本实施例中，边界表面对象布置部分82例如在虚拟空间60中布置与边界表面设置部分80设置的边界表面相关联的边界表面对象70。这里，在本实施例中，假设由边界表面对象70占据的区域例如包括多个部分区域。这里，例如，边界表面对象70可以是与边界表面相关联的多边形模型。此外，如上所述，晶格形状的纹理可以附着到包括在边界表面对象70中的多边形的内部。
[0089]
在本实施例中，程序执行部分84执行诸如第一人称视点游戏程序的程序。此外，在本实施例中，程序执行部分84例如定位佩戴hmd 12的用户的位置。这里，程序执行部分84可以识别多个传感器的位置，例如(hmd 12的传感器单元40的位置和包括在控制器22中的传感器的位置)。
[0090]
然后，程序执行部分84可以基于例如由传感器单元40以预定采样率测量的hmd 12的位置和方向来确定视点62的位置和注视方向64。此外，程序执行部分84可以基于由包括在控制器22中的传感器以预定采样率测量的控制器22的位置来确定左手对应点66和右手对应点68的位置。
[0091]
在本实施例中，接近部分识别部分86例如基于所定位的用户的位置将边界表面的一部分识别为接近部分。这里，例如，可以识别虚拟空间60中的接近区域对象72，接近区域对象72与真实空间中的接近部分相关联。
[0092]
如上所述，接近部分识别部分86可以将距离用户位置小于预定距离的边界表面的一部分识别为接近部分。
[0093]
此外，接近部分识别部分86可以基于用户位置和边界表面之间的距离来确定参考距离。然后，接近部分识别部分86可以将距离用户位置小于参考距离的边界表面的一部分识别为接近部分。这里，随着用户位置和边界表面之间的距离变短，可以确定更长的参考距离。
[0094]
此外，接近部分识别部分86可以确定用户和边界表面是否彼此靠近。然后，在确定用户和边界表面彼此接近的情况下，接近部分识别部分86可以识别接近部分。例如，在用户位置和边界表面之间的距离小于预定距离的情况下，可以识别接近部分。
[0095]
此外，如上所述，多个传感器可分别与彼此不同的参考距离相关联。然后，对于多个传感器中的每一个，接近部分识别部分86可以识别边界表面的一部分作为接近部分，该边界表面与传感器位置的距离小于与传感器相关联的参考距离。
[0096]
此外，例如，程序执行部分84可以基于对相机20a捕获的图像的图像识别处理的结果来识别用户身体在真实空间中占据的区域。然后，接近部分识别部分86可以基于用户身体占据的区域的轮廓来识别接近部分。
[0097]
在本实施例中，边界表面对象更新部分88例如设置边界表面对象70的不透明度。这里，例如，可以将1设置为与由接近部分识别部分86识别的接近部分相关联的接近区域对象72的不透明度，并且可以将0设置为外部区域对象74的不透明度。
[0098]
此外，边界表面对象更新部分88可以设置诸如边界表面对象70的颜色之类的显示模式。例如，如上所述，可以根据接近区域对象72中包括的每个部分区域的部分区域与位置p之间的距离来设置颜色。
[0099]
此外，如上所述，可以根据从位置p到边界表面对象70的距离来设置外部区域对象74的不透明度。此外，接近区域对象72和外部区域对象74的显示模式可以彼此不同。例如，可以为接近区域对象72和外部区域对象74设置不同的颜色。
[0100]
在本实施例中，运动图像生成部分90根据程序执行部分84的程序的执行结果生成运动图像，例如根据游戏情况的运动图像。此外，运动图像生成部分90可以生成表示从布置在虚拟空间60中的视点62在注视方向64上观看的状态的运动图像。这里，例如，可以以预定帧速率生成帧图像。此外，在边界表面对象70的一部分或全部不透明(不可见)的情况下，运动图像生成部分90可以生成其中边界表面对象70的部分或全部图像叠加在从视点62沿注视方向64观看的虚拟空间60中的状态的图像上的帧图像。
[0101]
在本实施例中，显示控制部分92使显示单元38显示例如从布置在虚拟空间60中的视点62在注视方向64上观看的状态的运动图像。这里，例如，显示控制部分92可以经由中继设备16将运动图像发送到hmd 12。然后，可以使显示单元38显示由hmd 12接收的运动图像。
[0102]
此外，在本实施例中，显示控制部分92使hmd 12的显示单元38显示表示识别的接近部分的接近区域对象72。此外，显示控制部分92还可使显示单元38显示表示边界表面的其余部分的外部区域对象74。例如，显示控制部分92可以使hmd 12的显示单元38以不同的显示模式显示接近区域对象72和外部区域对象74。例如，显示控制部分92可以使显示单元38这样显示接近区域对象72和外部区域对象74，使得接近区域对象72的不透明度大于外部区域对象74的不透明度。此外，例如，显示控制部分92和外部区域对象74可以以不同的颜色显示。
[0103]
例如，显示控制部分92使显示单元38显示由运动图像生成部分90生成的运动图像。例如，可以使显示单元38以预定帧速率显示由运动图像生成部分90生成的帧图像。
[0104]
这里，将参考图7中所示的流程图来描述根据本实施例的娱乐设备14中执行的处理流程的示例。图7中所示的s101到s105中所示的处理以预定的帧速率重复执行。假设在该处理示例中所示的处理开始时，边界表面设置部分80已经执行边界表面设置，并且边界表面对象布置部分82已经执行了边界表面对象70的布置。
[0105]
首先，如上所述，程序执行部分84确定在该帧中视点62的位置、注视方向64、左手对应点66的位置和右手对应点68的位置(s101)。例如，可以基于由hmd 12的传感器单元40测量的hmd 12的位置和方向以及基于由包括在控制器22中的传感器测量的控制器22的位置来执行s101中所示的处理中的确定。
[0106]
然后，如上所述，接近部分识别部分86基于已由s101中所示的处理确定的视点62的位置、左手对应点66的位置和右手对应点68的位置来识别接近区域对象72(s102)。这里，可以识别多个接近区域对象72。
[0107]
然后，边界表面对象更新部分88基于在s102所示的处理中的识别结果来设置接近区域对象72和外部区域对象74的不透明度(α值)(s103)。注意，不必通过s103中所示的处理来更新接近区域对象72和外部区域对象74的不透明度(α值)。
[0108]
然后，运动图像生成部分90生成该帧中的帧图像(s104)。这里，例如，生成描绘从由s101中所示的处理确定的视点62的位置在注视方向64上观看的虚拟空间60中的状态的帧图像。除非边界表面对象70的全部是透明的(不可见)，否则帧图像包括接近区域对象72的图像或外部区域对象74的图像。
[0109]
然后，显示控制部分92使hmd 12的显示单元38显示由s104所示的处理生成的帧图像(s105)，并返回到s101所示的处理。
[0110]
注意，边界表面对象70的形状不必是如图3和图4所示的矩形平行六面体形状。边界表面对象70的形状可以是如图8所示的根据高度变化的形状。
[0111]
假设此处从参考面确定的位置p的高度为h1。此外，在图8的示例中，对于距离参考面的高度高于h2的范围，设置了具有比距离参考面的高度小于h2的范围更大的允许区域的边界表面。如上所述，高度高于h2的部分或全部边界线可能不同于高度低于h2的边界线。
[0112]
在这种情况下，接近部分识别部分86可以基于通过将高度低于h2的边界线平移到高度h1而获得的线和位置p来识别包括在接近部分中的边界线的一部分。例如，如图8所示，假设位置p和通过将高度低于h2的边界线平移到高度h1的位置而获得的线之间的距离为l1。在这种情况下，可根据距离l1确定设置到高度低于h2的位置的接近区域对象72的宽度l2。在此，可以相对于高度低于h2的范围中与位置p距离最短的位置对称地设置接近区域对象72。这里，例如，在距离l1大于预定距离的情况下，可将0确定为接近区域对象72的宽度l2。然后，在距离l1小于预定距离的情况下，可将宽度l2确定为随着距离l1变短而变长。
[0113]
例如，传感器可以不设置在用户的脚上。即使在这种情况下，通过执行上述操作，也可以例如基于hmd 12的传感器单元40的位置来通知用户脚正在接近边界表面。
[0114]
此外，例如，关于是否设置接近区域对象72的位置p和边界表面对象70之间的长度的阈值可以根据高度而变化。例如，关于高度h1，可以在位置p和边界表面对象70之间的距离是l3或更小的情况下设置接近区域对象72。然后，在这种情况下，对于低于h2的高度，在通过将边界线平移到高度h1的位置而获得的边界线和位置p之间的距离是l4或更小的情况下，可以设置接近区域对象72。
[0115]
此外，在本实施例中，如图9所示，可以基于用户的位置和边界表面来识别接近位置94。这里，例如，在用户的位置和边界表面之间的距离等于或小于预定距离的情况下，虚拟空间60中的位置(与用户的位置相关联的位置)可被识别为接近位置94。或者，在用户位置和边界表面之间的距离等于或小于预定距离的情况下，边界表面对象70中与最靠近用户位置的边界表面上的位置相关联的位置可被识别为接近位置94。
[0116]
然后，显示控制部分92可以使hmd 12的显示单元38显示波纹对象96，波纹对象96是表示在接近位置94周围扩散的波纹的虚拟对象。例如，波纹对象96的半径可以随着时间的推移逐渐增大。
[0117]
这里，如图9所示，波纹对象96可以是表示在虚拟空间60中各向同性并且三维扩展的波纹的虚拟对象。此外，波纹对象96可以是表示沿着边界表面对象70平坦扩展的波纹的虚拟对象。这样，即使用户在从视点62沿注视方向64观看的视野范围之外的区域中接近边界表面，用户也可以意识到其正在接近边界表面。
[0118]
此外，显示控制部分92可以突出显示在hmd 12的显示单元38上显示的图像的边缘的一部分，该部分是基于用户的位置和边界表面识别的。例如，当确定用户的左侧靠近边界表面对象70时，显示控制部分92可以使hmd 12的显示单元38显示如图10所示的左侧叠加了强调图像98的图像。这里，强调图像98可以是由诸如红色之类的增强颜色表示的带状图像。类似地，例如，当确定用户的右侧靠近边界表面对象70时，显示控制部分92可以使hmd 12的显示单元38显示右侧叠加了强调图像98的图像。
[0119]
此外，当确定用户正后方的区域靠近边界表面对象70时，显示控制部分92使hmd 12的显示单元38显示其中强调图像98叠加在顶部、底部、左侧和右侧的四个侧面上的图像。或者，当确定用户正后方的区域靠近边界表面对象70，可以在hmd 12的显示单元38上显示从屏幕的四个角朝向中心的波纹图像。
[0120]
这样，即使在当从视点62沿注视方向64观看时用户在视野范围之外的区域接近边界表面的情况下，用户也可以意识到其正在接近边界表面。
[0121]
应当注意，显示控制部分92可以确定显示的图像是否包括接近区域对象72的图像。然后，在确定显示的图像不包括接近区域对象72的图像的情况下，显示控制部分92可以使显示单元38显示如图9所示的波纹对象96或图10所示的强调图像98。
[0122]
此外，当用户正在接近边界表面对象70时，可以在显示单元38上显示的整个屏幕上显示指示警告的图像。
[0123]
此外，当用户正在接近边界表面对象70时，可以从hmd 12补充输出预定的警告声音或特定的语音警告声音，例如“小心，因为您正在接近边界”。
[0124]
此外，当用户正在接近边界表面对象70时，可以在hmd 12的显示单元38上补充显示指示警告的字符串，例如“小心，因为您正在接近边界”。
[0125]
此外，当用户正在接近边界表面对象70时，可以从hmd 12的显示单元38显示指示警告的字符串，并且同时，可以从hmd 12
[0126]
输出诸如警告声音之类的声音。
[0127]
此外，在本实施例中，可以基于对相机20a捕获的图像的图像识别处理结果来跟踪用户的手和脚在真实空间中的位置。然后，当被跟踪的手或脚接近边界表面物体70时，边界表面物体70的一部分或全部可显示在hmd 12中包含的显示单元38上。此外，当被跟踪的手或脚接近边界表面对象70时，可以如上所述显示指示警告的图像或输出警告声音。因此，例如，当只有用户的脚接近边界表面对象70时，用户可以被通知这一点。此外，通过跟踪手，用户可以在不使用控制器22的情况下执行上述边界表面设置操作。例如，用户可以通过执行诸如伸出食指之类的动作来执行上述边界表面设置操作。
[0128]
注意，本发明不限于上述实施例。
[0129]
例如，hmd 12可以包括相机。然后，接近部分识别部分86可以确定用户已经过度接近边界表面，或者用户已经移动到边界表面外的不允许区域。然后，当做出这样的确定时，hmd 12中包含的相机所捕获的图像可以显示在hmd 12的显示单元38上，并且可以暂停游戏程序的执行。
[0130]
此外，例如，hmd 12、娱乐设备14和中继设备16的角色划分不限于上述。例如，图7所示的部分或全部功能可以在hmd 12中实现。
[0131]
此外，上述特定字符串和数值以及附图中的字符串和数值是示例，并且字符串和数值不限于这些。