AR/VR图像显示方法、AR/VR图像显示设备和计算机程序产品与流程

ar/vr图像显示方法、ar/vr图像显示设备和计算机程序产品
技术领域
1.本发明涉及显示技术，更具体地，涉及增强现实/虚拟现实(ar/vr)图像显示方法、ar/vr图像显示设备和计算机程序产品。


背景技术：

2.随着显示技术的不断发展，超高分辨率小屏幕越来越受到主要制造商和各种类型的智能显示产品的青睐。特别地，对于ar/vr图像显示，需要超高分辨率图像显示。


技术实现要素：

3.在一个方面，本公开提供一种增强现实/虚拟现实(ar/vr)图像显示方法，包括：确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于所述第一视场的屏幕分辨率；基于所述第一视场、所述第二视场和所述屏幕分辨率来确定降低的图像分辨率；基于所述降低的图像分辨率和所述第二视场来渲染中间图像；以及将所述中间图像的数据信号发送到连接到显示面板的集成电路。
4.可选地，方法用于ar图像显示；该方法还包括：确定要在前一相邻帧图像中显示的第一虚拟对象的尺寸和位置；确定要在当前帧图像中显示的第二虚拟对象的尺寸和位置，所述前一相邻帧图像和所述当前帧图像是两个连续的帧图像；确定所述前一相邻帧图像中的所述第一虚拟对象将被显示的第一正多边形显示区域，所述第一正多边形显示区域小于总显示区域；确定所述当前帧图像中的所述第二虚拟对象将被显示的第二正多边形显示区域，所述第二正多边形显示区域小于所述总显示区域；确定包括所述第一正多边形显示区域和所述第二正多边形显示区域的合成正多边形显示区域，其中，所述合成正多边形显示区域小于所述总显示区域，等于或大于所述第一正多边形显示区域，且等于或大于所述第二正多边形显示区域；以及在所述当前帧图像中，在限于所述合成正多边形显示区域的一个区域中显示合成图像
5.可选的，所述第二正多边形显示区域用作所述减小的显示区域，以确定所述第二视场；将所述降低的图像分辨率用作所述当前帧图像中的所述合成图像的当前图像分辨率；以及基于所述当前图像分辨率和所述第二视场来渲染所述中间图像。
6.可选地，在所述当前帧图像中显示所述合成图像包括提供被限制到所述显示面板的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号。
7.可选地，所述合成图像包括所述合成正多边形显示区域的第一区域中的所述中间图像和所述合成正多边形显示区域的第二区域中的背景图像，所述第一区域对应于所述第二正多边形显示区域，所述第二区域与所述第一区域不重叠；所述有限子集的子像素对应于所述合成正多边形显示区域；将所述中间图像的所述数据信号提供给对应于所述第一区域的子像素；以及背景数据信号被提供给对应于所述第二区域的子像素。
8.可选地，所述有限子集的子像素包括灰度大于阈值的子像素；以及所述有限子集的子像素对应于所述合成正多边形显示区域的有限区域。
9.可选地，渲染所述中间图像包括生成包括第二虚拟对象的尺寸和位置以及所述当前图像分辨率的信息的虚拟数据信号；以及该方法还包括将所述虚拟数据信号与所述中间图像的所述数据信号一起发送到所述集成电路；以及在所述集成电路中缓存所述虚拟数据信号以用于下一相邻帧图像。
10.可选的，所述第一正多边形显示区域是能够显示所述前一相邻帧图像中的所述第一虚拟对象的最小多边形显示区域；所述第二正多边形显示区域为能够显示在所述当前帧图像中的所述第二虚拟对象的最小多边形显示区域；以及所述合成正多边形显示区域为包括所述第一正多边形显示区域和所述第二正多边形显示区域的最小多边形显示区域。
11.可选地，所述第一正多边形显示区域和所述第二正多边形显示区域彼此重叠。
12.可选地，所述第一正多边形显示区域、所述第二正多边形显示区域和所述合成正多边形显示区域具有相同类型的多边形形状。
13.可选地，所述第一正多边形显示区域是第一矩形显示区域；所述第二正多边形显示区域为第二矩形显示区域；以及所述合成正多边形显示区域为合成矩形显示区域。
14.可选地，所述方法用于vr图像显示；所述方法还包括：在所述减小的显示区域中显示所述中间图像；以及在所述总显示区域的所述减小的显示区域之外的区域中显示背景图像。
15.可选地，显示所述中间图像包括提供被限制到所述显示面板的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号；所述有限子集的子像素对应于所述减小的显示区域；显示所述背景图像包括由所述集成电路直接将灰度值分配给在所述总显示区域的所述减小的显示区域之外的所述区域中的子像素。
16.可选地，所述减小的显示区域包括高分辨率区域和低分辨率区域；以及所述有限子集的子像素包括对应于所述高分辨率区域的所有子像素和仅与对应于所述低分辨率区域的子像素中的交替行子像素对应的子像素。
17.可选地，所述ar/vr图像显示方法还包括：获得注视点的坐标；基于所述注视点的坐标，渲染用于在对应于所述高分辨率区域的子像素中显示的高清晰度图像；渲染低清晰度图像，以在对应于所述低分辨率区域的所述子像素中的所述交替行子像素中显示；使用图像处理算法处理所述高清晰度图像和所述低清晰度图像，以生成处理后的高清晰度图像和处理后的低清晰度图像；以及将所述处理后的高清晰度图像和所述处理后的低清晰度图像发送到所述集成电路；其中所述中间图像包括所述处理后的高清晰度图像和所述处理后的低清晰度图像。
18.可选地，所述ar/vr图像显示方法还包括：由所述集成电路拉伸所述处理后的低清晰度图像以生成拉伸的低清晰度图像；通过所述集成电路将所述拉伸的低清晰度图像与所述处理后的高清晰度图像拼接在一起以生成拼接图像；以及显示所述拼接图像。
19.可选地，所述图像处理算法是从由图像增强算法和局部调光算法构成的组中选择的一种。
20.可选地，渲染所述中间图像包括生成包括所述减小的显示区域的尺寸和位置以及所述降低的图像分辨率的信息的虚拟数据信号；以及该方法还包括将所述虚拟数据信号与所述中间图像的所述数据信号一起发送到所述集成电路。
21.在另一方面，本公开提供一种增强现实/虚拟现实(ar/vr)图像显示设备，包括：显
示面板；集成电路，其连接到所述显示面板；存储器；以及一个或多个处理器；其中，所述存储器和所述一个或多个处理器彼此连接；以及所述存储器存储用于控制所述一个或多个处理器执行以下操作的计算机可执行指令：确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于所述第一视场的屏幕分辨率；基于所述第一视场、所述第二视场和所述屏幕分辨率来确定降低的图像分辨率；基于所述降低的图像分辨率和所述第二视场来渲染中间图像；以及将所述中间图像的数据信号发送到连接到显示面板的集成电路。
22.在另一方面，本公开提供一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令可由处理器执行以使所述处理器执行：确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于所述第一视场的屏幕分辨率；基于所述第一视场、所述第二视场和所述屏幕分辨率来确定降低的图像分辨率；基于所述降低的图像分辨率和所述第二视场来渲染中间图像；以及将所述中间图像的数据信号发送到连接到显示面板的集成电路。
附图说明
23.以下附图仅是用于说明目的根据各种公开的实施例的示例，并且不旨在限制本发明的范围。
24.图1示出了根据本公开的一些实施例中的增强现实/虚拟现实(ar/vr)图像显示方法。
25.图2示出了根据本公开的一些实施例中的ar/vr图像显示方法中的视场。
26.图3示出了根据本公开的一些实施例中的ar图像显示方法。
27.图4示出了根据本公开的一些实施例中的合成正多边形显示区域。
28.图5示出了根据本公开的一些实施例中的ar图像显示方法。
29.图6示出了根据本公开的一些实施例中的合成图像。
30.图7示出了根据本公开的一些实施例中的合成图像。
31.图8示出了根据本公开的一些实施例中的vr图像显示方法。
32.图9示出了根据本公开的一些实施例中的vr图像显示方法。
33.图10示出了根据本公开的一些实施例中的vr图像显示方法。
34.图11示出了根据本公开的一些实施例中的vr图像显示方法中的中间图像和背景图像。
35.图12示出了根据本公开的一些实施例中的vr图像显示方法。
36.图13是根据本公开的一些实施例中的设备的结构的示意图。
37.图14是示出了根据本公开的一些实施例中的ar/vr图像显示设备的结构的示意图。
具体实施方式
38.现在将参考以下实施例更具体地描述本公开。应当注意，本文中呈现的一些实施例的以下描述仅用于说明和描述的目的。其不是穷举的或限于所公开的精确形式。
39.本公开尤其提供了一种增强现实/虚拟现实(ar/vr)图像显示方法、ar/vr图像显
示设备和计算机程序产品，其基本上消除了由于现有技术的限制和缺点而导致的一个或多个问题。在一个方面，本公开提供了一种ar/vr图像显示方法。在一些实施例中，ar/vr图像显示方法包括：确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于第一视场的屏幕分辨率；基于第一视场、第二视场和屏幕分辨率来确定降低的图像分辨率；基于降低的图像分辨率和第二视场来渲染中间图像；以及将中间图像的数据信号发送到连接到显示面板的集成电路。
40.图1示出了根据本公开的一些实施例中的增强现实/虚拟现实(ar/vr)图像显示方法。参考图1，在一些实施例中ar/vr图像显示方法包括：确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于第一视场的屏幕分辨率；基于第一视场、第二视场和屏幕分辨率来确定降低的图像分辨率；基于降低的图像分辨率和第二视场来渲染中间图像；以及将中间图像的数据信号发送到连接到显示面板的集成电路。如本文所使用的，术语“增强现实”(ar)被定义为物理的、真实世界环境的实时直接或间接视图，其元素通过计算机生成的感官输入(诸如，声音、视频、图形或gps数据)来增强(或补充)。它涉及被称为介导现实的更一般的概念，其中现实的视图被计算机修改(可能甚至减弱而不是增强)。如本文所使用的，术语“虚拟现实”或vr被定义为可以模拟现实世界或想象世界中的地方中的物理存在的计算机模拟环境。虚拟现实可以重新创建感官体验，包括虚拟的味觉、视觉、嗅觉、声音、触觉等。许多传统vr系统使用近眼显示器来呈现3d虚拟环境。
41.图2示出了根据本公开的一些实施例中的ar/vr图像显示方法中的视场。图2示出了视见平截头体vf或三维空间的可见区域。真实世界设置可以涉及相机，而虚拟世界设置可以涉及视点vp(通常称为虚拟相机)。视场fov通常与视见平截头体vf相关联地讨论。在图2中，说明矩形视口，因此图2中的视见平截头体是经截断的四边(例如，矩形)棱锥。视口可以具有各种其他适当的形状，诸如圆形，并且因此视见平截头体vf可以具有其他适当的形状，诸如圆锥形。视场fov包括垂直视场vfov和水平视场hfov。视见平截头体vf的边界由垂直视场vfov、水平视场hfov、近距极限以及远距极限限定。近距极限由视见平截头体vf的近剪裁平面cpn限定，而远距极限由视见平截头体vf的远剪裁平面cpf限定。视见平截头体vf可进一步由其它参数(诸如，位置和定向)限定。虚拟世界中的视见平截头体vf通常对应于真实世界中的真实相机的视场。
42.在一些实施例中，本方法用于ar图像显示。图3示出了根据本公开的一些实施例中的ar图像显示方法。参照图3，在一些实施例中，ar/vr图像显示方法还包括：确定要在前一相邻帧图像中显示的第一虚拟对象的尺寸和位置；确定要在当前帧图像中显示的第二虚拟对象的尺寸和位置，前一相邻帧图像和当前帧图像是两个连续的帧图像；确定前一相邻帧图像中的第一虚拟对象将被显示的第一正多边形显示区域，第一正多边形显示区域小于总显示区域；确定当前帧图像中的第二虚拟对象将被显示的第二正多边形显示区域，第二正多边形显示区域小于总显示区域；确定包括第一正多边形显示区域和第二正多边形显示区域的合成正多边形显示区域，其中，合成正多边形显示区域小于总显示区域，等于或大于第一正多边形显示区域，等于或大于第二正多边形显示区域；在当前帧图像中，在限于合成正多边形显示区域的一个区域中显示合成图像。
43.在一些实施例中，ar图像显示方法包括依次显示多帧图像。该多帧图像包括前一相邻帧图像、当前帧图像和下一相邻帧图像。在一个示例中，ar图像显示方法包括显示n帧
图像，n是大于1的整数。可选地，ar图像显示方法包括确定要在第(n-1)帧图像中显示的第一虚拟对象的尺寸和位置，n是整数，并且1＜n＜n；确定要在第(n)帧图像中显示的第二虚拟对象的尺寸和位置，第(n-1)帧图像和第(n)帧图像是两个连续的帧图像；确定第n-1帧图像中的第一虚拟对象将被显示的第一正多边形显示区域，第一正多边形显示区域小于总显示区域；确定第n帧图像中的第二虚拟对象将被显示的第二正多边形显示区域，第二正多边形显示区域小于总显示区域；确定包括第一正多边形显示区域和第二正多边形显示区域的合成正多边形显示区域，其中，合成正多边形显示区域小于总显示区域，等于或大于第一正多边形显示区域，等于或大于第二正多边形显示区域；以及在第(n)帧图像中，在限于合成正多边形显示区域的一个区域中显示合成图像。
44.在每帧图像(例如，当前帧图像、第(n)帧图像、前一相邻帧图像、第(n-1)帧图像、下一相邻帧图像、第(n 1)帧图像)中，ar图像显示方法包括计算虚拟对象(例如，三维虚拟对象)的位置和视点(例如，虚拟相机)的位置。基于虚拟对象(例如，前一相邻帧图像中的第一虚拟对象，或当前帧图像中的第二虚拟对象)的位置，该方法还包括计算虚拟对象的尺寸，以及基于虚拟对象的尺寸来渲染虚拟对象。
45.图4示出了根据本公开的一些实施例中的合成正多边形显示区域。参考图4，在一些实施例中，该方法包括：确定第一正多边形显示区域pda1，其中将显示在前一相邻帧图像中的第一虚拟对象vo1，第一正多边形显示区域pda1小于总显示区域tda；确定第二正多边形显示区域pda2，其中将显示在当前帧图像中的第二虚拟对象vo2，第二正多边形显示区域pda2小于总显示区域tda；确定包括第一正多边形显示区域pda1和第二正多边形显示区域pda2的合成正多边形显示区域cpda，其中，合成正多边形显示区域cpda小于总显示区域tda，等于或大于第一正多边形显示区域pda1，等于或大于第二正多边形显示区域pda2。在当前帧图像中，在限于合成正多边形显示区域cpda的一个区域中显示合成图像。
46.在一些实施例中，第一正多边形显示区域pda1是最小多边形显示区域，其中可以显示第一帧图像中的第一虚拟对象vo1。第二正多边形显示区域pda2是最小多边形显示区域，其中可以显示第二帧图像中的第二虚拟对象vo2。合成正多边形显示区域cpda是包括第一正多边形显示区域pda1和第二正多边形显示区域pda2的最小多边形显示区域。
47.在一些实施例中，第一正多边形显示区域pda1是其中可以显示第一帧图像中的第一虚拟对象vo1的最小多边形显示区域加上围绕该最小多边形显示区域的第一缓冲区域。第二正多边形显示区域pda2是其中可以显示第二帧图像中的第二虚拟对象vo2的最小多边形显示区域加上围绕该最小多边形显示区域的第二缓冲区域。合成正多边形显示区域cpda是包括第一正多边形显示区域pda1和第二正多边形显示区域pda2的多边形显示区域，其具有或不具有附加缓冲区域。
48.可选地，第一正多边形显示区域pda1和第二正多边形显示区域pda2彼此重叠。
49.可选地，第一正多边形显示区域pda1和第二正多边形显示区域pda2基本上彼此不重叠。
50.在一些实施例中，第一正多边形显示区域pda1、第二正多边形显示区域pda2以及合成正多边形显示区域cpda具有相同类型的多边形形状。在一个示例中，如图4所示，第一正多边形显示区域pda1为第一矩形显示区域；第二正多边形显示区域pda2为第二矩形显示区域；且合成正多边形显示区域cpda为合成矩形显示区域。
51.图5示出了根据本公开的一些实施例中的ar图像显示方法。参照图5，在一些实施例中，在显示当前帧图像中的合成图像之前，ar图像显示方法还包括确定对应于总显示区域的第一视场；确定对应于第二正多边形显示区域的第二视场；获得对应于第一视场的屏幕分辨率；基于第一视场、第二视场和屏幕分辨率来确定当前图像分辨率；基于当前图像分辨率和第二视场来渲染中间图像；以及将中间图像的数据信号发送到与显示面板连接的集成电路，以显示合成图像。在一些实施例中，第二正多边形显示区域被用作用于确定第二视场的减小的显示区域。将降低的图像分辨率用作当前帧图像中的合成图像的当前图像分辨率。基于当前图像分辨率和第二视场来渲染中间图像。
52.在本ar图像显示方法中，不是基于对应于显示面板的总显示区域的第一视场来渲染图像，而是仅渲染基于当前图像分辨率和对应于第二正多边形显示区域的第二视场的中间图像。在本ar图像显示方法中，可以大大减少渲染用于显示虚拟对象的图像所需的计算资源。此外，可以显著地降低将渲染的图像发送到显示面板的集成电路所需的传输带宽。本公开的发明人发现，通过本方法可以显著地改善ar图像显示，特别是对于高分辨率ar图像显示。
53.在一些实施例中，基于第一视场、第二视场和屏幕分辨率来确定当前图像分辨率(例如，降低的图像分辨率)。在一个示例中，基于等式(1)和等式(2)来计算降低的图像分辨率：
54.res_me.x＝res_1.x*fov_me.x/fov_1.x(1)；以及
55.res_me.y＝res_1.y*fov_me.x/fov_1.y (2)；
56.其中res_me.x代表当前帧图像的降低的水平图像分辨率，res_me.y代表当前帧图像的降低的垂直图像分辨率，fov_me.x代表第二视场的水平视场，fov_me.y代表第二视场的垂直视场，fov_1.x代表第一视场的水平视场，并且fov_1.y代表第一视场的垂直视场。
57.在一些实施例中，当渲染中间图像时，该方法还包括：生成包括第二虚拟对象的尺寸和位置以及当前图像分辨率的信息的虚拟数据信号。将虚拟数据信号与中间图像的数据信号一起发送到显示面板的集成电路。在一个示例中，中间图像包括对应于用于包含第二虚拟对象的尺寸和位置以及当前图像分辨率的信息的一行虚拟子像素的数据信号。用于当前帧图像的虚拟数据信号被缓存在集成电路中，然后这些信息被用于在下一相邻帧图像(例如，第(n 1)帧图像)中显示图像。如上，本ar图像显示方法所需的计算资源量和传输带宽大大减少。
58.在一些实施例中，在当前帧图像中显示合成图像包括提供被限制到显示面板的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号。在除了有限子集的子像素之外的子像素中，该方法不涉及扫描子像素。例如，仅在有限子集的子像素中，提供栅极扫描信号以逐行扫描子像素(导通或断开其中的晶体管)以允许输入数据信号。由于在本ar图像显示方法中仅扫描有限子集的子像素，所以可以大大提高显示面板的刷新率，实现优异的ar显示效果。
59.图6示出了根据本公开的一些实施例中的合成图像。参考图6，在一些实施例中，合成图像包括合成正多边形显示区域cpda的第一区域r1中的中间图像以及合成正多边形显示区域cpda的第二区域r2中的背景图像，第一区域r1对应于第一正多边形显示区域pda2，第二区域r2与第一区域r1不重叠。在一个示例中，在第二区域r2中显示暗图像，对应于第二
区域r2的子像素具有等于或接近于零的灰度值。各种其它颜色的图像可显示在第二区域r2中，例如，灰度图像、蓝色图像、红色图像等。可选地，对应于第二区域r2的所有子像素具有基本均匀的灰度。通过在第二区域r2中显示背景图像，可以重置前一相邻帧图像。
60.在一些实施例中，被扫描的有限子集的子像素对应于合成正多边形显示区域cpda。中间图像的数据信号被提供给对应于第一区域r1的子像素。可选地，背景数据信号(例如，基本均匀灰度的数据信号)被提供给对应于第二区域r2的子像素。
61.图7示出了根据本公开的一些实施例中的合成图像。参照图7，在一些实施例中，仅扫描合成正多边形显示区域cpda的白线子区域中的子像素，而不扫描除了白线子区域中的子像素之外的子像素(例如，不接收栅极扫描信号以导通或断开其中的晶体管)。因此，在一些实施例中，ar图像显示方法包括在当前帧图像中显示合成图像，包括提供被限制到显示面板的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号，其中有限子集的子像素包括具有大于阈值(例如，大于5、大于10、大于15或大于20)的灰度的子像素。有限子集的子像素对应于合成正多边形显示区域cpda的有限区域rl。通过具有这种更精确的子像素扫描控制，可以进一步提高显示面板的刷新率，并且降低功耗。
62.在一些实施例中，本方法用于vr图像显示。参考图1，在一些实施例中vr图像显示包括确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于第一视场的屏幕分辨率；基于第一视场、第二视场和屏幕分辨率来确定降低的图像分辨率；基于降低的图像分辨率和第二视场来渲染中间图像；以及将中间图像的数据信号发送到连接到显示面板的集成电路。
63.图8示出了根据本公开的一些实施例中的vr图像显示方法。参考图8，在一些实施例中，vr图像显示方法包括获得注视点(gaze point)的坐标(例如通过注视跟踪装置)；基于注视点的坐标，(例如，通过处理器)渲染高清晰度图像以用于在对应于高分辨率区域的子像素中显示；(例如，通过处理器)渲染低清晰度图像以用于在对应于低分辨率区域的子像素中的交替行子像素中显示；使用图像处理算法处理(例如，通过处理器)高清晰度图像和低清晰度图像以生成处理后的高清晰度图像和处理后的低清晰度图像；以及将处理后的高清晰度图像和低清晰度图像发送给集成电路。中间图像包括处理后的高清晰度图像和处理后的低清晰度图像。集成电路被配置为在接收到中间图像时，拉伸处理后的低清晰度图像以生成拉伸的低清晰度图像；以及将拉伸的低清晰度图像和处理后的高清晰度图像拼接在一起以生成拼接图像。显示面板被配置成显示拼接图像。各种适当的图像处理算法可以用于处理高清晰度图像和低清晰度图像。图像处理算法的示例包括图像增强算法和局部调光算法。
64.图9示出了根据本公开的一些实施例中的vr图像显示方法。参考图9，在一些实施例中，一旦获得注视点的坐标，就可以渲染高清晰度图像和低清晰度图像。在一个示例中，被配置为在高清晰度图像和低清晰度图像中分别发光的子像素的密度基本相同。然而，vr图像显示中的低清晰度图像不是vr体验的焦点。因此，通过将低清晰度图像中的子像素配置为发射具有与高清晰度图像中的子像素相同的密度的光，浪费了计算资源和传输带宽。
65.图10示出了根据本公开的一些实施例中的vr图像显示方法。参照图10，为了节省计算资源和传输带宽，仅扫描低清晰度图像中的子像素中的交替行子像素(例如，该交替行子像素被提供有栅极扫描信号和数据信号)。因此，在一些实施例中，显示中间图像包括提
供被限制到显示面板的多个子像素的有限子集的子像素的栅极扫描信号和数据信号。如图10所示，有限子集的子像素包括对应于高分辨率区域的所有子像素和仅与对应于低分辨率区域的子像素中的交替行子像素对应的子像素。低分辨率区域中的其他行的子像素不被扫描(例如，不被提供栅极扫描信号和数据信号)。通过扫描低分辨率区域中的较少(例如，几乎一半)的子像素，可以大大提高显示面板的刷新率。
66.图11示出了在根据本公开的一些实施例中的vr图像显示方法中的中间图像和背景图像。参照图11，为了进一步降低vr图像显示中的计算资源和传输带宽需求，在一些实施例中，vr图像显示方法包括在减小的显示区域中显示中间图像im；以及在总显示区域的减小的显示区域之外的区域中显示背景图像bi。在一个示例中，如图11所示的vr图像显示是影院模式下的vr图像显示。
67.图12示出了根据本公开的一些实施例中的vr图像显示方法。参照图12，在影院模式中，该方法包括在减小的显示区域(在图12中由虚线包围)中显示中间图像；以及在总显示区域的减小的显示区域之外的区域中显示背景图像。在一些实施例中，显示中间图像包括提供被限制到显示面板的多个子像素的有限子集的子像素的栅极扫描信号和数据信号。可选地，有限子集的子像素对应于减小的显示区域。可选地，显示背景图像包括由集成电路直接向总显示区域的减小的显示区域之外的区域中的子像素分配灰度值。在一个示例中，等于或接近零的灰度值被分配给总显示区域的减小的显示区域之外的区域中的子像素，从而形成背景图像。在另一示例中，各种其他颜色的图像可以显示在总显示区域的减小的显示区域之外的区域中，例如，灰度图像、蓝色图像、红色图像等。可选地，对应于总显示区域的减小的显示区域之外的区域的所有子像素被分配基本上均匀的灰度值。通过在总显示区域的减小的显示区域之外的区域中显示背景图像，可以实现影院模式。
68.再次参考图12，在一些实施例中，减小的显示区域包括高分辨率区域和低分辨率区域。为了节省计算资源和传输带宽，仅扫描低分辨率区域中的子像素中的交替行子像素(例如，被提供有栅极扫描信号和数据信号)。因此，在一些实施例中，显示中间图像包括提供被限制到对应于减小的显示区域的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号。如图12所示，有限子集的子像素包括对应于高分辨率区域的所有子像素和仅与对应于低分辨率区域的子像素中的交替行子像素对应的子像素。低分辨率区域中的其他行的子像素不被扫描(例如，不被提供栅极扫描信号和数据信号)。通过扫描低分辨率区域中的较少(例如，几乎一半)的子像素，可以大大提高显示面板的刷新率。
69.在另一方面，本公开提供了一种ar/vr图像显示设备。图13是根据本公开的一些实施例中的设备的结构的示意图。参考图13，在一些实施例中，该设备包括中央处理单元(cpu)，其被配置为根据存储在rom或ram中的计算机可执行指令来执行动作。可选地，计算机系统所需的数据和程序被存储在ram中。可选地，cpu、rom和ram通过总线彼此电连接。可选地，输入/输出接口电连接到总线。
70.图14是示出了根据本公开的一些实施例中的ar/vr图像显示设备的结构的示意图。参照图14，在一些实施例中，ar/vr图像显示设备包括显示面板dp；连接到显示面板dp的集成电路ic；存储器m；和一个或多个处理器p。存储器m与一个或多个处理器p彼此连接。在一些实施例中，存储器m存储计算机可执行指令，以用于控制一个或多个处理器p以确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于第一视
场的屏幕分辨率；基于第一视场、第二视场和屏幕分辨率来确定降低的图像分辨率；基于降低的图像分辨率和第二视场来渲染中间图像；并将中间图像的数据信号发送到连接到显示面板dp的集成电路。
71.在一些实施例中，ar/vr图像显示设备是ar图像显示设备。存储器m存储计算机可执行指令，以用于控制一个或多个处理器p以确定要在前一相邻帧图像中显示的第一虚拟对象的尺寸和位置；确定要在当前帧图像中显示的第二虚拟对象的尺寸和位置，所述前一相邻帧图像和所述当前帧图像是两个连续的帧图像；确定所述前一相邻帧图像中的所述第一虚拟对象将被显示的第一正多边形显示区域，所述第一正多边形显示区域小于总显示区域；确定所述当前帧图像中的所述第二虚拟对象将被显示的第二正多边形显示区域，所述第二正多边形显示区域小于所述总显示区域；确定包括所述第一正多边形显示区域和所述第二正多边形显示区域的合成正多边形显示区域，其中，所述合成正多边形显示区域小于所述总显示区域，等于或大于所述第一正多边形显示区域，且等于或大于所述第二正多边形显示区域。显示面板dp被配置为在所述当前帧图像中，在限于所述合成正多边形显示区域的一个区域中显示合成图像。
72.在一些实施例中，存储器m还存储计算机可执行指令，以用于控制一个或多个处理器p以确定对应于总显示区域的第一视场；确定对应于第二正多边形显示区域的第二视场；获得对应于第一视场的屏幕分辨率；基于第一视场、第二视场和屏幕分辨率来确定当前图像分辨率；基于当前图像分辨率和第二视场来渲染中间图像；并将中间图像的数据信号发送到与显示面板连接的集成电路，以显示合成图像。在一些实施例中，第二正多边形显示区域被用作用于确定第二视场的减小的显示区域。将降低的图像分辨率用作当前帧图像中的合成图像的当前图像分辨率。基于当前图像分辨率和第二视场来渲染中间图像。
73.在一些实施例中，集成电路ic被配置为提供被限制到显示面板dp的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号。合成图像包括合成正多边形显示区域的第一区域中的中间图像和合成正多边形显示区域的第二区域中的背景图像，第一区域对应于第二正多边形显示区域，第二区域与第一区域不重叠。有限子集的子像素对应于合成正多边形显示区域。可选地，集成电路ic被配置为将中间图像的数据信号提供给对应于第一区域的子像素；将背景数据信号提供至对应于第二区域的子像素。
74.在一些实施例中，集成电路ic被配置为仅提供被限制于具有大于阈值的灰度的子像素的栅极扫描信号和数据信号。因此，有限子集的子像素包括具有大于阈值的灰度的子像素，并且有限子集的子像素对应于合成正多边形显示区域的有限区域。
75.在一些实施例中，存储器m还存储计算机可执行指令，以用于控制一个或多个处理器p以在渲染中间图像时生成包括第二虚拟对象的尺寸和位置以及当前图像分辨率的信息的虚拟数据信号；以及将虚拟数据信号与中间图像的数据信号一起发送到集成电路。集成电路ic被配置为在集成电路中高速缓存虚拟数据信号以用于下一邻近帧图像。
76.在一些实施例中，所述第一正多边形显示区域是能够显示所述前一相邻帧图像中的所述第一虚拟对象的最小多边形显示区域；所述第二正多边形显示区域为能够显示在所述当前帧图像中的所述第二虚拟对象的最小多边形显示区域；以及所述合成正多边形显示区域为包括所述第一正多边形显示区域和所述第二正多边形显示区域的最小多边形显示区域。可选地，第一正多边形显示区域和第二正多边形显示区域彼此重叠。
77.在一些实施例中，第一正多边形显示区域、第二正多边形显示区域和合成正多边形显示区域为相同类型的多边形形状。可选地，第一正多边形显示区域为第一矩形显示区域；第二正多边形显示区域为第二矩形显示区域；以及合成正多边形显示区域为合成矩形显示区域。
78.在一些实施例中，ar/vr图像显示设备是vr图像显示设备。显示面板dp被配置为在减小的显示区域中显示中间图像；以及在总显示区域的减小的显示区域之外的区域中显示背景图像。
79.在一些实施例中，集成电路ic被配置为提供被限制到显示面板的多个子像素中的有限子集的子像素的栅极扫描信号和数据信号。有限子集的子像素对应于减小的显示区域。集成电路ic还被配置为直接向在整个显示区域的减小的显示区域之外的区域中的子像素分配灰度值，从而显示背景图像。
80.在一些实施例中，减小的显示区域包括高分辨率区域和低分辨率区域。有限子集的子像素包括对应于所述高分辨率区域的所有子像素和仅与对应于所述低分辨率区域的子像素中的交替行子像素对应的子像素。集成电路ic被配置为提供限于对应于高分辨率区域的所有子像素和仅与对应于所述低分辨率区域的子像素中的交替行子像素对应的子像素的栅极扫描信号和数据信号。
81.在一些实施例中，存储器m还存储计算机可执行指令，以用于控制一个或多个处理器p以获得注视点的坐标；基于注视点的坐标，渲染高清晰度图像，以在对应于所述高分辨率区域的子像素中显示；渲染低清晰度图像，以在对应于所述低分辨率区域的所述子像素中的所述交替行子像素中显示；使用图像处理算法处理所述高清晰度图像和所述低清晰度图像，以生成处理后的高清晰度图像和处理后的低清晰度图像；以及将所述处理后的高清晰度图像和所述处理后的低清晰度图像发送到所述集成电路。中间图像包括所述处理后的高清晰度图像和所述处理后的低清晰度图像。可选地，图像处理算法是从由图像增强算法和局部调光算法构成的组中选择的一种。
82.在一些实施例中，vr图像显示设备还包括用于跟踪用户的注视的注视跟踪器。
83.在一些实施例中，集成电路ic还被配置为拉伸处理后的低清晰度图像以生成拉伸的低清晰度图像；以及将拉伸的低清晰度图像和处理后的高清晰度图像拼接在一起以生成拼接图像。显示面板dp被配置为显示拼接图像。
84.在一些实施例中，存储器m还存储计算机可执行指令，以用于控制一个或多个处理器p以在渲染中间图像时生成包括减小的显示区域的尺寸和位置以及降低的图像分辨率的信息的虚拟数据信号；以及将虚拟数据信号与中间图像的数据信号一起发送到集成电路ic。
85.在另一方面，本公开提供一种计算机程序产品，其包括其上具有计算机可读指令的非瞬态有形计算机可读介质。在一些实施例中，计算机可读指令可由处理器执行以使处理器执行确定对应于总显示区域的第一视场；确定对应于减小的显示区域的第二视场；获得对应于所述第一视场的屏幕分辨率；基于所述第一视场、所述第二视场和所述屏幕分辨率来确定降低的图像分辨率；基于所述降低的图像分辨率和所述第二视场来渲染中间图像；以及将所述中间图像的数据信号发送到连接到显示面板的集成电路。
86.在一些实施例中，计算机可读指令可由处理器执行以使处理器执行确定要在前一
相邻帧图像中显示的第一虚拟对象的尺寸和位置；确定要在当前帧图像中显示的第二虚拟对象的尺寸和位置，所述前一相邻帧图像和所述当前帧图像是两个连续的帧图像；确定所述前一相邻帧图像中的所述第一虚拟对象将被显示的第一正多边形显示区域，所述第一正多边形显示区域小于总显示区域；确定所述当前帧图像中的所述第二虚拟对象将被显示的第二正多边形显示区域，所述第二正多边形显示区域小于所述总显示区域；以及确定包括所述第一正多边形显示区域和所述第二正多边形显示区域的合成正多边形显示区域，其中，所述合成正多边形显示区域小于所述总显示区域，等于或大于所述第一正多边形显示区域，且等于或大于所述第二正多边形显示区域。
87.在一些实施例中，第二正多边形显示区域被用作用于确定第二视场的减小的显示区域；将降低的图像分辨率用作当前帧图像中的合成图像的当前图像分辨率；并且基于当前图像分辨率和第二视场来渲染中间图像。
88.在一些实施例中，计算机可读指令可由处理器执行以使处理器执行在渲染中间图像时生成包括第二虚拟对象的尺寸和位置以及当前图像分辨率的信息的虚拟数据信号。
89.在一些实施例中，所述第一正多边形显示区域是能够显示所述前一相邻帧图像中的所述第一虚拟对象的最小多边形显示区域；所述第二正多边形显示区域为能够显示在所述当前帧图像中的所述第二虚拟对象的最小多边形显示区域；以及所述合成正多边形显示区域为包括所述第一正多边形显示区域和所述第二正多边形显示区域的最小多边形显示区域。可选地，第一正多边形显示区域和第二正多边形显示区域彼此重叠。可选地，第一正多边形显示区域、第二正多边形显示区域和合成正多边形显示区域为相同类型的多边形形状。可选地，第一正多边形显示区域为第一矩形显示区域；第二正多边形显示区域为第二矩形显示区域；以及合成正多边形显示区域为合成矩形显示区域。
90.在一些实施例中，计算机可读指令可由处理器执行以使处理器执行：基于注视点的坐标，渲染高清晰度图像，以在对应于所述高分辨率区域的子像素中显示；渲染低清晰度图像，以在对应于所述低分辨率区域的所述子像素中的所述交替行子像素中显示；以及使用图像处理算法处理所述高清晰度图像和所述低清晰度图像，以生成处理后的高清晰度图像和处理后的低清晰度图像。中间图像包括所述处理后的高清晰度图像和所述处理后的低清晰度图像。可选地，图像处理算法是从由图像增强算法和局部调光算法构成的组中选择的一种。
91.在一些实施例中，计算机可读指令可由处理器执行以使处理器执行在渲染中间图像时生成包括减小的显示区域的尺寸和位置以及降低的图像分辨率的虚拟数据信号。
92.为了说明和描述的目的，已经给出了本发明的实施例的上述描述。其不是穷举的，也不是要将本发明限制为所公开的精确形式或示例性实施例。因此，前面的描述应当被认为是说明性的而不是限制性的。显然，许多修改和变化对于本领域技术人员将是显而易见的。选择和描述实施例是为了解释本发明的原理及其最佳模式实际应用，从而使得本领域技术人员能够理解本发明的各种实施例以及适合于所考虑的特定使用或实现的各种修改。本发明的范围旨在由所附权利要求及其等价物来限定，其中除非另有说明，所有术语都意味着其最广泛的合理意义。因此，术语“本发明(the invention、the present invention)”等不一定将权利要求范围限制为特定实施例，并且对本发明的示例性实施例的引用不意味着对本发明的限制，并且不会推断出这样的限制。本发明仅由所附权利要求的精神和范围
来限定。此外，这些权利要求可能涉及使用“第一”、“第二”等，随后是名词或元素。这些术语应当被理解为命名法，并且不应当被解释为对由这些命名法所修改的元件的数量进行限制，除非已经给出了特定的数量。所描述的任何优点和益处可能不适用于本发明的所有实施例。应当理解，在不脱离由所附权利要求限定的本发明的范围的情况下，本领域技术人员可以对所描述的实施例进行改变。此外，本公开中的元件和组件都不是要贡献给公众，无论该元件或组件是否在所附权利要求中明确叙述。