用于隐藏坏像素的系统和方法与流程

1.本发明大体上涉及人工现实，诸如虚拟现实和增强现实。


背景技术：

2.人工现实是一种在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混合现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如现实世界的照片)组合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个都可以在单个通道或多个通道中呈现(诸如对查看者产生三维效果的立体视频)。人工现实可以与应用、产品、附件、服务或其某种组合相关联，例如其被用于在人工现实中创建内容和/或在人工现实中使用(例如在其中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接至主机计算机系统的头戴式显示器(hmd)、独立的hmd、移动设备或计算系统或者能够向一个或多个查看者提供人工现实内容的任何其他硬件平台。


技术实现要素：

3.本发明提供了用于通过抖动像素值或将辉度掩码应用于坏像素的相邻像素来隐藏显示面板的坏像素的系统和方法。在第一方法中，抖动模型(例如弗洛伊德-斯坦伯格(floyd-steinberg)模型)可以被用于将坏像素的目标像素值抖动到相邻像素。系统可以接收坏像素位置，并且将该位置处的像素的量化值设置为零。抖动模型可以自动将量化误差(等于坏像素的目标像素值)扩散到相邻像素。因此，周围的像素可以被增亮，以维持正确的平均亮度并且补偿坏像素缺陷。这种方法可以有效地将辉度向前和向下校正到坏像素。在第二方法中，系统可以为每个坏像素生成辉度掩码。掩码可以以对应的坏像素为中心。掩码的大小可以取决于显示器中的坏像素之间的可能的最小像素距离。例如，大小为5
×
5个像素的辉度掩码可以被用于最小坏像素距离为5个像素的显示面板(换言之，如果两个坏像素不可能在5x5像素区域内并置，则5
×
5掩码可以被使用)。辉度掩码可以更改周围像素的辉度，以维持正确的平均亮度并且补偿坏像素缺陷。基于与人类视觉相匹配的点扩散函数，辉度掩码可以是圆形对称的(例如以环状方式)，并且可以被生成以最小化掩码上的均方误差。为了隐藏坏像素，系统首先可以将所有图像像素按小于1(例如0.8)的常数因子进行缩放，以确保像素值具有足够的动态余量(例如归一化像素值的20％)进行补偿。然后，系统可以(在其他抖动处理之前)在每个坏像素周围应用辉度掩码以调整(例如提高或缩小)周围像素的辉度，以维持正确的平均亮度并且补偿坏像素缺陷。因此，坏像素可能变得不可见或具有降低的可见度。辉度掩码方法可以可适用于较大的像素(例如较大的红色/蓝色像素)。
4.根据第一方面，本发明提供一种方法，包括：由计算系统，访问与显示器的坏像素相对应的坏像素位置；访问图像；通过将掩码应用于图像的像素区域来修改图像，该像素区域包含位置对应于坏像素位置的特定像素值，其中掩码包括用于缩放像素区域中的像素值的第一缩放因子阵列，该第一缩放因子阵列被配置为更改特定像素值周围的一个或多个像
素值；以及使经修改的图像由显示器输出。
5.掩码可以通过最小化均方误差而被生成，该均方误差是由与人类视觉相匹配的点扩散函数调制的坏像素引起的。
6.修改后的图像可以在像素区域中具有第一平均亮度，并且第一平均亮度可以在相对于修改前的图像的像素区域的第二平均亮度的阈值范围内。
7.掩码可以由与人类视觉相匹配的点扩散函数确定为圆形对称。
8.经修改的图像可以使显示器的坏像素与修改前的图像相比具有更低的可见度水平。
9.缩放因子阵列可以被配置为使特定像素值周围的像素值中的一个或多个像素值变亮或变暗。
10.在实施例中，一种方法可以包括通过总体缩放因子来缩放图像的每个像素值。
11.总体缩放因子可以等于0.8，并且掩码可以包括5
×
5的缩放因子阵列。
12.掩码可以通过以下操作被应用于像素区域：访问图像的像素区域内的每个像素值；从缩放因子阵列访问对应的缩放因子；以及通过将该像素值乘以从掩码的第一缩放因子阵列访问的对应缩放因子来确定经修改的像素值。
13.该方法可以包括将经修改的像素值裁剪到[0,1]的归一化范围。
[0014]
图像的像素区域可以以坏像素位置为中心，并且掩码可以具有与包含坏像素位置的像素区域相同的大小。
[0015]
掩码可以包括在掩码的中心位置中的等于零的中心缩放因子，并且中心缩放因子可以被应用于图像的坏像素位置。
[0016]
图像可以在由用于传播量化误差的一个或多个空间或时间抖动过程处理之前被修改。
[0017]
图像可以由在显示引擎上实现的图形流水线的一个或多个过程修改，并且图形流水线可以包括以下一项或多项：
[0018]
翘曲与图像相关联的一个或多个表面；
[0019]
通过内插多个第二像素值来确定图像的一个或多个第一像素值；
[0020]
校正图像的一个或多个失真；或者
[0021]
通过一个或多个空间或时间抖动过程，在空间或时间上传播图像的量化误差。
[0022]
显示器的坏像素可以与显示器的rgb颜色通道中的一个颜色通道相关联，并且掩码可以被应用于rgb颜色通道中的每个颜色通道。
[0023]
该方法可以包括：由计算系统，
[0024]
访问三个像素校正矩阵，每个像素校正矩阵包括用于缩放图像的关联颜色通道的像素值的第二缩放因子阵列，以用于校正显示器的像素非均匀性；以及
[0025]
通过将掩码中的每个掩码值乘以每个像素校正矩阵的关联的第二缩放因子，来将掩码组合到该像素校正矩阵中，其中该掩码值和关联的第二缩放因子可以与同一像素相关联。
[0026]
该方法可以包括：由计算系统，
[0027]
通过将每个矩阵值乘以图像的对应像素值来将三个像素校正矩阵应用于图像的相应颜色通道，以使用相同过程同时校正像素非均匀性和坏像素。
[0028]
显示器可以是在与掩码的大小相对应的显示区域内具有单个坏像素的微led显示器。
[0029]
在第二方面中，本发明提供了实施软件的一种或多种计算机可读非瞬态存储介质，该软件在被执行时可操作以：
[0030]
访问与显示器的坏像素相对应的坏像素位置；
[0031]
访问图像；
[0032]
通过将掩码应用于图像的像素区域来修改图像，该像素区域包含位置对应于坏像素位置的特定像素值，其中掩码包括用于缩放像素区域中的像素值的第一缩放因子阵列，该第一缩放因子阵列被配置为更改特定像素值周围的像素值中的一个或多个像素值；以及
[0033]
使经修改的图像由显示器输出。
[0034]
在第三方面中，本公开提供了一种系统，包括：实施指令的一个或多个非瞬态计算机可读存储介质；以及一个或多个处理器，被耦合至存储介质并且可操作以执行指令以：
[0035]
访问与显示器的坏像素相对应的坏像素位置；
[0036]
访问图像；
[0037]
通过将掩码应用于图像的像素区域来修改图像，该像素区域包含位置对应于坏像素位置的特定像素值，其中掩码包括用于缩放像素区域中的像素值的第一缩放因子阵列，该第一缩放因子阵列被配置为更改特定像素值周围的像素值中的一个或多个像素值；以及
[0038]
使经修改的图像由显示器输出。
[0039]
一种或多种计算机可读非瞬态存储介质可以实施软件，该软件在被执行时可操作以执行根据任何上面提及的实施例或在其内的方法。
[0040]
该系统可以包括：一个或多个处理器；以及至少一个存储器，被耦合至处理器并且包括由处理器可执行的指令，处理器在执行指令时可操作以执行根据第一方面的方法。
[0041]
在实施例中，当在数据处理系统上执行时，一种计算机程序产品(优选地包括计算机可读非瞬态存储介质)可以可操作以执行根据第一方面的方法。
[0042]
本文公开的实施例仅是示例，并且本发明的范围不被限于它们，本发明在所附权利要求中限定。特定实施例可以包括上面公开的实施例的所有、一些部件、元件、特征、功能、操作或步骤，或者不包括这些。根据本发明的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中特别公开，其中在一个权利要求类别(例如方法)中提及的任何特征也可以在另一权利要求类别(例如系统)中要求保护。所附权利要求中返回的依赖性或引用仅出于正式原因选择。然而，因故意引用回任何先前权利要求(特别是多个依赖性)而产生的任何主题也可以被要求保护，使得权利要求及其特征的任何组合被公开，并且可以被要求保护，而不管在所附权利要求中选择的依赖性如何。可以要求保护的主题不仅包括所附权利要求中陈述的特征的组合，还包括权利要求中的特征的任何其他组合，其中权利要求中提及的每个特征可以与任何其他特征或者权利要求中的其他特征的组合相组合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求中和/或与本文描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中要求保护。
[0043]
要了解的是，讨论为适合包括在本文描述的任何方面中的任何特征也将适合以任何组合包括在任何其他方面中。
附图说明
[0044]
图1a图示了示例人工现实系统。
[0045]
图1b图示了示例增强现实系统。
[0046]
图1c图示了显示引擎的示例架构。
[0047]
图1d图示了用于生成显示图像数据的显示引擎的示例图形流水线。
[0048]
图2a图示了示例扫描波导显示器。
[0049]
图2b图示了扫描波导显示器的示例扫描操作。
[0050]
图3a图示了示例2d微led波导显示器。
[0051]
图3b图示了用于2d微led波导显示器的示例波导配置。
[0052]
图4a图示了用于使用floyd-steinberg抖动隐藏坏像素的示例过程。
[0053]
图4b图示了具有使用floyd-steinberg抖动校正的坏像素的示例图像。
[0054]
图5a图示了用于校正坏像素的示例辉度掩码。
[0055]
图5b图示了对应于图5a中的掩码的示例缩放因子阵列。
[0056]
图6a图示了具有未校正的坏像素的示例图像。
[0057]
图6b图示了坏像素使用辉度掩码校正的示例图像。
[0058]
图6c图示了具有校正坏像素的示例图像部分。
[0059]
图7图示了用于使用辉度掩码校正坏像素的示例方法。
[0060]
图8a图示了用于校正绿色坏像素的三个掩码的示例集合。
[0061]
图8b图示了用于校正绿色坏像素的三个掩码的集合的示例掩码值。
[0062]
图8c图示了用于校正红色坏像素的三个掩码的集合的示例掩码值。
[0063]
图8d图示了用于校正蓝色坏像素的三个掩码的集合的示例掩码值。
[0064]
图9图示了用于应用三个掩码的集合以校正绿色坏像素的示例过程。
[0065]
图10图示了显示器的示例调制传递函数(mtf)。
[0066]
图11a至图11b图示了在应用显示器的调制传递函数(mtf)之前和之后具有校正的坏像素的示例图像。
[0067]
图12图示了用于使用图像的rgb颜色通道的三个掩码的集合来校正坏像素的示例方法。
[0068]
图13图示了示例计算机系统。
具体实施方式
[0069]
图1a图示了示例人工现实系统100a。在特定实施例中，人工现实系统100可以包括耳机104、控制器106和计算系统108。用户102可以穿戴可以向用户102显示视觉人工现实内容的耳机104。耳机104可以包括音频设备，其可以向用户102提供音频人工现实内容。耳机104可以包括可以捕获环境的图像和视频的一个或多个相机。耳机104可以包括眼睛追踪系统以确定用户102的聚散距离。耳机104可以被称为头戴式显示器(hdm)。控制器106可以包括触控板和一个或多个按钮。控制器106可以从用户102接收输入，并且将输入中继到计算系统108。控制器206还可以向用户102提供触觉反馈。计算系统108可以通过电缆或无线连接被连接至耳机104和控制器106。计算系统108可以控制耳机104和控制器106，以向用户102提供人工现实内容并且从用户102接收输入。计算系统108可以是独立的主机计算机系
统、与耳机104集成的车载计算机系统、移动设备或者能够向用户102提供人工现实内容并且从用户102接收输入的任何其他硬件平台。
[0070]
图1b图示了示例增强现实系统100b。增强现实系统100b可以包括头戴式显示器(hmd)110(例如眼镜)，其包括框架112、一个或多个显示器114和计算系统120。显示器114可以是透明的或半透明的，允许用户穿戴hmd 110以通过显示器114查看现实世界，同时向用户显示视觉人工现实内容。hmd 110可以包括可以向用户提供音频人工现实内容的音频设备。hmd 110可以包括可以捕获环境的图像和视频的一个或多个相机。hmd 110可以包括眼睛追踪系统，以追踪穿戴hmd 110的用户的聚散移动。增强现实系统100b还可以包括控制器，该控制器包括触控板和一个或多个按钮。控制器可以从用户接收输入，并且将输入中继到计算系统120。控制器还可以向用户提供触觉反馈。计算系统120可以通过电缆或无线连接被连接至hmd 110和控制器。计算系统120可以控制hmd 110和控制器，以向用户提供增强现实内容并且从用户接收输入。计算系统120可以是独立的主机计算机系统、与hmd 110集成的车载计算机系统、移动设备或者能够向用户提供人工现实内容并且从用户接收输入的任何其他硬件平台。
[0071]
图1c图示了显示引擎130的示例架构100c。在特定实施例中，本公开中描述的过程和方法可以在显示引擎130内(例如在显示块135中)实施或实现。显示引擎130可以包括例如但不限于纹理存储器132、变换块133、像素块134、显示块135、输入数据总线131、输出数据总线142等。在特定实施例中，显示引擎130可以包括一个或多个图形流水线，用于生成要在显示器上绘制的图像。例如，显示引擎可以使用(多个)图形流水线来基于大型机图像和由一个或多个眼睛追踪传感器测量的用户的视点或视角生成一系列子帧图像。大型机图像可以以30至90hz的大型机速率生成或/和加载到系统中，并且子帧速率可以以1至2khz的子帧速率生成。在特定实施例中，显示引擎130可以包括用于用户的左眼和右眼的两个图形流水线。图形流水线中的一个图形流水线可以包括纹理存储器132、变换块133、像素块134、显示块135等，或者可以在其上实现。显示引擎130可以包括其他图形流水线的变换块、像素块和显示块的另一集合。(多个)图形流水线可以由显示引擎130的控制器或控制块(未示出)控制。在特定实施例中，纹理存储器132可以被包括在控制块内，或者可以是控制块外部但在显示引擎130本地的存储器单元。显示引擎130的一个或多个部件可以被配置为经由高速总线、共享存储器或任何其他合适的方法进行通信。这种通信可以包括数据以及控制信号、中断或/和其他指令的传输。例如，纹理存储器132可以被配置为通过输入数据总线211接收图像数据。作为另一示例，显示块135可以通过输出数据总线142将像素值发送给显示系统140。在特定实施例中，显示系统140可以包括相应显示驱动器ic(ddi)为142a、142b和143b的三个颜色通道(例如114a、114b、114c)。在特定实施例中，显示系统140可以包括例如但不限于发光二极管(led)显示器、有机发光二极管(oled)显示器、有源矩阵有机发光二极管(amled)显示器、液晶显示器(lcd)、微发光二极管(μled)显示器、电致发光显示器(eld)或任何合适的显示器。
[0072]
在特定实施例中，显示引擎130可以包括控制器块(未示出)。控制块可以通过一个或多个数据总线从显示引擎130外部的控制器接收数据和控制分组，诸如位置数据和表面信息。例如，控制块可以从身体可穿戴计算系统接收输入流数据。输入数据流可以包括以30至90hz的大型机速率生成的一系列大型机图像。包括大型机图像的输入流数据可以被转换
为所需格式，并且被存储到纹理存储器132中。在特定实施例中，控制块可以从身体可穿戴计算系统接收输入，并且初始化显示引擎中的图形流水线，以准备并且最终确定要在显示器上绘制的图像数据。数据和控制分组可以包括与例如一个或多个表面相关的信息，包括纹素数据、位置数据和附加绘制指令。控制块可以根据需要向显示引擎130的一个或多个其他块分发数据。控制块可以发起用于处理要被显示的一个或多个帧的图形流水线。在特定实施例中，两个眼睛显示系统的图形流水线可以分别包括控制块，或者共享相同的控制块。
[0073]
在特定实施例中，变换块133可以确定要在人工现实场景中显示的表面的初始可见度信息。通常，变换块133可以从屏幕上的像素位置投射光线，并且产生过滤命令(例如基于双线性或其他类型的内插技术的过滤)以发送给像素块134。变换块133可以执行从用户的当前视点(例如使用耳机的惯性测量单元、眼睛追踪传感器和/或任何合适的追踪/定位算法确定的，诸如同时定位和映射(slam))到表面被定位的人工场景中的光线投射，并且可以产生图块/表面对144以发送给像素块134。在特定实施例中，变换块133可以包括如下的四级流水线。光线投射器可以发出对应于一个或多个对准像素阵列的光线束，称为图块(例如每个图块可以包括16
×
16个对准像素)。在进入人工现实场景之前，光线束可以根据一个或多个失真网格来翘曲。失真网格可以被配置为校正至少源自眼睛显示系统和耳机系统的几何失真效果。变换块133可以通过将每个图块的边界框与表面的边界框进行比较来确定每个光线束是否与场景中的表面相交。如果光线束不与物体相交，则它可能会被丢弃。在图块-表面相交被检测到之后，对应的图块/表面对可以被传递给像素块134。
[0074]
在特定实施例中，像素块134可以基于图块-表面对来确定像素的颜色值或灰度值。每个像素的颜色值可以从接收并存储在纹理存储器132中的表面的纹素数据中采样。像素块134可以从变换块133接收图块-表面对，并且可以使用一个或多个过滤块来调度双线性过滤。针对每个图块-表面对，像素块134可以使用对应于投影图块与表面相交的位置的颜色值对图块内的像素的颜色信息进行采样。像素块134可以基于取回的纹素(例如使用双线性内插)来确定像素值。在特定实施例中，像素块134可以针对每个像素单独处理红色、绿色和蓝色颜色分量。在特定实施例中，显示器可以包括用于双眼显示系统的两个像素块。双眼显示系统的两个像素块可以独立地并且彼此并行地工作。像素块134然后可以将其颜色确定(例如像素138)输出到显示块135。在特定实施例中，当两个或多个表面具有重叠区域时，像素块134可以将两个或多个表面合成为一个表面。针对重采样过程，合成表面可能需要较少的计算资源(例如计算单元、存储器、功率等)。
[0075]
在特定实施例中，显示块135可以从像素块134接收像素颜色值，将数据格式转换为更适合显示器的扫描线输出，对像素颜色值应用一个或多个亮度校正，并且准备像素颜色值用于输出到显示器。在特定实施例中，显示块135可以分别包括行缓冲器，并且可以处理和存储从像素块134接收的像素数据。像素数据可以被组织为四边形(例如每个四边形2
×
2个像素)和图块(例如每个图块16
×
16个像素)。显示块135可以将由像素块134生成的图块顺序像素颜色值转换为物理显示器可能需要的扫描线或行顺序数据。亮度校正可以包括任何所需的亮度校正、伽马映射和抖动。显示块135可以将校正的像素颜色值直接输出到物理显示器(例如光瞳显示器)的驱动器，或者可以以各种格式将像素值输出到显示引擎130外部的块。例如，耳机系统的眼睛显示系统可以包括附加硬件或软件，以进一步定制后端颜色处理，支持更宽的显示器接口，或优化显示速度或保真度。
[0076]
在特定实施例中，本公开中描述的抖动方法和过程(例如空间抖动方法、时间抖动方法和时空方法)可以在显示引擎130的显示块135中实施或实现。在特定实施例中，显示块135可以包括基于模型的抖动算法或每个颜色通道的抖动模型，并且将相应颜色通道的抖动结果发送给显示系统140的相应显示驱动器ic(ddi)(例如142a、142b、142c)。在特定实施例中，在将像素值发送给相应的显示驱动器ic(例如142a、142b、142c)之前，显示块135还可以包括用于校正例如像素非均匀性、led非理想性、波导非均匀性、显示缺陷(例如坏像素)等的一种或多种算法。
[0077]
在特定实施例中，图形应用(例如游戏、地图、内容提供app等)可以构建场景图，该场景图与给定的视图位置和时间点一起使用以生成图元以在gpu或显示引擎上绘制。场景图可以定义场景中的物体之间的逻辑和/或空间关系。在特定实施例中，显示引擎130还可以生成并存储作为完整应用场景图的简化形式的场景图。简化的场景图可以被用于指定表面之间的逻辑和/或空间关系(例如由显示引擎130绘制的图元，诸如在3d空间中定义的四边形或轮廓，具有基于由应用绘制的大型机生成的对应纹理)。存储场景图允许显示引擎130将场景绘制到多个显示帧，并且针对当前视点(例如头部位置)、当前物体位置(例如它们可能正相对于彼此移动)以及按照显示帧而变化的其他因子，调整场景图中的每个元素。另外，基于场景图，显示引擎130还可以针对由显示子系统引入的几何和颜色失真进行调整，然后将物体合成在一起以生成帧。存储场景图允许显示引擎130近似以期望的高帧速率进行完全绘制的结果，而实际上以显著较低的速率运行gpu或显示引擎130。
[0078]
图1d图示了用于生成显示图像数据的显示引擎130的示例图形流水线100d。在特定实施例中，图形流水线100d可以包括可见度步骤152，其中显示引擎130可以确定从身体可穿戴计算系统接收的一个或多个表面的可见度。可见度步骤152可以由显示引擎130的变换块(例如图1c中的2133)执行。显示引擎130可以从身体可穿戴计算系统接收(例如由控制块或控制器)输入数据151。输入数据151可以包括来自身体可穿戴计算系统的一个或多个表面、纹素数据、位置数据、rgb数据和绘制指令。输入数据151可以包括每秒30至90帧(fps)的大型机图像。主帧图像可以具有例如每像素24位的色深。显示引擎130可以处理接收到的输入数据151，并且将其保存在纹素存储器132中。接收到的数据可以被传递给变换块133，该变换块133可以确定要被显示的表面的可见度信息。变换块133可以为屏幕上的像素位置投射光线，并且产生过滤命令(例如基于双线性或其他类型的内插技术的过滤)以发送给像素块134。变换块133可以执行从用户的当前视点(例如使用耳机的惯性测量单元、眼睛追踪器和/或任何合适的追踪/定位算法确定的，诸如同时定位和映射(slam))到表面被定位的人工场景中的光线投射，并且产生表面-图块对以发送给像素块134。
[0079]
在特定实施例中，图形流水线100d可以包括重采样步骤153，其中显示引擎130可以从图块-表面对确定颜色值以产生像素颜色值。重采样步骤153可以由显示引擎130的像素块(图1c中的134)执行。像素块134可以从变换块133接收图块-表面对，并且可以调度双线性过滤。针对每个图块-表面对，像素块134可以使用对应于投影图块与表面相交的位置的颜色值对图块内的像素的颜色信息进行采样。像素块134可以基于取回的纹素(例如使用双线性内插)确定像素值，并且将确定的像素值输出到相应的显示块135。
[0080]
在特定实施例中，图形流水线100d可以包括弯曲步骤154、校正和抖动步骤155、串行化步骤156等。在特定实施例中，154的弯曲步骤、155的校正和抖动步骤以及156的串行化
步骤可以由显示引擎130的显示块(例如图1c中的135)执行。显示引擎130可以混合用于显示内容绘制的显示内容，对像素颜色值应用一个或多个亮度校正，执行一种或多种抖动算法以在空间和时间上抖动量化误差，串行化用于物理显示器的扫描线输出的像素值，并且生成适合于显示系统140的显示数据159。显示引擎130可以将显示数据159发送给显示系统140。在特定实施例中，显示系统140可以包括用于rgb的三个颜色通道(例如144a、144b、144c)的像素的三个显示驱动器ic(例如142a、142b、142c)。
[0081]
图2a图示了示例扫描波导显示器200a。在特定实施例中，ar/vr系统的头戴式显示器(hmd)可以包括近眼显示器(ned)，其可以是扫描波导显示器200a。扫描波导显示器200a可以包括光源组件210、输出波导204、控制器216等。扫描波导显示器200a可以为双眼或单眼提供图像。出于说明的目的，图3a示出了与单眼202相关联的扫描波导显示器200a。另一扫描波导显示器(未示出)可以向用户的另一个眼睛提供图像光，并且两个扫描波导显示器可以共享一个或多个部件或者可以分离。光源组件210可以包括光源212和光学器件系统214。光源212可以包括可以使用光发射器阵列生成图像光的光学部件。光源212可以生成图像光，包括例如但不限于红色图像光、蓝色图像光、绿色图像光、红外图像光等。光学器件系统214可以对由光源212生成的图像光执行多个光学过程或操作。由光学器件系统214执行的光学过程或操作可以包括例如但不限于光聚焦、光组合、光调节、扫描等。
[0082]
在特定实施例中，光学器件系统214可以包括光组合组件、光调节组件、扫描反射镜组件等。光源组件210可以生成图像光219，并且将其输出到输出波导204的耦合元件218。输出波导204可以是可以将图像光输出到用户眼睛202的光学波导。输出波导204可以在一个或多个耦合元件218处接收图像光219，并且将接收到的图像光引导到一个或多个去耦元件206。耦合元件218可以是例如但不限于衍射光栅、全息光栅、可以将图像光219耦合到输出波导204中的任何其他合适的元件、或其组合。作为示例而不通过限制，如果耦合元件350是衍射光栅，则衍射光栅的节距可以被选择以允许发生全内反射，并且允许图像光219在内部朝着去耦元件206传播。衍射光栅的节距可以在300nm到600nm的范围内。去耦元件206可以将全内反射的图像光与输出波导204去耦。去耦元件206可以是例如但不限于衍射光栅、全息光栅、可以将图像从输出波导204中去耦的任何其他合适的元件或其组合。作为示例而不通过限制，如果去耦元件206是衍射光栅，则衍射光栅的节距可以被选择，以使入射图像光离开输出波导204。从输出波导204离开的图像光的定向和位置可以通过改变进入耦合元件218的图像光219的定向和位置来控制。衍射光栅的节距可以在300nm到600nm的范围内。
[0083]
在特定实施例中，输出波导204可以由一种或多种材料组成，其可以支持图像光219的全内反射。输出波导204可以由一种或多种材料组成，包括例如但不包括限于硅、塑料、玻璃、聚合物或其某种组合。输出波导204可以具有相对较小的形状因子。作为示例而不通过限制，输出波导204可以沿着x维度近似50mm宽，沿着y维度近似30mm长，并且沿着z维度近似0.5至1mm厚。控制器216可以控制光源组件210的扫描操作。控制器216可以至少基于用于绘制一个或多个图像的一个或多个显示指令来确定用于光源组件210的扫描指令。显示指令可以包括图像文件(例如位图)，并且可以从例如ar/vr系统的控制台或计算机接收。扫描指令可以由光源组件210用于生成图像光219。扫描指令可以包括例如但不限于图像光源类型(例如单色源、多色源)、扫描速率、扫描装置定向、一个或多个照明参数或其某种组合。控制器216可以包括硬件、软件、固件或支持控制器216的功能性的任何合适部件的组合。
[0084]
图2b图示了扫描波导显示器200b的示例扫描操作。光源220可以包括具有多行和多列的光发射器222的阵列(如由插图中的点表示)。由光源220发射的光223可以包括由每列光发射器222发射的准直光束集合。在到达反射镜224之前，光223可以由不同的光学设备调节，诸如调节组件(未示出)。反射镜224可以在扫描操作期间通过围绕轴225旋转来将来自光源220的光223反射并投影到图像场227。反射镜224可以是微机电系统(mems)反射镜或任何其他合适的反射镜。当反射镜224围绕轴225旋转时，光223可以被投影到图像场227的不同部分，如实线中的光226a的反射部分和虚线中的光226b的反射部分所图示的。
[0085]
在特定实施例中，当反射镜224围绕轴225旋转以在不同方向投影光226a至226b时，图像场227可以接收光226a至226b。例如，图像场227可以对应于图2a中的耦合元件218的一部分或去耦元件206的一部分。在特定实施例中，图像场227可以包括耦合元件206的表面。形成在图像场227上的图像可以随着光行进通过输出波导220而被放大。在特定实施例中，图像场227可以不包括实际物理结构，但包括图像光被投影到以形成图像的区域。图像场227也可以被称为扫描场。当光223被投影到图像场227的区域时，图像场227的区域可以被光223照亮。图像场227可以包括具有多行和多列的像素位置229的矩阵(由插图228中的块表示)。像素位置229可以在图像场227的区域中空间地定义，其中像素位置对应于单个像素。在特定实施例中，图像场227中的像素位置229(或像素)可以不包括单独的物理像素元素。相反，像素位置229可以是在图像场227内定义并且将图像场227划分为像素的空间区域。像素位置229的大小和位置可以取决于来自光源220的光223的投影。例如，在反射镜224的给定旋转角度，从光源220发射的光束可能会落在图像场227的区域上。因此，图像场227的像素位置229的大小和位置可以基于每个投影光束的位置定义。在特定实施例中，像素位置229可以在空间上被细分为子像素(未示出)。例如，像素位置229可以包括红色子像素、绿色子像素和蓝色子像素。红色、绿色和蓝色子像素可以对应于一个或多个红色、绿色和蓝色光束被投影的相应位置。在这种情况下，像素的颜色可能基于像素的子像素的时间和/或空间平均值。
[0086]
在特定实施例中，光发射器222可以以反射镜224的特定旋转角度照亮图像场227的一部分(例如图像场227上的多个像素位置229的特定子集)。在特定实施例中，光发射器222可以被布置和间隔为使得来自光发射器222中的每个光发射器222的光束被投影在对应的像素位置229上。在特定实施例中，光发射器222可以包括多个发光元件(例如微led)，以允许来自光发射器222的子集的光束被投影到相同的像素位置229。换言之，多个光发射器222的子集可以一次共同照亮单个像素位置229。作为示例而不通过限制，包括八个发光元件的一组光发射器被布置为一行，以在给定的定向角度用反射镜224照亮单个像素位置229。
[0087]
在特定实施例中，光源220的光发射器222的行数和列数可以与图像场227中的像素位置229的行数和列数相同或不同。在特定实施例中，一行中的光发射器222的数量可以等于图像场227的一行中的像素位置229的数量，而光发射器222可以具有比图像场227的像素位置229的数量更少的列。在特定实施例中，光源220可以具有与图像场227中的像素位置229的列数相同列数的光发射器222，但行数更少。作为示例而不通过限制，光源220可以具有约1280列光发射器222，其可以与图像场227的像素位置229的列数相同，但仅有少数几行光发射器222。光源220可以具有从第一行到最后一行的光发射器222测量的第一长度l1。图
像场530可以具有从图像场227的第一行(例如行1)到最后一行(例如行p)测量的第二长度l2。l2可以大于l1(例如l2比l1大50到10,000倍)。
[0088]
在特定实施例中，像素位置229的行数可以大于光发射器222的行数。显示设备200b可以使用反射镜224在不同时间将光223投影到不同的像素行。随着反射镜520旋转并且光223扫描通过图像场227，图像可以在图像场227上形成。在一些实施例中，光源220也可以具有比图像场227更少的列数。反射镜224可以二维旋转以用光填充图像场227，例如使用光栅型扫描过程向下扫描行，然后移动到图像场227中的新列。反射镜224的完整旋转循环可以被称为扫描周期，其可以是整个图像场227被完全扫描的预定循环时间。图像场227的扫描可以由反射镜224确定和控制，显示设备200b的光生成与反射镜224的旋转同步。作为示例而不通过限制，反射镜224可以开始在初始位置将光投影到图像场227的行1，并且旋转到将光投影到图像场227的行p的最后一个位置，然后在一个扫描周期期间旋转回到初始位置。图像(例如帧)可以在每个扫描周期在图像场227上形成。显示设备200b的帧率可以对应于每秒的扫描周期数量。随着反射镜224旋转，光可以扫描通过图像场以形成图像。给定像素位置229的实际颜色值和光强度或亮度可以是在扫描周期期间照亮像素位置的各种颜色光束的时间总和。在完成扫描周期后，反射镜224可以恢复回初始位置，以将光投影到图像场227的前几行，新的驱动信号集合被馈送到光发射器222。相同的过程可以被重复，因为反射镜224循环旋转以允许不同的图像帧在扫描场227中形成。
[0089]
图3a图示了示例2d微led波导显示器300a。在特定实施例中，显示器300a可以包括细长波导配置302，其可以足够宽或足够长以将图像投影到用户的双眼。波导配置302可以包括覆盖用户双眼的去耦区域304。为了通过波导配置302向用户的双眼提供图像，多个耦合区域306a至306b可以在波导配置302的顶表面中提供。耦合区域306a和306b可以包括多个耦合元件，以分别从光发射器阵列集合308a和308b接收图像光。发射器阵列集合308a至308b中的每个发射器阵列可以包括多个单色发射器阵列，包括例如但不限于红色发射器阵列、绿色发射器阵列和蓝色发射器阵列。在特定实施例中，发射器阵列集合308a至308b还可以包括白色发射器阵列或者发射其他颜色或任何多种颜色的任何组合的发射器阵列。在特定实施例中，波导配置302可以具有发射器阵列集合308a和308b，它们覆盖由分隔线309a划分的去耦区域304的近似相同部分。在特定实施例中，发射器阵列集合308a和308b可以不对称地向波导配置302的波导提供图像，如被分隔线309b划分的。例如，发射器阵列集合308a可以向去耦区域304的一半以上提供图像。在特定实施例中，发射器阵列集合308a和308b可以被布置在波导配置302的相对侧(例如相隔180
°
)，如图3b所示。在其他实施例中，发射器阵列集合308a和308b可以以任何合适的角度布置。波导配置302可以是平面的，或者可以具有弯曲的横截面形状以更好地拟合用户的面部/头部。
[0090]
图3b图示了用于2d微led波导显示器的示例波导配置300b。在特定实施例中，波导配置300b可以包括耦合至波导342的投影仪设备350。投影仪设备320可以包括稳固至支撑结构354(例如印刷电路板或其他合适的支撑结构)的多个光发射器352(例如单色发射器)。波导342可以通过距离为d1(例如近似50μm到近似500μm)的气隙与投影仪设备350分离。由投影仪设备350投影的单色图像可以朝着波导342穿过气隙。波导342可以由玻璃或塑料材料形成。波导342可以包括耦合区域330，该耦合区域330包括用于从投影仪设备350接收发射光的多个耦合元件334a至334c。波导342可以包括在顶表面318a上具有多个去耦元件
336a并且在底表面318b上具有多个去耦元件336b的去耦区域。去耦元件336a和336b之间的波导342内的区域可以被称为传播区域310，其中从投影仪设备350接收并且通过耦合元件334耦合到波导342中的图像光可以在波导342内横向传播。
[0091]
耦合区域330可以包括耦合元件(例如334a、334b、334c)，其被配置和尺寸确定为耦合预定波长(例如红色、绿色、蓝色)的光。当白光发射器阵列被包括在投影仪设备350中时，落入预定波长的白光的部分可以由耦合元件334a至334c中的每个耦合元件耦合。在特定实施例中，耦合元件334a至334b可以是尺寸确定为耦合预定波长的光的光栅(例如布拉格光栅)。在特定实施例中，每个耦合元件的光栅可以表现出与预定波长的光相关联的光栅之间的间隔距离，并且每个耦合元件可以具有不同的光栅间隔距离。因此，如果白光发射器阵列被包括在投影仪设备350中，则每个耦合元件(例如334a至334c)可以从投影仪设备350的白光发射器阵列耦合有限部分的白光。在特定实施例中，每个耦合元件(例如334a至334c)可以具有相同的光栅间隔距离。在特定实施例中，耦合元件334a至334c可以是或包括复用耦合器。
[0092]
如图3b所图示的，红色图像320a、蓝色图像320b和绿色图像320c可以由耦合元件334a、334b、334c分别耦合到传播区域310中，并且可以开始在波导342内横向遍历。在光接触去耦元件336a以用于一维光瞳复制品之后，并且在光接触去耦元件336a和336b以用于二维光瞳复制品之后，一部分光可以被从波导342投影出来。在二维光瞳复制品中，光可以在去耦元件336a的图案与去耦元件336b的图案相交的位置处从波导342投影出来。未由去耦元件336a从波导342投影出来的光的部分可以从去耦元件336b反射。去耦元件336b可以将所有入射光反射回去耦元件336a。因此，波导342可以将红色图像320a、蓝色图像320b和绿色图像320c组合为可以被称为光瞳复制品322的多色图像实例。多色瞳孔复制品322可以被投影到用户的眼睛，可以将瞳孔复制品322解释为全色图像(例如包括除了红色、绿色和蓝色之外的颜色的图像)。波导342可以产生数十或数百个光瞳复制品322，或者可以产生单个复制品322。
[0093]
在特定实施例中，ar/vr系统可以使用扫描波导显示器或2d微led显示器来向用户显示ar/vr内容。为了使ar/vr系统小型化，显示系统可能需要小型化像素电路的空间，并且可能具有有限数量的显示器可用位。显示器中可用的位数可能会限制显示器的颜色深度或灰度水平，从而限制所显示图像的质量。此外，用于ar/vr系统的波导显示器可能存在所有显示像素的非均匀性问题。对像素非均匀性的补偿操作可能会导致图像灰度损失，并且进一步降低显示图像的质量。例如，具有8位像素(即，256灰度级)的波导显示器在补偿非均匀性(例如8:1波导非均匀性，0.1％的坏微led像素和20％的微led强度非均匀性)之后等效地具有6位像素(即，64灰度级)。
[0094]
为了提高显示的图像质量，具有有限色深或灰度级的显示器可以使用时空抖动，以将量化误差扩散到相邻像素，并且生成色深或灰度级增加的错觉。为了进一步增加色深或灰度级，显示器可以生成具有较少灰度级位的一系列时间子帧图像，以给出具有更多灰度级位的目标图像的错觉。每个子帧图像可以使用该子帧图像内的时空抖动技术来抖动。一系列子帧图像的平均值可以对应于查看者所感知的图像。例如，为了显示具有8位像素(即，256灰度级)的图像，系统可以使用四个子帧图像，分别具有6位像素(即，64灰度级)来表示8位目标图像。作为另一示例，具有8位像素(即，256灰度级)的图像可以由分别具有4位
像素(即，16灰度级)的16个子帧图像来表示。这将允许显示系统利用像素电路并且支持更少灰度级的硬件(例如6位像素或4位像素)绘制更多灰度级(例如8位像素)的图像，从而减少显示系统的空间和大小。
[0095]
由于制造技术水平的限制，由ar/vr系统使用的显示面板(例如μled面板)可能存在坏像素。坏像素可能会对ar/vr系统的显示质量和用户体验产生负面影响。该系统的特定实施例可以通过修改要由显示器输出的图像来隐藏显示面板的坏像素。例如，系统可以使用包括缩放因子阵列的掩码来更改包含坏像素位置的像素区域中的图像的像素值。由显示器修改和输出后的图像可能会导致显示器的坏像素不可见或者与修改前的图像相比可见度降低，从而提供更好的显示质量和改进的用户体验。
[0096]
在特定实施例中，ar/vr系统的rgb显示面板可以独立操作，并且在三个显示面板之间不共享颜色数据。在特定实施例中，为了校正或隐藏坏像素，系统可以使用辉度校正方法来校正每个颜色通道的像素值的辉度，而不使用不同颜色通道之间的颜色信息。坏像素可以独立地与显示器的任何颜色通道相关联。在特定实施例中，系统可以在将图像输出到显示器上之前使用辉度掩码来修改图像。经修改的图像可以在包含坏像素位置的像素区域中更改(例如变亮或变暗)其像素值。由显示器修改和输出后的图像可能会导致显示器的坏像素与未修改的图像相比具有更低的可见度。在特定实施例中，系统可以通过使用抖动算法(例如诸如floyd-steinberg抖动等空间抖动算法)或辉度掩码来修改图像，以更改包含坏像素位置的像素区域中的像素值，如下面将描述的。
[0097]
图4a图示了用于使用floyd-steinberg抖动隐藏坏像素的示例过程400a。作为示例而不通过限制，系统可以使用标量抖动算法(例如floyd-steinberg抖动算法)将坏像素位置处的像素值扩散到相邻像素(例如右侧的下一像素、坏像素位置下方的像素)，以降低坏像素的可见度。如图4a所示，floyd-steinberg抖动算法可以使用预定的抖动系数集合将与当前像素401相关联的抖动值(例如像素值、量化误差)传播到其相邻像素，如图4a所示。系统可以从左到右并且从上到下扫描图像以逐个处理(例如量化)每个像素值。针对当前像素401，系统可以确定抖动值，例如量化误差，以扩散到相邻像素上。floyd-steinberg抖动算法可以将抖动值的推送到与当前像素401在右侧相邻且在同一行的像素402，将抖动值的推送到在当前像素401的下一行和前一列的像素403，并且将抖动值的推送到在当前像素401的下一行和同一列的像素404，并且将抖动值的推送到在当前像素405的下一行和下一列的像素405。
[0098]
图4b图示了具有使用弗洛伊德-斯坦伯格(floyd-steinberg)抖动校正的坏像素(例如411a、411b、411c、411d)的示例图像400b。在特定实施例中，为了修正坏像素，系统可以访问或接收要被显示的图像中该坏像素对应的坏像素位置和对应的目标像素值。然后，系统可以将坏像素位置处的像素的抖动像素值(例如要被显示的实际像素值)设置为零(因为坏像素可能不发光)。floyd-steinberg抖动算法可以确定等于目标像素值的抖动值(例如基于目标像素值和抖动像素值的差异)。该算法可以将目标像素值的一部分抖动到四个相邻像素中的每个像素，如图4a所示。因此，坏像素位置处的像素的四个相邻像素可以变亮，以维持正确的平均亮度，以补偿坏像素缺陷。包含坏像素位置的区域中的经修改的图像的平均亮度可以与修改前的图像的对应区域的平均亮度基本相同(例如在阈值内)。如图4b
所示，校正后的坏像素(例如411a、411b、411c、411d)在由具有坏像素的显示器输出的经修改的图像中可能具有降低的可见度。
[0099]
在特定实施例中，该系统可以包括一种或多种抖动算法，用于在空间上或/和时间上传播量化误差。针对已经包括floyd-steinberg抖动算法的系统，系统可以使用相同的抖动算法来校正坏像素，而不实现单独的抖动算法。floyd-steinberg抖动算法可以使用行缓冲器来存储一个或多个抖动值，并且可以沿着扫描顺序有效地将抖动值传播到向前像素。在特定实施例中，使用抖动算法来校正坏像素的系统可以在显示器的任何位置处校正任何数量的坏像素。例如，系统可以使用抖动算法来校正显示器的多个任意位置处的多个坏像素。值得注意的是，floyd-steinberg抖动算法仅用于示例目的，并且抖动算法不被限于此。例如，抖动算法可以是具有可以将抖动值传播到周围或相邻像素的任何合适抖动系数的任何合适抖动算法。
[0100]
在特定实施例中，代替使用抖动算法，系统可以生成并使用掩码来修改要由显示器输出的图像，以降低显示器的坏像素的可见度。在特定实施例中，用于修改图像的掩码可以是用于更改辉度域中的图像的对应像素区域中的像素值的辉度掩码(不使用不同颜色通道之间的颜色信息)。为了校正特定的坏像素，相同的辉度掩码可以对包含坏像素位置的对应像素区域中的图像的所有三个颜色通道应用。掩码可以以对应的坏像素位置为中心，并且与像素区域具有相同的大小。掩码的大小可以基于显示器的坏像素之间可能的最小像素距离确定。例如，如果显示器具有像素大小的5倍的最小像素距离，则系统可以生成与包含不超过单个坏像素的像素区域相对应的掩码，其像素大小为5
×
5。
[0101]
在特定实施例中，掩码可以被生成，以基于与人类视觉相匹配的点扩散函数，最小化掩码支持(例如实值函数是包含未被映射到零的元素的域的子集)上的均方误差。作为示例而不通过限制，掩码可以通过求解如下优化方程来生成：
[0102][0103]
其中，x为掩码的缩放因子值，f{x}为掩码的傅立叶变换，m是人眼的调制传递函数，i为单位矩阵。通过求解以上优化方程，系统可以通过基于与人类视觉相匹配的点扩散函数(其是光学传递函数或调制传递函数的空间域版本)最小化掩码支持上的均方误差来生成辉度掩码。掩码可以是圆形对称的，如由人类视觉的点扩散函数确定的。
[0104]
图5a图示了用于校正坏像素的示例辉度掩码500a。图5b图示了对应于图5a中的掩码500a的缩放因子500b的示例阵列。作为示例而不通过限制，ar/vr系统的显示器可以具有5个像素的最小坏像素距离。换言之，显示器在显示器的5
×
5像素区域中可以具有不超过一个坏像素。系统可以生成大小为5
×
5个像素的掩码，如图5a所示。如图5b所示，掩码可以包括缩放因子阵列，用于缩放对应像素区域中的图像的像素值。对应于坏像素位置的掩码的中心可以对应于等于零的缩放因子。阵列中的一些缩放因子可以大于1以使对应像素值变亮，或小于1以使对应像素值变暗。在相对于掩码的中心像素的对称位置(例如像素501、502、503和504)处的缩放因子值可以具有相同的值(例如针对像素501、502、503和504为1.4846)。在特定实施例中，系统可以离线生成和优化辉度掩码，并且将生成的掩码存储在存储器存储装置中。在运行时，系统可以访问存储的掩码以修改要被显示的图像，以降低显示器的坏像素的可见度。
[0105]
在特定实施例中，系统可以将掩码应用于包含坏像素位置的像素区域中的图像，以更改该像素区域中的像素值以降低坏像素的可见度。在特定实施例中，系统可以首先通过小于1(例如0.8)的总体缩放因子β缩放图像的所有像素值，以允许像素值具有用于稍后通过掩码的缩放因子缩放的过程的余量。如图4a至图4b中的示例掩码所示，掩码中的一个或多个缩放因子可以大于1(例如图5b中的缩放因子等于1.4846)。当大像素值(例如接近最大像素值)乘以大于1的缩放因子时，经修改的像素值可能大于显示器所支持的最大像素值。通过总体缩放因子(例如0.8)缩放整个图像的像素值可以允许像素值具有适当的余量(例如针对总体缩放因子0.8，最大像素值的20％)，尽管图像可能具有降低的总体亮度(例如针对总体比例因子0.8，20％损失)。
[0106]
在特定实施例中，为了修改要被显示的图像，系统可以访问与显示器的坏像素相对应的坏像素位置。系统可以访问要被显示的图像，并且通过将掩码应用于包含特定像素值的图像的像素区域来修改图像。掩码和对应的像素区域可以以坏像素位置为中心。如上所述，掩码可以包括用于缩放像素区域中的像素值的缩放因子阵列。缩放因子阵列可以被配置为更改(例如变亮或变暗)与坏像素位置相对应的特定像素值周围的一个或多个像素值。为了将掩码应用于像素区域，系统可以访问图像的像素区域内的每个像素值，并且从掩码的缩放因子阵列访问对应缩放因子。然后，系统可以通过将像素值乘以从缩放因子阵列访问的对应缩放因子来确定经修改的像素值。系统可以重复该过程，以确定包含坏像素位置的像素区域中的每个经修改的像素值。
[0107]
在特定实施例中，当图像包括多个坏像素时，系统可以将相同的掩码重复地应用于包含坏像素位置的每个像素区域，以更改坏像素位置周围的像素值。相同的掩码可以被应用于图像的所有三个颜色通道(例如rgb)。在图像中的所有坏像素被校正后，系统可以使经修改的图像由显示器输出。因此，由显示器输出的经修改的图像可能会导致显示器的坏像素与未修改的图像相比具有更低的可见度水平。在特定实施例中，虽然在应用掩码之前图像的像素值可能已经按总体缩放因子按比例缩小，但经修改的像素值的结果可能仍然大于显示硬件所支持的最大像素值。在将图像发送给显示器之前，系统可以将经修改的像素值裁剪到与显示器所支持的最大像素值相对应的归一化范围[0,1]。值得注意的是，显示器的最小坏像素距离作为应用具有对应大小的辉度掩码的条件仅出于示例目的。辉度掩码的应用不被限于具有对应的最小坏像素距离的显示器。即使显示器不满足与所有坏像素的掩码大小相对应的最小坏像素距离，掩码仍然可以被应用于该显示器以校正坏像素的子集。例如，显示器可能具有最小坏像素距离小于5个像素的一些坏像素。大小为5
×
5个像素的掩码仍然可以被应用于显示器，以校正距离大于5个像素的坏像素。值得注意的是，5
×
5个像素的掩码大小仅用于示例目的，并且掩码大小不被限于此。例如，掩码可以具有n
×
n个像素的大小，其中n是任何合适的整数。
[0108]
图6a图示了具有未校正的坏像素的示例图像。图6b图示了使用辉度掩码校正坏像素的示例图像。图6c图示了具有校正后的坏像素(例如611a至611e)的示例图像部分。如通过图6b和6c所示，系统可以通过将辉度掩码应用于包含相应坏像素位置的图像的像素区域来有效地降低坏像素的可见度。在特定实施例中，经修改的图像可以在包含坏像素位置的像素区域中维持正确的平均亮度，以补偿显示器的坏像素缺陷。例如，修改后的图像可以在像素区域中具有第一平均亮度，该第一平均亮度在相对于修改前的图像的该像素区域的第
二平均亮度的阈值范围内。在特定实施例中，通过使用辉度掩码，系统可以在不使用抖动算法中的线缓冲器或行缓冲器的情况下校正坏像素。应用大小为n
×
n个像素的掩码可能需要n
×
n-1次乘法运算。更改后的像素值可以是包含坏像素位置的像素区域中的任何像素，并且可以不被限于floyd-steinberg抖动算法中的当前像素的向前和向下像素。因此，由辉度掩码修改后的图像不会有时间伪影，从而提供更好的显示质量和改进的用户体验。
[0109]
在特定实施例中，ar/vr系统的显示器(例如oled显示器、微led显示器)可以具有比绿色像素更大的红色和蓝色像素。作为示例而不通过限制，显示器可以具有比红色像素或蓝色像素更多的绿色像素，而红色和蓝色像素可以具有比绿色像素更大的大小。每个红色像素和每个蓝色像素可以被四个相应的绿色像素包围。在特定实施例中，用于校正坏像素的系统、方法和过程可以适用于具有较大的红色和蓝色像素的显示器。在特定实施例中，校正后的坏像素(例如大的红色或蓝色像素)在被与人类视觉的点扩散函数相匹配的掩码校正之后对人眼的可见度可能降低。在特定实施例中，系统可以有效地校正用于双眼视觉的显示器的坏像素。
[0110]
在特定实施例中，图像可以被修改，以在显示引擎上实现的图形流水线的一个或多个执行步骤期间校正坏像素。在特定实施例中，图形流水线可以包括以下步骤，包括例如但不限于翘曲与图像相关联的一个或多个表面，通过对多个纹素进行采样来确定图像的一个或多个像素值，校正图像的一个或多个失真，通过一个或多个空间或时间抖动过程在空间或/和时间上传播图像的量化误差。在特定实施例中，在由用于传播量化误差的一个或多个空间或/和时间抖动过程处理之前，图像可以使用用于坏像素校正的辉度掩码来修改。
[0111]
图7图示了用于使用辉度掩码校正坏像素的示例方法700。方法700可以开始于步骤710，其中系统可以访问与显示器的坏像素相对应的坏像素位置。在步骤720中，系统可以访问由具有一个或多个坏像素的显示器输出的图像。在步骤730中，该系统可以通过将掩码应用于图像的像素区域来修改图像，该像素区域包含位置与坏像素位置相对应的特定像素值。掩码可以包括用于缩放像素区域中的像素值的缩放因子阵列。缩放因子阵列可以被配置为更改与坏像素位置相对应的特定像素值周围的一个或多个像素值。在步骤740中，该系统可以使经修改的图像由显示器输出。
[0112]
在特定实施例中，掩码可以通过最小化由与人类视觉相匹配的点扩散函数调制的由坏像素引起的均方误差来生成。在特定实施例中，修改后的图像可以在像素区域中具有第一平均亮度，该第一平均亮度在相对于修改前的图像的像素区域的第二平均亮度的阈值范围内。在特定实施例中，掩码可以是圆形对称的，如由与人类视觉相匹配的点扩散函数确定的。在特定实施例中，经修改的图像可以使显示器的坏像素与修改前的图像相比具有较低的可见度水平。在特定实施例中，缩放因子阵列可以被配置为使与坏像素位置相对应的特定像素值周围的一个或多个像素值变亮或变暗。
[0113]
在特定实施例中，系统可以在将辉度掩码应用于图像之前按总体缩放因子缩放图像的每个像素值。在特定实施例中，总体缩放因子可以等于0.8，并且掩码可以包括5x5的缩放因子阵列。在特定实施例中，掩码可以通过以下操作被应用于像素区域：访问图像的像素区域内的每个像素值；从缩放因子阵列访问对应的缩放因子；并且通过将该像素值乘以从掩码的缩放因子阵列访问的对应缩放因子来确定经修改的像素值。在特定实施例中，系统可以将经修改的像素值裁剪到[0,1]的归一化范围。在特定实施例中，图像的像素区域可以
以坏像素位置为中心，并且掩码可以具有与包含坏像素位置的像素区域相同的大小。在特定实施例中，掩码可以包括在掩码的中心位置中的等于零的中心缩放因子，并且中心缩放因子可以被应用于图像的坏像素位置。
[0114]
在特定实施例中，图像可以由显示引擎上实现的图形流水线的一个或多个过程修改。图形流水线可以包括以下一个或多个步骤：翘曲与图像相关联的一个或多个表面，通过对多个纹素进行采样来确定图像的一个或多个像素值，校正图像的一个或多个失真，通过一个或多个空间或时间抖动过程在空间或时间上传播图像的量化误差。在特定实施例中，图像可以在由用于传播量化误差的一个或多个空间或时间抖动过程处理之前被修改。
[0115]
在特定实施例中，显示器的坏像素可以与显示器的rgb颜色通道中的颜色通道相关联，并且掩码可以被应用于rgb颜色通道中的每个颜色通道。在特定实施例中，显示器的坏像素可以是与绿色通道相关联的绿色像素，并且绿色像素的大小可以小于红色和蓝色通道的像素。在特定实施例中，显示器的坏像素可以是红色或蓝色像素，并且坏像素可以具有比绿色通道的像素更大的大小。在特定实施例中，显示器可以是微led显示器，其在与掩码的大小相对应的显示区域内具有单个坏像素。在特定实施例中，系统可以访问三个像素校正矩阵，分别包括用于缩放图像的关联颜色通道的像素值的第二缩放因子阵列，以校正显示器的像素非均匀性。系统可以通过将掩码中的每个掩码值乘以每个像素校正矩阵的关联的第二缩放因子来将掩码组合到该像素校正矩阵中。掩码值和关联的第二缩放因子可以与同一像素相关联。在特定实施例中，系统可以通过将每个矩阵值乘以图像的对应像素值来将三个像素校正矩阵应用于图像的相应颜色通道，以使用相同过程同时校正像素非均匀性和坏像素。
[0116]
在适当的情况下，特定实施例可以重复图7的方法的一个或多个步骤。尽管本公开将图7的方法的特定步骤描述并图示为以特定顺序发生，但是本公开设想了以任何合适顺序发生的图7的方法的任何合适步骤。而且，虽然本公开描述和图示了用于使用辉度掩码校正坏像素的示例方法，包括图7的方法的特定步骤，本公开设想了用于使用辉度掩码校正坏像素的任何合适方法，包括任何合适的步骤，在适当的情况下，其可以包括图7的方法的所有步骤、一些步骤或不包括任何步骤。此外，虽然本公开描述和图示了执行图7的方法的特定步骤的特定部件、设备或系统，但本公开设想了执行图7的方法的任何合适步骤的任何合适部件、设备或系统的任何合适组合。
[0117]
由于制造技术水平的限制，由ar/vr系统使用的显示面板(例如μled面板)可能具有一些坏像素。坏像素可能会对ar/vr系统的显示质量和用户体验产生负面影响。该系统的特定实施例可以通过在所有三个颜色通道上应用单个辉度掩码修改将由显示器输出的图像来隐藏显示面板的坏像素。为了进一步提高显示质量并且降低坏像素的可见度，系统的特定实施例可以使用三个掩码的集合来更改图像的相应三个颜色通道的像素值。三个掩码的集合中的每个掩码可以包括缩放因子阵列，以更改包含坏像素位置的像素区域中的图像的关联颜色通道的像素值。由显示器修改和输出后的图像可能会导致显示器的坏像素不可见或者与未修改的图像相比可见度降低，从而为ar/vr系统提供更好的显示质量和改进的用户体验。
[0118]
在特定实施例中，对立颜色空间可以是对应于颜色如何由人类视觉感知的颜色空间(无法由rgb颜色空间很好地表示)。在特定实施例中，对立颜色空间可以包括三个元素，
如以下方程所表示的：
[0119][0120]
其中，l、o1和o2是对立颜色空间的三个元素，r、g和b是rgb颜色空间的颜色元素。换言之，l可以对应于辉度变化(r g b)，o1可以对应于红绿差通道(g-r)，并且o2可以对应于蓝黄差通道(b-y)或(b
–
(r g))。在特定实施例中，对立颜色空间可以在以下方程中表示：
[0121][0122]
其中，l、o1和o2是对立颜色空间的三个元素，r、g和b是rgb颜色空间的颜色元素。值得注意的是，由方程(2)和(3)表示的对立颜色空间仅出于示例目的，并且对立颜色空间不被限于此。例如，优化过程中使用的对立颜色空间可以具有用于将rgb颜色空间变换为对立颜色空间的任何合适的系数。
[0123]
在特定实施例中，为了校正特定颜色通道的坏像素，系统可以使用三个掩码的集合来分别更改图像的三个颜色通道的像素值(而不是如本公开的早前章节所描述的，将相同的掩码应用于所有三个颜色通道)。系统可以生成三个掩码集合，包括用于红色坏像素的第一掩码集合、用于绿色坏像素的第二掩码集合和用于蓝色坏像素的第三掩码集合。每个掩码集合可以包括对应于三个颜色通道的三个掩码。掩码可以被生成，以最小化由显示器的调制传递函数(mtf)和人眼的调制传递函数(mtf)调制的对立颜色空间中的坏像素所引起的均方误差。在特定实施例中，系统可以通过求解如下方程所表示的优化问题来生成三个掩码集合：
[0124][0125]
其中，x是掩码的缩放因子值，i是单位矩阵，f{}是rgb颜色空间中的傅立叶变换，c是将rgb颜色空间变换为对立颜色空间的颜色空间变换，w1是与人眼的第一调制传递函数相对应的对立颜色空间中的过滤器，并且w2是与显示系统的第二调制传递函数(mtf)相对应的对立颜色空间中的过滤器。显示器的调制传递函数(mtf)可以解释显示器的模糊效果。通过求解优化问题，系统可以通过最小化由显示器和人眼的调制传递函数(mtf)调制的对立颜色空间中的坏像素引起的均方误差来生成三个掩码集合。
[0126]
在特定实施例中，系统可以通过求解如下方程所表示的优化问题来生成三个掩码集合：
[0127][0128]
其中，x是掩码的缩放因子值，i是单位矩阵，f{}是rgb颜色空间中的傅立叶变换，c是将rgb颜色空间变换为对立颜色空间的颜色空间变换，w1是与人眼的第一调制传递函数相对应的对立颜色空间中的过滤器，并且w2是与显示系统的第二调制传递函数(mtf)相对应的对立颜色空间中的过滤器。在方程(3)中，w2可以在将掩码减去到单位矩阵i的傅立叶变换之前被应用于掩码的傅立叶变换。优化掩码可以通过求解方程(4)或方程(5)来生成，
以最小化由显示器的调制传递函数(mtf)调制的对立颜色空间中的坏像素引起的均方误差。通过在优化过程期间考虑显示器的mtf和人类视觉，系统可以生成优化的掩码，允许坏像素具有较低的可见度，如由显示器显示的并且由人眼感知的。
[0129]
在特定实施例中，系统可以在如下表达式所表示的掩码值范围的约束条件下求解由方程(4)或(5)所表示的优化问题：
[0130]
β-1＜x＜β
ꢀꢀꢀ
(6)
[0131]
其中，β是用于缩小图像的所有像素值的总体缩放因子(例如在应用用于校正坏像素的三个掩码的集合之前)，以允许像素值具有足够的余量(例如针对β＝0.8，20％余量)。总体缩放因子β可以对应于图像的峰值亮度降低。通过在该约束条件下求解优化方程，系统可以生成具有缩放因子值的优化掩码，该缩放因子值允许图像的经修改的像素值不大于显示器所支持的最大像素值。因此，系统可以通过将三个掩码的集合直接应用于三个颜色通道而不将经修改的像素值裁剪到修改后的归一化范围[0,1]来修改图像。
[0132]
在特定实施例中，系统可以通过将三个掩码的集合应用于图像的三个颜色通道来修改要由显示器输出的图像。掩码可以具有预定大小，并且可以以坏像素位置为中心。掩码的大小可以基于显示器的坏像素可能的最小像素距离确定。例如，如果显示器具有像素大小的5倍的最小像素距离(例如沿着x或y维度的像素长度)，则系统可以生成大小为5x5个像素的掩码，其可以对应于包含单个坏像素的像素区域。在特定实施例中，掩码可以被生成，以基于与人类视觉相匹配的点扩散函数和显示器的调制传递函数(mtf)来最小化掩码支持(例如实值函数是包含未被映射到零的元素的域的子集)上的均方误差。掩码可以是圆形对称的，如由人类视觉的点扩散函数确定的。作为示例而不通过限制，每个掩码可以包括对应于n
×
n像素阵列的缩放因子的n
×
n阵列。值得注意的是，用于应用具有对应大小的掩码的显示器的最小坏像素距离仅出于示例目的。掩码的应用不被限于具有对应的最小坏像素距离的显示器。即使显示器不满足与掩码大小相对应的最小坏像素距离，掩码仍然可以被应用于该显示器以校正坏像素的子集。例如，显示器可能具有最小坏像素距离小于5个像素的一些坏像素。大小为5x5个像素的掩码仍然可以被应用于显示器，以校正距离大于5个像素的坏像素。
[0133]
图8a图示了用于校正绿色坏像素的三个掩码810a、810b和810c的示例集合。在特定实施例中，系统可以生成用于校正三个颜色通道的坏像素的三个掩码集合。每个掩码集合可以包括三个掩码，分别用于在三个颜色通道中更改图像的像素值。作为示例而不通过限制，系统可以生成三个掩码810a、810b和810c的集合，如图8a所示，用于校正绿色通道的坏像素。三个掩码810a、810b和810c的集合可以对应于包括5
×
5像素阵列的像素区域。三个掩码810a、810b和810c的集合可以被应用于相应颜色通道中的图像的对应像素区域。例如，掩码810a可以被应用于图像的红色通道，以在包含坏像素位置的对应像素区域中更改图像的红色像素值。掩码810b可以被应用于图像的绿色通道，以在包含坏像素位置的对应像素区域中更改图像的绿色像素值。掩码810c可以被应用于图像的蓝色通道，以在包含坏像素位置的对应像素区域中更改图像的蓝色像素值。值得注意的是，虽然该示例中的坏像素仅在绿色通道中，但图像的所有三个颜色通道的像素值可能会被相应的掩码更改。这是因为掩码的优化是在人类视觉感知的对立颜色空间(例如l、o1、o2)中执行的。为了调整或更改对立颜色空间的任何分量值(例如l、o1、o2)，rgb颜色空间的两个或多个分量可能需要对应地
更改或调整。
[0134]
图8b图示了用于校正绿色坏像素的三个掩码810a、810b和810c的集合的示例掩码值。值得注意的是，图8b所示的掩码值不是直接乘以像素值的缩放因子值。相反，针对掩码值x，系统可以通过从1中减去掩码值x来确定对应的缩放因子(1-x)。系统可以将对应的像素值乘以缩放因子(1-x)。例如，红色通道的第一掩码810a的中心掩码值可以为零。红色通道的对应中心像素可以乘以(1-0)，因此该掩码值可能没有变化。作为另一示例，用于绿色通道的第二掩码810b的中心掩码值可以为1。对应于坏像素的绿色通道的中心像素的对应值可以乘以(1-1)，因此可能具有零值。作为另一示例，用于蓝色通道的第三掩码810c的中心掩码值可以为0。蓝色通道的中心像素的对应值可以乘以(1-0)，因此其值可能没有变化。类似地，为了将三个掩码的集合中的每个掩码应用于对应的颜色通道，系统可以访问每个掩码值x，并且通过(1-x)确定对应的缩放因子，该缩放因子将乘以要被更改的对应像素值。
[0135]
比较用于校正绿色通道的坏像素的三个掩码810a、810b和810c的集合之间的掩码值，相对于其他两个掩码810a和810c，绿色通道的掩码810b与1可能具有相对较大的偏差幅度。换言之，为了校正绿色通道的坏像素，绿色通道的像素值可能比红色和蓝色通道的像素值变化更大。在该示例中，绿色坏像素的像素值可以是零，如由对应的掩码值1(和缩放因子(1-1))更改的。坏像素位置处的红色和蓝色像素的像素值可以保持不变。掩码区域中的所有其他像素值可以基于对应的掩码值分别更改，以补偿坏像素缺陷。因此，由显示器输出后的经修改的图像可能会导致绿色坏像素的可见度降低。
[0136]
图8c图示了用于校正红色坏像素的三个掩码820a、820b和820c的集合的示例掩码值。在该示例中，用于红色通道的第一掩码820a的中心掩码值可以为1。作为坏像素的红色通道的对应中心像素可以乘以(1-1)，因此可能为零。用于绿色通道的第二掩码820b的中心掩码值可以为0。绿色通道的中心像素的对应值可以乘以(1-0)，因此其值可能没有变化。用于蓝色通道的第三掩码820c的中心掩码值可以为0。蓝色通道的中心像素的对应值可以乘以(1-0)，因此其值可能没有变化。比较用于校正红色坏像素的三个掩码820a、820b和820c的集合之间的掩码值，相对于其他两个掩码820b和810c，红色通道的掩码810a与1可能具有相对较大的偏差幅度。换言之，为了校正红色坏像素，红色通道的像素值可能比绿色和蓝色通道的像素值变化更大。在该示例中，红色坏像素的像素值可以是零，如由对应的掩码值1(和缩放因子(1-1))更改的。坏像素位置处的绿色和蓝色像素的像素值可以保持不变。掩码区域中的所有其他像素值可以基于对应的掩码值分别更改，以补偿坏像素缺陷。因此，由显示器输出后的经修改的图像可能会导致红色坏像素的可见度降低。
[0137]
图8d图示了用于校正蓝色坏像素的三个掩码830a、830b和830c的集合的示例掩码值。在该示例中，用于红色通道的第一掩码830a的中心掩码值可以为0。红色通道的对应中心像素可以乘以(1-0)，因此其值可能没有变化。用于绿色通道的第二掩码820b的中心掩码值可以为0。绿色通道的中心像素的对应值可以乘以(1-0)，因此其值可能没有变化。用于蓝色通道的第三掩码820c的中心掩码值可以为1。对应于坏像素的蓝色通道的中心像素的对应值可以乘以(1-1)，因此可能为零。比较用于校正蓝色坏像素的三个掩码830a、830b和830c的集合之间的掩码值，相对于其他两个掩码830a和830b，蓝色通道的掩码830c与1可能具有相对较大的偏差幅度。换言之，为了校正蓝色坏像素，蓝色通道的像素值可能比红色和绿色通道的像素值变化更大。在该示例中，蓝色坏像素的像素值可以是零，如由对应的掩码
值1(和缩放因子(1-1))更改的。坏像素位置处的红色和绿色像素的像素值可以保持不变。掩码区域中的所有其他像素值可以基于对应的掩码值分别更改，以补偿坏像素缺陷。因此，由显示器输出后的经修改的图像可能会导致蓝色坏像素的可见度降低。
[0138]
比较810a、820b和830c的三个掩码，与掩码810a相比，820b中的掩码值与1的偏差幅度可能相对较小(与掩码830c相比，与1的偏差幅度可能相对较小)。这是因为人眼对绿光比对红光和蓝光更敏感。为了校正绿色坏像素，像素值可以以比红色坏像素或蓝色坏像素相对更小的幅度更改。在特定实施例中，由于掩码值针对显示器所显示的以及人类视觉所感知的最终结果优化，掩码值与1的偏差幅度可能取决于人眼对关联于对应坏像素的颜色通道的敏感度。
[0139]
在特定实施例中，为了将三个掩码的集合应用于图像，系统首先通过总体缩放因子β(例如0.8)缩放图像的所有像素值，以允许像素值具有适当的余量(例如20％)。按总体缩放因子缩放可能会导致图像的总体亮度降低(例如20％)。因为掩码值是通过在1-β≤x≤β的约束条件下求解优化方程生成的，掩码值可以允许图像的经修改的像素值不大于显示器所支持的最大像素值。该系统可以访问与关联于显示器的特定颜色通道的坏像素相对应的坏像素位置。然后系统可以访问包括三个颜色通道的像素值的图像，如以下方程所表示的：
[0140]
p＝(pr，pg，pb)
ꢀꢀꢀ
(7)
[0141]
其中，p是图像的像素值矩阵，pr、pg和pb是rgb颜色通道的像素值矩阵。系统可以基于与坏像素相关联的颜色通道来选择三个掩码的集合。该系统可以通过将三个掩码的集合应用于图像的像素区域来修改图像，该像素区域包含位置与坏像素位置相对应的特定像素值。作为示例而不通过限制，为了校正绿色坏像素，系统可以从优化过程期间生成的九个掩码中选择三个掩码810a、810b和810c的集合(如图8b所示)。类似地，为了校正红色坏像素，系统可以选择图8c所示的三个掩码820a、820b和820c的集合。为了校正蓝色坏像素，系统可以选择图8d所示的三个掩码830a、830b和830c的集合。所选的三个掩码的集合可以分别被应用于图像的像素区域中的像素值的三个颜色通道。三个掩码的集合可以被配置为最小化由对立颜色空间中的坏像素引起的均方误差。
[0142]
在特定实施例中，系统可以通过使用以下方程中表示的过程应用大小为5
×
5个像素的掩码来确定经修改的像素值：
[0143]
p
rx-2：rx 2，ry-2：ry 2
＝p
rx-2：rx 2，ry-2：ry 2
·
(1-fr)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0144]
p
gx-2：gx 2，gy-2：gy 2
＝p
gx-2：gx 2，gy-2：gy 2
·
(1-fg)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0145]
p
bx-2：bx 2，by-2：by 2
＝p
bx-2：bx 2，by-2：by 2
·
(1-fg)
ꢀꢀꢀꢀꢀ
(10)
[0146]
其中，p
rx ry
是(x，y)位置处的红色像素值，p
gx gy
是(x，y)位置处的绿色像素值，p
bx by
是(x，y)位置处的蓝色像素值，fr是红色通道的对应掩码值，fg是绿色通道的对应掩码值，fb是红色通道的对应掩码值。换言之，为了将三个掩码的集合应用于像素区域中的图像的相应颜色通道，系统可以从用于关联颜色通道的三个掩码的集合中选择关联的颜色特定掩码。系统可以访问像素区域中的图像的关联颜色通道的每个像素值，并且通过将像素值乘以缩放因子来修改像素区域中的图像的关联颜色通道的每个像素的像素值，该缩放因子是基于颜色特定掩码的对应掩码值确定的。
[0147]
图9图示了用于应用三个掩码(例如910a、910b、910c)的集合以校正绿色坏像素的
示例过程。作为示例而不通过限制，图像901a可以被显示在显示器上，在绿色通道中具有坏像素902a。为了校正绿色坏像素902a，系统可以选择三个掩码910a至910c的集合来修改图像901a的像素值。三个掩码910的集合可以从可以被生成以校正不同颜色通道的坏像素的多个掩码集合中选择。掩码可以通过求解优化问题以最小化由傅立叶对立空间中的坏像素引起的均方误差来生成。系统可以访问三个掩码910a、910b和910c，并且将它们应用于包含坏像素位置902a的像素区域中的图像901a。具体地，系统可以访问每个掩码中的每个掩码值x，并且将对应的像素值p乘以基于该掩码值x确定的缩放因子(1-x)。三个掩码910a、910b和910c可以分别被应用于rgb颜色通道中的图像901a。在由三个掩码的集合修改后，图像901a可以由显示器输出，并且由用户查看。显示和查看过程的数学原理可以通过一种或多种算法来模拟，如过程920所描述的。该算法首先可以在颜色空间转换步骤921中将来自rgb颜色空间的经修改的图像转换为对立颜色空间。然后，该算法可以将空间人类视觉模型922应用于对立颜色空间中的图像901a。针对不同的颜色通道，空间人类视觉模型可能不同，并且模型可以分别被应用于三个颜色通道。然后，该算法可以将显示器923的调制传递函数应用于辉度通道中的图像901a。因此，图像901b可以表示当经修改的图像被显示在显示器上时可能由用户感知的内容。如图9所示，与校正前的坏像素902a相比，校正后的坏像素902b可能具有降低的可见度。
[0148]
图10图示了显示器的示例调制传递函数(mtf)。在特定实施例中，掩码可以考虑显示器的调制传递函数(mtf)来优化。作为示例而不通过限制，当空间频率增加时，显示器的mtf函数的百分比值可能会下降，如图10所示。在该示例中，当空间频率达到约18.5个周期/度时，mtf函数的百分比值可以约为10％。
[0149]
图11a至11b图示了在应用显示器的调制传递函数(mtf)之前和之后具有校正的坏像素的示例图像1100a和1100b。作为示例而不通过限制，图像1100a可以包括六个坏像素位置，分别与特定颜色通道相关联。任何两个坏像素之间的距离可以不小于掩码的大小(例如5
×
5个像素)。系统可以基于关联颜色通道为每个坏像素选择三个掩码的集合，并且将六个掩码集合应用于包含坏像素位置的相应像素区域中的图像。因此，图像可能在包含坏像素位置的像素区域中具有更改后的像素值，以补偿坏像素缺陷。图像1100b示出了在显示器的调制传递函数(mtf)被应用之前校正的坏像素。图像1100b示出了在显示器的调制传递函数(mtf)被应用之后校正的坏像素。图像1100b可以包括由显示器的调制传递函数(mtf)引起的模糊效果。如图11b所示，校正后的坏像素在由对应的掩码集合校正后可能具有低得多的可见度。通过为图像的每个颜色通道使用不同的掩码，与对所有三个颜色通道使用单个辉度掩码相比，系统在校正后的坏像素中可能会获得更好的结果(例如较低的可见度)。
[0150]
图12图示了用于使用图像的rgb颜色通道的三个掩码的集合来校正坏像素的示例方法1200。方法1200可以开始于步骤1210，其中系统可以访问与显示器的坏像素相对应的坏像素位置。坏像素可以与显示器的三个颜色通道中的颜色通道相关联。在步骤1220中，系统可以访问要在具有坏像素的显示器上显示的图像。在步骤1230中，系统可以基于与坏像素相关联的颜色通道来选择三个掩码的集合。在步骤1240中，该系统可以通过将三个掩码的集合应用于图像的像素区域来修改图像，该像素区域包含位置与坏像素位置相对应的特定像素值。三个掩码的集合可以分别被应用于图像的像素区域中的像素值的三个颜色通道。三个掩码的集合可以被配置为最小化由对立颜色空间中的坏像素引起的误差。在步骤
1250中，该系统可以使经修改的图像由显示器输出。
[0151]
在特定实施例中，三个掩码的集合被配置为最小化的误差可以是由对立颜色空间中的坏像素引起的均方误差，该均方误差由人类视觉的点扩散函数调制。在特定实施例中，在由人类视觉的点扩散函数和显示器的调制传递函数调制的对立颜色空间中，由坏像素引起的均方误差可以被最小化。在特定实施例中，三个掩码的集合中的每个掩码可以包括用于确定缩放因子阵列以缩放像素区域中的图像的关联颜色通道的像素值的掩码值阵列。缩放因子阵列可以被配置为使像素区域中的图像的关联颜色通道的像素值变亮或变暗。在特定实施例中，三个掩码的集合中的每个掩码可以是圆形对称的，如由人类视觉的点扩散函数确定的。
[0152]
在特定实施例中，经修改的图像可以使显示器的坏像素与修改前的图像相比具有较低的可见度水平。三个掩码的集合可以从三个掩码集合中选择，并且三个掩码集合中的每个集合可以用于与坏像素相关联的特定颜色通道。在特定实施例中，三个掩码集合通过求解优化方程生成，其中f{x}是傅立叶变换，w1是人类视觉的第一调制传递函数，w2是显示器的第二调制传递函数，c是将rgb颜色空间变换为对立颜色空间的颜色空间变换，i是单位矩阵。在特定实施例中，优化方程可以服从β-1≤x≤β的约束条件，其中β是图像的像素值的总体缩放因子。在特定实施例中，系统可以在应用掩码以校正坏像素之前或之后按总体缩放因子β缩放图像的每个像素值。
[0153]
在特定实施例中，三个掩码的集合可以通过以下操作被应用于像素区域中的图像的相应颜色通道：从用于关联颜色通道的三个掩码的集合中选择颜色特定掩码，访问像素区域中的图像的关联颜色通道的每个像素值，并且通过将该像素值乘以缩放因子来修改像素区域中的图像的关联颜色通道的每个像素的像素值，该缩放因子是基于颜色特定掩码的对应掩码值确定的。在特定实施例中，显示器可以是微led显示器，其在与三个掩码的集合的掩码大小相对应的显示区域内具有单个坏像素。在特定实施例中，图像的像素区域可以以与显示器的坏像素相对应的坏像素位置为中心。三个掩码的集合中的每个掩码可以具有与包含坏像素位置的像素区域相同的大小。
[0154]
在特定实施例中，图像可以由显示引擎上实现的图形流水线的一个或多个过程修改。在特定实施例中，图形流水线可以包括以下一个或多个步骤，例如但不限于翘曲与图像相关联的一个或多个表面，通过对多个纹素进行采样来确定图像的一个或多个像素值，校正图像的一个或多个失真，通过一个或多个空间或时间抖动过程在空间或/和时间上传播图像的量化误差。在特定实施例中，图像可以在由用于传播量化误差的一个或多个空间或时间抖动过程处理之前被修改。在特定实施例中，显示器的坏像素可以是与绿色通道相关联的绿色像素，并且绿色像素的大小可以小于红色和蓝色通道的像素。在特定实施例中，显示器的坏像素可以是红色或蓝色像素，并且坏像素可以具有比绿色通道的像素更大的大小。在特定实施例中，系统可以访问三个像素校正矩阵，分别包括用于缩放关联颜色通道的像素值的缩放因子阵列，以校正像素非均匀性。通过将该掩码中的每个掩码值乘以对应像素校正矩阵的关联缩放因子，该系统可以将三个掩码的集合中的每个掩码组合为对应的像素校正矩阵。掩码值和关联的第二缩放因子可以与同一像素相关联。在特定实施例中，系统可以通过将每个矩阵值乘以图像的关联颜色通道的对应像素值来将三个像素校正矩阵应
用于图像的相应颜色通道，以使用相同过程同时校正像素非均匀性和坏像素。
[0155]
在适当的情况下，特定实施例可以重复图12的方法的一个或多个步骤。尽管本公开将图12的方法的特定步骤描述并图示为以特定顺序发生，但是本公开设想了以任何合适顺序发生的图12的方法的任何合适步骤。而且，虽然本公开描述和图示了用于使用图像的rgb颜色通道的三个掩码的集合校正坏像素的示例方法，包括图12的方法的特定步骤，本公开设想了用于使用图像的rgb颜色通道的三个掩码的集合校正坏像素的任何合适方法，包括任何合适的步骤，在适当的情况下，其可以包括图12的方法的所有步骤、一些步骤或不包括任何步骤。此外，虽然本公开描述和图示了执行图12的方法的特定步骤的特定部件、设备或系统，但本公开设想了执行图12的方法的任何合适步骤的任何合适部件、设备或系统的任何合适组合。
[0156]
在特定实施例中，ar/vr显示器的像素可能具有非均匀的发光能力。例如，显示器的像素可以在不同的强度范围内发射具有不同最大光强度的光。显示器的一些像素可能比显示器的其他像素具有相对较高的最大光强度。因此，即使它们被提供有相同的像素值，显示器的不同像素也可以发射具有不同辉度水平的光。当图像由这些非均匀的像素显示时，显示的图像可能会因像素的非均匀性而失真，并且可能看起来与预期不同。
[0157]
在特定实施例中，系统可以使用缩放因子矩阵来缩放要被显示的图像的像素值，以补偿像素非均匀性。在特定实施例中，系统可以确定(例如使用光学测量系统或计算机视觉系统)量化的像素非均匀性(例如在系统的制造或校准阶段期间)。例如，系统可以确定显示器的每个像素的发光系数。在特定实施例中，发光系数可以是相对于最强像素(即，具有最高最大光强度水平的像素)的归一化最大光强度。例如，发光系数为1可以对应于具有最高最大光强度的最强像素。发光系数为0.8可以对应于相对于最强像素的80％的发光强度。然后，系统可以基于该像素的发光系数值计算每个像素的均匀性缩放因子。为了允许显示器的所有像素在相同强度范围内发光，系统可以计算相对于最弱像素(即，具有最低最大光强度的像素)的均匀性缩放因子值。给定p0作为最弱像素的发光系数并且给定p
x
作为当前像素的发光系数，该像素的均匀性缩放因子可以通过将p0除以p
x
来确定。例如，假设最弱像素具有0.6的发光系数值，具有0.9、0.8、0.7和0.6的发光系数的像素可以分别具有0.67、0.75、0.86和1的均匀性缩放因子值。系统可以重复该计算，并且确定显示器的每个颜色通道的每个像素的均匀性缩放因子。所计算的缩放因子可以被存储在对应于颜色通道的像素校正矩阵中。系统可以分别为显示器的rgb颜色通道生成三个像素校正矩阵。矩阵可以被存储到系统的存储器存储装置中。在运行时，系统可以访问来自像素校正矩阵的缩放因子，并且基于相应的缩放因子缩放要被显示的图像的像素值。系统可以分别将三个像素校正矩阵应用于图像的rgb颜色通道。通过缩放因子缩放后的图像的像素值可以均匀地在与显示器的最弱像素相对应的相同光强度范围内。换言之，与最弱像素相比，具有更高的最大光强度的像素的像素值可以按比例缩小以匹配最弱像素。因此，在由像素校正矩阵修改后的图像可以消除由非均匀像素引起的非均匀性，并且可以提供更好的显示质量(例如显示图像更接近原始图像)。
[0158]
在特定实施例中，显示器的像素可能会随着时间退化。例如，取决于显示器处于开启状态的小时数，显示器的像素可能逐渐具有较低的最大光强度。具有退化像素的显示器可能会显示亮度较低的图像，从而对显示质量和用户体验产生负面影响。在特定实施例中，
系统可以基于显示器已经开启的小时数来调整像素校正矩阵中的缩放因子。像素的发光系数与开启小时数之间的关系可以基于经验数据或测量数据预定。例如，系统可以基于经验数据或测量数据来确定使像素发光系数与开启小时数相关的数学函数。在运行时，系统可以周期性地(例如显示器的使用的每n个小时)基于数学函数和使用的小时数重新生成具有重新计算的缩放因子的像素校正矩阵。在特定实施例中，系统可以基于指示显示器已变得比最优亮度更暗的传感器输入或用户输入重新生成像素校正矩阵。然后，系统可以将重新生成的像素校正矩阵应用于要被显示的图像。重新生成的缩放因子可以导致图像的像素值被调整，以补偿像素退化。因此，即使显示器的像素已经退化，系统也可以随时间提供更一致的显示质量和图像效果。
[0159]
在特定实施例中，系统可以将用于校正非均匀性的像素校正矩阵与用于校正坏像素的辉度掩码组合。在特定实施例中，非均匀性校正可以通过与用于校正坏像素的过程分离的过程来执行。在特定实施例中，非均匀性校正和坏像素校正可以在同一过程中执行。例如，系统可以通过将每个掩码值乘以校正矩阵中的关联缩放因子来将辉度掩码与rgb颜色通道的三个像素校正矩阵组合。系统可以使用三个像素校正矩阵(在乘以辉度掩码值之后)来更改图像的相应颜色通道的像素值。因此，坏像素和像素非均匀性可以被同时校正。
[0160]
作为示例而不通过限制，系统可以访问三个像素校正矩阵，分别包括用于缩放图像的关联颜色通道的像素值的第二缩放因子阵列，以校正显示器的像素非均匀性。系统可以通过将掩码中的每个掩码值乘以每个像素校正矩阵的关联的第二缩放因子，来将辉度掩码组合到该像素校正矩阵中。掩码值和关联的第二缩放因子可以与同一像素相关联。在特定实施例中，系统可以通过将每个矩阵值乘以图像的对应像素值来将三个像素校正矩阵应用于图像的相应颜色通道，以使用相同过程同时校正像素非均匀性和坏像素。因此，坏像素和像素非均匀性可以被同时校正。
[0161]
在特定实施例中，系统可以将用于校正非均匀性的像素校正矩阵与用于校正相应颜色通道的坏像素的颜色掩码组合。在特定实施例中，非均匀性校正可以通过与用于校正坏像素的过程分离的过程来执行。在特定实施例中，非均匀性校正和坏像素校正可以在同一过程中执行。例如，系统可以通过将每个颜色掩码值乘以校正矩阵的关联缩放因子来将每个颜色掩码组合到相同颜色通道的对应像素校正矩阵。然后，系统可以使用三个像素校正矩阵(与颜色掩码组合)来更改图像的相应颜色通道的像素值。因此，坏像素和像素非均匀性可以被同时校正。
[0162]
作为示例而不通过限制，系统可以访问三个像素校正矩阵，分别包括用于缩放关联颜色通道的像素值的缩放因子阵列，以校正像素非均匀性。通过将该掩码中的每个掩码值乘以对应像素校正矩阵的关联缩放因子，该系统可以将三个掩码的集合中的每个掩码组合到对应的像素校正矩阵中。掩码值和关联的第二缩放因子可以与同一像素相关联。在特定实施例中，系统可以通过将每个矩阵值乘以图像的关联颜色通道的对应像素值来将三个像素校正矩阵应用于图像的相应颜色通道，以使用相同过程同时校正像素非均匀性和坏像素。因此，坏像素和像素非均匀性可以被同时校正。
[0163]
在特定实施例中，除了用于不同颜色通道的辉度掩码或掩码集合之外，系统还可以组合总体缩放因子β(例如β《1)，其用于按比例缩小图像的所有像素值，以允许像素值在像素校正矩阵中具有适当的余量(例如针对β＝0.8为20％)。例如，系统还可以将像素校正
矩阵中的每个矩阵值乘以β，并且将这些矩阵应用于图像。通过将像素校正矩阵应用于图像，系统可以使用相同的过程同时执行像素非均匀性校正、缩放所有像素值以获得余量并且校正坏像素。因为像素校正矩阵包括总体缩放因子β，所以组合的像素校正矩阵中的矩阵值可以在[0,1]的归一化范围内。在特定实施例中，组合的像素校正矩阵可以对应于包括任意数量的坏像素(不限于每n
×
n个像素单个坏像素，因为像素校正矩阵可以与任意数量的坏像素校正掩码组合)的显示区域。此外，坏像素的位置可以是任意的，并且组合的像素校正矩阵可以有效地校正任意位置处的任意位置的坏像素。因此，通过将组合的像素校正矩阵应用于图像，像素非均匀性、像素值的总体缩放以及坏像素的校正可以在同一过程中同时完成。
[0164]
图13图示了示例计算机系统1300。在特定实施例中，一个或多个计算机系统1300执行本文描述或图示的一种或多种方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统1300提供本文描述或图示的功能性。在特定实施例中，在一个或多个计算机系统1300上运行的软件执行本文描述或图示的一种或多种的一个或多个步骤，或者提供本文描述或图示的功能性。特定实施例包括一个或多个计算机系统1300的一个或多个部分。在本文中，在适当的情况下，对计算机系统的引用可以涵盖计算设备，反之亦然。而且，在适当的情况下，对计算机系统的引用可以涵盖一个或多个计算机系统。
[0165]
本公开设想了任何合适数量的计算机系统1300。本公开设想了采用任何合适物理形式的计算机系统1300。作为示例而不通过限制，计算机系统1300可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(诸如例如模块计算机(com)或系统模块(som))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网格、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实设备或这些中的两个或多个的组合。在适当的情况下，计算机系统1300可以包括一个或多个计算机系统1300；是单一的或分布式的；跨越多个位置；跨越多个机器；跨越多个数据中心；或驻留在云中，其可以包括一个或多个网络中的一个或多个云部件。在适当的情况下，一个或多个计算机系统1300可以在没有实质空间或时间限制的情况下执行本文描述或图示的一种或多种方法的一个或多个步骤。作为示例而不通过限制，一个或多个计算机系统1300可以实时或以批次模式执行本文描述或图示的一种或多种方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统1300可以在不同时间或在不同位置执行本文描述或图示的一种或多种方法的一个或多个步骤。
[0166]
在特定实施例中，计算机系统1300包括处理器1302、存储器1304、存储装置1306、输入/输出(i/o)接口1308、通信接口1310和总线1312。虽然本公开描述并图示了特定计算机系统(具有特定布置的特定数量的特定部件)，但是本公开设想了任何合适的计算机系统(具有任何合适布置的任何合适数量的任何合适部件)。
[0167]
在特定实施例中，处理器1302包括用于执行指令的硬件，诸如组成计算机程序的指令。作为示例而不通过限制，为了执行指令，处理器1302可以从内部寄存器、内部缓存、存储器1304或存储装置1306取回(或获取)指令；译码并执行它们；然后将一个或多个结果写入内部寄存器、内部缓存、存储器1304或存储装置1306。在特定实施例中，处理器1302可以包括用于数据、指令或地址的一个或多个内部缓存。本公开设想处理器1302在适当的情况下包括任何合适数量的任何合适的内部缓存。作为示例而不通过限制，处理器1302可以包
括一个或多个指令缓存、一个或多个数据缓存以及一个或多个转化后备缓冲器(tlb)。指令缓存中的指令可以是存储器1304或存储装置1306中的指令副本，并且指令缓存可以加速处理器1302对那些指令的取回。数据缓存中的数据可以是存储器1304或存储装置1306中的数据副本，用于在处理器1302处执行以对其进行操作的指令；在处理器1302处执行的先前指令的结果，用于在处理器1302处执行的后续指令访问或写入存储器1304或存储装置1306；或其他合适的数据。数据缓存可以加速处理器1302的读取或写入操作。tlb可以加速处理器1302的虚拟地址转化。在特定实施例中，处理器1302可以包括用于数据、指令或地址的一个或多个内部寄存器。本公开设想处理器1302在适当的情况下包括任何合适数量的任何合适的内部缓存。在适当的情况下，处理器1302可以包括一个或多个算术逻辑单元(alu)；是多核处理器；或者包括一个或多个处理器1302。虽然本公开描述并图示了特定处理器，但是本公开设想了任何合适的处理器。
[0168]
在特定实施例中，存储器1304包括用于存储供处理器1302执行的指令或供处理器1302操作的数据的主存储器。作为示例而不通过限制，计算机系统1300可以将指令从存储装置1306或另一个源(诸如例如另一计算机系统1300)加载到存储器1304。处理器1302然后可以将指令从存储器1304加载到内部寄存器或内部缓存。为了执行指令，处理器1302可以从内部寄存器或内部缓存取回指令，并且对它们进行译码。在执行指令期间或之后，处理器1302可以将一个或多个结果(其可以为中间或最终结果)写入内部寄存器或内部缓存。处理器1302然后可以将这些结果中的一个或多个写入存储器1304。在特定实施例中，处理器1302仅执行一个或多个内部寄存器或内部缓存或存储器1304中的指令(与存储装置1306或其他相反)，并且仅对一个或多个内部寄存器或内部缓存或存储器1304中的数据进行操作(与存储装置1306或其他相反)。一个或多个存储器总线(其可以分别包括地址总线和数据总线)可以将处理器1302耦合至存储器1304。如下所述，总线1312可以包括一个或多个存储器总线。在特定实施例中，一个或多个存储器管理单元(mmu)驻留在处理器1302和存储器1304之间，并且支持对处理器1302所请求的存储器1304的访问。在特定实施例中，存储器1304包括随机存取存储器(ram)。在适当的情况下，该ram可以是易失性存储器。在适当的情况下，该ram可以是动态ram(dram)或静态ram(sram)。而且，在适当的情况下，该ram可以是单端口或多端口ram。本公开设想了任何合适的ram。在适当的情况下，存储器1304可以包括一个或多个存储器1304。尽管本公开描述并图示了特定存储器，但本公开设想了任何合适的存储器。
[0169]
在特定实施例中，存储装置1306包括用于数据或指令的海量存储装置。作为示例而不通过限制，存储装置1306可以包括硬盘驱动器(hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(usb)驱动器或这些中的两个或多个的组合。在适当的情况下，存储装置1306可以包括可移除或不可移除(或固定)介质。在适当的情况下，存储装置1306可以在计算机系统1300的内部或外部。在特定实施例中，存储装置1306是非易失性固态存储器。在特定实施例中，存储装置1306包括只读存储器(rom)。在适当的情况下，该rom可以是掩码编程rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可更改rom(earom)或闪存或这些中的两个或多个的组合。本公开设想了采用任何合适物理形式的海量存储装置1306。在适当的情况下，存储装置1306可以包括支持处理器1302和存储装置1306之间的通信的一个或多个存储控制单元。在适当的情况下，存储装置1306可以包括一
个或多个存储装置1306。虽然本公开描述并图示了特定存储装置，但是本公开设想了任何合适的存储装置。
[0170]
在特定实施例中，i/o接口1308包括硬件、软件或两者，为计算机系统1300和一个或多个i/o设备之间的通信提供一个或多个接口。在适当的情况下，计算机系统1300可以包括这些i/o设备中的一个或多个。这些i/o设备中的一个或多个可以实现人与计算机系统1300之间的通信。作为示例而不通过限制，i/o设备可以包括键盘、小键盘、麦克风、监测器、鼠标、打印机、扫描仪、扬声器、静态相机、手写笔、平板计算机、触摸屏、轨迹球、摄像机、另一合适的i/o设备或这些中的两个或多个的组合。i/o设备可以包括一个或多个传感器。本公开设想了任何合适的i/o设备和用于它们的任何合适的i/o接口1308。在适当的情况下，i/o接口1308可以包括使处理器1302能够驱动这些i/o设备中的一个或多个的一个或多个设备或软件驱动器。在适当的情况下，i/o接口1308可以包括一个或多个i/o接口1308。尽管本公开描述并图示了特定的i/o接口，但本公开设想了任何合适的i/o接口。
[0171]
在特定实施例中，通信接口1310包括提供一个或多个接口的硬件、软件或两者，用于在计算机系统1300和一个或多个其他计算机系统1300或一个或多个网络之间通信(诸如例如基于分组的通信)。作为示例而不通过限制，通信接口1310可以包括网络接口控制器(nic)或网络适配器，用于与以太网或其他基于有线的网络通信，或者包括无线nic(wnic)或无线适配器，用于与无线网络(诸如wi-fi网络)通信。本公开为它设想了任何合适的网络和任何合适的通信接口1310。作为示例而不通过限制，计算机系统1300可以与自组织网络、个域网(pan)、局域网(lan)、广域网(wan)、城域网(man)或者互联网的一个或多个部分或这些中的两个或多个的组合通信。这些网络中的一个或多个的一个或多个部分可以是有线的或无线的。作为示例，计算机系统1300可以与无线pan(wpan)(诸如例如蓝牙wpan)、wi-fi网络、wi-max网络、蜂窝电话网络(诸如例如全球移动通信系统(gsm)网络)或者其他合适的无线网络或这些中的两个或多个的组合通信。在适当的情况下，计算机系统1300可以包括用于这些网络中的任何一个的任何合适的通信接口1310。在适当的情况下，通信接口1310可以包括一个或多个通信接口1310。尽管本公开描述并图示了特定的通信接口，但本公开设想了任何合适的通信接口。
[0172]
在特定实施例中，总线1312包括将计算机系统1300的部件彼此耦合的硬件、软件或两者。作为示例而不通过限制，总线1312可以包括加速图形端口(agp)或其他图形总线、增强型工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、infiniband互连、低引脚计数(lpc)总线、存储器总线、微通道架构(mca)总线、外围部件互连(pci)总线、高速pci(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线或另一合适的总线或这些中的两个或多个的组合。在适当的情况下，总线1312可以包括一个或多个总线1312。尽管本公开描述并图示了特定的总线，但本公开设想了任何合适的总线或互连。
[0173]
在本文中，一个或多个计算机可读非瞬态存储介质或介质可以包括一个或多个基于半导体的或其他集成电路(ic)(诸如例如现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非瞬态存储介质或者这些中的两个或多个的任何合适组合(在适当的情
况下)。在适当的情况下，计算机可读非瞬态存储介质可以是易失性、非易失性或易失性和非易失性的组合。
[0174]
在本文中，“或者”是包括性的而非排他性的，除非另有明确指示或通过上下文另有指示。因此，在本文中，除非另有明确指示或通过上下文另有指示，否则“a或b”是指“a、b或两者”。而且，“和”既是联合的又是各自的，除非另有明确指示或通过上下文另有指示。因此，在本文中，除非另有明确指示或通过上下文另有指示，否则“a和b”是指“a和b，联合地或者各自地”。
[0175]
本发明的范围涵盖对本文描述或图示的示例实施例的所有改变、替换、变化、更改和修改，其在所附权利要求的范围内是本领域的普通技术人员将领会的。本发明的范围不被限于本文描述或图示的示例实施例，本发明在所附权利要求中限定。而且，虽然本公开将本文中的相应实施例描述和图示为包括特定部件、元件、特征、功能、操作或步骤，但是这些实施例中的任何一个可以包括本领域的普通技术人员将领会的本文任何地方描述或图示的部件、元件、特征、功能、操作或步骤中的任何一个的任何组合或排列。此外，在所附权利要求中引用适用于、设置为、能够、被配置为、被启用、可操作或操作以执行特定功能的装置或系统或者装置或系统的部件涵盖该装置、系统、部件，无论它或该特定功能是否被启动、打开或解锁，只要该装置、系统或部件如此适用、布置、能够、配置、启用、可操作或操作即可。附加地，虽然本公开将特定实施例描述或图示为提供特定优点，但特定实施例可以不提供这些优点、提供一些或所有这些优点。