处理由显示器后面的相机捕获的图像的制作方法

1.本发明一般涉及电子显示器，更具体地，涉及处理由电子显示器后面的相机捕获的图像。


背景技术：

2.诸如有源矩阵液晶显示器(amlcd)、有源矩阵有机发光显示器(amoled)和微型led显示器的电子显示器通常是部署用于个人电子设备(例如，移动电话、平板电脑、智能手表等)的显示器类型。此类个人电子设备通常可包括前向相机，其可布置在显示器附近，且可由用户最常用于捕获自画像(例如，“自拍”)。
3.然而，随着前向相机系统的复杂性增加(例如，深度相机)，指定用于电子设备的显示的越来越多的区域可被交换以扩展指定用于相机系统的区域。这可能导致显示器的分辨率和可视区域降低。


技术实现要素：

4.[技术方案]
[0005]
为了解决当前的不足，提供了一种方法，该方法包括通过布置在电子设备的显示面板后面的相机通过显示面板的半透明像素区域捕获原始图像。原始图像包含一个或多个颜色分量。该方法还包括对于原始图像的多个像素区域确定一个或多个颜色分量中的每一个的点扩展函数(psf)。该方法还包括，对于原始图像的多个像素区域，至少部分地基于其各自的psf，对原始图像的一个或多个颜色分量中的每一个进行去卷积。因此，该方法包括基于原始图像的多个像素区域的一个或多个颜色分量的去卷积来生成与原始图像相对应的重构图像。
[0006]
[有利效果]
[0007]
所提供的方法和装置能够通过布置在电子设备的显示面板后面的相机经由半透明像素捕获原始图像，以重构原始图像，并增加电子设备的显示器的可视区域和分辨率。
附图说明
[0008]
图1示出了示例性电子设备。
[0009]
图2示出了当光路径通过电子设备的显示器的每个单独层时的光路径的图。
[0010]
图3示出了像素阵列、rgb单元像素、alpha掩模单元像素和光掩模的图。
[0011]
图4a示出了用于重构由布置在电子设备的显示器后面的相机捕获的图像的示例系统和工作流程图。
[0012]
图4b示出了用于具体地重构由布置在电子设备的显示器后面的相机捕获的彩色图像的流程图。
[0013]
图5a示出了参考坐标系，通过该参考坐标系可以基于该参考坐标系导出一个或多个点扩展函数(psf)。
[0014]
图5b示出了用于测量和存储电子设备的点扩展函数(psf)的示例系统和工作流图。
[0015]
图6示出了用于重构由布置在电子设备的显示器后面的相机捕获的图像的方法的流程图。
[0016]
图7示出了示例计算机系统。
具体实施方式
[0017]
本实施例旨在重构由布置在电子设备的显示器后面的相机捕获的图像。在特定实施例中，电子设备可以通过布置在电子设备的显示面板后面的相机，通过显示面板的半透明(或透明、部分透明等)区域捕获原始图像。在特定实施例中，原始图像可以包括多个颜色分量，更具体地，包括(r)红色分量、(g)绿色分量和(b)蓝色分量。在一些实现中，相机确定比特深度(bit depth)。在特定实施例中，原始图像可以包括比特深度n＝10，其包括各种颜色分量。在特定实施例中，比特深度的其他值是可能的(例如，n＝2、n＝8或n＝12等)。在特定实施例中，对于原始图像的多个像素区域，电子设备还可以确定每个颜色分量的点扩展函数(psf)。在特定实施例中，电子设备可以通过从电子设备的存储器中选择分别对应于颜色分量数量的多个预测量的psf来确定每个颜色分量的psf。在特定实施例中，可以基于针对相机和显示面板执行的预定校准过程来预测量各个psf。
[0018]
在特定实施例中，电子设备然后可针对原始图像的像素区域的数量，基于其各自的psf对原始图像的每个颜色分量进行去卷积。在特定实施例中，电子设备可以通过执行每个颜色分量的richardson-lucy去卷积来执行每个颜色分量的去卷积。在特定实施例中，电子设备可以通过对每个颜色分量执行tikhonov正则化逆滤波器(tikhonov regularized inverse filter deconvolution)去卷积来执行每个颜色分量的去卷积。在特定实施例中，电子设备然后可以基于原始图像的像素区域的数量的颜色分量的数量的去卷积来生成与原始图像相对应的重构图像。在特定实施例中，电子设备可以通过去除原始图像的模糊效应来生成与原始图像相对应的重构图像。在特定实施例中，电子设备还可以通过对原始图像的像素区域的数量的每个颜色分量进行颜色校正来生成与原始图像相对应的重构图像。
[0019]
发明方式
[0020]
为了促进对本发明的原理的理解，现在将参考附图中所示的实施例，并且将使用特定语言来对其进行描述。然而，应理解的是，因此无意对本发明的范围进行限制，所示系统中的此类变更和进一步修改，以及本发明所述的本发明的原则的进一步应用，如本发明所涉及的技术领域的技术人员通常会想到的那样，正在被考虑。除非另有定义，否则本文中使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常理解的相同含义。本文提供的系统、方法和示例仅是说明性的，并不旨在限制。
[0021]
本文中使用的术语“一些”被定义为“无、或一个、或多个、或全部”。因此，术语“无”、“一个”、“多个”、“多个但不是全部”或“全部”都属于“一些”的定义。术语“一些实施例”可以不参考任何实施例，也可以参考一个实施例、多个实施例或所有实施例。因此，术语“一些实施例”被定义为意味着“没有实施例、或一个实施例、或多个实施例、或所有实施例”[0022]
本文使用的术语和结构用于描述、教导和说明一些实施例及其特定特征和元素，而不限制、约束或缩小权利要求或其等效物的范围。
[0023]
更具体地，本文中使用的任何术语，诸如但不限于“包括”、“包含”、“具有”、“由
……
构成”及其语法变体，均未规定确切的限制或约束，当然也不排除可能添加一个或多个特征或元素，除非另有说明，此外，不得排除可能移除一个或多个列出的特征和元素，除非另有限制性语言“必须包含”或“需要包括”。
[0024]
无论某一特征或元素是否被限制为仅使用一次，无论如何，它仍然可以被称为“一个或多个特征”或“一个或多个元素”或“至少一个特征”或“至少一个元素”。此外，术语“一个或多个”特征或元素或“至少一个”特征或元素的使用不排除不存在该特征或元素，除非限制语言另有规定，诸如“需要一个或多个
…”
或“需要一个或多个元素”[0025]
除非另有定义，否则本文中使用的所有术语，尤其是任何技术和/或科学术语，可被视为具有本领域普通技术人员通常理解的含义。
[0026]
这里参考一些“实施例”。应当理解，实施例是所附权利要求中呈现的任何特征和/或元素的可能实现的示例。为了阐明所附权利要求的特定特征和/或元素满足唯一性、实用性和非显而易见性要求的一种或多种潜在方式，已经描述了一些实施例。
[0027]
短语和/或术语的使用，诸如但不限于“第一实施例”、“又一实施例”、“替代实施例”、“一个实施例”、“实施例”、“多个实施例”、“一些实施例”、“其他实施例”、“进一步实施例”、“另外实施例”、“附加实施例”或其变体不一定指相同的实施例。除非另有规定，否则结合一个或多个实施例描述的一个或多个特定特征和/或元素可以在一个实施例中找到，或者可以在多个实施例中找到，或者可以在所有实施例中找到，或者可以不在任何实施例中找到。尽管本文中可以仅在单个实施例的上下文中，或者替代地在多个实施例的上下文中，或者进一步替代地在所有实施例的上下文中描述一个或多个特征和/或元素，但是这些特征和/或元素可以单独提供，或者以任何适当的组合提供，或者根本不提供。相反地，在单独实施例的上下文中描述的任何特征和/或元素可替代地被实现为在单个实施例的上下文中一起存在。
[0028]
本文所述的任何特定和所有细节在一些实施例的上下文中使用，因此不必将其视为所附权利要求的限制因素。所附权利要求及其法律等价物可以在除以下描述中用作说明性示例的实施例之外的实施例的上下文中实现。
[0029]
下面将参考附图详细描述本公开的实施例。
[0030]
以此方式，本实施例可以通过在显示器后面布置一个或多个电子设备的前向相机来增加电子设备的显示器的可视区域和分辨率。例如，由于显示区域的增加(例如，消除了通常为一个或多个前向相机指定的显示区域)，电子设备可以进一步提供改进的图形用户界面(gui)，其整体具有全屏视图，而不是仅显示电池状态、蜂窝信号强度数据、wi-fi状态、时间信息等，符合槽口设计或打孔设计。本技术可以进一步提高电子设备的美学质量，并且允许电子设备的用户在电子设备的显示器上显示更高分辨率的图像。更进一步地，由于一个或多个前向相机可以放置在显示器后面，因此本技术可以允许将一个或多个前向相机放置在任何位置(例如，在显示器的中心区域)，而不是放置在电子设备显示器的角落或边缘。这可以提供改进的用户体验和/或gui，诸如通过引导进行自拍的用户注视显示器的中心区域，并且进一步通过在用户参与视频会议、可视电话交换或其他视频流服务时给予与另一用户进行眼神接触的印象。
[0031]
图1示出了示例性电子设备100。在特定实施例中，电子设备100可以包括例如各种
个人电子设备102中的任何一个，诸如移动电话电子设备、平板电脑电子设备、膝上型电脑电子设备等。在特定实施例中，如图1进一步所示，个人电子设备102可包括一个或多个处理器104、存储器106、传感器108、相机110、显示器112、输入结构114、网络接口116、电源118和输入/输出(i/o)接口120。应当注意，图1仅仅是特定实现的一个示例，并且意在示出可以作为电子设备100的一部分包括的组件的类型。
[0032]
在特定实施例中，一个或多个处理器104可操作地与存储器106耦合，以执行用于通过基于智能的学习过程提供交互式音乐指挥和作曲活动的各种算法。由处理器104执行的此类程序或指令可存储在任何合适的制造物品中，该物品包括至少共同存储指令或例程的一个或多个有形的计算机可读介质，诸如存储器106。存储器106可以包括用于存储数据和可执行指令的任何合适的制造物品，诸如随机存取存储器(ram)、只读存储器(rom)、可重写闪存、硬盘驱动器等。此外，编码在这样的计算机程序产品上的程序(例如，操作系统)还可以包括可由处理器104执行的指令，以使电子设备100能够提供各种功能。
[0033]
在特定实施例中，传感器108可包括例如一个或多个相机(例如深度相机)、触摸传感器、麦克风、运动检测传感器、热检测传感器、光检测传感器、飞行时间(tof)传感器、超声波传感器、红外传感器、或可用于检测各种用户输入(例如，用户语音输入、用户手势输入、用户触摸输入、用户仪器输入、用户运动输入等)的其他类似传感器。相机110可包括可用于捕获各种2d和3d图像的任意数量的相机(例如，宽相机、窄相机、长焦相机、超宽相机、深度相机等)。显示器112可包括任何显示架构(例如，amlcd、amoled、微型led等)，其可提供用户可与电子设备100交互和接合的进一步手段。在特定实施例中，如图1进一步所示，一个或多个相机110可布置在显示器112的后面或下面(例如，如电子设备100的虚线所示)(例如，一个或多个相机110可被显示器112完全隐藏)，因此，显示器112可以包括透明像素区域和/或半透明像素区域，通过该区域，一个或多个隐藏式相机110可以检测光，并进而捕获图像。应当理解，一个或多个相机110可以布置在显示器110后面或下面的任何位置，诸如显示器110后面的中心区域、显示器110后面的上部区域或显示器110后面的下部区域。
[0034]
在特定实施例中，输入结构114可以包括用于控制电子设备100的一个或多个全局功能(例如，按下按钮以“打开”或“关闭”电子设备100)的任何物理结构。网络接口116可以包括，例如，适合于允许电子设备100通过一个或多个基于云的网络(例如，可以服务数百或数千个电子设备100及其对应的关联用户的基于云的服务)和/或分布式网络访问和接收数据的任意数量的网络接口。电源118可包括任何合适的电源，诸如可用于为电子设备100供电和/或充电以供操作的可再充电锂聚合物(li-poly)电池和/或交流(ac)功率转换器。类似地，可以提供i/o接口120以允许电子设备100与各种其他电子或计算设备(诸如一个或多个辅助电子设备)接口。
[0035]
图2示出了当光路径202穿过显示器112的每个单独层时的光路径202的图200。如图2所示，在特定实施例中，除其他层外，显示器112和/或显示面板112可包括覆盖玻璃204、一个或多个偏振器206、四分之一波片208、封装层210、oled层212、薄膜晶体管(tft)层214和反射膜层215。在特定实施例中，例如，当移除反射层215的一部分时，可允许光路径202穿过显示器112。在特定实施例中，当光路径202穿过显示器112的层204-215时，光路径202可由显示器112的子像素(例如，显示器112的rgb颜色区域)周期性地调制，并且由于显示器112的子像素之间的间隔而还可能引入光路径202的相位延迟。针对光路径202穿过相机透
镜216并由图像传感器218检测，光路径202的这种周期性调制可导致衍射模糊和颜色色散。衍射和色散效应可使布置在显示器112下方和/或后面的相机110捕获的图像劣化。
[0036]
图3示出了像素阵列302、rgb单元像素304和alpha掩模单元像素306以及光掩模308的图300。光掩模308示出了由半透明显示面板112进行的光调制的一个示例。在特定实施例中，像素阵列302可包括例如50微米(μm)amoled像素阵列，包括多个rgb单元像素304和alpha掩模单元像素306(例如，图示为像素阵列302内的高光正方形和光掩模308内的高光正方形)。在特定实施例中，alpha掩模单元像素306可对应于像素阵列302和光掩模308内的半透明像素区域，布置在显示器112后面的一个或多个相机110可通过该半透明像素区域检测光，并进而捕获图像。在特定实施例中，光掩模308可促进光路径202穿过显示器112(例如，穿过光掩模308和alpha掩模单元像素306)。在特定实施例中，光掩模308可包括例如约50％的填充因子，其中光掩模308的图示白色区域可对应于光掩模308的透明区域，而图示黑色区域可对应于光掩模308的不透明区域。在特定实施例中，alpha掩模单元像素306和光掩模308可用于测试、模拟、显影和/或校准目的。
[0037]
图4a示出了根据本公开的实施例的用于重构由布置在电子设备的显示器后面的相机捕获的图像的示例系统和工作流图400a。在特定实施例中，电子设备100可通过布置在电子设备100的显示面板112后面的图像传感器218捕获真实世界场景402的图像。在特定实施例中，由图像传感器218捕获的真实世界场景402的图像可对应于原始图像404。在特定实施例中，基于由图像传感器218通过显示面板112捕获的真实世界场景402的图像，原始图像404可能劣化(例如，模糊或失真)。在特定实施例中，在执行(在功能块406)原始图像404的捕获之后，电子设备100可以针对原始图像404的一个或多个像素区域检索针对原始图像404的每个rgb颜色分量的psf(例如，从不易察觉的小点光源发射并由一个或多个图像传感器218捕获的光的三维衍射图案的函数)。在特定实施例中，可以存储在电子设备100上。在特定实施例中，电子设备100可以通过从电子设备100的存储器106选择(在功能块408处)每个rgb颜色分量的预测量的psf来确定每个rgb颜色分量的相应psf。在特定实施例中，例如，电子设备100可以确定真实世界场景402的各个像素区域中的多个psf，以捕获psf随入射到显示面板112光轴的角度的变化。
[0038]
在特定实施例中，对于原始图像404的像素区域的数量，电子设备100然后可基于其各自的psf执行原始图像404的每个rgb颜色分量的去卷积(在功能块410处)。在特定实施例中，电子设备100可以通过执行每个rgb颜色分量的richardson-lucy去卷积或通过执行每个rgb颜色分量的tikhonov正则化逆滤波器去卷积，来执行每个rgb颜色分量的去卷积。在特定实施例中，可以使用其他去卷积技术。在特定实施例中，电子设备100然后可以基于每个rgb颜色分量的去卷积，生成与原始图像404相对应的重构图像414(在功能块412处)。如通过将原始图像404与重构图像414进行比较所示，电子设备100可以通过去除原始图像404的模糊效应来生成重构图像414。
[0039]
这样，本实施例可以通过在显示器112后面布置电子设备100的一个或多个前向相机110来增加电子设备100的显示器112的可视区域和分辨率。例如，由于显示区域的增加(例如，消除了通常为一个或多个前向相机110指定的显示区域)，电子设备100还可以提供具有完整的全屏视图的改进的(gui)，与仅显示电池状态、蜂窝信号强度数据、wi-fi状态、时间信息等相反，符合槽口设计或打孔设计。本发明技术还可以提高电子设备100的美学质
量，并允许电子设备100的用户在电子设备100的显示器112上显示更高分辨率的图像。此外，由于一个或多个前向相机110可放置在显示器112的后面，因此本技术可允许将一个或多个前向相机110放置在任何位置，诸如显示器112的中心区域(例如，与显示器112的角落或边缘相对)。这可以提供改进的用户体验和/或gui，诸如通过引导进行自拍的用户注视显示器112的中心区域，并且进一步通过在用户参与视频会议、可视电话交换或其他视频流服务时给予与另一用户进行眼神接触的印象。
[0040]
图4b示出了根据当前公开的实施例的用于具体地重构由布置在电子设备的显示器后面的相机捕获的彩色图像的流程图400b。在特定实施例中，电子设备100(在块416处)可以将捕获的劣化彩色图像分割成单独的(r)红色颜色分量418、(g)绿色颜色分量420和(b)蓝色颜色分量422。在特定实施例中，电子设备100可以基于例如各自的psf，对(r)红色颜色分量418、(g)绿色颜色分量420和(b)蓝色颜色分量422进行去卷积和滤波(例如，richardson-lucy去卷积、tikhonov正则化逆滤波器去卷积)。在特定实施例中，可在例如校准和/或制造电子设备100的时间对各自的psf进行预测量(例如，通过实验确定)。在特定实施例中，电子设备100然后可执行(在块428处)(r)红色颜色分量418、(g)绿色颜色分量420和(b)蓝色颜色分量422中的每一个的颜色校正，以至少部分地基于其生成(在块430处)重构图像。
[0041]
图5a示出了参考坐标系500b，通过该参考坐标系可以基于该参考坐标系导出一个或多个点扩展函数(psf)。如图所示，参考坐标系500b可包括对象平面502、光掩模504、透镜平面506和传感器平面508。在特定实施例中，由于对象光场可为多色且空间上不相干，因此非相干图像可利用信息传递理论找到每个波长处的图像强度分布，并在拜耳滤波器透射光谱上积分，以获得(r)红色颜色分量、(g)绿色颜色分量和(b)蓝色颜色分量中的测量图像强度。在特定实施例中，非相干图像系统的图像强度分布可被视为组成对象点的图像强度空间分布的非相干相加。具体地，在一个单位辐射出射度下发射的一个对象点的图像强度分布称为点扩展函数(psf)，可近似视为光学系统的空间脉冲响应。如果光学系统是线性且空间不变的，则扩展对象的图像强度分布将是这些psf乘以相应对象点强度的非相干叠加。
[0042]
例如，假设波长为λ，且从对象平面502中的点发射的光场为o(0,0，λ)：由于波长和相位已知，因此来自该点光源的光场是相干的。经光掩模调制之后的光场可表示为：
[0043][0044]
其中，m(xm，ym)是光掩模平面504处的掩模分布，j是虚数单位该光场可传播一段距离zm并穿过透镜平面506处的透镜(例如，透镜216)。透镜(例如，透镜216)后的光场可表示为：
[0045]
[0046]
在方程式(2)中，p(x
l
，y
l
，λ)表示透镜(例如，透镜216)引入的相位像差，f表示透镜(例如，透镜216)的焦距。传感器平面508处的光场可表示为：
[0047][0048][0049]
图5b示出了根据本公开的实施例的用于测量和确定电子设备的一个或多个预测量的点扩展函数(psf)(例如，分别用于每个rgb颜色分量和/或一个或多个特定单色颜色分量)的示例系统和工作流图500b。例如，参考坐标系500b可以用作测量和确定一个或多个psf的基础。在特定实施例中，为了重构劣化的原始图像，电子设备100可以预测量(例如，在电子设备100的校准过程和/或制造过程期间通过实验确定)并存储电子设备100的psf。在特定实施例中，如图5b所示，点光源510(例如，白色led或白色led阵列)可通过例如针孔或其他不易察觉的小孔径向电子设备100的方向发射光波。在特定实施例中，光波可穿过例如光掩模308、相机透镜216，并可最终由图像传感器218检测。在特定实施例中，电子设备100然后可以基于例如响应于点光源510对与光掩模308的效果相对应的传递函数的采样来预测量每个rgb颜色分量和/或一个或多个特定单色颜色分量的一个或多个psf512。
[0050]
例如，在特定实施例中，电子设备100的一个或多个psf可表示点光源510的强度响应。在特定实施例中，一个或多个psf可分别表示为：
[0051]
h(xs，ys，λ)＝|os(xs，ys，λ)|2…
(方程式4)。
[0052]
在特定实施例中，图像强度分布可以包括一个或多个psf的卷积(例如，对于每个rgb颜色分量和/或一个或多个特定单色颜色分量)以及通过放大缩放的真实场景402强度分布。因此，例如，图像强度分布入射到图像传感器218上，可以表示为：
[0053][0054]
其中io(xs,ys,λ)＝|o(xs,ys,λ)|2…
(方程式5)。
[0055]
在方程式(5)中，(xs，ys)可表示图像传感器218平面处的空间坐标，λ可表示波长，并且可表示卷积运算。在特定实施例中，在图像传感器218检测到由点光源510产生的光波之前，光波可穿过用于每个rgb颜色分量和/或一个或多个特定单色颜色分量的拜耳滤波器。每个rgb通道的每个像素处的最终图像强度频率可以表示为：
[0056][0057]
在方程式(6)中，k取r、g或b，而fk(λ)可以表示拜耳滤波器、显示面板112和相机透镜216在k通道处的光谱透射率。因此，假设在每个rgb通道内强度分布的变化不超过波长，则方程式(6)可以简化并表示为：
[0058][0059]
在方程式(7)中，i
o,k
可表示通道k处光谱上的平均强度分布。此外，在方程式(7)中，hk可表示通道k处光谱上的积分的psf。方程式(7)示出了k通道处的图像强度分布如何
与一个或多个psf相关，该psf主要由例如光掩模308的影响而劣化，并且部分地基于关于相机透镜216的一个或多个潜在像差。在特定实施例中，点光源510检测过程在一些实例中可以引入噪声，诸如泊松(poisson)噪声、暗电流噪声、读出噪声或量化噪声。因此，在特定实施例中，注意到nk是通道k处的噪声的空间分布，对应于电子设备100的一个或多个psf的实际图像强度分布可以表示为：
[0060][0061]
在特定实施例中，电子设备100然后可将一个或多个预测量的psf 512(例如，对于每个rgb颜色分量和/或一个或多个特定单色颜色分量)存储(在数据库514处)在例如存储器106中，以便稍后用于重构由布置在电子设备100的显示器112后面的相机110捕获的图像。在特定实施例中，例如，可以在图像场的不同区域中预测量多个psf，以捕获psf随入射到显示面板112的光轴的角度的变化。该多个psf(例如，对于每个rgb颜色分量和/或一个或多个特定单色颜色分量)可以存储到例如存储器106中，以便稍后用于重构由布置在电子设备100的显示器112后面的相机110捕获的图像的像素区域，并且这些重构的像素区域然后可以组合成完整的重构图像。
[0062]
图6示出了根据本公开的实施例的用于重构由布置在电子设备的显示器后面的相机捕获的图像的方法600的流程图。可以使用一个或多个处理设备(例如，一个或多个处理器104)来执行方法600，该处理设备可以包括硬件(例如，通用处理器、图形处理单元(gpu)、专用集成电路(asic)、片上系统(soc)、微控制器、现场可编程门阵列(fpga)、中央处理单元(cpu)、应用处理器(ap)、视觉处理单元(vpu)、神经处理单元(npu)、神经决策处理器(ndp)或任何其他适合处理图像数据的处理设备)、软件(例如，在一个或多个处理器上运行/执行的指令)、固件(例如，微码)，或其某些组合。在特定实施例中，方法600的一个或多个块可以仅执行一次或根据需要(例如，每个请求/指令)执行，诸如当拍摄照片时。在特定实施例中，方法600的一个或多个块可以连续和/或迭代地执行(例如，在一段时间内自动运行多次)，诸如当录制视频时，或当相机应用程序正在执行取景器/正连续显示相机预览时。
[0063]
方法600可以从块602开始，其中一个或多个处理设备(例如，电子设备100)经由布置在电子设备的显示面板后面的相机通过显示面板的半透明像素区域捕获原始图像，其中原始图像包括一个或多个颜色分量。例如，在特定实施例中，电子设备可由布置在显示面板后面的一个或多个相机通过电子设备的显示面板的半透明像素区域捕获原始图像。原始图像包括红色颜色分量、绿色颜色分量和蓝色颜色分量。在特定实施例中，原始图像可以包括比特深度n＝10，其中合成各种颜色分量。在特定实施例中，比特深度的其他值是可能的(例如，n＝2、n＝8或n＝12等)。然后，方法600可以在块604处继续，其中一个或多个处理设备(例如，电子设备100)对于原始图像的多个像素区域确定一个或多个颜色分量中的每一个的点扩展函数(psf)。例如，在特定实施例中，电子设备可通过从电子设备的存储器中选择分别对应于一个或多个颜色分量的多个预测量的psf来确定一个或多个颜色分量中的每一个的psf。在特定实施例中，可以至少部分地基于针对相机和显示面板执行的预定校准过程来预测量各个psf。
[0064]
然后，方法600可在块606处继续，其中一个或多个处理设备(例如，电子设备100)
对于原始图像的多个像素区域，至少部分地基于原始图像的一个或多个颜色分量的各自psf来执行原始图像的一个或多个颜色分量中的每一个的去卷积。在特定实施例中，执行每个颜色分量的去卷积可以包括执行每个颜色分量的richardson-lucy去卷积。在特定实施例中，执行每个颜色分量的去卷积可以包括执行每个颜色分量的tikhonov正则化逆滤波器去卷积。
[0065]
然后，方法600可在块608处结束，其中一个或多个处理设备(例如，电子设备100)基于原始图像的多个像素区域的一个或多个颜色分量的去卷积，生成与原始图像相对应的重构图像。在特定实施例中，生成与原始图像相对应的重构图像可包括去除原始图像的模糊效应。在特定实施例中，生成与原始图像相对应的重构图像还可以包括执行原始图像的多个像素区域的每个颜色分量的颜色校正。
[0066]
例如，在特定实施例中，可通过以下方程式(9)和(10)来表示生成重构图像的技术。例如，所获取的图像i
s,k
可被光掩模、光学像差和检测噪声劣化。为了恢复基本的理想对象强度i
o,k
，方程式(9)可基于去卷积技术进行反转。为了执行去卷积，可通过实验测量或通过波光学软件生成来执行每个rgb通道的psf，例如，如上文参考图5a和5b所讨论的。该反转表达式可表示为：
[0067][0068]
该优化表达式的解可以包括真实对象强度的估计。第二项可以包括取决于总变化的正则化函数，从而在重构图像中强制梯度的稀疏性。在模拟和实验中，可以使用模拟的psf hk来解方程式(9)。可以使用richardson-lucy去卷积(或tikhonov正则化逆滤波器去卷积)。待正则化项暂时不适用。richardson lucy可包括基于主要噪声源为泊松噪声的假设的去卷积技术，其可表示为：
[0069][0070]
在方程式(10)中，为了简单起见，可以省略通道k，并且n可以是迭代次数，并且星号是伴随运算。
[0071]
这样，本实施例可以通过在显示器后面布置一个或多个电子设备的前向相机来增加电子设备的显示器的可视区域和分辨率。例如，由于显示区域的增加(例如，消除了通常为一个或多个前向相机指定的显示区域)，电子设备可以进一步提供改进的图形用户界面(gui)，其整体具有全屏视图，而不是仅显示电池状态、蜂窝信号强度数据、wi-fi状态、时间信息等，符合槽口设计或打孔设计。本技术可以进一步提高电子设备的美学质量，并且允许电子设备的用户在电子设备的显示器上显示更高分辨率的图像。更进一步地，由于一个或多个前向相机可以放置在显示器后面，因此本技术可以允许将一个或多个前向相机放置在任何位置(例如，在显示器的中心区域)，而不是放置在电子设备显示器的角落或边缘。这可以提供改进的用户体验和/或gui，诸如通过引导进行自拍的用户注视显示器的中心区域，并且进一步通过在用户参与视频会议、可视电话交换或其他视频流服务时给予与另一用户进行眼神接触的印象。
[0072]
图7示出了根据本公开的实施例的示例性计算机系统700，其可用于重构由布置在电子设备的显示器后面的相机捕获的图像。在特定实施例中，一个或多个计算机系统700执行本文描述或图示的一个或多个方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统700提供本文描述或图示的功能。在特定实施例中，在一个或多个计算机系统700上运行的软件执行本文描述或图示的一个或多个方法的一个或多个步骤，或者提供本文描述或图示的功能。特定实施例包括一个或多个计算机系统700的一个或多个部分。在此，在适当的情况下，对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一个或多个计算机系统。
[0073]
本发明涉及任何适当数量的计算机系统700。本发明设想计算机系统700采用任何合适的物理形式。作为示例而非限制，计算机系统700可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(例如，模块上计算机(com)或模块上系统(som))、台式计算机系统、膝上型计算机或笔记本计算机系统、交互式信息亭、主机、计算机系统网格、移动电话、个人数字助理(pda)、服务器、平板电脑系统、增强/虚拟现实设备、或其中两个或多个设备的组合。在适当的情况下，计算机系统700可以包括一个或多个计算机系统700；单一的或分散的；跨越多个地点；跨越多台机器；跨越多个数据中心；或驻留在云中，云可能包括一个或多个网络中的一个或多个云组件。
[0074]
在适当的情况下，一个或多个计算机系统700可以在没有实质性空间或时间限制的情况下执行本文描述或图示的一个或多个方法的一个或多个步骤。作为示例而非限制，一个或多个计算机系统700可以实时或以批处理模式执行本文描述或图示的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统700可以在不同的时间或不同的位置执行本文描述或图示的一个或多个方法的一个或多个步骤。
[0075]
在特定实施例中，计算机系统700包括处理器702、存储器704、存储706、输入/输出(i/o)接口708、通信接口710和总线712。尽管本发明描述并图示了在特定布置中具有特定数量的特定组件的特定计算机系统，但本发明设想了在任何适当布置中具有任何适当数量的任何适当组件的任何适当计算机系统。
[0076]
在特定实施例中，处理器702包括用于执行指令(诸如构成计算机程序的指令)的硬件。作为示例而非限制，为了执行指令，处理器702可以从内部寄存器、内部高速缓存、存储器704或存储706检索(或提取)指令；解码并执行它们；然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器704或存储706。在特定实施例中，处理器702可包括用于数据、指令或地址的一个或多个内部高速缓存。本发明设想处理器702包括任何适当数量的任何适当内部高速缓存(如适用)。作为示例而非限制，处理器702可以包括一个或多个指令高速缓存、一个或多个数据高速缓存和一个或多个翻译查找缓冲区(translation lookaside buffer，tlb)。指令高速缓存中的指令可以是存储器704或存储706中的指令的副本，并且指令高速缓存可以加速处理器702对这些指令的检索。
[0077]
数据高速缓存中的数据可以是存储器704或存储706中的数据的副本，用于在处理器702处执行以操作的指令；在处理器702处执行的先前指令的结果，以供在处理器702处执行的后续指令访问或用于写入存储器704或存储706；或其他合适的数据。数据高速缓存可加速处理器702的读取或写入操作。tlb可以加速处理器702的虚拟地址转换。在特定实施例中，处理器702可包括用于数据、指令或地址的一个或多个内部寄存器。本发明设想处理器
702包括任何适当数量的任何适当内部寄存器(如适用)。在适当的情况下，处理器702可以包括一个或多个算术逻辑单元(alu)；是多核处理器；或者包括一个或多个处理器702。尽管本发明描述并图示了特定处理器，但本发明考虑了任何合适的处理器。
[0078]
在特定实施例中，存储器704包括用于存储处理器702要执行的指令或处理器702要操作的数据的主存储器。作为示例而非限制，计算机系统700可以将指令从存储706或另一源(诸如例如，另一计算机系统700)加载到存储器704。处理器702然后可将指令从存储器704加载到内部寄存器或内部高速缓存。为了执行指令，处理器702可以从内部寄存器或内部高速缓存检索指令并对其进行解码。在指令执行期间或之后，处理器702可将一个或多个结果(可为中间或最终结果)写入内部寄存器或内部高速缓存。处理器702然后可以将这些结果中的一个或多个写入存储器704。在特定实施例中，处理器702仅执行一个或多个内部寄存器或内部高速缓存或存储器704(与存储706相对或其他位置)中的指令，并且仅对一个或多个内部寄存器或内部高速缓存或存储器704(与存储706相对或其他位置)中的数据进行操作。
[0079]
一个或多个存储器总线(其各自可包括地址总线和数据总线)可将处理器702耦合到存储器704。总线712可包括一条或多条存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(mmu)驻留在处理器702和存储器704之间，并促进对处理器702请求的存储器704的访问。在特定实施例中，存储器704包括随机存取存储器(ram)。在适当的情况下，该ram可以是易失性存储器。在适当的情况下，该ram可以是动态ram(dram)或静态ram(sram)。此外，在适当的情况下，该ram可以是单端口或多端口ram。本发明涉及任何合适的ram。在适当的情况下，存储器704可以包括一个或多个存储器704。尽管本发明描述并图示了特定存储器，但本发明考虑了任何合适的存储器。
[0080]
在特定实施例中，存储706包括用于数据或指令的大容量存储。作为示例而非限制，存储706可包括硬盘驱动器(hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(usb)驱动器或其中两个或多个的组合。适当时，存储706可包括可移动或不可移动(或固定)介质。在适当的情况下，存储706可以是计算机系统700的内部或外部。在特定实施例中，存储706是非易失性固态存储器。在特定实施例中，存储706包括只读存储器(rom)。在适当的情况下，该rom可以是掩模编程rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可变rom(earom)或闪存，或者是其中两个或更多个的组合。本发明设想采用任何合适的物理形式的大容量存储706。存储706可以包括一个或多个存储控制单元，在适当的情况下，促进处理器702和存储706之间的通信。在适当的情况下，存储706可以包括一个或多个存储706。尽管本发明描述并图示了特定存储，但本发明考虑了任何合适的存储。
[0081]
在特定实施例中，i/o接口708包括硬件、软件或两者，为计算机系统700和一个或多个i/o设备之间的通信提供一个或多个接口。在适当的情况下，计算机系统700可以包括这些i/o设备中的一个或多个。这些i/o设备中的一个或多个可以实现人与计算机系统700之间的通信。作为示例而非限制，i/o设备可包括键盘(keyboard)、小键盘(keypad)、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静止相机、触笔、平板电脑、触摸屏、轨迹球、相机、另一合适的i/o设备或其中两个或多个的组合。i/o设备可包括一个或多个传感器。本发明设想了任何合适的i/o设备以及用于它们的任何合适的i/o接口706。在适当的情况下，i/
o接口708可以包括一个或多个设备或软件驱动器，使得处理器702能够驱动这些i/o设备中的一个或多个。在适当的情况下，i/o接口708可以包括一个或多个i/o接口706。尽管本发明描述并图示了特定的i/o接口，但本发明考虑了任何合适的i/o接口。
[0082]
在特定实施例中，通信接口710包括硬件、软件或两者，提供用于计算机系统700和一个或多个其他计算机系统700或一个或多个网络之间的通信(诸如例如，基于分组的通信)的一个或多个接口。作为示例而非限制，通信接口710可以包括用于与以太网或其他基于导线的网络通信的网络接口控制器(nic)或网络适配器，或者用于与无线网络(诸如wi-fi网络)通信的无线nic(wnic)或无线适配器。本发明设想了任何合适的网络及其任何合适的通信接口710。
[0083]
作为示例而非限制，计算机系统700可以与自组织网络、个人局域网(pan)、局域网(lan)、广域网(wan)、城域网(man)或因特网的一个或多个部分或其中两个或多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。例如，计算机系统700可以与无线pan(wpan)(诸如例如，蓝牙wpan)、wi-fi网络、wi-max网络、蜂窝电话网络(诸如例如，全球移动通信系统(gsm)网络)或其他合适的无线网络或其中两个或多个的组合进行通信。在适当的情况下，计算机系统700可以包括用于这些网络中的任何一个的任何合适的通信接口710。适当时，通信接口710可包括一个或多个通信接口710。尽管本发明描述并图示了特定的通信接口，但本发明考虑了任何合适的通信接口。
[0084]
在特定实施例中，总线712包括硬件、软件或计算机系统700的两个相互耦合组件。作为示例而非限制，总线712可包括加速图形端口(agp)或其他图形总线、增强型工业标准体系结构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准体系结构(isa)总线、infiniband互连、低引脚数(lpc)总线、内存总线、微通道架构(mca)总线、外围组件互连(pci)总线、pci express(pcie)总线、串行高级技术连接(sata)总线、视频电子标准协会本地(vlb)总线或其他合适的总线或其中两个或多个总线的组合。适当时，总线712可包括一条或多条总线712。尽管本发明描述并图示了特定总线，但本发明考虑了任何合适的总线或互连。
[0085]
在此，计算机可读非暂时性存储介质可包括一个或多个基于半导体的或其他集成电路(ic)(诸如例如，现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字卡或驱动器、任何其他适当的计算机可读非暂时性存储介质，或其中两种或两种以上的任何适当组合(如适用)。计算机可读的非暂时性存储介质可以是易失性、非易失性或易失性和非易失性的组合(在适当的情况下)。
[0086]
除非另有明确说明或上下文另有说明，否则本协议中的“或”是包容性的，而非排他性的。因此，在此，“a或b”指“a、b或两者”，除非另有明确说明或上下文另有说明。此外，“和”是连带的，除非另有明确说明或上下文另有说明。因此，在此，“a和b”指“a和b，共同或各自”，除非另有明确说明或上下文另有说明。
[0087]
在此，“自动”及其衍生手段是指“无需人工干预”，除非另有明确说明或上下文另有说明。
[0088]
本文公开的实施例仅为示例，本公开的范围不限于这些实施例。根据本发明的实
施例尤其在针对方法、存储介质、系统和计算机程序产品的所附权利要求中公开，其中一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如系统)中要求。所附权利要求中的依赖项或引用仅出于形式原因而选择。然而，由于故意引用任何先前的权利要求(尤其是多个从属关系)而产生的任何主题也可以被要求保护，从而公开权利要求及其特征的任何组合，并且可以要求保护，而不管所附权利要求中选择的从属关系如何。可以要求保护的主题不仅包括所附权利要求中所述的特征组合，还包括权利要求中所述特征的任何其他组合，其中权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求和/或与本文描述或描绘的任何实施例或特征或所附权利要求的任何特征的任何组合中要求保护。
[0089]
本发明的范围包括对本文描述或图示的示例性实施例的所有变更、替换、变化、变更和修改，本领域普通技术人员将理解这些变更、替换、变化、变更和修改。本发明的范围不限于本文描述或说明的示例性实施例。此外，尽管本公开描述和说明了本文中的各个实施例，包括特定组件、元件、特征、功能、操作或步骤，但这些实施例中的任何一个都可以包括任何组件、元件、特征、功能、操作的任何组合或排列，或本领域普通技术人员将理解的在本文任何地方描述或说明的步骤。此外，在所附权利要求中，对装置或系统或装置或系统的部件的引用适用于、布置为、能够、配置为、能够、可操作为或可操作为执行特定功能，包括该装置、系统、部件，无论其或该特定功能是否被激活、打开或解锁，只要该设备、系统或组件是如此适应、布置、能够、配置、启用、可操作或可操作的。此外，尽管本发明将特定实施例描述或说明为提供特定优点，但特定实施例可以不提供、部分或全部这些优点。