相机的光源的制作方法

1.本实施例总体上涉及相机的光源。


背景技术：

2.诸如智能电话、平板电脑、膝上型电脑和其他计算系统之类的一些电子设备包括相机和显示器。相机通常设置在设备的提供环境的无障碍视图的区域内。因此，当集成在与显示器相同的表面上时，相机可以设置成相邻于显示器，设置在显示器周围的大的不美观的黑色边界内，或者设置在凹口或切口内。


技术实现要素：

3.提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。
4.本公开的主题的一个创新方面可以在包括第一相机的设备中实现，其中第一相机包括被配置为检测在第一方向上穿过第一表面的可见光的一个或多个光传感器。该设备还可以包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过第一表面的红外（ir）光。该设备还可以包括被配置为检测ir光的反射的第二相机。
5.本公开的主题的另一创新方面可以在相机组件中实现。相机组件可以包括透镜和一个或多个光传感器，该一个或多个光传感器被配置为检测在第一方向上穿过透镜的可见光。相机组件还可以包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过透镜的光。
6.本公开的主题的另一创新方面可以在相机组件中实现。相机组件可以包括一个或多个光传感器，其被配置为检测在第一方向上穿过相机组件的第一表面的可见光或ir光。相机组件还可以包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过第一表面的光。相机组件还可以包括光导，该光导被配置为将光朝向第一表面转向（steer），其中第一表面包括光导的至少一部分。
附图说明
7.本实施例通过示例的方式示出，并且不旨在受附图中的图的限制。
8.图1示出了根据一些实施例的示例电子系统。
9.图2示出了根据一些实施例的示例相机组件。
10.图3a示出了根据一些实施例的示例相机组件。
11.图3b示出了根据一些实施例的示例相机组件。
12.图3c示出了根据一些实施例的示例相机组件。
13.图3d示出了根据一些实施例的示例相机组件。
14.图3e示出了根据一些实施例的示例相机组件。
15.图3f示出了根据一些实施例的示例相机组件。
16.图3g示出了根据一些实施例的示例相机组件。
17.图4a-4k示出了根据一些实施例的示例电子系统。
18.图5示出了根据一些实施例的示例电子系统的横截面。
19.图6示出了根据一些实施例的示例电子系统的横截面。
20.图7示出了根据一些实施例的示例电子系统的横截面。
21.图8示出了根据一些实施例的示例电子系统的横截面。
22.图9示出了根据一些实施例的由设置在显示器下方的相机捕获的示例图像。
23.图10示出了根据一些实施例的示例图像处理系统的框图。
24.图11a示出了过滤之前的示例图像。
25.图11b示出了过滤之后的示例图像。
具体实施方式
26.在以下描述中，阐述了许多具体细节，诸如具体部件、电路和过程的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意指直接连接到或通过一个或多个中间部件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了具体命名法以提供对本公开的各方面的透彻理解。然而，对于本领域技术人员将显而易见的是，可以不需要这些具体细节来实践示例实施例。在其他实例中，以框图形式示出了公知的电路和设备，以避免使本公开模糊不清。以下详细描述的一些部分是根据对计算机存储器内的数据位的操作的过程、逻辑块、处理和其他符号表示来呈现的。电路元件或软件块之间的互连可以被示出为总线或单个信号线。总线中的每个可以替代地是单个信号线，并且单个信号线中的每个可以替代地是总线，并且单个线或总线可以表示用于部件之间的通信的无数物理或逻辑机制中的任何一个或多个。
27.除非另有明确说明，否则从以下讨论中显而易见的是，应当理解，在整个本技术中，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“导出”等术语的讨论是指计算机系统或类似电子计算设备的动作和过程，其将表示为计算机系统的寄存器和存储器内的物理（电子）量的数据操纵和转换成类似地表示为计算机系统的存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
28.本文中描述的技术可以以硬件、软件、固件或其任何组合来实现，除非特别描述为以具体方式实现。被描述为模块或部件的任何特征也可以在集成逻辑设备中一起实现，或者单独地实现为分立但可互操作的逻辑设备。如果以软件实现，那么技术可至少部分地由包括指令的非暂时性计算机可读存储介质实现，该指令在被执行时执行上文中所描述的方法中的一个或多个。非暂时性计算机可读存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。
29.非暂时性处理器可读存储介质可以包括随机存取存储器（ram）（诸如同步动态随机存取存储器（sdram））、只读存储器（rom）、非易失性随机存取存储器（nvram）、电可擦除可编程只读存储器（eeprom）、闪存、其他已知的存储介质等。另外地或替代地，该技术可至少部分地由处理器可读通信介质实现，该处理器可读通信介质携载或传达呈指令或数据结构
形式的代码且可由计算机或其它处理器存取、读取、和/或执行。
30.结合本文中公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器执行。如本文中所使用的术语“处理器”可以指代能够执行存储在存储器中的一个或多个软件程序的脚本或指令的任何通用处理器、常规处理器、控制器、微控制器、和/或状态机。
31.图1示出了根据一些实施例的示例电子系统100。电子系统100可以包括显示器106以及相机102和104。
32.显示器106可以包括多孔显示器，诸如有机发光二极管（oled）显示器或微型发光二极管（微型led）显示器，其包含显示像素和/或显示子像素之间的孔或间隙。
33.相机102和104中的每个可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、互补金属氧化物半导体（cmos）图像传感器阵列、电荷耦合器件（ccd）阵列、和/或能够检测可见光谱、ir光谱（例如，nir或短波ir）或紫外（uv）光谱中的光的波长的任何其他传感器）。在一些实施例中，相机102和104两者可以被配置为检测nir光。在其他实施例中，两个相机102和104中的一个可以被配置为检测可见光（例如，光的红色、绿色和蓝色（rgb）颜色分量）（“rgb相机”），并且另一个相机可以被配置为检测nir光。此外，在一些实施例中，相机102和104中的每个可以被配置为支持深度感测。例如，相机102和104中的每个可以被配置为捕获相机的视场（fov）中的对象或场景的图像，可以组合该图像，并且可以从组合的图像中提取关于对象或场景的深度信息。深度感测的分辨率可以取决于相机102和104之间的分离（separation）距离。换句话说，分离距离越大，可以从由相机102和104捕获的图像导出的深度信息的量越大。
34.在一些实施例中，相机102和104中的一个或两者可以设置在显示器106后面。例如，当相机102设置在显示器106后面时，相机的fov可能被显示器106的像素和/或子像素部分地阻挡。因此，当光穿过显示器106时，一些光可能被像素和/或子像素遮挡，而剩余的光可以被相机102检测到。相机102可以将剩余的光捕获在图像中，但是图像可能包含由于遮挡引起的噪声、失真或干扰。在一些实施例中，神经网络模型可以用于滤除该噪声或干扰，使得图像适合于深度感测和/或其他图像处理。除了其他优点之外，将相机102设置在显示器106后面还可以消除对显示器106的边框中的不美观的黑色边界、切口或凹口的需要。继而，可以增强电子系统100的屏幕与主体比率，并且电子系统100可以支持无边框显示器。
35.在一些实施例中，显示器下相机可能需要光源以便捕获对象或场景的图像。本公开的方面提供了相机组件（图1中未示出），其被配置为发射用于相机（诸如显示器下相机或相机组件内的相机）的光。如下面进一步描述的，相机组件可以包括透镜、相机和光源。此外，相机组件可以被设置为相邻于显示器106。在一些实施例中，相机组件还可以包括反射器，该反射器被配置为将从光源发射的光反射通过透镜。在其他实施例中，相机组件还可以包括光导，所述光导被配置为将由光源发射的光转向通过相机组件的第一表面。
36.图2示出了根据一些实施例的示例相机组件200。相机组件200可以包括光源210、反射器216、透镜212、相机214、滤光器218、接近传感器254和壳体208。
37.光源210设置在壳体208内部，在透镜212的侧面。光源210可以包括led、竖直腔面发射激光器（vcsel）、激光二极管、或能够发射ir光谱（包括但不限于nir或短波红外（swir））中的光的波长的其他光源。
38.反射器216被配置为将由光源210发射的ir光反射远离相机214，并且将来自透镜212的可见光透射到相机214。在一些实施例中，反射器216可以包括反射平面、分色反射器、和/或分色镜。在其他实施例中，反射器216可以包括分束器。
39.透镜212是被配置为透射可见光和/或ir光的光学透镜或透镜组件。更具体地，透镜212可以被配置为在向内（或第一）方向上将可见光222从相机组件200外部透射到相机214。在一些方面中，透镜212可以被配置为将可见光222聚焦到相机214上。透镜212还可以被配置为透射由光源210发射并由反射器216反射的ir光220。如图2中所示，ir光220可以在与可见光222的方向相反的方向上或者在向外（或第二）方向上远离相机组件200行进。
40.相机214可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、cmos图像传感器阵列、ccd阵列、和/或能够检测可见光谱、ir光谱或uv光谱中的光波长的任何其他传感器）。在一些实施例中，相机214可以是rgb相机。此外，相机214可以被配置为在光源210发射ir光220的同时检测可见光222。此外，相机214可以被配置为执行宽范围成像，其中对象或场景在近处或远处成像。
41.滤光器218设置在相机214和透镜212之间。滤光器218可以包括ir截止滤光器。滤光器218可以被配置为反射和/或阻挡ir光波长（例如，中ir波长、nir或swir），使得ir光不干扰相机214。
42.接近传感器254设置在壳体208内部，接近光源210。接近传感器254可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、cmos图像传感器阵列、ccd阵列、和/或能够检测可见光谱、ir光谱、或uv光谱中的光波长的任何其他传感器）。此外，接近传感器254可以被配置为检测由光源210发射的ir光220的反射。
43.壳体208可以包括围绕透镜212并且包围光源210、反射器216、滤光器218和相机214的结构。如图2中所示，第一表面258由壳体208的顶部、透镜212的顶部、和透镜212的侧面的一部分形成。此外，长度l1是壳体208的长度，如从壳体208的顶部（在第一表面258处）到壳体208的底部（在相机214附近）测量的那样。在一些实施例中，最小化壳体208的长度l1可能是有利的。
44.在一些实施例中，在操作期间，光源210可以发射ir（例如，nir或swir）光220，其反射离开反射器216并且在远离相机组件200的向外（或第二）方向上穿过透镜212。ir光220可以照亮相机组件200和相机214前面的场景。场景中的对象可以将ir光220的至少一部分朝向相机组件200和设置在相机组件200附近的显示器反射回来。反射的ir光220中的一些可被显示器中的像素和/或子像素遮挡，而反射的ir光220的其余部分穿过显示像素和/或显示子像素之间的孔。穿过孔的反射的ir光220可以由被配置为检测反射的ir光220的相机（“ir相机”）检测到。ir相机中的每个可以将检测到的ir光220捕获在图像中，并且捕获的图像可以适合于深度感测。
45.在其他实施例中，在操作期间，光源210可以发射ir（例如，nir或swir）光220，其反射离开反射器216并且在远离相机组件200的向外方向上穿过透镜212。ir光220可以照亮相机组件200和相机214前面的场景。场景中的对象可以将ir光220的至少一部分朝向相机组件200反射回来。反射的ir光220可以穿过透镜212，反射离开反射器216，并且被接近传感器254检测到。因此，相机组件200可以能够发射和感测ir光，以便例如检测用户的存在。
46.图3a示出了根据一些实施例的示例相机组件300a。相机组件300a可以包括光源
310、光导324、壳体308、透镜312、滤光器318和相机314。
47.光源310可以耦合到光导324并且被配置为发射ir光320。光源310可以包括led、vcsel、激光二极管、或能够发射可见光谱和/或ir光谱（包括但不限于nir或swir）中的光波长的其他光源。
48.光导324可以被配置为将由光源310发射的ir光320转向向外（或第二）方向、自相机组件300a离开。在一些实施例中，光导324可以包括透明材料，诸如透明聚碳酸酯。此外，光导324可以被配置为反射光。例如，在一些实施例中，光导324可以被配置为反射光，其中光导324的内表面（其可以包括壳体308的外表面）具有大于壳体308的内表面的折射率的折射率。作为另一示例，光导324可以被配置为反射光，其中光导324的内表面（其可以包括壳体308的外表面）包括反射表面，而壳体308的内表面包括暗表面或能够吸收可见光或ir（例如，nir和/或swir）光的表面。在一些实施例中，光导324可以包括（一个或多个）光纤，并且在其他实施例中，光导324可以包括反射镜和/或反射器。此外，光导324可以耦合（例如，借助于模制（molding））到壳体308。
49.透镜312是光学透镜或透镜组件，其被配置为在向内（或第一）方向上将可见光322从相机组件300a外部透射到相机314。在一些方面中，透镜312可以被配置为将可见光322聚焦到相机314上。在一些实施例中，透镜312可以包括丙烯酸。
50.相机314可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、cmos图像传感器阵列、ccd阵列、和/或能够检测可见光谱、ir光谱（例如，nir或swir）、或uv光谱中的光波长的任何其他传感器）。在一些实施例中，相机314可以包括rgb相机。此外，相机314可以被配置为在光源310发射ir光320时检测可见光322。此外，相机314可以被配置为执行宽范围成像，其中对象或场景在近处或远处成像。
51.滤光器318设置在相机314和透镜312之间。滤光器318可以包括ir截止滤光器。滤光器318可以被配置为反射和/或阻挡ir光波长（例如，中ir波长、nir或swir光），使得ir光不干扰相机314。
52.壳体308围绕透镜312并且包围滤光器318和相机314。如上所述，壳体308的内表面（例如，面向相机314的壁）可以包括暗表面或被配置为吸收可见光或ir（例如，nir和/或swir）光的表面。如图3a中所示，第一表面358由壳体308的顶部、透镜312的顶部、和光导324的侧面形成。此外，长度l1是壳体308的长度，如从壳体308的顶部（在第一表面358处）到壳体308的底部（在相机314附近）测量的那样。在一些实施例中，最小化壳体308的长度l1可能是有利的。
53.在操作期间，光源310可以发射ir（例如，nir或swir）光320，其被转向通过光导324和第一表面358。ir光320可以照亮相机组件300a和相机314前面的场景。场景中的对象可以将ir光320的至少一部分朝向相机组件300a和设置在相机组件300a附近的显示器反射回来。反射的ir光中的一些可以穿过显示器的像素和/或子像素之间的孔，并且被设置在显示器后面的ir相机检测到。ir相机中的每个可以将检测到的ir光捕获在图像中，并且捕获的图像可以适合于深度感测。
54.参考图3a，在一些实施例中，光源310可以被配置为发射ir（例如，nir或swir）光320，并且相机314可以被配置为检测ir光320和/或可见光322。此外，在一些实施例中，光源310可以被配置为在相机314检测ir光320和/或可见光322的同时发射ir光320。例如，在成
像期间，光源310可以发射ir光320，该ir光320通过光导324和第一表面358被引导到相机组件300a的前面。ir光320中的一些可以反射离开相机组件300a前面的对象或特征，并且穿过透镜312到达相机314。因此，相机组件300a可以能够发射和感测ir光以用于成像。
55.在其他实施例中，光源310可以被配置为发射可见光。在成像期间，光源310可以发射可见光，该可见光通过光导324和第一表面358被引导到相机组件300a的前面。可见光中的一些可以反射离开相机组件300a前面的对象或特征，然后穿过透镜312到达相机314。因此，相机组件300a可以能够发射和感测可见光以用于成像。
56.图3b示出了根据一些实施例的示例相机组件300b。相机组件300b可以是上面参考图3a描述的相机组件300a的实施例。如图3b中所示，相机组件300b包括两个光源310，但是在一些实施例中，相机组件300b可以包括多于两个光源。每个光源310可以耦合到光导324。此外，光源310中的每个可以包括led、vcsel、激光二极管或能够发射ir光谱（包括但不限于nir或swir）中的光的波长的其他光源。在操作期间，光源310中的每个可以发射ir光320，该ir光320通过光导324朝向相机组件300b的前面行进。如上面参考图2和3a所述，ir（例如，nir或swir）光320可以反射离开相机组件300b前面的对象或特征，并且由显示器下ir相机检测以用于深度感测和图像处理。
57.图3c示出了根据一些实施例的示例相机组件300c。相机组件300c可以是上面参考图3a和3b描述的相机组件300a和/或300b的实施例。如图3c中所示，相机组件300c包括相机314，相机314可以能够检测可见光谱或ir光谱（例如，nir或swir）中的光的波长。此外，相机组件300c包括光源310，光源310可以能够发射可见光谱和/或ir光谱（例如，nir或swir）中的光波长。
58.如图3c中所示，相机组件300c还包括光导324。光导324包括漫射表面326，漫射表面326可以被配置为漫射、扩散或散射由光源310发射的光（例如，可见光、nir或swir）320。漫射表面326可以包括第一表面358的一部分，其形成围绕壳体308的环。此外，漫射表面326可以包括光导324的一部分。例如，漫射表面326可以借助于模制与光导324集成。在一些实施例中，漫射表面326可以包括具有一定粗糙度的衍射光栅。更具体地，衍射光栅可以包括大量纤细凹槽、狭缝或脊。在一些实施例中，凹槽、狭缝和/或脊可以随机定位，或者它们可以以平行或均匀的方式定位以形成图案。因此，漫射表面326可以被配置为提供光320的均匀照明轮廓或定制照明图案。
59.图3d示出了根据一些实施例的示例相机组件300d。相机组件300d可以是上面参考图3a、图3b和图3c描述的相机组件300a、300b和/或300c的实施例。如图3d中所示，光导324包括透镜和/或微透镜328（“微透镜328”）。在一些实施例中，多个微透镜328可以集成（例如，模制）在形成围绕壳体308的环的第一表面358的一部分上。微透镜328可以被配置为漫射和/或衍射由光源310发射的ir光320。
60.图3e示出了根据一些实施例的示例相机组件300e。相机组件300e可以是上面参考图3a-3d描述的相机组件300a、300b、300c和/或300d的实施例。如图3e中所示，光导324包括设置在壳体308的任一侧上的两个微透镜330。在一些实施例中，多于两个微透镜330可以沿着形成围绕壳体308的环的光导324的表面设置在壳体308的任一侧上。微透镜330可以被配置为漫射和/或衍射由光源310发射的光。
61.图3f示出了根据一些实施例的示例相机组件300f。相机组件300f可以是上面参考
图3a-3e描述的相机组件300a、300b、300c、300d和/或300e的实施例。在一些实施例中，相机组件300f可以包括环境光传感器352。环境光传感器352可以被配置为检测相机组件300f前面的环境光的量。在感测期间，相机组件300f前面的环境光350可以通过光导324被引导到环境光传感器352。因此，相机组件300f可以能够测量环境光，以便例如调节耦合到相机组件300f的显示屏的亮度。
62.图3g示出了根据一些实施例的示例相机组件300g。相机组件300g可以是上面参考图3a-3f描述的相机组件300a、300b、300c、300d、300e和/或300f的实施例。
63.如图3g中所示，相机组件300g包括光导324，其可以被配置为反射光。在一些实施例中，光导324可以被配置为反射光，其中光导324的内表面具有大于壳体308的内表面的折射率的折射率。此外，在一些实施例中，光导324可以被配置为反射光，其中光导324的内表面包括反射表面，而壳体308的内表面包括暗表面或能够吸收可见光或ir（例如，nir和/或swir）光的表面。
64.在一些实施例中，相机组件300g可以包括接近传感器354。接近传感器354可以被配置为检测由光源310发射的ir（例如，nir或swir）光320。在感测期间，光源310可以发射ir光320，其可以通过光导324被引导到相机组件300g的前面（为了简单起见未示出发射的ir光320）。ir光320中的一些可以反射离开相机组件300g前面的对象或特征，并且通过光导324行进返回到接近传感器354。因此，相机组件300g可以能够发射和感测ir光，以便例如检测用户的存在。
65.图4a-4k示出了根据一些实施例的示例电子系统400a-400k。电子系统400a-400k中的每个包括相机组件432、相机402和/或404、以及显示器406。相机组件432可以是图2和图3a-3g中的相机组件200和/或300a-300g的实施例。相机402和404中的每个可以是图1的相机102和/或104的实施例。此外，相机402和404中的每个可以设置在显示器406下方，并且被配置为捕获图像以用于深度感测。
66.如图4a中所示，相机组件432设置在电子系统400a的拐角附近，并且相机402和404沿着长轴朝向电子系统400a的端部设置。
67.在操作期间，ir（例如，nir或swir）光可以由相机组件432的光源发射以照亮相机组件432前面的场景。场景中的对象可以将ir光的至少一部分朝向相机组件432和显示器406反射回来。反射的ir光中的一些可以穿过显示器406的像素和/或子像素之间的孔，并且被设置在显示器406后面的ir相机402和404检测到。相机402和404中的每个可以将检测到的ir光捕获在图像中，并且捕获的图像可以适合于深度感测。
68.在图4b中，相机组件432设置在电子系统400b的拐角附近，并且相机402和404沿长轴设置在电子系统400b的中间区域附近。如上面参考图1所讨论的，两个相机之间的分离距离影响深度感测的分辨率。换句话说，相机之间的距离越大，可以从由相机捕获的图像导出的深度信息的量越大。相比于图4a，图4b的相机402和404分开较小的距离。因此，图4a的相机402和404可以支持比图4b的相机402和404高的深度感测分辨率。
69.图4c示出了设置在电子系统400c的拐角附近的相机组件432，以及沿着短轴朝向电子系统400c的中间区域设置的相机402和404。图4d示出了设置在电子系统400d的拐角附近的相机组件432，以及沿短轴设置在电子系统400d的上部中的相机402和404。
70.图4e示出了设置在电子系统400e的一个端部附近的相机组件432。相机402和404
沿着长轴设置，与相机组件432对准。在图4f中，相机组件432设置在电子系统400f的一个端部附近。相机402和404沿着长轴设置，与相机组件432对准。相比于图4e，图4f的相机402和404分开较小的距离。因此，图4e的相机402和404可以支持比图f的相机402和404高的深度感测的分辨率。
71.图4g示出了设置在电子系统400g的一个端部附近的相机组件432。相机402和404沿着短轴朝向电子系统400g的中间区域设置。
72.图4h示出了设置在电子系统400h的一个端部附近的相机组件432和设置在电子系统400h的相对端部附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
73.图4i示出了设置在电子系统400i的一个端部附近的相机组件432和设置在电子系统400i的中间区域附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
74.图4j示出了设置在电子设备400j的一个拐角附近的相机组件432和设置在电子设备400j的端部附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
75.图4k示出了设置在电子系统400k的一个拐角附近的相机组件432和设置在电子系统400k的中间区域附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
76.图5示出了根据一些实施例的示例电子系统500的横截面。电子系统500可以是图1和图4a-4g中的电子系统100和/或400a-400g的实施例。如图5中所示，电子系统500包括相机组件532、显示层506和模块540。相机组件532可以是图2和图4a-4g的相机组件200和/或432的实施例。模块540包括相机502和504，相机502和504中的每个可以是图1和图4a-4g的相机102、104、402和/或404的实施例。
77.相机组件532包括光源510、反射器516、透镜512、相机514、滤光器518和壳体508。此外，长度l1是壳体508的长度，如从壳体508的顶部（在第一表面558处）到壳体508的底部（在相机514附近）测量的那样。在一些实施例中，最小化壳体508的长度l1可能是有利的。此外，虽然长度l1看起来短于长度l2（其跨越显示层506和模块540的长度），但是l1可以是短于、等于或长于长度l2的几乎任何长度。另外，虽然相机组件532被示出为相邻于显示层506和模块540，但是在实际实现方式中，部件（未示出）可以将相机组件532与显示层506和模块540分开。
78.显示层506可以包括多孔显示器（诸如oled显示器或微型led显示器）的多个层。如图5中所示，显示层506可包括显示表面536和发射层538。在一些实施例中，发射层538可包括多个显示像素和/或显示子像素，其中在每个显示像素和/或显示子像素之间具有孔、间隙或空的空间。
79.模块540设置在显示层506下方，并且可以包括相机502和504以及对应的透镜542。相机502和504可以包括被配置用于宽范围成像的ir cmos传感器，其中对象或场景在近处或远处成像。相机502和504还可以被配置为快速感测诸如手指、手和头部之类的对象。此外，相机502和504中的每个可以被配置为捕获用于深度感测的图像。深度感测的分辨率可以取决于相机502和504之间的分离距离d。换句话说，距离d越大，可以从由相机502和504捕
获的图像导出的深度信息的量越大。
80.在操作期间，光源510可以发射ir（例如，nir或swir）光520，其反射离开反射器516并穿过透镜512。ir光520可以照亮相机组件532以及相机502和504前面的场景。场景中的对象可以将ir光520的至少一部分朝向显示层506反射回来，例如，作为反射的光520（r）（1）和520（r）（2）。反射的光520（r）（1）和520（r）（2）中的一些可能被发射层538中的显示像素和/或显示子像素遮挡，而反射的光520（r）（1）和520（r）（2）的其余部分穿过显示像素和/或显示子像素之间的孔。穿过孔和透镜542的反射的光520（r）（1）和520（r）（2）可以分别由相机502和504检测。相机502和504中的每个可以将它们各自的反射的ir光捕获为单独的图像，并且这些图像可以被组合以用于深度感测。
81.图6示出了根据一些实施例的示例电子系统600的横截面。电子系统600可以是图4h-4k中的电子系统400h-400k中的任何的实施例。如图6中所示，电子系统600包括相机组件632、显示层606和模块640。相机组件632可以是图2、4a-4k和5的相机组件200、432和/或532的实施例。显示层606可以是图5中的显示层506的实施例。如图6中所示，模块640包括相机604，相机604可以是图1和图4a-4k以及图5的相机102、104、402、404、502和/或504的实施例。
82.在操作期间，光源610可以发射ir（例如，nir或swir）光620，其反射离开反射器616并穿过透镜612。ir光620可以照亮相机组件632和相机604前面的场景。场景中的对象可以将ir光620的至少一部分朝向显示层606反射回来，例如，作为反射的光620（r）。反射的光620（r）中的一些可以穿过显示层606和透镜642，由相机604检测，并且被捕获为图像。在一些实施例中，基本上在光源610发射ir光620的同时，相机614可以检测反射离开场景中的对象的可见光622（例如，来自太阳或另一光源），并且将可见光622捕获在图像中。由相机614和604捕获的图像可以被组合以用于深度感测。
83.图7示出了根据一些实施例的示例电子系统700的横截面。电子系统700可以是图1和图4a-4g中的电子系统100和/或400a-400g的实施例。如图7中所示，电子系统700包括相机组件732、显示层706和模块740。相机组件732可以是图3a-3g中的相机组件300a和/或相机组件300b-300g中的任何的实施例。显示层706可以是图5和图6中的显示层506和/或606的实施例。此外，模块740可以是图5的模块540的实施例。
84.相机组件732包括光源710、光导724、透镜712、相机714、滤光器718和壳体708。在一些实施例中，相机组件732还可以包括附加光源、漫射表面、微透镜、环境传感器和/或接近传感器，如图3b-3g中所示。
85.长度l1是壳体708的长度，如从壳体708的顶部（在第一表面758处）到壳体708的底部（在相机714附近）测量的那样。在一些实施例中，最小化壳体708的长度l1可能是有利的。此外，虽然长度l1看起来短于长度l2（其跨越显示层706和模块740的长度），但是l1可以是短于、等于或长于长度l2的几乎任何长度。另外，虽然相机组件732被示出为与显示层706和模块740相邻，但是在实际实现方式中，部件（未示出）可以将相机组件732与显示层706和模块740分开。
86.在操作期间，光源710可以发射ir（例如，nir或swir）光720，其被转向通过光导724和第一表面758。ir光720可以照亮相机702、704和714前面的场景。场景中的对象可以将ir光720的至少一部分朝向显示层706反射回来，例如，作为反射的ir光720（r）（1）和720（r）
（2）。反射的ir光720（r）（1）和720（r）（2）中的一些可以穿过显示层706和透镜742，并且分别由相机702和704检测。相机702和704中的每个可以将它们各自的ir光捕获为单独的图像，并且这些图像可以被组合以用于深度感测。
87.图8示出了根据一些实施例的示例电子系统800的横截面。电子系统800可以是图4h-4k中的电子系统400h-400k中的任何的实施例。如图8中所示，电子系统800包括相机组件832、显示层806和模块840。相机组件832可以是图3a-3g中的相机组件300a和/或相机组件300b-300g中的任何的实施例。显示层806可以是图5-7中的显示层506、606和/或706的实施例。此外，模块840包括相机804，相机804可以是图1、图4a-4k和图5-7中的相机102、104、402、404、502、504、604、702和/或704的实施例。在一些实施例中，相机804可以被配置为检测ir（例如，nir或swir）光，并且滤光器818可以被配置为屏蔽相机804免受可见光。
88.在操作期间，光源810可以发射ir（例如，nir或swir）光820，其被转向通过光导824和第一表面858。ir光820可以照亮相机804和814前面的场景。场景中的对象可以将ir光820的至少一部分朝向相机组件800和显示层806反射回来，例如，作为反射的ir光820（r）（1）和820（r）（2）。反射的ir光820（r）（1）中的一些可以穿过显示层806和透镜842，由相机804检测，并且被捕获为图像。此外，反射光820（r）（2）中的一些可以穿过透镜812和滤光器818到达相机814，相机814可以将反射光820（r）（2）捕获在图像中。由相机804和814捕获的图像中的每个可以被组合以用于深度感测。
89.在一些实施例中，相机814可以被配置为检测可见光，并且滤光器818可以被配置为屏蔽相机814免受ir光。在操作期间，光源810可以发射ir（例如，nir或swir）光820，其被转向通过光导824和第一表面858。ir光820可以照亮相机804和814前面的场景。场景中的对象可以将ir光820（r）（1）的至少一部分朝向显示层806反射回来，例如，作为反射的光820（r）（1）。反射的光820（r）（1）中的一些可以穿过显示层806和透镜842，由相机804检测，并且被捕获为图像。在一些实施例中，基本上在光源810发射ir光820的同时，相机814可以检测反射离开场景中的对象的可见光822（例如，来自太阳或另一光源），并且将可见光822捕获在图像中。由相机814和804捕获的图像中的每个可以被组合以用于深度感测。
90.图9示出了根据一些实施例的由设置在显示器下方的相机捕获的示例图像900。图像900可以由设置在多孔显示器后面或下面的相机捕获，诸如例如，图1、图4a-4k和图5-8的相机102、104、402、404、502、504、604、702、704或804。如图9中所示，图像900包括暗线和亮点的网格——或“纱门效应（screen door effect）”。暗线对应于显示像素和/或显示子像素的图案，并且由阻挡一些光穿过显示器的显示像素和/或显示子像素产生。相比之下，较亮的点对应于显示像素和/或显示子像素之间的间隙或孔。亮点由穿过显示器中的孔或间隙到达下面的相机的光产生。
91.在一些实施例中，由显示器下相机捕获的图像可以包括网格或纱门效应，其看起来好像显示器下相机通过多层纱门（或纱门的堆叠）同时成像，其中每个纱门层具有不同的间距（即，孔尺寸或密度）。在这样的实施例中，光可以穿过纱门层的显示像素和/或显示子像素之间的孔或间隙。此外，每个光点水平地和竖直地扩散到不同的位置（即，如点扩散函数）中，并且每个ir光点以类似的方式跨图像扩散，这可能导致显著的失真。
92.如图9中所示，图像900的部分被显示器的像素和/或子像素模糊化（obfuscated）。换句话说，显示像素和/或显示子像素可以减少可用于感测的光量，并且有效地阻挡显示器
下相机的fov。因此，在一些实施例中，可以对捕获的图像进行过滤或校准，以便消除纱门效应、失真或其他伪影。
93.图10示出了根据一些实施例的图像处理系统1000的框图。图像处理系统1000包括设备接口1010、处理器1020和存储器1030。出于本文中讨论的目的，处理器1020被示出为耦合到设备接口1010和存储器1030。对于实际的实施例，设备接口1010、处理器1020和/或存储器1030可以使用一个或多个总线（为了简单起见未示出）连接在一起。在一些实施例中，图像处理系统1000可以是图1、图4a-4k和图5-8的电子系统100、400a-400k和/或500-800的专用集成电路（asic）或其他集成电路（ic）。
94.设备接口1010可以向输入设备发射信号和从输入设备接收信号，输入设备包括但不限于一个或多个相机、相机组件和/或显示器。在一些实施例中，设备接口1010可以包括显示接口1012。显示接口1012可以用于与显示器通信和/或向图像处理系统1000的用户提供视觉接口。在一些实施例中，设备接口1010还可以包括rgb相机接口1014和ir相机接口1016和1018。每个相机接口1014、1016和1018可以用于与不同的相机通信。举例来说，rgb相机接口1014可将激活信号发射到相机514或714且从相机514或714接收传感器信息以捕获对象或场景的图像。此外，ir相机接口1016和1018中的每个可以向例如相机502、504、702或704发射激活信号并从其接收传感器信息，以捕获对象和/或场景的ir图像。
95.存储器1030可以包括图像缓冲器1032以存储经由相机接口1014、1016和/或1018接收的图像。存储器1030还可以包括非暂时性计算机可读介质（例如，一个或多个非易失性存储器元件，诸如eprom、eeprom、闪存、硬盘驱动器等），其可以存储至少以下sw模块：
·
图像过滤sw模块1034，用于对经由ir相机接口1016和/或1018（或与显示器下的相机通信的其他接口）接收的图像进行过滤，图像过滤sw模块1034还包括：o用于从经由ir相机接口1016和/或1018接收的图像中过滤、减少或消除噪声的神经网络模型1035；以及
·
深度图sw模块（或深度图生成器）1036，用于组合经由（i）ir相机接口1016和1018两者或（ii）rgb相机接口1014和ir相机接口1016或1018接收的图像，并且使用例如立体视觉从图像中提取深度信息。
96.每个软件模块包括当由处理器1020执行时使图像处理系统1000执行对应功能的指令。
97.例如，处理器1020可以执行图像过滤sw模块1034以对经由ir相机接口1016和/或1018接收的图像进行过滤。在执行图像过滤sw模块1034时，处理器1020可以使用神经网络模型1035来从经由ir相机接口1016和/或1018接收的图像中过滤、减少或消除噪声（诸如纱门效应）。处理器1020可进一步执行深度图sw模块1036以确定经过滤的图像中的对象或特征的深度信息。例如，深度图生成器可以使用立体视觉来组合经过滤的图像并从组合的、经过滤的图像中提取深度信息。深度图生成器可至少部分地基于所提取深度信息进一步生成对象或特征的深度图。此外，处理器1020还可以至少部分地基于深度信息来认证图像中的主体、对象或特征。
98.如上面关于图9和图10所描述的，由显示器下相机捕获的图像可以包括纱门效应或其他噪声、失真或干扰。本公开的各方面认识到，纱门效应发生在光（例如，反射的ir、nir或swir光）穿过显示器，并且一些光被显示器的像素和/或子像素遮挡，而其余光穿过像素
和/或子像素之间的孔并由显示器下相机捕获在图像中的情况下。为了促进深度感测或其他应用，图像过滤器可以使用神经网络模型来从图像中滤除纱门效应。
99.图11a示出了在过滤之前由显示器下相机捕获的示例图像1110。参考图10，示例图像1110可以从显示器下ir相机发射到例如ir相机接口1016。然后，ir相机接口1016可以将示例图像1110发射到图像缓冲器1032以用于存储。如图11a中所示，示例图像1110被纱门效应模糊化。为了支持深度感测或其他应用，图像过滤sw模块1034可以对示例图像1110进行过滤以去除失真。
100.图11b示出了过滤之后的示例图像1120。示例图像1120可以是图11a中所示的示例图像1110的经过滤的版本。参考图10，图像缓冲器1032可以将示例图像1110发射到图像过滤sw模块1034。图像过滤sw模块1034可以使用神经网络模型1035来从示例图像1110中滤除纱门效应。如图11b中所示，经过滤的图像1120更清楚地示出人，且可适用于深度感测或其它应用。
101.在一些实施例中，神经网络模型1035可以包括cnn，该cnn经训练以从捕获的图像中滤除纱门效应或其他噪声。换句话说，cnn可经训练以从对象或场景的模糊图像推断对象或场景的原始或干净图像。在一些实施例中，可以通过接收和处理对象或场景的至少一个原始图像以及对象或场景的至少一个模糊图像来训练cnn。在一些实施例中，代替cnn或除了cnn之外，可以使用反向点扩散函数变换来对图像进行过滤。因此，图像过滤sw模块1034可以使用神经网络模型1035和/或反向点扩散函数变换来对来自显示器下ir相机的图像进行过滤。
102.一些捕获的图像（例如，模糊或经过滤的图像）和图像内容（例如，深度信息、深度图或认证的人、对象或场景）可以存储在图1、图4a-4k和图5-8的电子系统100、400a-400k和/或500-800上的安全存储库中（例如，在可信环境中）。安全储存库可以与电子系统的其余部分虚拟地和/或物理地划分开，使得仅驻留在可信环境内的应用和/或硬件可以访问存储在安全储存库中的数据。在一些方面中，安全储存库可以至少部分地形成在存储器1030内。因此，某些捕获的图像和图像内容可以存储在存储器1030的安全存储库内（例如，在图像缓冲器1032内）。
103.在一些实施例中，神经网络模型1035可以至少部分地驻留在图1、图4a-4k和图5-8的电子系统100、400a-400k和/或500-800中的可信环境内。将神经网络模型1035放置在可信环境内使得神经网络模型1035能够对受保护的捕获图像和图像内容执行机器学习（例如，利用cnn）。
104.本领域技术人员将理解，信息和信号可以使用各种不同的技术和技艺中的任何一种来表示。例如，可以通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可以贯穿以上描述引用的数据、指令、命令、信息、信号、比特、符号和码片。
105.此外，本领域技术人员将理解，结合本文中所公开的各方面描述的各种说明性逻辑块、模块、电路和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上在其功能性方面描述了各种说明性部件、块、模块、电路、和步骤。这种功能性是实现为硬件还是软件取决于特定应用及施加在整个系统上的设计约束。所属领域的技术人员可针对每个特定应用以不同方式实现所描述的功能性，但这样的实现方式决策不应被解释为导致脱离本发明的范围。
106.结合本文中所公开的方面所描述的方法、序列或算法可直接体现在硬件中、由处理器执行的软件模块中、或两者的组合中。软件模块可以驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域已知的任何其他形式的存储介质中。示例存储介质耦合到处理器，使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中，存储介质可以集成到处理器。
107.在前述说明书中，已经参考实施例的具体示例描述了实施例。然而，将明显的是，在不脱离如所附权利要求中阐述的本公开的更宽范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。