基于衍射光栅光波导的屏下摄像装置、方法、程序产品与流程

1.本发明属于移动终端及光学设计技术领域，尤其涉及基于衍射光栅光波导的屏下摄像装置、方法、程序产品。


背景技术：

2.随着人们对电子产品体验感的进一步追求，通常要求增大屏占比，即使得显示区域的面积与终端设备的整个前面板的面积之比无限接近甚至超过100％。为了增加屏占比，在终端设备中，前摄像模组通常被放置在显示面板下方，以减少前摄像模组所占据的面积，用以实现真全面屏。将前摄像模组放在现实面板下方时，由于要透过显示像素及显示像素的tft驱动电路、阳极金属线等，外界场景达到屏下摄像头时会受到衍射干扰，严重影响传感器接收到光场的强度和成像质量，产生炫光，并导致解析度减低等问题。一般的解决方法是优化电路和背板设计、优化像素单元形状，结合终端去衍射算法，来实现完美显示和拍摄，但相关技术挑战极大。
3.通过上述分析，现有技术存在的问题及缺陷为：当要开启屏下摄像时，摄像头所在部分的屏幕区域会变成黑色，不显示画面，从而避免摄像头周围的显示区域发出的光线带来衍射和眩光问题。从而可知，像素之间的干扰会影响屏下摄像头的成像效果。在不进行屏下摄像时，透过像素的存在会对全屏显示的画面产生影响，原本的画面可能会产生错位等干扰。使用像素透过方法实现屏下摄像，可以采用小像素的方法兼顾屏幕光性和显示效果。但是当屏下区域的像素变小时，为了使整块屏幕保持一致的显示效果，大屏参数就要有所迁就。在户外使用手机时，画面显示将受到较大的影响。另一种方法是降低显示区域的像素密度，但是这样就会变相降低了屏幕的分辨率，导致跳帧或者色彩不匀。屏下摄像头在重新设计了屏内像素排布方式和屏下电路的同时，还有着寿命问题。
4.解决以上问题及缺陷的难度为：首先，将像素缩小，为了保证整块屏幕的色彩一致性，就需要提升屏下区域单个像素的亮度，意味着这部分像素需要更高的功率支持，提高亮度会带来烧屏的可能性。其次，在拍摄方面，这种屏下摄像方式难以解决穿透像素和面板带来的成像问题，成像的“薄雾感”需要后期通过复杂的算法才能够处理。外界光透过像素到达屏下摄像模组无可避免的会对成像效果造成影响。
5.解决以上问题及缺陷的意义为：使用新的屏下摄像方式，避开提高像素亮度带来的烧屏危险和高难度的算法优化，减小电路工艺的复杂性。


技术实现要素：

6.为克服相关技术中存在的问题，本发明公开实施例提供了一种基于衍射光栅光波导的屏下摄像装置、方法、程序产品。所述技术方案如下：
7.基于衍射光栅光波导的屏下摄像装置设置有：
8.玻璃盖板，所述玻璃盖板上设置有具有微小透光孔；
9.显示面板，邻近玻璃盖板安装；
10.衍射光栅光波导结构，一端与透光孔相对，另一端与前置摄像头相对；用于对光线进行耦合和传输，将外部光场耦合进波导并在波导内进行传输；
11.透镜组，对传输的光线进行成像，其中成像模组的垂直投影至少部分地并完全位于显示面板内；
12.cmos传感器，位于透镜组后，用于探测成像。
13.在一个实施例中，所述透镜组位于显示面板内。
14.在一个实施例中，所述衍射光栅光波导结构在一定视场角内将场景中不同空间点发出的以不同角度入射的接近平行入射的光线衍射、全内反射传输和传递到成像透镜组前，透镜组再聚焦到cmos传感器的相应且唯一对应的空间位置点。
15.在一个实施例中，所述玻璃盖板具有透明中间区域和至少部分包围中间区域的不透明遮光区域，遮光区域具有透光孔；
16.在一个实施例中，所述显示面板上设置有照相机，照相机将来自衍射光栅光波导的光线进行聚焦成像到cmos探测器上；该照相机的投影部分或完全位于显示面板内。
17.本发明的另一目的在于提供一种实现基于衍射光栅光波导的屏下摄像装置的方法，该基于衍射光栅光波导的屏下摄像方法包括以下步骤：
18.步骤一、外部光线通过透光孔进入光波导系统中的耦入光栅，耦入光栅将外部光线耦合入波导，光线在波导内传播后到达耦出光栅；
19.步骤二、耦出光栅将光线耦合出波导，到达透镜组；
20.步骤三、透镜组对光进行成像，将成像信息传达给cmos传感器；
21.步骤四、传感器将探测到的信息呈现在显示面板上。
22.在一个实施例中，在步骤一中，为了将前摄像机放置在显示面板下方而不占据屏幕面积，通过增加显示面板面积，让光通过显示面板开的透光孔进入在面板下方的前摄像机。
23.在一个实施例中，在步骤二中，所述耦出光栅工作在透射模式下，并且光栅在波导的不同侧；所有进入波导内的光将满足衍射以下方程：
[0024][0025]
其中θ
i
,θ
r
分别代表入射角和衍射角，n
i
,n
r
为入射区域介质、衍射区域介质，λ
k
,λ
k
为入射波长和光栅周期，m
k
为工作阶数，k＝r,g,b代表红、绿、蓝三种工作波长。
[0026]
在一个实施例中，在确定光栅结构的周期及需要的工作阶数后，即可得到能够进入波导的θ
i
范围，从而确定照相机的fov；
[0027]
光在波导内的传输需满足全内反射(tir)条件，即进入波导的衍射角θ
r
需大于波导的临界角θ
c
，其中θ
c
满足公式(3)：
[0028]
θ
r
＞θ
c
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0029][0030]
满足tir的光在波导内沿着“z”字形不断反射传播。
[0031]
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的方法。
[0032]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：耦入光栅将光耦合进波导中，光满足全内反射条件后在波导内以“z”字形传播，到达耦出光栅后被耦合出波导。光栅对光线的偏折作用和波导的传输作用可看做是将成像光路进行了空间的折叠压缩和微纳光学特殊传输方向处理，这样可以大大减小在自由空间中系统的体积，利用衍射光栅关波导对入射光进行传输耦合，将待成像场景传输到放置在显示面板下方的前摄像传感阵列，实现成像，从而可以极大减小前置摄像头在面板中所占面积。同时，由于纳米压抑技术的逐渐成熟以及衍射光波导技术在近眼显示系统中得到广泛关注和研究，表面浮雕光栅投入生产应用具有极大的潜力和可能性。
[0033]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0034]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0035]
图1是本发明实施例提供的基于衍射光栅光波导屏下摄像终端设备正面示意图。
[0036]
图2是本发明实施例提供的基于衍射光栅光波导屏下摄像终端设备侧面示意图。
[0037]
图3是本发明实施例提供的衍射光栅光波导正面示意图。
[0038]
图4是本发明实施例提供的衍射光栅光波导的工作原理示意图。
[0039]
图5是本发明实施例提供的光栅耦合器的工作原理示意图。
[0040]
图6是本发明实施例提供的一种超表面光栅耦合器结构示意图。
[0041]
图7是本发明实施例提供的一种响应红色光的耦入光栅的全波仿真图。
[0042]
图8是本发明实施例提供的图7中耦入光栅的耦合效率图。
[0043]
图9是本发明实施例提供的使用两层波导传输红绿蓝三种颜色光线的工作示意图。
[0044]
图10是本发明实施例提供的一种响应蓝光和绿光的超表面光栅耦合器结构示意图。
[0045]
图中：1、平板；1
‑
1、玻璃盖板；1
‑
2、遮光区域；1
‑
3、透光孔；2、显示面板；3、衍射光栅光波导结构；3
‑
1、耦入光栅耦合器；3
‑
2、波导；3
‑
3、耦出光栅耦合器；4、照相机；5、cmos探测器。
具体实施方式
[0046]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0047]
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0048]
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0049]
基于衍射光栅光波导的屏下摄像装置包括：
[0050]
具有微小透光孔1
‑
3的玻璃盖板1
‑
1；
[0051]
邻近玻璃盖板1
‑
1的显示面板2；
[0052]
用于对光线进行耦合和传输的衍射光栅光波导结构3，将外部光场耦合进波导并在波导3
‑
2内进行传输；
[0053]
对传输的光线进行成像的透镜组，其中成像模组的垂直投影至少部分地并且优选地完全位于显示面板2内；
[0054]
位于透镜组后用于探测成像的cmos传感器。
[0055]
基于衍射光栅光波导的屏下摄像方法为：
[0056]
首先，外部光线通过透光孔1
‑
3进入光波导系统中的耦入光栅，耦入光栅将外部光线耦合入波导3
‑
2，光线在波导3
‑
2内传播后到达耦出光栅。
[0057]
其次，耦出光栅将光线耦合出波导3
‑
2，到达透镜组。透镜组对光进行成像，将成像信息传达给cmos传感器。传感器将探测到的信息呈现在显示面板2。
[0058]
该方法中透镜组能够很好地位于显示面板2内，有利于增大屏占比。终端设备中的关键器件衍射光栅光波导，能在一定视场角内将场景中不同空间点发出的以不同角度入射的接近平行入射的光线衍射、全内反射传输和传递到成像透镜组前，透镜组再聚焦到cmos传感器的相应且唯一对应的空间位置点。
[0059]
在屏下摄像的相关技术中，为了将前摄像机放置在显示面板2下方而不占据屏幕面积，可通过增加显示面板2面积，让光通过显示面板2开的透光孔1
‑
3进入在面板下方的前摄像机；也可通过机械方式，在使用前置摄像机时将摄像机升起，在不使用时将摄像头藏在显示面板2后。然而使用机械方法存在较大的加工困难与成本，机械结构的升起降落容易产生灰尘的堆积。因此我们使用透光孔1
‑
3的方式来进行屏下摄像。本发明实例中，终端设备包括：玻璃盖板1
‑
1，其具有透明中间区域和至少部分包围中间区域的不透明遮光区域1
‑
2，遮光区域1
‑
2具有透光孔1
‑
3；邻近玻璃盖板1
‑
1的显示面板2；照相机4和cmos传感器，其中照相机4的投影至少部分地并且优选地完全位于显示面板2内。衍射光栅光波导作为终端设备的光传输元件，一端与透光孔1
‑
3相对，另一端与前置摄像头相对，来自外部的光可以通过波导3
‑
2传输到镜头。照相机4镜组将来自衍射光栅光波导的光线进行聚焦成像到cmos探测器5上。
[0060]
本发明实施例提供的一种基于衍射光栅光波导的屏下摄像的终端设备正面示意图，如图1所示。该终端设备包括：平板1,玻璃盖板1
‑
1为设备的显示部，遮光区域1
‑
2为设备与屏幕结合的边缘贴合区，透光孔1
‑
3为遮光区域1
‑
2中的极小透光孔。外部的光可通过透光孔1
‑
3进入终端设备下方。透光孔1
‑
3的形状可根据实际需求进行设计，本实例中为矩形，透光孔1
‑
3的宽度d可为1
‑
2mm，长度d根据遮光区域1
‑
2和显示面板2的间隔确定。透光孔1
‑
3可摆放在中间位置，也可置于其他位置，并不影响最终成像。波导横向放置位于遮光区域1
‑
2内，平行于显示面板2，这样能够很好地利用遮光部分的横向区域，并且不占用显示面板2
的面积。
[0061]
图2为该终端设备的侧面示意图，照相机4和cmos探测器5放置在波导3
‑
2后方，投影部分位于遮光区域1
‑
2内，部分位于显示面板2下部。衍射光栅光波导结构3一端连接外部透光孔1
‑
3，另一端连接照相机4，照相机4将光线成像于cmos探测器5。所成影像呈现在显示面板2，使用者能够通过盖板1看到图像。
[0062]
图3为对图2所示终端设备的局部放大结构示意图。衍射光栅光波导结构3横向放置，阴影部分为与透光孔1
‑
3相对的耦入光栅耦合器3
‑
1，透明部分的波导3
‑
2为完成光全内反射传输的波导结构，阴影部分耦出光栅耦合器3
‑
3为与照相机4相对的耦出光栅耦合器3
‑
3。耦入光栅耦合器3
‑
1和耦出光栅耦合器3
‑
3分别在波导的两侧。耦入光栅耦合器3
‑
1的宽度略大于透光孔1
‑
3的宽度d，这样能够最大程度地利用通过透光孔1
‑
3进入的光线。耦出光栅耦合器3
‑
3在面积上大于耦入光栅耦合器3
‑
1，与照相机4的尺寸相当，以达到让更多的光耦出到达照相机4的目的，满足更好的成像质量要求。
[0063]
图4是本实施例中，衍射光栅光波导的具体工作原理示意图。在本实施例中，耦入光栅耦合器3
‑
1为超表面耦入光栅，将通过透光孔1
‑
3的不同角度的近似平行光耦合入波导3
‑
2中，不同角度入射光在波导内以不同的全内反射角度沿“z”字形传播，到达超表面耦出光栅，经耦出光栅3
‑
3耦出到达照相机4，成像于cmos探测器5。光栅耦合器和波导只起到对光线的偏折和传输作用，最终成像依旧依靠照相机4。通过衍射光栅光波导之后的光线到达照相机4，根据物象关系来确定透镜的焦距和探测器的摆放位置，即可完成屏下摄像的全部过程。物平面通过光学成像系统后在像空间形成像平面，像平面在cmos探测器5上。
[0064]
图5为光栅耦合器的工作原理示意图。在本实施例中，所有光栅工作在透射模式下，并且光栅在波导的不同侧。所有进入波导内的光将满足衍射方程(1)，其中θ
i
,θ
r
分别代表入射角和衍射角，n
i
,n
r
为入射区域介质、衍射区域介质，λ
k
,λ
k
为入射波长和光栅周期，m
k
为工作阶数。k＝r,g,b代表红、绿、蓝三种工作波长。图2中照相机4的fov由该方程确定，在确定光栅结构的周期及需要的工作阶数后，即可得到能够进入波导的θ
i
范围，从而确定fov。
[0065][0066]
光在波导内的传输需满足全内反射(tir)条件，即进入波导的衍射角θ
r
需大于波导的临界角θ
c
，其中θ
c
满足公式(3)：
[0067]
θ
r
＞θ
c
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0068][0069]
在这种情况下，光能在波导内沿着“z”字形不断反射传播。波导的材料可选择具有大折射率的光学塑料，其折射率与fov成正比关系。折射率越大，越容易满足tir，从而更容易实现耦合和传播。例如，在其中一个实施例中，当波导材料折射率n
r
＝1.84时，θ
c
＝33
°
，进入波导的衍射角θ
r
需＞33
°
。
[0070]
超表面耦出光栅的其中一种结构如图6所示，单个周期内有不同宽度的纳米柱。本实施例的一个例子中，波长为红光(λ＝666nm)时，响应红光的耦入光栅周期为λ＝540nm，能够提供的对角线fov＝22
°
(16
°
h
×
14
°
v)。单个周期内有四个纳米柱结构，纳米柱的高度
均为300nm，每个柱子宽度和间距都不同。图7为使用全波仿真方法对该光栅仿真的结果图，光栅能够对正入射时的光按照预期方向进行偏折并在波导内传播。光线所携带的图像信息能够很好地传输到波导另一端。如图8所示，该结构形式的耦入光栅具有极高的耦合效率，在
‑8°
＜θ
h
＜8
°
范围内，工作阶数m＝1的耦合效率基本超过80％。其他阶数得到有效的抑制。耦出光栅的周期与耦入光栅相同，这样能够保证图像在耦出过程中不会发生偏移。在耦入光栅的结构上对纳米柱的数量、间距和宽度进行调整，即可得到高耦出效率的耦出光栅。本实施例中，纳米柱材料ⅰ为硅(silicon)，在其他实施例中，材料可为其他高折射率介电型材料，如tio2等；ⅱ为基底，即波导材料。光栅高度及周期均为纳米级，波导厚度为毫米级。在其他一些实施例中，超表面光栅内部结构可有不同的形式，如不同数量、不同宽度、不同间距的纳米柱等，其设计依赖机器学习辅助的微纳人工微结构逆向设计方法，并通过全波电磁仿真对优化结果进行验证。
[0071]
本实施例中，为了实现彩色成像，可分成两层波导，如图9所示为正入射情况下波导传输不同颜色光的示意图。第一层传输蓝色和绿色图像，第二层传输红色图像。两层波导的光栅需保证光在同一角度入射时，通过耦合器后的衍射偏折角相同，从而保证耦出之后两种颜色的光比例相同，不影响后续成像效果在这种情况下，可将传输蓝色和绿色图像光栅的工作阶数设置成不同数值，从而提供相同的衍射角度。图10为超表面耦出光栅的一种结构，该结构单个周期内有九个纳米柱结构，纳米柱的高度均为220nm，每个柱子的宽度和间距不同。ⅰ为纳米柱材料硅，ⅱ波导材料，ⅲ为纳米柱之间的填充材料。通过对纳米柱的空隙填充材料可以提高光栅的工作效率。绿光和蓝光波长为λ
g
＝520nm和λ
b
＝416nm时，响应绿光和蓝光的耦入光栅周期λ＝1671nm，单个周期内有九个纳米柱结构，纳米柱的高度均为220nm，每个柱子的宽度和间距不同。光栅响应蓝光的工作阶数为m＝4，响应绿光的工作阶数为m＝5。该光栅能保持较高的效率对两种波长进行耦合，并且不会产生色散，有利于保证成像的质量。可根据实际需求、透镜组中镜片性质等限制因素对光栅的工作波长进行选择从而重新设计光栅的周期和工作阶数。在其他一些实施例中，也可只用一层波导传输红绿蓝三色图像。这种情况下，可采用长周期的超表面光栅，使得三个波长的工作阶数不同，从而提供相同的衍射角度。
[0072]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0073]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。