屏下摄像装置、显示设备、屏下摄像装置生成图像的方法与流程

1.本公开实施例涉及显示技术领域，特别涉及一种屏下摄像装置、显示设备、屏下摄像装置生成图像的方法。


背景技术：

2.高屏占比是显示设备(如终端)一个重要的发展方向，屏下摄像头作为一个能让屏占比最大化的技术方案，具有重要研究意义。
3.屏下摄像头虽然能增加屏占比，但其拍照效果要差于普通摄像头的拍照效果。


技术实现要素：

4.本公开实施例提供一种屏下摄像装置、显示设备、屏下摄像装置生成图像的方法。
5.第一方面，本公开实施例提供一种屏下摄像装置，其包括：多个相邻排布的屏下摄像头，运算单元；
6.多个相邻排布的屏下摄像头包括一个黑白摄像头以及多个单色摄像头；
7.每个单色摄像头用于生成一个单色图像，所有所述单色摄像头对应的颜色构成基色体系；
8.所述黑白摄像头用于生成一个亮度图像；
9.所述运算单元，用于根据所有所述单色摄像头生成的单色图像和所述黑白摄像头生成的亮度图像生成输出图像。
10.在一些实施例中，每个屏下摄像头包括镜头、传感器阵列；所有屏下摄像头的传感器阵列对应的像素排布一致，所述镜头用于接收光线，并基于接收的光线生成成像光线；所述传感器阵列用于接收所述成像光线，并基于所述成像光线生成图像。
11.在一些实施例中，每个所述单色摄像头包括镜头、滤色片、传感器阵列，所述传感器阵列为黑白传感器阵列；所述镜头用于接收光线，并基于接收的光线生成成像光线；所述滤色片用于过滤所述成像光线，并生成单色成像光线，每个所述单色摄像头的滤色片的颜色为该单色摄像头对应的颜色；所述传感器阵列用于接收所述单色成像光线，并基于所述单色成像光线生成单色图像。
12.在一些实施例中，所述多个相邻排布的屏下摄像头包括红色摄像头、绿色摄像头、蓝色摄像头以及黑白摄像头。
13.在一些实施例中，所述根据所有所述单色图像和所述亮度图像生成输出图像，包括：根据所有所述单色图像生成彩色图像；根据所述亮度图像对所述彩色图像的亮度进行调整，生成输出图像。
14.在一些实施例中，
15.每个屏下摄像头包括镜头、传感器阵列；所述镜头用于接收光线，并基于接收的光线生成成像光线；所述传感器阵列用于接收所述成像光线，并基于所述成像光线生成图像；所述屏下摄像装置还包括马达线圈；所述马达线圈，用于控制所有屏下摄像头的镜头同时
远离或靠近其对应的传感器阵列。
16.在一些实施例中，所述屏下摄像装置还包括保护壳；所有屏下摄像头均位于所述保护壳内。
17.第二方面，本公开实施例提供一种显示设备，其包括：
18.屏幕；
19.以及上述任意一种屏下摄像装置。
20.在一些实施例中，所述显示设备为终端。
21.第三方面，本公开实施例提供一种屏下摄像装置生成图像的方法，所述屏下摄像装置为上述任意一种屏下摄像装置，所述方法包括：
22.获取所述黑白图像和所有所述单色图像；
23.根据所有所述单色图像和所述亮度图像生成输出图像。
24.本公开实施例的屏下摄像装置、显示设备、屏下摄像装置生成图像的方法中，通过多个单色摄像头生成的单色图像和一个黑白摄像头生成的亮度图像获取输出图像，利用亮度图像相比于彩色图像有更好的亮度表现的特点，通过亮度图像改善生成的彩色图像的亮度表现，使得在进入屏下摄像头的光的数量被大量压缩的情况下，依然可以获取亮度表现好的彩色图像。
附图说明
25.在本公开实施例的附图中：
26.图1为本公开实施例提供的一种屏下摄像装置的组成框图；
27.图2为本公开实施例提供的一种屏下摄像装置的多个屏下摄像头的位置示意图；
28.图3为本公开实施例提供的一种屏下摄像装置的组成示意图；
29.图4为本公开实施例提供的一种显示设备的组成示意图；
30.图5为本公开实施例提供的一种屏下摄像装置生成图像的方法的流程图；
31.图6为本公开实施例提供的另一种屏下摄像装置生成图像的方法的流程图。
具体实施方式
32.为使本领域的技术人员更好地理解本公开实施例的技术方案，下面结合附图对本公开实施例提供的屏下摄像装置、显示设备、屏下摄像装置生成图像的方法进行详细描述。
33.在下文中将参考附图更充分地描述本公开实施例，但是所示的实施例可以以不同形式来体现，且不应当被解释为限于本公开阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
34.本公开实施例的附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，
35.本公开实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
36.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
37.本公开所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本公开所使用的术语“和/或”包括一个或多个相关列举条目的任何和所有组合。如本公开所使用的单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。如本公开所使用的术语“包括”、“由
……
制成”，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
38.除非另外限定，否则本公开所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本公开明确如此限定。
39.本公开实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不是旨在限制性的。
40.屏下摄像头，是利用屏幕，如amoled(active-matrix organic light-emitting diode，有源矩阵有机发光二极体)屏幕有一定的透光率，设置于屏幕下方的摄像头(包括前置摄像头和后置摄像头)，在用户使用前置摄像头拍照的情况下，前置摄像头对应的屏幕区域不显示图像，作为前置摄像头的入光口。
41.由于amoled屏幕的透光率比较低，只有10％左右，导致进入屏下摄像头的光的数量被大量压缩，影响了屏下摄像头的拍照效果。
42.在一些相关技术中，通过改善屏幕的透光率，来增加进入屏下摄像头的光的数量，改善屏下摄像头的拍照效果。
43.如通过热处理等手段使屏下摄像头对应屏幕区域的偏振片的偏振功能失效，或直接将偏振片裁剪掉，以减少偏振片对光线的吸收，使更多的光线进入屏下摄像头。
44.但破坏偏振片在减少偏振片对光线吸收的同时，也增强了屏幕对环境光的反射，导致屏下摄像头对应的屏幕区域对比度变差，在环境光亮度比较高的情况下，屏下摄像头对应的屏幕区域显示效果明显下降，严重影响屏幕的显示效果。
45.在另一些相关技术中，通过提升屏下摄像头的传感器阵列采集光线的能力，改善屏下摄像头的拍照效果。
46.如在屏下摄像头的镜头与传感器阵列之间安装色轮，随着色轮的转动，色轮上红色、蓝色、绿色区域分别经过传感器阵列，这样传感器阵列就采集到了红色、蓝色和绿色三张不同颜色的图像，通过这三张图像可以合成彩色图像，即最终的输出图像。
47.由于其在一次图像采集过程中，只需要采集一种颜色的图像，因此，其传感器阵列的每个像素不需要再分割成红蓝绿子像素，相比于没有安装色轮的普通摄像头(传感器阵列的每个像素需要分割成红蓝绿三个子像素)，在相同的传感器阵列大小的情况下，安装色轮的屏下摄像头的传感器阵列的每个像素的面积显然更大，采集光线的能力也显然更强。
48.但在屏下摄像头安装色轮会使屏下摄像头的结构变得复杂，导致屏下摄像头的制作工艺变得复杂；同时，由于要在短时间内采集三张不同颜色的图像，因此传感器阵列采集频率要比普通摄像头的传感器阵列采集频率高，相应的，对于每张图像来说，其对应的采集时间也变少了，反而可能导致采集光线的数量变少，影响屏下摄像头的拍照效果。
49.有鉴于此，本公开实施例提供一种屏下摄像装置、显示装置、屏下摄像装置生成图
像的方法。
50.第一方面，参照图1，本公开实施例提供屏下摄像装置1，其包括：多个相邻排布的屏下摄像头11，运算单元12；
51.多个相邻排布的屏下摄像头11包括一个黑白摄像头112以及多个单色摄像头111；
52.每个单色摄像头111用于生成一个单色图像，所有单色摄像头111对应的单色构成基色体系；
53.黑白摄像头112用于生成一个亮度图像；
54.运算单元12，用于根据所有单色摄像头111生成的单色图像和黑白摄像头112生成的亮度图像生成输出图像。
55.本公开实施例的屏下摄像装置1包括多个屏下摄像头11，这多个屏下摄像头11中存在一个黑白摄像头112和多个单色摄像头111。
56.其中，黑白摄像头112是指生成的图像为灰度图像(或者说亮度图像)的摄像头。
57.单色摄像头111是指生成的图像为单色图像(即图像中只有一种颜色)的摄像头，每个单色摄像头111对应一种颜色，本公开实施例的屏下摄像装置1包括的所有单色摄像头111对应的颜色构成基色体系，即每个单色摄像头111对应的颜色都是基色，其他颜色可通过单色摄像头111对应的颜色混合得到，如单色摄像头111为红色摄像头、蓝色摄像头和绿色摄像头。
58.通过设置多个屏下摄像头11，增加进入屏下摄像头11的总入光量，也就提升了获取的图像的图像效果，且比起将一个屏下摄像头扩大多倍，设置多个屏下摄像头更容易实现，成本也更低。
59.本公开实施例的屏下摄像装置1的多个屏下摄像头11相邻排布，具体的可以是这多个屏下摄像头11排布为长宽比最接近1的长方形。
60.如参照图2，当屏下摄像头的数量为4个时，这4个屏下摄像头相邻排布为正方形(相邻排布2行，每行相邻排布2个屏下摄像头)；当屏下摄像头的数量为6个时，这6个屏下摄像头相邻排布2行，每行相邻排布3个屏下摄像头；当屏下摄像头的数量为奇数(如n个，n为大于1的奇数)时，则首先排布n-1个屏下摄像头，在排布完成后，将最后的一个摄像头置于n-1个屏下摄像头组成的长方形的直角对应的屏下摄像头的相邻位置即可。
61.其中，相邻排布是指屏下摄像头11之间的距离在不影响屏下摄像头正常工作的安全距离内尽量小。
62.显然，若屏下摄像头之间存在一定的距离，不同的屏下摄像头生成的图像中只有很少的像素(甚至没有像素)是对应的，导致对于输出图像的大部分像素而言，无法获取其对应的所有基色，也就无法获取其对应的真实颜色。
63.屏下摄像头之间的距离越近，其接收到的光线就越一致，生成的图像也就越一致，不同摄像头拍摄出的图像有更多的像素可以对应，也就可以获取更多的像素对应的所有基色，获取其对应的真实颜色，生成输出图像。
64.本公开实施例的屏下摄像装置1还包括运算单元12，运算单元12用于根据单色摄像头111生成的单色图像和黑色摄像头112生成的亮度图像生成屏下摄像装置1的最终输出图像。
65.由于所有单色摄像头111对应的颜色构成基色体系，因此通过所有单色摄像头111
对应的单色图像可以生成彩色图像，黑色摄像头112生成的灰度图像，或者说亮度图像相比于彩色图像有更好的亮度表现，可以用于改善生成的彩色图像的图像效果以提升图像效果，尤其是暗光下图像效果较好的输出图像。
66.本公开实施例的屏下摄像装置中，通过多个单色摄像头生成的单色图像和一个黑白摄像头生成的亮度图像获取输出图像，利用亮度图像相比于彩色图像有更好的亮度表现的特点，通过亮度图像改善生成的彩色图像的亮度表现，使得在进入屏下摄像头的光的数量被大量压缩的情况下，依然可以获取亮度表现好的彩色图像。
67.在一些实施例中，参照图3，每个屏下摄像头11包括镜头01、传感器阵列03；所有屏下摄像头11的传感器阵列03对应的像素排布一致；镜头01用于接收光线，并基于接收的光线生成成像光线；传感器阵列03用于接收成像光线，并基于成像光线生成图像。
68.本公开实施例的屏下摄像装置1的每个屏下摄像头11都包括镜头01以及传感器阵列03。
69.其中，镜头01用于接收透过屏幕的光线，并基于接收的光线生成成像光线。
70.传感器阵列03用于接收成像光线，并利用成像光线生成图像。传感器阵列03是由许多感光二极管组成的阵列，这些感光二极管阵列的排布与传感器阵列生成的图像的像素排布是一致的。
71.本公开实施例的屏下摄像装置1的所有屏下摄像头11的传感器阵列03对应的像素排布是一致的，也就是说，所有屏下摄像头11的传感器阵列03生成的图像的像素在横向和纵向上像素数目完全一致。
72.在所有屏下摄像头11的传感器阵列03生成的图像的像素排布完全一致的情况下，运算单元12根据单色图像和亮度图像生成最终输出图像时，可以直接将所有传感器阵列03生成的图像相同位置的像素(如左上角第一个像素)作为一组，根据每个图像该位置的像素值计算得到最终输出图像左上角第一像素的像素值。
73.在一些实施例中，参照图3，每个单色摄像头111包括镜头01、滤色片02、传感器阵列03，传感器阵列03为黑白传感器阵列；
74.镜头01用于接收光线，并基于接收的光线生成成像光线；
75.滤色片02用于过滤成像光线，并生成单色成像光线，每个单色摄像头111的滤色片01的颜色为该单色摄像头111对应的颜色；
76.传感器阵列03用于接收单色成像光线，并基于单色成像光线生成单色图像。
77.本公开实施例的屏下摄像装置1的每个单色摄像头111都包括镜头01、滤色片02和传感器阵列03。
78.其中，镜头01用于接收透过屏幕的光线，并基于接收的光线生成成像光线。
79.滤色片02可安装在传感器阵列03上，其颜色为单色摄像头对应的颜色，用于将成像光线中除单色摄像头对应的颜色的光线外其他颜色的光线都过滤掉，生成只有单色摄像头对应的颜色的光线的单色成像光线。
80.传感器阵列03为黑白传感器阵列，用于根据单色成像光线生成单色图像。
81.由于传感器阵列03为黑白传感器阵列，因此黑白摄像头112的镜头01与传感器阵列03之间不增加滤色片，也可以得到亮度图像。当然，也可以在黑白摄像头的镜头与传感器阵列之间增加透明滤色片。
82.通过镜头01、滤色片02、黑白传感器阵列03组成单色摄像头属于比较成熟的工艺，实现简单且成本低廉。
83.在一些实施例中，多个相邻排布的屏下摄像头包括红色摄像头、绿色摄像头、蓝色摄像头以及黑白摄像头。
84.本公开实施例的屏下摄像装置1的多个屏下摄像头分别为红色摄像头、绿色摄像头、蓝色摄像头和黑白摄像头。
85.具体的，这4个摄像头的传感器阵列由对应的像素排布完全相同的4个黑白传感器组成，其中红色摄像头、绿色摄像头、蓝色摄像头的传感器阵列上上分别安装红色、蓝色、绿色的滤色片。
86.红色摄像头、绿色摄像头和蓝色摄像头为单色摄像头，其对应的红色、蓝色、绿色是应用最广泛、最成熟的基色，其可合成的颜色也是最广泛的，因此，使用红色摄像头、绿色摄像头、蓝色摄像头获取的彩色图像的图像效果要优于其他基色摄像头获取的彩色图像。
87.在一些实施例中，根据所有单色图像和亮度图像生成输出图像，包括：
88.根据所有单色图像生成彩色图像；
89.根据亮度图像对彩色图像的亮度进行调整，生成输出图像。
90.由于所有单色摄像头111对应的颜色构成基色体系，因此通过所有单色摄像头111对应的单色图像可以生成彩色图像，黑色摄像头112生成的灰度图像，或者说亮度图像相比于彩色图像有更好的亮度表现，可以用于改善生成的彩色图像在暗光下的细节表现，提升色彩图像的图像效果。
91.具体可以是，通过黑白摄像头112生成的亮度图像判断图像中物体边缘的锐度，将获取的物体边缘的锐度结果与通过所有单色摄像头111对应的单色图像生成的彩色图像合成，改善彩色图像的图像效果，尤其是暗光下彩色图像的图像效果。
92.在一些实施例中，参照图3，每个屏下摄像头11包括镜头01、传感器阵列03；镜头01用于接收光线，并基于接收的光线生成成像光线；传感器阵列03用于接收成像光线，并基于成像光线生成图像；
93.屏下摄像装置1还包括马达线圈13；马达线圈13用于控制所有屏下摄像头11的镜头01同时远离或靠近其对应的传感器阵列03。
94.在一些实施例中，屏下摄像装置1还包括保护壳14；所有屏下摄像头11均位于保护壳14内。
95.参照图3，本公开实施例的屏下摄像装置1包括多个屏下摄像头11(如红色摄像头、蓝色摄像头、绿色摄像头和黑白摄像头)、运算单元12、马达线圈13以及保护壳14。
96.其中，保护壳14用于保护屏下摄像头，所有的屏下摄像头11都位于保护壳14内，每个屏下摄像头11都包括镜头01、传感器阵列03，单色摄像头(如红色摄像头、蓝色摄像头、绿色摄像头)的传感器阵列上还设置对应的滤色片02。马达线圈13用于控制所有屏下摄像头11的镜头01使其同时远离或靠近对应的传感器阵列03，以达到调节焦距的效果。
97.需要说明的是，从侧面观察屏下摄像装置1只能看到多个屏下摄像头11的侧面(即屏下摄像头11的侧视图)，并不是如图3所示，能同时看到所有屏下摄像头11的镜头01(同理，也不能同时看到所有屏下摄像头11的滤色片02和传感器阵列03)，但是为了方便说明，图3将所有屏下摄像头11的镜头01都画了出来(即使用屏下摄像头11的俯视图替代了屏下
摄像头的侧视图)。
98.具体的，本公开实施例的屏下摄像装置1的工作过程为：
99.光线透过屏幕进入屏下摄像头11的镜头01，屏下摄像头11根据进入的光线生成成像光线，成像光线通过滤色片02生成单色成像光线(对于黑白摄像头来说，成像光线直接照射在传感器阵列03上)，并照射在对应的传感器阵列03上，传感器阵列03根据接收到的光线生成红色图像、蓝色图像、绿色图像和黑白图像并发送至运算单元12。
100.由于各个屏下摄像头11的传感器阵列03排布一致，因此其生成的图像的像素也排布一致，运算单元12将各个图像的横向和纵向位置的像素一一对应，根据红色图像、蓝色图像、绿色图像合成彩色图像，在彩色图像光线比较暗的情况下，运算单元12根据黑白传感器生成的亮度图像判断图像中物体边缘的锐度，并将获取的锐度结果与彩色图像合成，以改善彩色图像暗光下拍照图像效果。
101.第二方面，参照图4，本公开实施例提供一种显示设备，其包括：
102.屏幕；
103.以及上述任意一种屏下摄像装置1。
104.在一些实施例中，本公开实施例的显示设备具体为终端。
105.具体的，本公开实施例的显示设备的屏幕为amoled屏幕，参照图4，amoled屏幕的组成部分包括：透明基板、阳极、有机发光材料层、阴极
106.其中，阳极为有机发光材料层提供“空穴”，阳极采用透明导电材料ito(indium tin oxides，氧化铟锡)，阴极为有机发光材料层提供电子，阴极也采用透明导电材料。有机发光材料层，由有机发光材料分子构成，其可以在外界电压的驱动下，将阴极注入的电子和阳极注入的空穴复合形成激子，激子辐射退激发发出光子，产生可见光。
107.透明基板具体的材质可以是塑料或玻璃，透明基板的背面贴附遮光泡棉，遮光泡棉局部挖孔，形成可透过光区域，这样光线就可以依次经过屏幕的阴极、有机发光层、阳极、透明基板以及遮光泡棉挖孔区，进入屏下摄像头。
108.本公开实施例的显示设备中，通过多个单色摄像头生成的单色图像和一个黑白摄像头生成的亮度图像获取输出图像，利用亮度图像相比于彩色图像有更好的亮度表现的特点，通过亮度图像改善生成的彩色图像的亮度表现，使得在进入屏下摄像头的光的数量被大量压缩的情况下，依然可以获取亮度表现好的彩色图像。
109.第三方面，参照图5，本公开实施例提供一种屏下摄像装置生成图像的方法，屏下摄像装置为上述任意一种屏下摄像装置1，方法包括：
110.s101、获取黑白图像和所有单色图像。
111.s102、根据所有单色图像和亮度图像生成输出图像。
112.在一些实施例中，参照图6，根据所有单色图像和亮度图像生成输出图像(s102)，包括：
113.s1021、根据所有单色图像生成彩色图像。
114.s1022、根据亮度图像对彩色图像的亮度进行调整，生成输出图像。
115.运算单元通过所有单色图像生成彩色图像，并根据灰度图像改善生成的彩色图像在暗光下的细节表现，提升色彩图像的图像效果，生成输出图像，并对输出图像进行保存和输出。
116.具体可以是，通过亮度图像判断图像中物体边缘的锐度，将获取的物体边缘的锐度结果与通过所有单色图像生成的彩色图像合成，改善彩色图像的图像效果，尤其是暗光下彩色图像的图像效果。
117.本公开实施例的屏下摄像装置生成图像的方法，通过多个单色摄像头生成的单色图像和一个黑白摄像头生成的亮度图像获取输出图像，利用亮度图像相比于彩色图像有更好的亮度表现的特点，通过亮度图像改善生成的彩色图像的亮度表现，使得在进入屏下摄像头的光的数量被大量压缩的情况下，依然可以获取亮度表现好的彩色图像。
118.本领域普通技术人员可以理解，上文中所公开的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
119.在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。
120.某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器(cpu)、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(ram，更具体如sdram、ddr等)、只读存储器(rom)、带电可擦可编程只读存储器(eeprom)、闪存(flash)或其他磁盘存储器；只读光盘(cd-rom)、数字多功能盘(dvd)或其他光盘存储器；磁盒、磁带、磁盘存储或其他磁存储器；可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
121.本公开已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。