图像处理方法、装置、存储介质以及终端与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质以及终端。


背景技术：

2.随着科学技术的发展，各种终端出现在人们的生活中，其中终端的一个重要功能即为拍照，因此如何提升拍照过程得到的图像的图像质量成为本领域人员研究的重点之一。
3.在相关技术中，部分类型的终端为了实现较高的屏占比，将摄像头设置于屏幕下方，由于屏幕中存在发光元件、电极以及驱动电路，因此外界的光穿过屏幕时会发生衍射效应，使得屏幕下方的摄像头拍照效果较差。


技术实现要素：

4.本技术提供一种图像处理方法、装置、存储介质以及终端，可以解决相关技术中外界的光穿过屏幕时会发生衍射效应，使得屏幕下方的摄像头拍照效果较差的技术问题。
5.第一方面，本技术实施例提供一种图像处理方法，应用于显示屏组件，所述显示屏组件下方设置有摄像头组件，该方法包括：
6.获取所述摄像头组件拍摄的目标图像，所述目标图像中包含衍射图像区域；
7.获取所述显示屏组件对应的反运算结果，所述反运算结果是对所述显示屏组件发生衍射的衍射模型进行反运算得到的结果；
8.基于所述反运算结果对所述目标图像中的衍射图像区域进行消除处理。
9.可选地，所述获取所述摄像头组件拍摄的目标图像之前，还包括：获取各显示屏组件发生衍射的各衍射模型；将各衍射模型分别进行反运算并得到对应的反运算结果；将各反运算结果与各显示屏组件的显示屏标识对应保存至数据库。
10.可选地，所述获取各显示屏组件发生衍射的各衍射模型，包括：根据显示屏组件的单元透过率函数以及单元周期，获取所述显示屏组件的透过率函数为：
[0011][0012]
其中，所述显示屏组件中每个单元的透过率函数为t
unit
(x)，单元周期为d， comb(x)为一维梳状函数。
[0013]
可选地，所述获取各显示屏组件发生衍射的各衍射模型，还包括：
[0014]
根据所述显示屏组件的透过率函数，获取所述显示屏组件的光场分布为：
[0015][0016]
其中，rect(x)为矩形函数，采用宽度为l的平面波照射所述显示屏组件。可选地，所述获取各显示屏组件发生衍射的各衍射模型，还包括：对所述显示屏组件的光场分布作
傅里叶变化，得到所述显示屏组件的远场衍射光场分布为：
[0017][0018]
将所述显示屏组件的透过率函数、所述显示屏组件的光场分布以及所述显示屏组件的远场衍射光场分布作为所述显示屏组件发生衍射的衍射模型；
[0019]
依次获取其他显示屏组件发生衍射的衍射模型。
[0020]
可选地，所述基于所述反运算结果对所述目标图像中的衍射图像区域进行消除处理，包括：基于所述反运算结果对所述目标图像进行反卷积，以消除所述目标图像中的衍射图像区域。
[0021]
可选地，所述消除所述目标图像中的衍射图像区域之后，还包括：对消除所述衍射图像区域之后的所述目标图像中的缺失图像进行复原处理。
[0022]
第二方面，本技术实施例一种图像处理装置，应用于显示屏组件，所述显示屏组件下方设置有摄像头组件，该装置包括：
[0023]
图像获取模块，用于获取所述摄像头组件拍摄的目标图像，所述目标图像中包含衍射图像区域；
[0024]
反运算模块，用于获取所述显示屏组件对应的反运算结果，所述反运算结果是对所述显示屏组件发生衍射的衍射模型进行反运算得到的结果；
[0025]
衍射消除模块，用于基于所述反运算结果对所述目标图像中的衍射图像区域进行消除处理。
[0026]
第三方面，本技术实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
[0027]
第四方面，本技术实施例提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤，且所述终端还包括上述方法中的显示屏组件以及摄像头组件。
[0028]
本技术一些实施例提供的技术方案带来的有益效果至少包括：
[0029]
本技术实施例提供一种图像处理方法，首先获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域；然后获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果；最后基于反运算结果对目标图像中的衍射图像区域进行消除处理。由于光线通过显示屏组件时会发生衍射并在目标图像中形成衍射图像区域，因此通过对显示屏组件发生衍射的衍射模型进行反运算，根据反运算结果可以对目标图像中的衍射图像区域进行有效消除处理，有效提高屏幕组件下方的摄像头组件的拍照效果。
附图说明
[0030]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本技术实施例提供的一种终端的结构示意图；
[0032]
图2为本技术实施例提供的另一种终端的结构示意图；
[0033]
图3为本技术实施例提供的一种图像处理方法的应用场景示意图；
[0034]
图4为本技术实施例提供的光的衍射形成过程的示意图；
[0035]
图5为本技术实施例提供的一种图像处理方法的流程示意图；
[0036]
图6为本技术另一实施例提供的一种图像处理方法的流程示意图；
[0037]
图7为本技术另一实施例提供的衍射屏模型的示意图；
[0038]
图8为本技术另一实施例提供的远场衍射光场分布的示意图；
[0039]
图9为本技术另一实施例提供的一维衍射屏衍射光强包络的示意图；
[0040]
图10为本技术另一实施例提供的一维衍射屏衍射级次间距的示意图；
[0041]
图11为本技术另一实施例提供的光斑远场衍射光强的示意图；
[0042]
图12为本技术另一实施例提供的一种图像处理装置的结构示意图；
[0043]
图13为本技术另一实施例提供的一种图像处理装置的结构示意图；
[0044]
图14为本技术另一实施例提供的一种终端的结构示意图。
具体实施方式
[0045]
为使得本技术的特征和优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而非全部实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0046]
可以累积的，本技术实施例中提供的一种图像处理方法可以应用于各种显示屏组件以及终端中。例如，显示屏组件对应的显示区域至少包括第一区域以及第二区域，第一区域和第二区域的透明度不同。可选地，本技术实施例中的终端中摄像头采用的是屏下摄像技术，也即终端的摄像头组件设置于显示屏组件的屏幕下方，屏幕可以采用为有源矩阵有机发光二极体(amoled， active-matrix organic light-emitting diode)屏幕或者被动矩阵有机电激发光二极管(pmoled，passive matrix organic light-emitting diode)屏幕。
[0047]
请参阅图1，图1为本技术实施例提供的一种终端的结构示意图。
[0048]
如图1所示，图中1a为终端移除显示屏组件后的结构示意图，终端中设置有摄像头组件110，图中1b为终端的显示屏组件120的结构示意图，显示屏组件120中对应的显示区域至少包括第一区域121以及第二区域122，其中，第一区域121和第二区域122的透明度不同，当显示屏组件120组装在终端上时，第一区域121相对于摄像头组件110设置，也即第一区域121位于摄像头组件110相对应的位置，此时可以将第一区域121的像素密度减少，以使得第一区域121的透明度大于第二区域122的透明度，以便于外界光线通过第一区域121照射在摄像头组件110上，摄像头组件110根据该光线进行成像。
[0049]
请参阅图2，图2为本技术实施例提供的另一种终端的结构示意图。
[0050]
如图2所示，图中2a为终端的移除显示屏组件后的结构示意图，终端中设置有摄像头组件210，图中2b为终端的显示屏组件220的结构示意图，显示屏组件220中对应的显示区域至少包括第一区域221、第二区域222以及第三区域223，其中，第一区域221、第二区域222以及第三区域223的透明度不同，当显示屏组件220组装在终端上时，第一区域221相对于摄
像头组件210设置，也即第一区域221位于摄像头组件210相对应的位置，为了以便于外界光线通过第一区域221照射在摄像头组件210上，摄像头组件210根据该光线进行成像，可以将第一区域221的发光元件的像素主体采用透明材料制成，发光元件的电极也采用透明材料制成，第一区域221的驱动电路设置于第二区域222中，第二区域222像素密度减少，第三区域223的像素为正常设置，这样使得第一区域221的透明度小于第二区域222或者第三区域223。
[0051]
请参阅图3，图3为本技术实施例提供的一种图像处理方法的应用场景示意图。
[0052]
可选地，如图3所示，当显示屏组件下方设置有摄像头组件，通过摄像头组件拍摄图像时，光线可以穿过显示屏组件进入摄像头组件中，显示屏组件中此时可能会发生光的衍射，造成摄像头组件拍摄的图像中存在衍射条纹，影响图像的质量和效果。
[0053]
摄像头组件拍摄的图像中存在衍射条纹的原因是，在上述显示屏组件设计中，由于第一区域不能完全透明，因此第一区域中的电极或者像素主体可能形成带有缝隙的遮挡层，遮挡层会造成光学上的周期类光栅结构，对入射光行成衍射效应，该衍射效应会影响屏幕中第一区域下方的摄像头组件的拍照效果。图4为本技术实施例提供的光的衍射形成过程的示意图，如图4所示，炫光现象是指镜头在传输影像的过程中会受到某些非理想性因素的影响，比如光线通过遮挡层中的小孔或者较小的缝隙进入镜头发生光的衍射，而使光线误差偏转造成像差，会导致摄像头拍摄的图像中出现衍射条纹。因此当光线穿过显示屏组件的遮挡层中的小孔或者缝隙进入摄像头组件时，可能会造成摄像头组件拍摄的图像中存在衍射条纹。因此可以提出一种图像处理方法，以满足人们对于更好地对图像中的衍射条纹进行处理的需求。
[0054]
为方便描述，下面以图像处理方法应用于显示屏组件，且显示屏组件下方设置有摄像头组件为例，介绍图像处理方法的实施过程。
[0055]
请参阅图5，图5为本技术实施例提供的一种图像处理方法的流程示意图。
[0056]
如图5所示，图像处理方法包括：
[0057]
s501、获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域。
[0058]
需要说明的是，本技术实施例的执行主体，在硬件上可以例如为图像处理终端中的中央处理器(central processing unit，cpu)或者其他集成电路芯片，在软件上可以例如为图像处理终端中图像处理方法的相关服务，对此不做限制。为方便描述，下面以执行主体为中央处理器为例进行描述。
[0059]
当用户需要进行拍照时，可以通过语音控制或者通过肢体触摸终端的显示屏组件，以使得语音接收器或者触摸传感器接收到拍照控制信号，中央处理器可以根据该拍照控制信号控制摄像头组件进行拍摄。其中，由于摄像头组件在终端中的设置位置影响，或者外界入射光线照射到摄像头组件角度影响，会使得摄像头组件拍摄的图像中可能出现类似于图4中的衍射图像区域，也可能不出现衍射图像区域。因此为了提高终端的拍摄速度，可以在中央处理器获取到摄像头组件拍摄的图像后，对该图像进行预处理，预处理的具体步骤包括判断摄像头组件拍摄的图像中衍射图像区域的面积是否超过预设面积，若图像中衍射图像区域的面积没有超过预设面积，则代表摄像头组件拍摄的图像符合要求，可以认为图像中不包含衍射图像区域，不需要对图像中的衍射区域进行消除处理；若图像中衍射图像区域的面积超过预设面积，则代表摄像头组件拍摄的图像不符合要求，需要对图像中的
衍射区域进行消除处理，此时还可以将摄像头组件拍摄的图像确定为目标图像，那么目标图像中包含有衍射图像区域。
[0060]
s502、获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果。
[0061]
可以理解的，对于摄像头组件来说，摄像头组件并非对全光谱成像，而是通过rgb三种颜色的绿光膜获得rgb信息，通过rgb信息进行合成，从而得到混色的信息。其中，对于图像处理的过程就是将摄像头组件中的传感器采集的raw数据转化供人眼查看的rgb数据，其过程可以包括图像的白平衡、去马赛克、降噪、色域转换、伽马矫正以及压缩。因此研究得到rgb三种光通过衍射结构的真实衍射并进行反卷积运算，从而在图像中消除衍射成为一种可能。通过分析光线穿过显示屏组件发生衍射时的衍射模型发现，显示屏组件的透过率函数与远场衍射光强构成傅里叶变化对关系，因此在获取摄像头组件拍摄的目标图像后，可以预先针对该显示屏组件确定显示屏组件对应的衍射的反运算结果，其中衍射的反运算结果可以通过预先实验获取，具体的，在预先实验中，可以先获取显示屏对应的衍射模型，衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程，那么可以针对显示屏组件对应的衍射模型进行反运算并获取反运算结果，也即将衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程进行反运算，那么就可以将衍射后的光线基于反运算结果得到穿过显示屏组件之前的正常光线，以实现对目标图像中衍射区域的消除。
[0062]
s503、基于反运算结果对目标图像中的衍射图像区域进行消除处理。
[0063]
由于衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程，那么可以针对显示屏组件对应的衍射模型进行反运算并获取反运算结果，也即将衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程进行反运算，进一步地，显示屏组件的透过率函数与远场衍射光强构成傅里叶变化对关系，那么可以基于反运算结果对目标图像进行反卷积，以消除目标图像中的衍射图像区域，也即将衍射后的光线基于反运算结果得到穿过显示屏组件之前的正常光线，以实现对目标图像中衍射区域的消除，有效提高屏幕组件下方的摄像头组件的拍照效果。
[0064]
在本技术实施例中，首先获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域；然后获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果；最后基于反运算结果对目标图像中的衍射图像区域进行消除处理。由于光线通过显示屏组件时会发生衍射并在目标图像中形成衍射图像区域，因此通过对显示屏组件发生衍射的衍射模型进行反运算，根据反运算结果可以对目标图像中的衍射图像区域进行有效消除处理，有效提高屏幕组件下方的摄像头组件的拍照效果。
[0065]
请参阅图6，图6为本技术另一实施例提供的一种图像处理方法的流程示意图。
[0066]
如图6所示，该方法步骤包括：
[0067]
s601、获取各显示屏组件发生衍射的各衍射模型。
[0068]
可选地，可以根据显示屏组件的实际结构选择合适的衍射模型，一种可行的获取各显示屏组件发生衍射的各衍射模型的方法如下所示：
[0069]
为了方便描述仅考虑一维情况，显示屏组件的衍射屏的透过率函数与远场衍射光强构成傅里叶变换对关系。请参阅图7，图7为本技术另一实施例提供的衍射屏模型的示意图，如图7所示，首先以一个显示屏组件为例，设该显示屏组件上包括多个单元，每个单元的
透过率函数为t
unit
(x)，单元周期为d，每个单元由两种材质构成，第一种材质的宽度为a，根据显示屏组件的单元透过率函数以及单元周期，获取显示屏组件的透过率函数，也即一维衍射屏的透过率函数可表示为：
[0070][0071]
其中，显示屏组件中每个单元的透过率函数为t
unit
(x)，单元周期为d， comb(x)为一维梳状函数。
[0072]
进一步地，根据显示屏组件的透过率函数，获取显示屏组件的光场分布为：
[0073][0074]
其中，rect(x)为矩形函数，采用宽度为l的平面波照射显示屏组件。
[0075]
最后对显示屏组件的光场分布作傅里叶变化，得到显示屏组件的远场衍射光场分布为：
[0076][0077]
将显示屏组件的透过率函数、显示屏组件的光场分布以及显示屏组件的远场衍射光场分布作为显示屏组件发生衍射的衍射模型；最后与获取一个显示屏组件对应的衍射模型类似，可以依次获取其他显示屏组件发生衍射的衍射模型。
[0078]
请参阅图8，图8为本技术另一实施例提供的远场衍射光场分布的示意图。
[0079]
如图8所示，图中为也即每个单元仅有透光不透光两部分组成的远场衍射光场分布。
[0080]
针对显示屏组件的远场衍射光场分布，忽略常数项，可以得知远场衍射图样由三部分组成：
[0081]
第一部分：单元的透过率函数的傅里叶变换ft(t
unit
(x))，其构成了整个衍射光强的包络，包络形状与单元的透过率函数t
unit
(x)有关，其中t
unit
(x)宽度为d，包络形状与与间距d也有关。具体包络形状参阅图9，图9为本技术另一实施例提供的一维衍射屏衍射光强包络的示意图。
[0082]
第二部分：梳状函数comb(dx)，其决定了衍射级次之间的间距，其值仅与单元间距d有关，具体级次间距参阅图10，图10为本技术另一实施例提供的一维衍射屏衍射级次间距的示意图。
[0083]
第三部分：光斑的傅里叶变换sinc(lx)，其决定了每个衍射光点的大小和形状，其值仅与光斑直径l有关。具体光斑远场衍射光强参阅图11，图11为本技术另一实施例提供的光斑远场衍射光强的示意图。
[0084]
s602、将各衍射模型分别进行反运算并得到对应的反运算结果。
[0085]
由上述分析可知，规则的衍射结构的衍射是有规律的，也可以通过精确的计算获得衍射模型。对上述的衍射计算过程做反运算，就可以将单波长的信息从拍照获得的图像中反卷积运算，从而在拍照的图像中消除由于光栅结构造成的衍射效应，获得接近真实的
拍照图片。由于镜头滤光膜是宽带滤光膜，并不是单波长，因此模型的结果与实际的情况会有差异，需要针对其中的系数做调整。
[0086]
因此再获取到各显示屏对应的衍射模型后，由于衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程，那么可以针对显示屏组件对应的衍射模型进行反运算并获取反运算结果，也即将衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程进行反运算，并获取反运算的结果。
[0087]
s603、将各反运算结果与各显示屏组件的显示屏标识对应保存至数据库。
[0088]
为了便于后续中央处理器在获取到摄像头组件拍摄的目标图像后，可以第一之间获取显示屏组件对应的反运算结果，可以将各反运算结果与各显示屏组件的显示屏标识对应保存至数据库，以实现中央处理器随时调用。
[0089]
s604、获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域。
[0090]
关于步骤s604，可以参阅上述实施例中步骤s501中的详细记载。
[0091]
s605、获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果。
[0092]
由于各反运算结果与各显示屏组件的显示屏标识对应保存在数据库中，因此可以先获取显示屏组件对应的显示屏标识，然后根据该显示屏标识在数据库中查找该显示屏标识对应的反运算结果。
[0093]
s606、基于反运算结果对目标图像进行反卷积，以消除目标图像中的衍射图像区域。
[0094]
由于衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程，那么可以针对显示屏组件对应的衍射模型进行反运算并获取反运算结果，也即将衍射模型中包含对光线穿过显示屏组件时发生衍射的计算过程进行反运算，进一步地，显示屏组件的透过率函数与远场衍射光强构成傅里叶变化对关系，那么可以基于反运算结果对目标图像进行反卷积，以消除目标图像中的衍射图像区域，也即将衍射后的光线基于反运算结果得到穿过显示屏组件之前的正常光线，以实现对目标图像中衍射区域的消除，有效提高屏幕组件下方的摄像头组件的拍照效果。
[0095]
s607、对消除衍射图像区域之后的目标图像中的缺失图像进行复原处理。
[0096]
通过上述的步骤可以消除比较明显的衍射，比如点光源周围的衍射条纹。但是图像信息也会随之损失，因此需要结合ai算法，将无衍射的真实图像与透过屏下的图像做ai学习，通过对典型场景的训练，从而可以提升解析力和画质效果。例如，可以通过将无衍射的真实图像与透过屏下的图像做ai学习，对消除衍射图像区域之后的目标图像中的缺失图像进行复原处理，以提升图像质量。
[0097]
在本技术实施例中，首先获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域；然后获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果；最后基于反运算结果对目标图像中的衍射图像区域进行消除处理。由于光线通过显示屏组件时会发生衍射并在目标图像中形成衍射图像区域，因此通过对显示屏组件发生衍射的衍射模型进行反运算，根据反运算结果可以对目标图像中的衍射图像区域进行有效消除处理，有效提高屏幕组件下方的摄像头组件的拍照效果。
[0098]
请参阅图12，图12为本技术另一实施例提供的一种图像处理装置的结构示意图。
[0099]
如图12所示，图像处理装置1200应用于显示屏组件，显示屏组件下方设置有摄像头组件，图像处理装置1200包括：
[0100]
图像获取模块1201，用于获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域；
[0101]
反运算模块1203，用于获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果；
[0102]
衍射消除模块1204，用于基于反运算结果对目标图像中的衍射图像区域进行消除处理。
[0103]
请参阅图13，图13为本技术另一实施例提供的一种图像处理装置的结构示意图。
[0104]
如图13所示，图像处理装置1300包括：
[0105]
模型获取模块1301，用于获取各显示屏组件发生衍射的各衍射模型。
[0106]
其中，获取各显示屏组件发生衍射的各衍射模型，包括：
[0107]
根据显示屏组件的单元透过率函数以及单元周期，获取显示屏组件的透过率函数为：
[0108][0109]
其中，显示屏组件中每个单元的透过率函数为t
unit
(x)，单元周期为d， comb(x)为一维梳状函数。
[0110]
进一步地，获取各显示屏组件发生衍射的各衍射模型，还包括：
[0111]
根据显示屏组件的透过率函数，获取显示屏组件的光场分布为：
[0112][0113]
其中，rect(x)为矩形函数，采用宽度为l的平面波照射显示屏组件。
[0114]
进一步地，获取各显示屏组件发生衍射的各衍射模型，还包括：
[0115]
对显示屏组件的光场分布作傅里叶变化，得到显示屏组件的远场衍射光场分布为：
[0116][0117]
将显示屏组件的透过率函数、显示屏组件的光场分布以及显示屏组件的远场衍射光场分布作为显示屏组件发生衍射的衍射模型；依次获取其他显示屏组件发生衍射的衍射模型。
[0118]
结果获取模块1302，用于将各衍射模型分别进行反运算并得到对应的反运算结果。
[0119]
数据保存模块1303，用于将各反运算结果与各显示屏组件的显示屏标识对应保存至数据库。
[0120]
图像获取模块1304，用于获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域。
[0121]
反运算模块1305基于反运算结果对目标图像进行反卷积，以消除目标图像中的衍
射图像区域。
[0122]
衍射消除模块1306，用于获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果。
[0123]
复原模块1307，用于对消除衍射图像区域之后的目标图像中的缺失图像进行复原处理。
[0124]
在本技术实施例中，一种图像处理装置包括：图像获取模块，用于获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域；反运算模块，用于获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果；衍射消除模块，用于基于反运算结果对目标图像中的衍射图像区域进行消除处理。由于光线通过显示屏组件时会发生衍射并在目标图像中形成衍射图像区域，因此通过对显示屏组件发生衍射的衍射模型进行反运算，根据反运算结果可以对目标图像中的衍射图像区域进行有效消除处理，有效提高屏幕组件下方的摄像头组件的拍照效果。
[0125]
本技术实施例还提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行如上述实施例中的图像处理方法的步骤。
[0126]
进一步地，请参见图14，图14为本技术另一实施例提供了一种终端的结构示意图。如图14所示，终端1400可以包括：至少一个中央处理器1401，至少一个网络接口1404，用户接口1403，存储器1405，至少一个通信总线1402。终端还包括上述实施例中的显示屏组件以及摄像头组件。
[0127]
其中，通信总线1402用于实现这些组件之间的连接通信。
[0128]
其中，用户接口1403可以包括屏幕(display)、摄像头(camera)，可选用户接口1403还可以包括标准的有线接口、无线接口。
[0129]
其中，网络接口1404可选的可以包括标准的有线接口、无线接口(如wi-fi 接口)。
[0130]
其中，中央处理器1401可以包括一个或者多个处理核心。中央处理器1401 利用各种接口和线路连接整个终端1400内的各个部分，通过运行或执行存储在存储器1405内的指令、程序、代码集或指令集，以及调用存储在存储器1405 内的数据，执行终端1400的各种功能和处理数据。可选的，中央处理器1401 可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列 (field-programmable gate array，fpga)、可编程逻辑阵列(programmable logicarray，pla)中的至少一种硬件形式来实现。中央处理器1401可集成中央中央处理器(central processing unit，cpu)、图像中央处理器(graphics processingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责屏幕所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器1401中，单独通过一块芯片进行实现。
[0131]
其中，存储器1405可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器1405包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1405可用于存储指令、程序、代码、代码集或指令集。存储器1405可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各
个方法实施例中涉及到的数据等。存储器1405可选的还可以是至少一个位于远离前述中央处理器1401的存储装置。如图14所示，作为一种计算机存储介质的存储器1405中可以包括操作系统、网络通信模块、用户接口模块以及图像处理程序。
[0132]
在图14所示的终端1400中，用户接口1403主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器1401可以用于调用存储器1405中存储的图像处理程序，并具体执行以下操作：
[0133]
获取摄像头组件拍摄的目标图像，目标图像中包含衍射图像区域；
[0134]
获取显示屏组件对应的反运算结果，反运算结果是对显示屏组件发生衍射的衍射模型进行反运算得到的结果；
[0135]
基于反运算结果对目标图像中的衍射图像区域进行消除处理。
[0136]
在一个实施例中，中央处理器1401在执行获取摄像头组件拍摄的目标图像之前，还具体执行以下步骤：获取各显示屏组件发生衍射的各衍射模型；将各衍射模型分别进行反运算并得到对应的反运算结果；将各反运算结果与各显示屏组件的显示屏标识对应保存至数据库。
[0137]
在一个实施例中，中央处理器1401在执行获取各显示屏组件发生衍射的各衍射模型时，具体执行以下步骤：
[0138]
根据显示屏组件的单元透过率函数以及单元周期，获取显示屏组件的透过率函数为：
[0139][0140]
其中，显示屏组件中每个单元的透过率函数为t
unit
(x)，单元周期为d， comb(x)为一维梳状函数。
[0141]
在一个实施例中，中央处理器1401在执行获取各显示屏组件发生衍射的各衍射模型时，还具体执行以下步骤：
[0142]
根据显示屏组件的透过率函数，获取显示屏组件的光场分布为：
[0143][0144]
其中，rect(x)为矩形函数，采用宽度为l的平面波照射显示屏组件。
[0145]
在一个实施例中，中央处理器1401在执行获取各显示屏组件发生衍射的各衍射模型时，还具体执行以下步骤：
[0146]
对显示屏组件的光场分布作傅里叶变化，得到显示屏组件的远场衍射光场分布为：
[0147][0148]
将显示屏组件的透过率函数、显示屏组件的光场分布以及显示屏组件的远场衍射光场分布作为显示屏组件发生衍射的衍射模型；依次获取其他显示屏组件发生衍射的衍射模型。
[0149]
在一个实施例中，中央处理器1401在执行基于反运算结果对目标图像中的衍射图像区域进行消除处理时，具体执行以下步骤：基于反运算结果对目标图像进行反卷积，以消
除目标图像中的衍射图像区域。
[0150]
在一个实施例中，中央处理器1401在执行消除目标图像中的衍射图像区域之后，还具体执行以下步骤：对消除衍射图像区域之后的目标图像中的缺失图像进行复原处理。
[0151]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0152]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0153]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0154]
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0155]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本技术所必须的。
[0156]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0157]
以上为对本技术所提供的一种图像处理方法、装置、存储介质以及终端的描述，对于本领域的技术人员，依据本技术实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。