图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着终端所搭载的硬件的不断升级，大部分终端已具备图像拍摄功能部分终端甚至具有显微成像的功能，显微成像一般是通过在终端中配置显微镜头实现的。
3.以显微镜头为例，其景深很小，若被拍摄物表面凹凸不平，则可能导致显微镜头所拍摄的图像中有些地方清晰有些地方模糊，即图像的整体清晰度较差；另外，用户手持终端通过显微镜头拍照时，用户的手部抖动也会导致显微镜头的对焦距离超出显微镜头的景深范围，从而导致显微镜头所拍摄的图像的清晰度较差。
4.鉴于此，如何提升终端所拍摄的图像的清晰度，成为目前亟待解决的问题。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提升终端所拍摄的图像的清晰度。
6.第一方面，提供了一种图像处理方法，该方法包括：
7.获取目标拍摄组件拍摄的原始图像；
8.获取预先设置的与所述目标拍摄组件的中心视场对应的目标点扩散函数；
9.基于所述目标点扩散函数对所述原始图像进行解卷积处理，得到复原图像。
10.第二方面，提供了一种图像处理装置，该装置包括：
11.第一获取模块，用于获取目标拍摄组件拍摄的原始图像；
12.第二获取模块，用于获取预先设置的与所述目标拍摄组件的中心视场对应的目标点扩散函数；
13.处理模块，用于基于所述目标点扩散函数对所述原始图像进行解卷积处理，得到复原图像。
14.第三方面，提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现如上述第一方面所述的图像处理方法。
15.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的图像处理方法。
16.本技术实施例提供的技术方案带来的有益效果至少包括：
17.通过获取目标拍摄组件拍摄的原始图像，并获取预先设置的与目标拍摄组件的中心视场对应的目标点扩散函数，而后，基于目标点扩散函数对原始图像进行解卷积处理得到复原图像，这样，由于目标拍摄组件在图像拍摄过程中，被拍摄对象表面的一个点经过目标拍摄组件后所成的像，是利用对应的点扩散函数对该点进行卷积处理所扩散成的多个点，即目标拍摄组件拍摄的原始图像是利用对应的点扩散函数对被拍摄对象表面的各个点
进行卷积处理扩散得到的，因此，本技术实施例利用目标拍摄组件的中心视场对应的目标点扩散函数对该原始图像进行解卷积处理，从而可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，从而提升了目标拍摄组件所拍摄的图像的清晰度。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为一个实施例中图像处理方法的流程图；
20.图2为一种示例性地目标拍摄组件的视场划分示意图；
21.图3为另一个实施例中图像处理方法的流程图；
22.图4为另一个实施例中获取各候选点扩散函数的流程图；
23.图5为另一个实施例中获取颜色通道的点扩散函数的流程图；
24.图6为另一个实施例中步骤501的流程图；
25.图7为另一个实施例中步骤502的流程图；
26.图8为一种示例性地单波长下目标拍摄组件的中心视场的一个颜色通道的采样示意图；
27.图9为另一个实施例中步骤103的流程图；
28.图10为一个实施例中图像处理装置的结构框图；
29.图11为一个实施例中电子设备的内部结构示意图。
具体实施方式
30.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
31.传统技术中，终端所搭载的拍摄组件无论是常规拍摄镜头还是显微镜头，其在图像拍摄过程中，被拍摄对象表面的一个点经过拍摄组件后所成的像，均是利用对应的点扩散函数(point spread function，psf)对该点进行卷积处理所扩散成的多个点，即被拍摄对象表面的一个点在拍摄组件所拍摄的原始图像中作为一个扩散开的“光斑”存在，导致原始图像的清晰度差；进一步地，在拍摄组件为显微镜头的情况下，由于显微镜头的小景深会导致原始图像的清晰度更差，严重影响用户的拍摄体验。
32.鉴于此，本技术实施例提供一种图像处理方法，在该方法中，通过获取目标拍摄组件拍摄的原始图像，并获取预先设置的与目标拍摄组件的中心视场对应的目标点扩散函数，而后，基于目标点扩散函数对原始图像进行解卷积处理得到复原图像，这样，由于目标拍摄组件在图像拍摄过程中，被拍摄对象表面的一个点经过目标拍摄组件后所成的像，是利用对应的点扩散函数对该点进行卷积处理所扩散成的多个点，即目标拍摄组件拍摄的原始图像是利用对应的点扩散函数对被拍摄对象表面的各个点进行卷积处理扩散得到的，因
此，本技术实施例利用目标拍摄组件的中心视场对应的目标点扩散函数对该原始图像进行解卷积处理，从而可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，从而提升了目标拍摄组件所拍摄的图像的清晰度，获得了较大景深范围内清晰的照片效果。
33.需要说明的是，本技术实施例提供的图像处理方法，其执行主体可以是图像处理装置，该图像处理装置可以通过软件、硬件或者软硬件结合的方式实现成为终端的部分或者全部。
34.下述方法实施例中，均以执行主体是终端为例来进行说明，其中，终端可以是智能手机、笔记本电脑、平板电脑、智能手表、智能手环、智能眼镜等终端设备，在此对终端的类型不做具体限制。
35.请参考图1，其示出了本技术实施例提供的一种图像处理方法的流程图。如图1所示，该图像处理方法可以包括以下步骤：
36.步骤101，终端获取目标拍摄组件拍摄的原始图像。
37.终端利用目标拍摄组件对被拍摄对象进行图像拍摄得到原始图像，该被拍摄对象可以任意的拍摄目标，例如，人、动物、建筑物、植物，等等。
38.其中，目标拍摄组件可以是终端中配置的前置拍摄组件或后置拍摄组件，目标拍摄组件可以是常规拍摄镜头，也可以是用于实现高放大倍率的显微镜头，显微镜头的放大倍率大于常规拍摄镜头的放大倍率。
39.步骤102，终端获取预先设置的与目标拍摄组件的中心视场对应的目标点扩散函数。
40.本技术实施例中，目标拍摄组件的视野范围可以划分为多个不同的视场，目标拍摄组件视野范围中心位置的视场即为目标拍摄组件的中心视场。
41.参见图2，其为一种示例性地目标拍摄组件的视场划分示意图。如图2所示，图2中的每个方格可以代表目标拍摄组件的一个视场，图2所示的目标拍摄组件的视野范围被划分为49个视场，中心位置的视场即为目标拍摄组件的中心视场。
42.需要说明的是，目标拍摄组件的视场划分方式并不局限于图2所示的方式，例如，还可以将目标拍摄组件的视野范围按照同心圆的方式，划分为多个不同的视场，这样，目标拍摄组件的中心视场即为包含圆心的最中心的圆形区域，其余视场则为该圆形区域之外的各圆环区域，等等。在此对目标拍摄组件的视场划分方式不作具体限制。
43.本技术实施例中，终端中预先设置有与目标拍摄组件的中心视场对应的目标点扩散函数。可选地，目标点扩散函数可以是预先基于点扩散函数测量设备，对目标拍摄组件的中心视场对应的实际点扩散函数进行测量得到，并存储在终端的预设存储地址中；可选地，目标点扩散函数也可以是在目标拍摄组件出厂过程中，按照目标拍摄组件的镜头类型所确定，并烧录在终端的预设模组中。
44.这样，终端在需要对目标拍摄组件所拍摄的原始图像进行解卷积处理，以对原始图像进行清晰度复原的情况下，终端则可以从终端中获取该目标点扩散函数。
45.步骤103，终端基于目标点扩散函数对原始图像进行解卷积处理，得到复原图像。
46.终端利用解卷积算法，将目标点扩散函数作为算法参数对原始图像进行解卷积处理，得到清晰程度大于原始图像的复原图像，解卷积算法可以是露西
‑
理查德森lucy
‑
richardson解卷积法、维纳wiener解卷积算法，等等。
47.这样，通过解卷积处理可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，将复原图像作为目标拍摄组件最终拍摄得到的图像输出，提升了目标拍摄组件所拍摄的图像的清晰度，获得了较大景深范围内清晰的照片效果。
48.通常情况下，镜头在不同景深下的点扩散函数不同，且镜头视场的中心和镜头视场的边缘的景深不同。那么，对于目标拍摄组件而言，目标拍摄组件不同视场的景深也必然存在差异，即各视场对应的点扩散函数存在一定差异，但是，终端若采用各视场对应的点扩散函数分别对原始图像中对应的视场区域进行解卷积处理，可能会造成复原图像中各视场区域的边缘比较明显，复原图像的整体画面效果欠佳。
49.鉴于此，本技术实施例中，终端采用目标拍摄组件的中心视场对应的目标点扩散函数对原始图像的各视场区域统一进行解卷积处理，从而可以有效避免上述复原图像中各视场区域的边缘比较明显的问题，提升了复原图像的整体平滑度，提升了复原图像的整体画面效果。
50.在一种可能的实施方式中，目标拍摄组件包括相位板，相位板用于调制目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值。
51.示例性地，相位板可以周侧抵靠定位于目标拍摄组件的镜筒的内壁，相位板具有衍射微结构，这样，光线在穿过相位板时，能够从相位板的衍射微结构穿过而产生衍射，从而调整光线的相位，以加大目标拍摄组件拍摄时的景深，且通过相位调整，可以使得目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值，即使得目标拍摄组件的点扩散函数随着景深变化所弥散的程度显著降低。
52.这样，由于解卷积算法的图像复原效果与点扩散函数的准确程度密切相关，考虑到在目标点扩散函数与目标拍摄组件的其他视场的点扩散函数存在较大差异的情况下，利用目标点扩散函数对原始图像进行统一的解卷积处理，可能无法得到复原图像中各视场区域最佳的图像复原效果，因此，本技术实施例中，通过相位板使得目标拍摄组件的各视场对应的点扩散函数较为接近，即，目标拍摄组件的中心视场对应的目标点扩散函数，与目标拍摄组件的其他视场的点扩散函数之间的差异很小，这样，利用目标点扩散函数对原始图像进行解卷积处理能够实现各个视场最佳的图像复原效果，进一步提升了目标拍摄组件所拍摄的图像的清晰度，实现了大景深范围以及大视场范围均清晰的成像，大大提升了用户的拍摄体验。
53.另外，相关技术中，为了提升拍摄组件所拍摄图像的清晰度，也有通过多张不同景深位置的图像融合成一张全视场清晰的图像的方式。但是，该方法需控制拍摄组件移动多个位置进行拍摄，每个位置拍摄的图像清晰区域不同，通过算法将多张图像进行融合，得到一张全视场清晰的图像，在图像获取阶段过程较为繁琐，导致拍照时间过长等问题。而本技术实施例中，仅获取目标拍摄组件拍摄的一张原始图像，而后，利用上述实施例的实施方式，获取预先设置的与该目标拍摄组件的中心视场对应的目标点扩散函数，再基于该目标点扩散函数对该原始图像进行解卷积处理，即可得到全视场清晰的复原图像，而不必控制拍摄组件移动多个位置进行拍摄，从而缩短了拍照时长，提升了拍摄效率。
54.上述实施例通过获取目标拍摄组件拍摄的原始图像，并获取预先设置的与目标拍
摄组件的中心视场对应的目标点扩散函数，而后，基于目标点扩散函数对原始图像进行解卷积处理得到复原图像，这样，由于目标拍摄组件在图像拍摄过程中，被拍摄对象表面的一个点经过目标拍摄组件后所成的像，是利用对应的点扩散函数对该点进行卷积处理所扩散成的多个点，即目标拍摄组件拍摄的原始图像是利用对应的点扩散函数对被拍摄对象表面的各个点进行卷积处理得到的，因此，本技术实施例利用目标拍摄组件的中心视场对应的目标点扩散函数对该原始图像进行解卷积处理，从而可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，从而提升了目标拍摄组件所拍摄的图像的清晰度。
55.在一个实施例中，基于图1所示的实施例，参见图3，本实施例涉及的是目标点扩散函数的设置过程。本实施例目标点扩散函数包括各个颜色通道的点扩散函数，如图3所示，目标点扩散函数的设置过程包括步骤104：
56.步骤104，终端对于每个颜色通道，获取目标拍摄组件的中心视场与多个不同波长分别对应的候选点扩散函数，对各候选点扩散函数进行融合处理，得到颜色通道的点扩散函数。
57.目标拍摄组件所拍摄的图像可以有一个或多个颜色通道，例如，原始图像可以具有三个颜色通道：r通道、g通道和b通道。本技术实施例中，对于各颜色通道，终端可以获取各颜色通道分别对应的点扩散函数。
58.点扩展函数描述了成像系统(目标拍摄组件)对光点的响应。通常情况下，拍摄环境的光线多种多样，具有不同的波长，目标拍摄组件对不同波长的光线的响应是不同的。鉴于此，本技术实施例中，对于每个颜色通道，终端首先获取目标拍摄组件的中心视场与多个不同波长分别对应的候选点扩散函数。
59.在一种可能的实施方式中，以通过上文所述点扩散函数测量设备测量为例，拍摄环境的光线的波长一般在400nm到700nm范围内，以5nm为间隔平均设置61个波长，对于每个颜色通道，将不同波长的光线分别从点扩散函数测量设备的中心视场(点扩散函数测量设备模拟的是目标拍摄组件)投射到点扩散函数测量设备上(投射过程中的光瞳采样在实施时可以自行设置，例如设置为128*128)，而后，根据点扩散函数测量设备对不同波长的响应，得到目标拍摄组件的中心视场与多个不同波长分别对应的候选点扩散函数。
60.在另一种可能的实施方式中，参见图4，终端可以执行图4所示的步骤401和步骤402实现获取目标拍摄组件的中心视场与多个不同波长对应的候选点扩散函数的过程：
61.步骤401，终端获取目标拍摄组件的中心视场与各波长对应的初始点扩散函数。
62.步骤402，终端按照预设的第一采样策略，对各初始点扩散函数进行采样，得到各候选点扩散函数。
63.即对于每个颜色通道，将不同波长的光线分别从点扩散函数测量设备的中心视场投射到点扩散函数测量设备上，根据点扩散函数测量设备对不同波长的响应，得到目标拍摄组件的中心视场与各波长对应的初始点扩散函数，接着，终端按照预设的第一采样策略，对各初始点扩散函数进行采样，得到各候选点扩散函数，也即，图4所示的第二种实施方式比上述第一种实施方式多了采样过程。
64.其中，第一采样策略可以是像面采样对应的采样策略。例如，像面采样间隔选取0.1μm，对应地，按照目标拍摄组件所拍摄图像的尺寸，确定像面采样率为1024*1024，这样，
终端则按照1024*1024的采样率对各初始点扩散函数进行采样，得到各候选点扩散函数。由此，通过选取较高的像面采样率，可以提升候选点扩散函数的数据密集程度，进而提升候选点扩散函数的准确性。
65.而后，终端再对各候选点扩散函数进行融合处理，得到该颜色通道的点扩散函数，示例性地，终端可以对各候选点扩散函数进行求平均值或加权求和等融合处理，得到该颜色通道的点扩散函数。
66.这样，由于考虑到了目标拍摄组件对不同波长的光线的响应不同，对于每个颜色通道，通过将不同波长分别对应的候选点扩散函数进行融合得到该颜色通道的点扩散函数，提升了各颜色通道的点扩散函数的准确性，从而提升目标点扩散函数的准确性，有利于提升复原图像的图像清晰度。
67.在一个实施例中，基于图3所示的实施例，参见图5，本实施例涉及的是终端如何对各候选点扩散函数进行融合处理，得到颜色通道的点扩散函数的过程。如图5所示，终端可以执行图5所示的步骤501和步骤502实现该过程：
68.步骤501，终端获取各候选点扩散函数对应的权重系数。
69.本技术实施例中，终端对于每个颜色通道，通过上述实施例的实施方式，获取到目标拍摄组件的中心视场与多个不同波长分别对应的候选点扩散函数之后，终端获取各候选点扩散函数对应的权重系数，以对各候选点扩散函数进行加权求和。
70.在一种可能的实施方式中，终端可以在终端的预设存储地址中读取各个候选点扩散函数对应的权重系数，该各个候选点扩散函数对应的权重系数可以是人工基于经验设置的。
71.在另一种可能的实施方式中，参见图6，步骤501可以包括图6所示的步骤5011和步骤5012：
72.步骤5011，终端获取颜色通道对应的光谱响应曲线。
73.其中，光谱响应曲线包括各波长对应的光谱响应数据。
74.示例性地，可以将不同波长的光线(如上述举例的61个波长的光线)分别投射到光谱仪，根据光谱仪对各个不同波长的光线的光谱响应数据，确定光谱响应曲线。
75.其中，光谱响应曲线的横轴例如可以是光线的波长，光谱响应曲线的纵轴例如可以是各波长对应的光谱响应数据，光谱响应数据可以是光谱仪吸收的该波长的光线的能量等响应数据。
76.步骤5012，终端对于每个波长，根据波长对应的光谱响应数据，确定波长对应的候选点扩散函数的权重系数。
77.示例性地，终端可以将各波长对应的光谱响应数据等比例均归一化至[0,1]区间内，再将各波长对应的光谱响应数据归一化后的值作为其分别对应的候选点扩散函数的权重系数。可以理解的是，权重系数与光谱响应数据呈正相关关系。
[0078]
步骤502，终端根据各候选点扩散函数对应的权重系数，对各候选点扩散函数进行加权求和，得到颜色通道的点扩散函数。
[0079]
在一种可能的实施方式中，终端对每个候选点扩散函数乘以其对应的权重系数，得到乘积，将每个候选点扩散函数对应的乘积相加得到该颜色通道的点扩散函数。
[0080]
在另一种可能的实施方式中，参见图7，步骤502可以包括图7所示的步骤5021和步
骤5022：
[0081]
步骤5021，终端根据各权重系数对各候选点扩散函数进行加权求和，得到求和点扩散函数。
[0082]
步骤5022，终端按照预设的第二采样策略，对求和点扩散函数进行采样，得到颜色通道的点扩散函数。
[0083]
即对于每个颜色通道，终端根据各权重系数对各候选点扩散函数进行加权求和，得到的结果作为求和点扩散函数，再按照预设的第二采样策略，对求和点扩散函数进行采样，才得到颜色通道的点扩散函数。
[0084]
其中，第二采样策略可以是对求和点扩散函数进行下采样至目标拍摄组件的图像传感器像素尺寸。例如，求和点扩散函数和上述举例的候选点扩散函数的像面采样间隔一致，均为0.1μm，终端通过下采样算法将求和点扩散函数的数据间隔下采样至图像传感器像素尺寸1.1μm，即对求和点扩散函数中每11*11个采样点求和为一点，得到该颜色通道的最终的点扩散函数。
[0085]
示例性地，参见图8，图8为一种示例性地单波长下目标拍摄组件的中心视场的一个颜色通道的采样示意图。
[0086]
这样，通过光谱响应曲线确定各波长对应的候选点扩散函数的权重系数，再根据各候选点扩散函数对应的权重系数对各候选点扩散函数进行加权求和，得到颜色通道的点扩散函数，由于权重系数是结合光谱响应曲线确定的，从而可以提升各颜色通道的点扩散函数的准确性，从而提升目标点扩散函数的准确性，有利于提升复原图像的图像清晰度。
[0087]
在一个实施例中，基于图2所示的实施例，参见图9，本实施例涉及的是终端如何基于目标点扩散函数对原始图像进行解卷积处理得到复原图像的过程。本实施例中，目标点扩散函数包括各个颜色通道的点扩散函数，如图9所示，步骤103可以包括步骤901、步骤902和步骤903：
[0088]
步骤901，终端将原始图像分解为各颜色通道对应的分解图像。
[0089]
如上文所述，目标拍摄组件所拍摄的原始图像可以有一个或多个颜色通道，例如，具有三个颜色通道：r通道、g通道和b通道，终端将该原始图像分解为各颜色通道分别对应的分解图像，即得到r通道对应的分解图像、g通道对应的分解图像和b通道对应的分解图像。
[0090]
步骤902，对于每个颜色通道对应的分解图像，终端根据颜色通道的点扩散函数，对分解图像进行解卷积处理，得到颜色通道对应的分解复原图像。
[0091]
目标拍摄组件的中心视场对应的目标点扩散函数包括各个颜色通道的点扩散函数，这样，终端则采用每个颜色通道的点扩散函数，对相应地颜色通道的分解图像进行解卷积处理，得到每个颜色通道对应的分解复原图像。
[0092]
以下，以一个颜色通道为例，对终端根据该颜色通道的点扩散函数，对该颜色通道的分解图像进行解卷积处理，得到该颜色通道对应的分解复原图像的过程进行介绍。
[0093]
示例性地，对于一个颜色通道对应的分解图像，终端可以根据该颜色通道的点扩散函数对该分解图像进行迭代解卷积处理，得到颜色通道对应的分解复原图像。
[0094]
其中，第k次迭代解卷积处理包括：终端根据点扩散函数、分解图像和中间图像获取图像复原修正数据，并根据中间图像和图像复原修正数据获取第k次迭代解卷积处理对
应的输出图像；其中，在k等于1的情况下，中间图像为分解图像，在k大于1的情况下，中间图像为上一次迭代解卷积处理对应的输出图像，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0095]
在一种可能的实施方式中，参见如下公式1
‑
3，终端可以根据如下公式1
‑
3进行第k次迭代解卷积处理：
[0096][0097][0098]
s
k
＝s
k
‑1·
e
k
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3
[0099]
其中，p为该颜色通道的点扩散函数；s
k
‑1为中间图像；p
*
为对该颜色通道的点扩散函数p进行矩阵翻转得到的翻转后的点扩散函数；i为该颜色通道对应的分解图像；e
k
‑1为图像复原修正数据，s
k
为第k次迭代解卷积处理对应的输出图像。在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0100]
在实际实施过程中，迭代次数可以自行设置，例如设置为20次、25次，等等。
[0101]
在另一种可能的实施方式中，终端根据中间图像和图像复原修正数据获取第k次迭代解卷积处理对应的输出图像可以包括步骤a1和步骤a2：
[0102]
步骤a1，终端根据中间图像和预设的正则项系数，获取正则项数据。
[0103]
示例性地，参见公式4：
[0104][0105]
其中，tv
k
‑1为正则项数据，
‑
λ
tv
为预设的正则项系数，λ
tv
在实施时可以自行设置，例如设置为0.001，表示中间图像s
k
‑1的梯度，div表示求散度。
[0106]
步骤a2，终端根据中间图像、图像复原修正数据和正则项数据，获取第k次迭代解卷积处理对应的输出图像。
[0107]
参见如下公式5，终端可以根据上述公式1、2、4以及如下公式5，进行第k次迭代解卷积处理：
[0108][0109]
其中，s
k
‑1为中间图像，e
k
‑1为图像复原修正数据，s
k
为第k次迭代解卷积处理对应的输出图像，tv
k
‑1为正则项数据，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0110]
这样，通过全变分正则化的解卷积处理方式，终端可以获取各颜色通道对应的清晰的分解复原图像。
[0111]
需要说明的是，正则项的形式不局限于公式4的计算方式，还可以采用其他形式的正则项，例如tikhonov正则项，hessian正则项等。
[0112]
步骤903，终端对各颜色通道对应的分解复原图像进行融合处理，得到复原图像。
[0113]
终端通过解卷积处理得到各颜色通道对应的分解复原图像后，对各颜色通道对应的分解复原图像进行融合处理，即可得到清晰的复原图像，该复原图像的清晰度大于原始
图像的清晰度，将复原图像作为目标拍摄组件最终拍摄得到的图像输出，提升了目标拍摄组件所拍摄的图像的清晰度，获得了较大景深范围内清晰的照片效果。
[0114]
在一个实施例中，提供了一种图像处理方法，包括：
[0115]
步骤a，对于每个颜色通道，终端获取目标拍摄组件的中心视场与各波长对应的初始点扩散函数。
[0116]
目标拍摄组件包括相位板，相位板用于调制目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值。
[0117]
步骤b，终端按照预设的第一采样策略，对各初始点扩散函数进行采样，得到各候选点扩散函数。
[0118]
步骤c，终端获取颜色通道对应的光谱响应曲线，光谱响应曲线包括各波长对应的光谱响应数据。
[0119]
步骤d，终端对于每个波长，根据波长对应的光谱响应数据，确定波长对应的候选点扩散函数的权重系数。
[0120]
其中，权重系数与光谱响应数据呈正相关关系。
[0121]
步骤e，终端根据各权重系数对各候选点扩散函数进行加权求和，得到求和点扩散函数。
[0122]
步骤f，终端按照预设的第二采样策略，对求和点扩散函数进行采样，得到颜色通道的点扩散函数。
[0123]
步骤g，终端获取目标拍摄组件拍摄的原始图像。
[0124]
步骤h，终端获取预先设置的与目标拍摄组件的中心视场对应的目标点扩散函数。
[0125]
其中，目标点扩散函数包括各个颜色通道的点扩散函数。
[0126]
步骤i，终端将原始图像分解为各颜色通道对应的分解图像。
[0127]
步骤j，终端对于每个颜色通道对应的分解图像，根据颜色通道的点扩散函数对分解图像进行迭代解卷积处理，得到颜色通道对应的分解复原图像。
[0128]
其中，第k次迭代解卷积处理包括：根据点扩散函数、分解图像和中间图像获取图像复原修正数据，并根据中间图像和预设的正则项系数，获取正则项数据；根据中间图像、图像复原修正数据和正则项数据，获取第k次迭代解卷积处理对应的输出图像。
[0129]
其中，在k等于1的情况下，中间图像为分解图像，在k大于1的情况下，中间图像为上一次迭代解卷积处理对应的输出图像，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0130]
步骤k，终端对各颜色通道对应的分解复原图像进行融合处理，得到复原图像。
[0131]
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0132]
图10为一个实施例的图像处理装置的结构框图。如图10所示，该装置包括：
[0133]
第一获取模块100，用于获取目标拍摄组件拍摄的原始图像；
[0134]
第二获取模块200，用于获取预先设置的与所述目标拍摄组件的中心视场对应的目标点扩散函数；
[0135]
处理模块300，用于基于所述目标点扩散函数对所述原始图像进行解卷积处理，得到复原图像。
[0136]
可选地，所述目标点扩散函数包括各个颜色通道的点扩散函数，所述装置还包括：
[0137]
第三获取模块，用于对于每个所述颜色通道，获取所述目标拍摄组件的所述中心视场与多个不同波长分别对应的候选点扩散函数；
[0138]
融合模块，对各所述候选点扩散函数进行融合处理，得到所述颜色通道的所述点扩散函数。
[0139]
可选地，所述第三获取模块具体用于对于每个所述颜色通道，获取所述目标拍摄组件的所述中心视场与各所述波长对应的初始点扩散函数；按照预设的第一采样策略，对各所述初始点扩散函数进行采样，得到各所述候选点扩散函数。
[0140]
可选地，所述融合模块，包括：
[0141]
获取单元，用于获取各所述候选点扩散函数对应的权重系数；
[0142]
求和单元，用于根据各所述候选点扩散函数对应的权重系数，对各所述候选点扩散函数进行加权求和，得到所述颜色通道的所述点扩散函数。
[0143]
可选地，所述获取单元具体用于获取所述颜色通道对应的光谱响应曲线，所述光谱响应曲线包括各所述波长对应的光谱响应数据；对于每个所述波长，根据所述波长对应的所述光谱响应数据，确定所述波长对应的所述候选点扩散函数的所述权重系数，其中，所述权重系数与所述光谱响应数据呈正相关关系。
[0144]
可选地，所述求和单元具体用于根据各所述权重系数对各所述候选点扩散函数进行加权求和，得到求和点扩散函数；按照预设的第二采样策略，对所述求和点扩散函数进行采样，得到所述颜色通道的所述点扩散函数。
[0145]
可选地，所述目标点扩散函数包括各个颜色通道的点扩散函数，所述处理模块300，包括：
[0146]
分解单元，用于将所述原始图像分解为各所述颜色通道对应的分解图像；
[0147]
解卷积单元，用于对于每个所述颜色通道对应的所述分解图像，根据所述颜色通道的所述点扩散函数，对所述分解图像进行解卷积处理，得到所述颜色通道对应的分解复原图像；
[0148]
融合单元，用于对各所述颜色通道对应的所述分解复原图像进行融合处理，得到所述复原图像。
[0149]
可选地，所述解卷积单元具体用于对于每个所述颜色通道对应的所述分解图像，根据所述颜色通道的所述点扩散函数对所述分解图像进行迭代解卷积处理，得到所述颜色通道对应的所述分解复原图像；其中，第k次迭代解卷积处理包括：根据所述点扩散函数、所述分解图像和中间图像获取图像复原修正数据，并根据所述中间图像和所述图像复原修正数据获取第k次迭代解卷积处理对应的输出图像；其中，在k等于1的情况下，所述中间图像为所述分解图像，在k大于1的情况下，所述中间图像为上一次迭代解卷积处理对应的输出图像，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为所述颜色
通道对应的所述分解复原图像。
[0150]
可选地，所述解卷积单元具体用于根据所述中间图像和预设的正则项系数，获取正则项数据；根据所述中间图像、所述图像复原修正数据和所述正则项数据，获取第k次迭代解卷积处理对应的输出图像。
[0151]
可选地，所述目标拍摄组件包括相位板，所述相位板用于调制所述目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值。
[0152]
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
[0153]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0154]
本技术实施例提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0155]
图11为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0156]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
[0157]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0158]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read
‑
only memory，只读存储器)、prom(programmable read
‑
only memory，可编程只读存储器)、eprom(erasable programmable read
‑
only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步
动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0159]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。