一种基于先验知识的散焦图像去模糊方法、装置及介质与流程

1.本发明涉及图像去模糊技术领域，尤其涉及一种基于先验知识的散焦图像去模糊方法、装置及介质。


背景技术：

2.使用大光圈可以增加光通量，从而以更短的曝光时间拍摄图像。然而，这也降低了景深 (dof)，只有靠近焦平面的点才能被清晰地捕捉到，而远离焦平面的点将投射到相机传感器上，而不是单个图像点，此现象被称为散焦模糊，这个点被称为混乱圈。浅景深有时是摄影师刻意追求的美学效果，但它也可能会降低重要的视觉信息。因此，高度需要从其散焦版本恢复全焦图像以揭示潜在信息并有利于人工智能应用。
3.尽管具有巨大的潜力，但去焦点去模糊仍然是一个具有挑战性的问题，因为它的空间变化的性质，每个点都有自己的混乱圈直径，具体取决于相应场景点的深度。此外，混乱圈的形状随着与光轴的相对位置而变化。
4.为了解决散焦模糊，最直观的方法是首先估计每个像素的模糊核，然后应用非盲去卷积。然而，这两个步骤都有局限性。首先，基于简单的高斯或磁盘核假设，模糊核的估计经常不准确。其次，即使给出了准确的模糊核，由于吉布斯现象，反卷积也会在边缘引入环形伪影。


技术实现要素：

5.本发明的目的在于提供一种基于先验知识的散焦图像去模糊方法、装置及介质，用以解决上述问题。
6.为了实现上述目的，本发明采用的技术方案为：一种基于先验知识的散焦图像去模糊方法，包括：构建一个用于单图像散焦图模糊的深度学习网络模型，其中包括编码器与解码器；在所述深度学习网络模型中增加先验知识驱动特征提取模块，作为特征提取的编码器；将光场生成数据集lfdof作为第一训练数据集对所述深度学习网络模型进行训练，并将dpdd数据集作为第二训练数据集对所述深度学习网络模型进行微调；由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
7.进一步的，所述深度学习网络模型由编码器提取多尺度金字塔特征，通过跳跃连接将特征添加至解码器的相应尺度。
8.进一步的，所述先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块，输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
9.进一步的，先验知识残差块的卷积运算可以表示为：
，；其中*表示卷积，输入特征｛l,r｝对应的第p个先验知识残差块中的第q个卷积层记为，的输出特征记为，分别表示与输入特征 r 和 l 对应的共享卷积核和私有卷积核，c是中的内核数。
10.进一步的，经过所述先验知识残差块卷积运算后的输出特征为：，；其中，relu为激活函数。
11.进一步的，在以第一训练数据集对所述深度学习网络模型进行训练时，使用l1范数作为损失函数，其可表示为：其中，为恢复得到的清晰图像，y为第一训练数据集中与输入网络训练图像对应的全焦图像。
12.进一步的，以第二训练数据集对所述深度学习网络模型进行微调时，在特征空间中计算特征损失，其损失函数可表示为：其中，来表示损失网络。
13.本发明还提供了一种基于先验知识的散焦图像去模糊装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的基于先验知识的散焦图像去模糊方法。
14.本发明还提供了一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行所述的基于先验知识的散焦图像去模糊方法。
15.本发明与现有技术相比，至少包含以下有益效果：（1）提出了一种端到端的深度学习网络模型，该模型配备了一种新颖的动态残差块，以从粗到细的方式重建清晰的图像；（2）在网络模型中引入了一个先验知识驱动的特征提取模块，该模块使用共享卷积核来提取公共信息，并使用私有卷积核来提取特定于模态的信息，以更好地处理空间变化的散焦模糊；（3）开发了一种新的单图像散焦去模糊训练策略，以提高该网络模型的适用性。
附图说明
16.图1是本发明所提供实施例中散焦图像去模糊方法的流程图；图2是本发明所提供实施例中深度学习网络模型的架构示意图；
图3是本发明所提供实施例中先验知识驱动特征提取模块的框架示意图。
具体实施方式
17.需要说明，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
18.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
19.以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
20.单图像散焦去模糊旨在从观察到的输入图像x中恢复潜在的清晰图像，该输入图像x因散焦模糊而失真。
21.如图1所示，本发明提供的一种基于先验知识的散焦图像去模糊方法，包括：s1、构建一个用于单图像散焦图模糊的深度学习网络模型，其中包括编码器与解码器；s2、在所述深度学习网络模型中增加先验知识驱动特征提取模块，作为特征提取的编码器；s3、将光场生成数据集lfdof作为第一训练数据集对所述深度学习网络模型进行训练，并将dpdd数据集作为第二训练数据集对所述深度学习网络模型进行微调；s4、由训练完成的深度学习网络模型从散焦图像中恢复清晰的图像。
22.本发明可以将所构建的深度学习网络模型训练为由θ参数化的映射函数f，从而将输入的图像x恢复至清晰图像。其中，该映射函数可表示为：在深度学习网络模型训练中，通过调整损失函数优化θ，而最小化和y之间的距离，从而提高恢复所得图像的精确性。
23.其中， (xi, yi) 是散焦和全焦图像对。
24.如图2所示，本发明在编码器解码器结构中设计了深度学习网络模型f，其包括有编码器ε和解码器d，由编码器ε提取多尺度金字塔特征，通过跳跃连接将特征添加至解码器的相应尺度以稳定网络训练，并由解码器通过上采样在全分辨率重建清晰图像。同时，有两个残差块被添加到解码器的每个尺度，将深层次特征更加清晰地重建。
25.在本发明所提供的深度网络学习模型f中引入了先验知识驱动特征提取模块rn，其构建为用于特征提取的编码器，以更好地处理空间变化的散焦模糊。
26.如图3所示，先验知识驱动特征提取模块包括初始卷积层以及多个先验知识残差块，输入的特征在经过所述初始卷积层和多个先验知识残差块的卷积运算后得到包含跨模态图像对中的共享特征和私有特征。
27.将对应于｛l,r｝的初始卷积层表示为，｛l,r｝对应的第p个先验知识残差块中的第q个卷积层记为，其中p = 1, 2,
ꢀ…ꢀ
, p, q=1, 2，的输出特征记为，m，n为不同尺度特征图像的高度和宽度，c是中的内核数，p和c是可以认为调整的。
28.那么以第p个先验知识残差块中的卷积核为例，先验知识残差块的卷积运算可以表示为，；其中*表示卷积，输入特征｛l,r｝对应的第p个先验知识残差块中的第q个卷积层记为，的输出特征记为，分别表示与输入特征 r 和 l 对应的共享卷积核和私有卷积核。
29.经过卷积运算后，第p个残差块中的输出特征为：，；其中，relu为激活函数。
30.此基于先验知识驱动特征提取模块的输出是和，它们包含跨模态图像对中的共享特征和私有特征，并由该共享特征和私有特征重建清晰图像。
31.在构建完深度学习网络模型后，就需要对该网络模型进行训练。由于传统数码相机和光场相机产生的散焦模糊是不同的，为了弥补这一差距，提出了一种利用强度并克服光场数据缺点的训练策略。
32.具体来说，通过训练分析了两个散焦模糊数据集lfdof和dpdd的特征后，在主训练轮中应用光场生成数据集lfdof以获得高度准确的图像对应。然后，使用dpdd数据集对网络模型进行微调，以缓解两个领域之间的差异，从而提高网络模型的适用范围。
33.在网络模型训练时，每个阶段使用不同的损失函数。其中，在以lfdof数据集对深度学习网络模型进行训练时，使用l1范数作为损失函数，其可表示为：其中，为恢复得到的清晰图像，y为数据集lfdof中与输入网络训练图像对应的全焦图像。
34.而通过数据集dpdd对深度学习网络模型进行微调时，在特征空间中计算特征损失，其损失函数可表示为：其中，来表示损失网络。
35.本发明在这一过程中，应用基于vgg的特征损失将学习到的知识转移到特征空间中的目标域，从而避免在图像空间中的精确匹配。
36.在本发明另一实施例中，还提供一种基于先验知识的散焦图像去模糊装置，包括
至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的基于先验知识的散焦图像去模糊方法。
37.在本发明另一实施例中，还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的基于先验知识的散焦图像去模糊方法。
38.专业人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
39.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。