一种基于限制性预测滤波的图像散景渲染方法及系统与流程

1.本发明属于图像处理技术领域，具体涉及一种基于限制性预测滤波的图像散景渲染方法及系统。
技术背景
2.散景渲染在摄影领域是一项常用的拍摄技巧，通常拍摄者将相机设置为大光圈拍摄模式进行图像拍摄从而将图像中的不感兴趣的部分模糊处理即散景渲染。
3.现有的技术可以分成两大类：基于硬件的实现方法以及基于软件的实现方法。基于硬件层面的实现方法有googlepixel手机使用双摄像头拍摄的数据进行散景估计；而iphone7 使用双镜头估计场景深度，从而对拍摄的图像选择性地模糊背景。而基于软件层面的实现方法多数都是采用基于深度学习技术，搭建端到端的网络实现图像的散景效果渲染。第一类方法的实现依赖于特殊设备，直接增加制造成本。而第二类方法受限于深度学习可解释性差的问题，缺乏对散景渲染内容的原理解释。


技术实现要素：

4.针对上述的基于硬件实现方法成本高，基于软件实现方法可解释性差的问题，本发明提出了一种基于限制性预测滤波的图像散景渲染方法。进一步的提出了一种实现上述方法的系统。
5.实现步骤：本发明的第一方面，提出了一种基于限制性预测滤波的图像散景渲染方法，其基本步骤为:
6.步骤1：准备数据集并对数据进行预处理；
7.步骤2：构建基于限制性预测滤波的图像散景渲染网络；
8.首先建立基本的图像散景渲染任务的理论模型，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。
9.所述的基于限制性预测滤波的图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，用于辅助后续限制性预测滤波模块f的工作，而限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
10.步骤3：通过数据集训练图像散景渲染网络模型：
11.步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出；
12.步骤1具体步骤如下；
13.步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片。其中
数据集中的全聚焦图片i
org
作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片i
gt
作为模型训练过程中的用于与模型输出图片进行对比的对比数据。
14.步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024
×
1536的尺寸，减少训练网络所需要的成本。
15.步骤2具体方法如下；
16.步骤2.1：建立基本的图像散景渲染任务的理论模型。全聚焦图片i
org
和真实散景渲染效果的图片i
gt
具有相同的清晰的显著部分i
focus
；全聚焦图片除去清晰的显著部分后剩余的部分i
defocus
需要进行散景渲染处理。所以，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。图像图像散景渲染任务的理论模型公式表示如下：
[0017][0018]
其中ψ表示针对全聚焦图片i
org
的显著性内容检测函数；表示对图片进行模糊处理的模糊函数。
[0019]
步骤2.2：针对图像散景渲染任务，推导基于限制性预测滤波的图像散景渲染模型。构建限制性预测滤波模块f，所述的限制性预测滤波模块包括限制性预测滤波器生成模块f
g
和自适应滤波模块f
v
。
[0020]
限制性预测滤波器生成模块f
g
用于生成一个对输入图片x的每个像素均具有特定滤波核参数的滤波器f，即：
[0021]
f
θ(i，j)
＝f
g
(x(i，j))
[0022]
其中θ(i，j)表示对应于输入图片x的(i，j)像素的滤波核参数，而k表示滤波核的尺寸。
[0023]
自适应滤波模块f
v
使用由限制性预测滤波器生成模块f
g
生成的滤波器f对输入图片x进行自适应滤波操作。在限制性预测滤波器生成模块f
g
中，生成的滤波器f的滤波核参数θ利用softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核k
b
，用于像素平移的滤波核k
d
以及用于像素保留的滤波核k
r
。其中用于邻域模糊的滤波核k
b
的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核k
d
的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核k
r
的参数只有中心元素的值为1，其他元素值均为0。因此，在限制性预测滤波模块f的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：
[0024]
i
bokeh
(i，j)＝f
v
(i
org
(i，j)，f
θ(i，j)
)
[0025]
其中，i
org
表示全聚焦图片，f表示由限制性预测滤波器生成模块f
g
生成的滤波器，θ(i，j)表示特定于输入图片i
org
的第(i，j)个像素生成的滤波核参数，其属于三种核参数k
r
，k
b
，k
d
类型中的一种，i
bokeh
表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片。
[0026]
与步骤2.1中的图像散景渲染任务的理论模型对比看出，本发明提出的基于限制性预测滤波的图像散景渲染模型将图像散景渲染任务的理论模型中提出的两个子任务(子任务一是对输入图片进行显著部分内容保留，子任务二是对输入图片进行自适应的散景模糊处理)用统一的限制性预测滤波模块f完成。
[0027]
步骤2.3：构建显著性检测模块。从理论上来讲，本发明只需要使用限制性预测滤波模块f就可以完成对单张输入图像的散景渲染处理。但是为了获得更加精准的自适应滤波效果，保证输入图片的显著部分不被模糊，构建显著性检测模块g，用于检测输入全聚焦图片i
org
中的显著性特征，辅助限制性预测滤波模块f从而实现精准的自适应滤波。
[0028]
步骤2.4：构建基于限制性预测滤波的图像散景渲染网络，并通过数据集进行训练。
[0029]
所述的图像散景渲染网络模型包括显著性检测模块g和限制性预测滤波模块f。其中显著性检测模块g用于检测输入全聚焦图片i
org
中的显著性特征，用于辅助后续限制性预测滤波模块f的工作，而限制性预测滤波模块f用于保留显著性检测模块g检测到的显著性特征，并对输入图片i
org
的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
[0030]
步骤3具体方法如下：
[0031]
首先将步骤1中建立数据集中的全聚焦图片i
org
输入图像散景渲染网络；通过显著性检测模块g和限制性预测滤波模块f进行图像的显著性特征保留和背景模糊；最后，利用损失函数不断优化模型输出的具有散景渲染的图片i
bokeh
，使其逐渐相似于步骤1构建的数据集中的具有真实散景渲染效果的图片i
gt
。
[0032]
训练过程中，损失函数l采用l1函数和ls函数的结合，提高模型输出图片i
bokeh
与对比图片i
gt
之间的结构相似性，并利用深度学习的反向传播，不断减小模型输出图片i
bokeh
和对比图片i
gt
之间的差异，从而实现模型输出的具有散景渲染的图片i
bokeh
的优化，其具体表示为：
[0033]
l＝l1(i
bokeh
，i
gt
) ls(i
bokeh
，i
gt
)
[0034]
其中l1(i
bokeh
，i
gt
)表示模型输出的具有散景渲染的图片i
bokeh
与对比图片i
gt
的重构函数，具体如下：
[0035]
l1(i
bokeh
，i
gt
)＝||i
bokeh
‑
i
gt
||1[0036]
而ls(i
bokeh
，i
gt
)表示模型输出的具有散景渲染的图片i
bokeh
与对比图片i
gt
的轮廓相似函数，具体如下：
[0037][0038]
其中sobel代表对图片进行水平和竖直方向的梯度计算，用于计算图片内容的轮廓结构，n代表图片的像素点个数总和，即图片的宽w
×
高h。
[0039]
步骤4具体方法如下；
[0040]
首先，对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024
×
1536的尺寸，然后将处理后的图片输入至训练好的图像散景渲染网络中，依次经过显著性检测模块g和限制性预测滤波模块f，得到具有散景渲染效果的模型输出图片i
bokeh
。
[0041]
本发明的第二方面，提出了一种实现基于限制性预测滤波的图像散景渲染的系统，包括数据预处理模块、显著性检测模块和限制性预测滤波模块：
[0042]
所述的数据预处理模块用于对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024
×
1536的尺寸。
[0043]
所述的显著性检测模块用于对数据预处理模块处理后的图像的显著性特征的检
测。
[0044]
所述的所述的限制性预测滤波模块包括限制性预测滤波器生成模块f
g
和自适应滤波模块f
v
。
[0045]
限制性预测滤波器生成模块f
g
用于生成一个对输入图片x的每个像素均具有特定滤波核参数的滤波器f。
[0046]
自适应滤波模块f
v
使用由限制性预测滤波器生成模块f
g
生成的滤波器f对输入图片x进行自适应滤波操作。在限制性预测滤波器生成模块f
g
中，生成的滤波器f的滤波核参数θ利用softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核k
b
，用于像素平移的滤波核k
d
以及用于像素保留的滤波核k
r
。其中用于邻域模糊的滤波核k
b
的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核k
d
的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核k
r
的参数只有中心元素的值为1，其他元素值均为0。
[0047]
本发明有益效果如下：
[0048]
1.创新的提出了一种基于限制性预测滤波的图像散景渲染方法，该方法具有很强的理论可解释性。该方法提出使用三种参数类型的限制性预测滤波核对图片进行自适应滤波，从而实现散景渲染处理。
[0049]
2.创新的提出了一种限制性预测滤波模块用于实现图像的散景渲染处理，该模块由限制性预测滤波器生成模块和自适应滤波模块组成。其中限制性预测滤波器生成模块用于生成针对输入图片不同像素值的具有不同参数滤波器，自适应滤波模块用于使用生成的滤波器对输入图片进行自适应滤波处理，实现散景渲染效果。
[0050]
3.创新的提出了一种实现上述方法的系统，该系统包括数据集模块，网络模块核散景渲染模块。
附图说明
[0051]
图1为本发明的方法流程示意图；
[0052]
图2为基本的图像散景渲染任务的理论模型；
[0053]
图3为基于限制性预测滤波的图像散景渲染模型；
[0054]
图4为基于限制性预测滤波的图像散景渲染的网络模型；
[0055]
图5为花朵产生散景渲染的效果图；
[0056]
图6为路标产生散景渲染的效果图。
具体实施方式
[0057]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0058]
本发明首先进行以下定义及说明：
[0059]
i
org
：表示全聚焦图片；
[0060]
i
gt
：表示真实的散景渲染图片；
[0061]
i
bokeh
：表示具有散景渲染效果的模型输出图片；
[0062]
g：表示显著性检测模块；
[0063]
f：表示限制性预测滤波模块；
[0064]
f：表示限制性预测滤波器生成模块f
g
生成的限制性预测滤波器；
[0065]
k
r
，k
b
，k
d
：表示本发明设计的三种类型的限制性预测滤波核；
[0066]
本发明提出了一种基于限制性预测滤波的图像散景渲染方法，其基本步骤如图1所示，包括：
[0067]
步骤1：准备数据集并对数据进行预处理；
[0068]
步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片。其中数据集中的全聚焦图片i
org
作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片i
gt
作为模型训练过程中的用于与模型输出图片进行对比的对比数据。
[0069]
步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024
×
1536的尺寸，减少训练网络所需要的成本。
[0070]
步骤2：构建基于限制性预测滤波的图像散景渲染网络；
[0071]
步骤2.1：建立基本的图像散景渲染任务的理论模型。全聚焦图片i
org
和真实散景渲染效果的图片i
gt
具有相同的清晰的显著部分i
focus
；全聚焦图片除去清晰的显著部分后剩余的部分i
defocus
需要进行散景渲染处理。所以，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。
[0072]
如图2所示，图像图像散景渲染任务的理论模型公式表示如下：
[0073][0074]
其中ψ表示针对全聚焦图片i
org
的显著性内容检测函数；表示对图片进行模糊处理的模糊函数。
[0075]
步骤2.2：针对图像散景渲染任务，推导基于限制性预测滤波的图像散景渲染模型，如图3所示。构建限制性预测滤波模块f，所述的限制性预测滤波模块包括限制性预测滤波器生成模块f
g
和自适应滤波模块f
v
。
[0076]
限制性预测滤波器生成模块f
g
用于生成一个对输入图片x的每个像素均具有特定滤波核参数的滤波器f，即：
[0077]
f
θ(i，j)
＝f
g
(x(i，j))
[0078]
其中θ(i，j)表示对应于输入图片x的(i，j)像素的滤波核参数，而k表示滤波核的尺寸。
[0079]
自适应滤波模块f
v
使用由限制性预测滤波器生成模块f
g
生成的滤波器f对输入图片x进行自适应滤波操作。在限制性预测滤波器生成模块f
g
中，生成的滤波器f的滤波核参数θ利用softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核k
b
，用于像素平移的滤波核k
d
以及用于像素保留的滤波核k
r
。其中用于邻域模糊的滤波核k
b
的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核k
d
的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核k
r
的参数只有中心元素的值为1，其他元素值均为0。因此，在限制性预测滤波模块f的作用下，基于限制性
预测滤波的图像散景渲染任务的模型可以用公式表示为：
[0080]
i
bokeh
(i，j)＝f
v
(i
org
(i，j)，f
θ(i，j)
)
[0081]
其中，i
org
表示全聚焦图片，f表示由限制性预测滤波器生成模块f
g
生成的滤波器，θ(i，j)表示特定于输入图片i
org
的第(i，j)个像素生成的滤波核参数，其属于三种核参数k
r
，k
b
，k
d
类型中的一种，i
bokeh
表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片。
[0082]
与步骤2.1中的图像散景渲染任务的理论模型对比看出，本发明提出的基于限制性预测滤波的图像散景渲染模型将图像散景渲染任务的理论模型中提出的两个子任务(子任务一是对输入图片进行显著部分内容保留，子任务二是对输入图片进行自适应的散景模糊处理)用统一的限制性预测滤波模块f完成。
[0083]
步骤2.3：构建显著性检测模块。从理论上来讲，本发明只需要使用限制性预测滤波模块f就可以完成对单张输入图像的散景渲染处理。但是为了获得更加精准的自适应滤波效果，保证输入图片的显著部分不被模糊，构建显著性检测模块g，用于检测输入全聚焦图片i
org
中的显著性特征，辅助限制性预测滤波模块f从而实现精准的自适应滤波。
[0084]
步骤2.4：构建基于限制性预测滤波的图像散景渲染网络，并通过数据集进行训练。
[0085]
如图4所示，所述的图像散景渲染网络模型包括显著性检测模块g和限制性预测滤波模块f。其中显著性检测模块g用于检测输入全聚焦图片i
org
中的显著性特征，用于辅助后续限制性预测滤波模块f的工作，而限制性预测滤波模块f用于保留显著性检测模块g检测到的显著性特征，并对输入图片i
org
的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
[0086]
步骤3：训练图像散景渲染网络模型：
[0087]
首先将步骤1中建立数据集中的全聚焦图片i
org
输入图像散景渲染网络；通过显著性检测模块g和限制性预测滤波模块f进行图像的显著性特征保留和背景模糊；最后，利用损失函数不断优化模型输出的具有散景渲染的图片i
bokeh
，使其逐渐相似于步骤1构建的数据集中的具有真实散景渲染效果的图片i
gt
。
[0088]
训练过程中，损失函数l采用l1函数和ls函数的结合，提高模型输出图片i
bokeh
与对比图片i
gt
之间的结构相似性，并利用深度学习的反向传播，不断减小模型输出图片i
bokeh
和对比图片i
gt
之间的差异，从而实现模型输出的具有散景渲染的图片i
bokeh
的优化，其具体表示为：
[0089]
l＝l1(i
bokeh
，i
gt
) ls(i
bokeh
，i
gt
)
[0090]
其中l1(i
bokeh
，i
gt
)表示模型输出的具有散景渲染的图片i
bokeh
与对比图片i
gt
的重构函数，具体如下：
[0091]
l1(i
bokeh
，i
gt
)＝||i
bokeh
‑
i
gt
||1[0092]
而ls(i
bokeh
，i
gt
)表示模型输出的具有散景渲染的图片i
bokeh
与对比图片i
gt
的轮廓相似函数，具体如下：
[0093][0094]
其中sobel代表对图片进行水平和竖直方向的梯度计算，用于计算图片内容的轮
廓结构，n代表图片的像素点个数总和，即图片的宽w
×
高h。
[0095]
步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出；
[0096]
首先，对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024
×
1536的尺寸，然后将处理后的图片输入至训练好的图像散景渲染网络中，依次经过显著性检测模块g和限制性预测滤波模块f，得到具有散景渲染效果的模型输出图片i
bokeh
。
[0097]
图5为花朵产生散景渲染的效果图；
[0098]
图6为路标产生散景渲染的效果图。
[0099]
本发明的第二方面，提出了一种实现基于限制性预测滤波的图像散景渲染的系统，包括数据预处理模块、显著性检测模块和限制性预测滤波模块：
[0100]
所述的数据预处理模块用于对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024
×
1536的尺寸。
[0101]
所述的显著性检测模块用于对数据预处理模块处理后的图像的显著性特征的检测。
[0102]
所述的所述的限制性预测滤波模块包括限制性预测滤波器生成模块f
g
和自适应滤波模块f
v
。
[0103]
限制性预测滤波器生成模块f
g
用于生成一个对输入图片x的每个像素均具有特定滤波核参数的滤波器f，即：
[0104]
f
θ(i，j)
＝f
g
(x(i，j))
[0105]
其中θ(i，j)表示对应于输入图片x的(i，j)像素的滤波核参数，而k表示滤波核的尺寸。
[0106]
自适应滤波模块f
v
使用由限制性预测滤波器生成模块f
g
生成的滤波器f对输入图片x进行自适应滤波操作。在限制性预测滤波器生成模块f
g
中，生成的滤波器f的滤波核参数θ利用softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核k
b
，用于像素平移的滤波核k
d
以及用于像素保留的滤波核k
r
。其中用于邻域模糊的滤波核k
b
的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核k
d
的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核k
r
的参数只有中心元素的值为1，其他元素值均为0。因此，在限制性预测滤波模块f的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：
[0107]
i
bokeh
(i，j)＝f
v
(i
org
(i，j)，f
θ(i，j)
)
[0108]
其中，i
org
表示全聚焦图片，f表示由限制性预测滤波器生成模块f
g
生成的滤波器，θ(i，j)表示特定于输入图片i
org
的第(i，j)个像素生成的滤波核参数，其属于三种核参数k
r
，k
b
，k
d
类型中的一种，i
bokeh
表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片。