图像的卡通纹理分离方法、装置、电子设备及存储介质与流程

1.本发明属于图像处理技术领域，特别涉及一种图像的卡通纹理分离方法、装置、电子设备及存储介质。


背景技术：

2.卡通纹理分离技术，顾名思义是将图像分解成包含高度振荡或伪随机图案的纹理分量，以及作为分段平滑图像的卡通部分。
3.目前，许多图像分离算法通过对这两个组件都施加先验来解决这个问题。对于卡通部分，人们通常使用各向同性全变差范数。而对于纹理分量部分，纹理的建模比较困难。papyan曾经采用过sbdl算法进行图片卡通纹理部分的分离，peng也采用afb算法进行过分离，但是卡通部分和纹理部分分离的不彻底，卡通部分细节处理不到位。


技术实现要素：

4.本说明书实施例的目的是提供一种图像的卡通纹理分离方法、装置、电子设备及存储介质。
5.为解决上述技术问题，本技术实施例通过以下方式实现的：
6.第一方面，本技术提供一种图像的卡通纹理分离方法，该方法包括：
7.基于piano算法构建的卷积字典学习模型，确定待分离图像的图像目标函数，图像目标函数包括待分离图像的纹理部分变量和卡通部分变量；
8.基于图像目标函数，分别更新纹理部分变量和卡通部分变量，得到更新后纹理部分变量和更新后卡通部分变量；
9.根据更新后纹理部分变量和更新后卡通部分变量，确定待分离图像的卡通部分和纹理部分。
10.在其中一个实施例中，piano算法的目标函数为：
[0011][0012]
其中，d
l
是n行m列的局部卷积字典；α
l,i
为m列，是每个样本l的分量i的稀疏编码；为n行n列，将第i个位置放入d
l
α
l,i
并用零填充其余条目的运算符；y
l
是获得的信号；λ1和λ2是超参数；ω1是施加在具有范数的列向量上的稀疏约束，定义为ω1(x)＝||x||0；ω2是指标函数，定义如下：其中，c是一个单位范数球体，用来限制每个原子的长度，d
l
的每一列都是范数,
[0013]
定义f和g分别如下：
[0014][0015][0016]
f的梯度为：
[0017][0018]
其中，
[0019][0020]
g的近端映射为：
[0021][0022]
其中，prox表示近端算子，为中间变量，
[0023][0024][0025]
其中，η
t
是步长。
[0026]
在其中一个实施例中，纹理部分变量包括纹理字典和纹理字典对应的编码；卡通部分变量包括卡通变量、卡通变量的对偶变量及误差变量；
[0027]
基于piano算法构建的卷积字典学习模型，确定待分离图像的图像目标函数，包括：
[0028]
基于piano算法的目标函数，确定待分离图像的第一目标函数为：
[0029][0030]
其中，(d
l
)
l,t
为纹理字典，(α
l,i
)
l,t
为纹理字典对应的编码；y
l,c
为卡通变量；y
l
为待分离图像；
[0031]
取卡通变量y
l,c
为y
l,c
＝z
l,c
，z
l,c
为卡通变量的对偶变量；
[0032]
根据卡通变量、对偶变量及误差变量，确定约束项；
[0033]
将约束项添加到第一目标函数，得到待分离图像的图像目标函数：
[0034][0035]
其中，v
l,c
为误差变量，η和ξ为拉格朗日系数。
[0036]
在其中一个实施例中，基于图像目标函数，分别更新纹理部分变量和卡通部分变量，得到更新后纹理部分变量和更新后卡通部分变量，包括：
[0037]
更新编码，得到更新后编码；
[0038]
更新卡通变量，得到更新后卡通变量；
[0039]
更新对偶变量，得到更新后对偶变量；
[0040]
更新误差变量，得到更新后误差变量；误差变量根据卡通变量和对偶变量确定；
[0041]
更新纹理字典，得到更新后纹理字典；
[0042]
根据更新后编码和更新后纹理字典，得到更新后纹理部分变量；
[0043]
根据更新后卡通变量、更新后对偶变量及更新后误差变量，得到更新后卡通部分变量。
[0044]
在其中一个实施例中，更新对偶变量通过下式更新：
[0045][0046]
其中，η为拉格朗日常数。
[0047]
在其中一个实施例中，更新对偶变量采用全变分模型去噪方法。
[0048]
在其中一个实施例中，根据更新后纹理部分变量和更新后卡通部分变量，确定待分离图像的卡通部分和纹理部分，包括：
[0049]
根据更新后纹理部分变量，重构得到待分离图像的纹理部分；
[0050]
根据更新后卡通部分变量，得到待分离图像的卡通部分。
[0051]
第二方面，本技术提供一种图像的卡通纹理分离装置，该装置包括：
[0052]
第一确定模块，用于基于piano算法构建的卷积字典学习模型，确定待分离图像的图像目标函数，图像目标函数包括待分离图像的纹理部分变量和卡通部分变量；
[0053]
更新模块，用于基于图像目标函数，分别更新纹理部分变量和卡通部分变量，得到更新后纹理部分变量和更新后卡通部分变量；
[0054]
第二确定模块，用于根据更新后纹理部分变量和更新后卡通部分变量，确定待分离图像的卡通部分和纹理部分。
[0055]
第三方面，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的图像的卡通纹理分离方法。
[0056]
第四方面，本技术提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的图像的卡通纹理分离方法。
[0057]
由以上本说明书实施例提供的技术方案可见，该方案：
[0058]
基于piano算法构建的卷积字典学习模型，确定待分离图像的图像目标函数，基于图像目标函数更新纹理部分变量和卡通部分变量，根据更新后的变量确定待分离图像的卡通部分和纹理部分，可以使图像卡通部分和纹理部分的分离更彻底。
附图说明
[0059]
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是
本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0060]
图1为本技术提供的图像的卡通纹理分离方法的流程示意图；
[0061]
图2为本技术提供的待分离图像；
[0062]
图3为图2待分离图像采用本技术提供的图像的卡通纹理分离方法分离后得到的纹理部分；
[0063]
图4为图2待分离图像采用本技术提供的图像的卡通纹理分离方法分离后得到的卡通部分；
[0064]
图5为本技术提供的图像的卡通纹理分离装置的结构示意图；
[0065]
图6为本技术提供的电子设备的结构示意图。
具体实施方式
[0066]
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0067]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0068]
在不背离本技术的范围或精神的情况下，可对本技术说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本技术的说明书得到的其他实施方式对技术人员而言是显而易见得的。本技术说明书和实施例仅是示例性的。
[0069]
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
[0070]
本技术中的“份”如无特别说明，均按质量份计。
[0071]
下面结合附图和实施例对本发明进一步详细说明。
[0072]
参照图1，其示出了适用于本技术实施例提供的图像的卡通纹理分离方法的流程示意图。
[0073]
如图1所示，卡通纹理分离方法，可以包括：
[0074]
s110、基于piano算法构建的卷积字典学习模型，确定待分离图像的图像目标函数，图像目标函数包括待分离图像的纹理部分变量和卡通部分变量。
[0075]
具体的，待分离图像即为包含卡通部分和纹理部分的图像。
[0076]
针对非凸非光滑的卷积字典学习(convolutional dictionary learning，cdl)模型问题，提出一种解决cdl模型问题的piano算法，可以获得相应的新cdl模型。
[0077]
在一个实施例中，piano算法采用基于局部处理的思想，提出目标函数为：
[0078]
[0079]
其中，d
l
是n行m列的局部卷积字典；α
l,i
为m列，是每个样本l的分量i的稀疏编码；为n行n列，将第i个位置放入d
l
α
l,i
并用零填充其余条目的运算符；y
l
是获得的信号；λ1和λ2是超参数；ω1是施加在具有范数的列向量上的稀疏约束，定义为ω1(x)＝||x||0；ω2是指标函数，定义如下：其中，c是一个单位范数球体，用来限制每个原子的长度，d
l
的每一列都是范数,
[0080]
为了在前向后向分裂框架内通过局部处理来形成所建议的cdl优化问题的目标函数，设分别定义f和g如下：
[0081][0082][0083]
为了利用序列{x
t
}的迭代方程生成序列后续将分别推导了f的梯度和g的近端映射。
[0084]
f是复合变量(d
l
，{α
l,i
})的函数,则f的梯度表示为:可以通过分别推导出和的表达式得到f的梯度。
[0085]
和可以按如下方式计算：
[0086][0087][0088]
为了表示下降结果，引入一个中间变量
[0089][0090][0091]
其中，η
t
是步长或下降参数。η
t
的取值范围0＜η
t
＜(1/(τ
t
l
t
))，其中{τ
t
}为自适应参数，τ
t
的取值范围τ
t
＞1，l
t
可通过下列公式求解得到：
[0092]
[0093]
为了保证算法的收敛性，采用下降定理对参数进行约束：
[0094][0095]
由此，计算g在的近端映射如下：
[0096][0097]
其中，prox表示近端算子。
[0098]
针对解决的cdl问题，基于提出的piano算法，获取相应的新cdl模型，将使用新cdl模型对纹理组件进行建模。新cdl模型的目标函数(即待分离图像的第一目标函数)为：
[0099][0100]
其中，(d
l
)
l,t
为纹理字典，(α
l,i
)
l,t
为纹理字典对应的编码；y
l,c
为卡通变量；y
l
为待分离图像。
[0101]
取卡通变量y
l,c
为y
l,c
＝z
l,c
，这样它就可以在tv范数下最小化，z
l,c
为卡通变量的对偶变量。
[0102]
根据卡通变量、对偶变量及误差变量，确定约束项；
[0103]
同时，将约束项添加到第一目标函数，得到待分离图像的图像目标函数：
[0104][0105]
其中，v
l,c
为误差变量，η和ξ为拉格朗日系数。
[0106]
s120、基于图像目标函数，分别更新纹理部分变量和卡通部分变量，得到更新后纹理部分变量和更新后卡通部分变量。
[0107]
具体的，更新编码，得到更新后编码；该更新过程在cdl模型中已经完成。
[0108]
更新卡通变量，得到更新后卡通变量；该更新可以通过下式更新：
[0109][0110]
其中，η为拉格朗日常数。
[0111]
更新对偶变量，得到更新后对偶变量；该更新过程可以直接采用全变分(total variation，tv)模型去噪方法进行解决。即对正则化项进行二范数约束，对对偶变量的水平方向和垂直方向进行一范数梯度约束。使用增广拉格朗日方法求解对偶变量，具体采用带高斯
·
塞德尔(gauss seidel)的admm方法。
[0112]
对于目标函数
[0113][0114]
进行如下求解：
[0115][0116]
即
[0117]
更新误差变量，得到更新后误差变量；误差变量根据卡通变量和对偶变量确定；该更新可以利用误差变量和纹理部分的迭代关系对误差变量进行更新。v
l,c
的更新规则可以定义为具有y
l,c
和z
l,c
之差的定点迭代(当y
l,c
和z
l,c
彼此收敛时，v
l,c
收敛)，如下所示：
[0118]vl,c
＝v
l,c
y
l,c-z
l,c
[0119]
更新纹理字典，得到更新后纹理字典；
[0120]
根据更新后编码和更新后纹理字典，得到更新后纹理部分变量；
[0121]
根据更新后卡通变量、更新后对偶变量及更新后误差变量，得到更新后卡通部分变量。
[0122]
s130、根据更新后纹理部分变量和更新后卡通部分变量，确定待分离图像的卡通部分和纹理部分。
[0123]
可选的，根据更新后纹理部分变量，重构得到待分离图像的纹理部分；
[0124]
根据更新后卡通部分变量，得到待分离图像的卡通部分。
[0125]
上述分别得到待分离图像的纹理部分和待分离图像的卡通部分，即完成了图像的卡通纹理分离。
[0126]
本技术实施例，采用提出的piano算法，在解决非凸非光滑的卷积字典学习模型问题中，piano算法基于前向后向分裂框架，采用编码的策略，进行求解。这个cdl模型问题的目标函数由数据保真项和正则项之和给出，前者是具有块-李普希茨连续梯度的光滑耦合函数，后者是块可分的非光滑非凸函数，易于计算近似映射。通过对前者进行梯度求解，对后者进行近端映射，得到算法的迭代公式，从而更新变量，进行求解。可以减少计算量。
[0127]
本技术实施例借助piano算法中的更新过程，有效的对纹理部分、卡通部分相关变量进行更新，帮助图像的卡通部分和纹理部分的分离，在分离时可以分离的更彻底，效果更好。
[0128]
采用本技术实施例图像的卡通纹理分离方法对如图2所示的cat进行分离，得到如图3所示的纹理部分和如图4所示的卡通部分，可以看出，纹理部分和卡通部分分离较彻底。
[0129]
参照图5，其示出了根据本技术一个实施例描述的图像的卡通纹理分离装置的结构示意图。
[0130]
如图5所示，图像的卡通纹理分离装置，可以包括：
[0131]
第一确定模块510，用于基于piano算法构建的卷积字典学习模型，确定待分离图像的图像目标函数，图像目标函数包括待分离图像的纹理部分变量和卡通部分变量；
[0132]
更新模块520，用于基于图像目标函数，分别更新纹理部分变量和卡通部分变量，得到更新后纹理部分变量和更新后卡通部分变量；
[0133]
第二确定模块530，用于根据更新后纹理部分变量和更新后卡通部分变量，确定待分离图像的卡通部分和纹理部分。
[0134]
可选的，piano算法的目标函数为：
[0135][0136]
其中，d
l
是n行m列的局部卷积字典；α
l,i
为m列，是每个样本l的分量i的稀疏编码；为n行n列，将第i个位置放入d
l
α
l,i
并用零填充其余条目的运算符；y
l
是获得的信号；λ1和λ2是超参数；ω1是施加在具有范数的列向量上的稀疏约束，定义为ω1(x)＝||x||0；ω2是指标函数，定义如下：其中，c是一个单位范数球体，用来限制每个原子的长度，d
l
的每一列都是范数,
[0137]
定义f和g分别如下：
[0138][0139][0140]
f的梯度为：
[0141][0142]
其中，
[0143][0144]
g的近端映射为：
[0145][0146]
其中，prox表示近端算子，为中间变量，
[0147][0148][0149]
其中，η
t
是步长。
[0150]
可选的，纹理部分变量包括纹理字典和纹理字典对应的编码；卡通部分变量包括卡通变量、卡通变量的对偶变量及误差变量；
[0151]
第一确定模块510还用于：
[0152]
基于piano算法的目标函数，确定待分离图像的第一目标函数为：
[0153]
[0154]
其中，(d
l
)
l,t
为纹理字典，(α
l,i
)
l,t
为纹理字典对应的编码；y
l,c
为卡通变量；y
l
为待分离图像；
[0155]
取卡通变量y
l,c
为y
l,c
＝z
l,c
，z
l,c
为卡通变量的对偶变量；
[0156]
根据卡通变量、对偶变量及误差变量，确定约束项；
[0157]
将约束项添加到第一目标函数，得到待分离图像的图像目标函数：
[0158][0159]
其中，v
l,c
为误差变量，η和ξ为拉格朗日系数。
[0160]
可选的，更新模块520还用于：
[0161]
更新编码，得到更新后编码；
[0162]
更新卡通变量，得到更新后卡通变量；
[0163]
更新对偶变量，得到更新后对偶变量；
[0164]
更新误差变量，得到更新后误差变量；误差变量根据卡通变量和对偶变量确定；
[0165]
更新纹理字典，得到更新后纹理字典；
[0166]
根据更新后编码和更新后纹理字典，得到更新后纹理部分变量；
[0167]
根据更新后卡通变量、更新后对偶变量及更新后误差变量，得到更新后卡通部分变量。
[0168]
可选的，对偶变量通过下式更新：
[0169][0170]
其中，η为拉格朗日常数。
[0171]
可选的，更新对偶变量采用全变分模型去噪方法。
[0172]
可选的，第二确定模块530还用于：
[0173]
根据更新后纹理部分变量，重构得到待分离图像的纹理部分；
[0174]
根据更新后卡通部分变量，得到待分离图像的卡通部分。
[0175]
本实施例提供的一种图像的卡通纹理分离装置，可以执行上述方法的实施例，其实现原理和技术效果类似，在此不再赘述。
[0176]
图6为本发明实施例提供的一种电子设备的结构示意图。如图6所示，示出了适于用来实现本技术实施例的电子设备300的结构示意图。
[0177]
如图6所示，电子设备300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中，还存储有设备300操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
[0178]
以下部件连接至i/o接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；
以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口306。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
[0179]
特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述图像的卡通纹理分离方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。
[0180]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0181]
描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0182]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、笔记本电脑、行动电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0183]
作为另一方面，本技术还提供了一种存储介质，该存储介质可以是上述实施例中前述装置中所包含的存储介质；也可以是单独存在，未装配入设备中的存储介质。存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本技术的图像的卡通纹理分离方法。
[0184]
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0185]
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括
没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0186]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。