一种逼真的彩色铅笔画生成方法与流程

1.本发明涉及图像处理领域，具体涉及一种逼真的彩色铅笔画生成方法。


背景技术：

2.色调映射和铅笔画线条模拟是铅笔画生成两个重要的环节。铅笔画色调具有高亮度和低饱和度特点，gao等为模拟该效果，将图像从rgb颜色空间转换到yuv颜色空间，采用一种局部极大值滤波技术生成一个新的y亮度分量，该分量每个像素的值不低于原对应像素的亮度值，以此获得一个具有高亮度分量的图像。然后将该图像和原图像进行融合。lu等通过观察认为铅笔画的亮度由低、中、高三层构成，且分别满足高斯分布、均匀分布和拉普拉斯分布。相应地，对自然图像的亮度直方图进行分解并建立三种分布函数的参数模型模拟铅笔画的色调。jin等通过挖掘所提取不同层次轮廓的可感知线索，在对轮廓图像的内部区域进行着色处理时建议t-junction、凸度、连续性、逼近度等几何信息约束以模拟铅笔画的色调效果。现有的色调映射技术无论是生成效果还是普适性都不够理想，尤其是饱和度方面。
3.铅笔画线条勾画出场景中物体的轮廓，具有灰度强度和图像边缘强度正相关以及线条颜色对应于前景物体颜色的特点。现有的铅笔画线条生成技术主要有基于梯度和基于高斯函数差分两种，zou等提出一种有效的梯度估计算法从个人照片中自动生成类似铅笔画结构的轮廓线。son等给出线条提取和绘制两个模型模拟手绘线条画，通过控制二维图像的细节、聚焦区域和风格生成各种手绘线条画。提出一个优化框架将多种梯度域边缘提取的思想统一到一个单一的优化模型。lu等等提出一种基于梯度的卷积框架模型以生成铅笔素描线条分段线性的效果。winnemoller等采用迭代的高斯函数差分抽取图像的轮廓用于图像抽象化。kang等提出一种流导各向异性的高斯函数差分滤波技术用于提取光滑一致的图像线条结构。winnemoller等利用高斯函数差分生成多种风格和艺术效果的图像。spicker等提出一种深度感知的一致线条画生成技术。目前铅笔画线条模拟的主要目的是为了取得手绘铅笔画线条的形似效果，但对于彩色轮廓线条颜色存在不正确的问题尚未提供有效的解决方案。


技术实现要素：

4.本发明的目的是提供一种逼真的彩色铅笔画生成方法，用以解决现有技术中存在的色调模拟效果不理想以及轮廓线条颜色不正确的问题，使得生成的彩色铅笔画色调和轮廓与专业人士手绘风格尽可能一致。
5.为了实现上述任务，本发明采用以下技术方案：
6.一种逼真的彩色铅笔画生成方法，包括以下步骤：
7.将原图像转换到hsi颜色空间，得到色调分量、饱和度分量和亮度分量；对亮度分量进行编辑以生成高亮度分量；对饱和度分量进行编辑以生成低饱和度分量，将所述的色调分量、高亮度分量和低饱和度分量进行合并后转换到rgb颜色空间，得到色调图像；
8.将原图像转换为灰度图像，针对灰度图像分别利用局部极大值、局部极小值进行轮廓提取，对提取的轮廓进行融合，得到最终的图像轮廓；
9.根据原图像以及所述的最终的图像轮廓，确定铅笔画的彩色轮廓；
10.通过所述色调图像与彩色轮廓的融合，得到最终的彩色铅笔画。
11.进一步地，所述对亮度分量进行编辑以生成高亮度分量，利用以下表达式：
[0012][0013]
其中ti为高亮度分量，ii为亮度分量，σ1为自适应调控参数，其值由表达式2确定：
[0014]
σ1＝α*im*(1-f(ii))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0015]
其中f(ii)＝exp(i
i2-1/(i
i2
ε))，ε为防止分母为0的较小的数；α为权重系数，im表示原图像的亮度均值。
[0016]
进一步地，所述对饱和度分量进行编辑以生成低饱和度分量，包括：
[0017]
根据其亮度分量ii和饱和度分量is计算表达式(3)中的权重系数λ：
[0018]
λ.*is ii＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0019]
利用计算得到的权重系数λ及编辑生成的高亮度分量ti，计算期望的低饱和度分量ts为：
[0020]
ts＝(1-ti)./(λ ε)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0021]
进一步地，所述将原图像转换为灰度图像，针对灰度图像分别利用局部极大值、局部极小值进行轮廓提取，包括：
[0022]
将原图像i转换为灰度图像d，基于局部极大值所提取的物体轮廓g1可以表示为：
[0023]
g1＝f
max
([d
p
])-d
p
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0024]dp
为灰度图像d中像素p的灰度值，f
max
(
·
)为极大值定义，[
·
]为所选择的以像素p为中心的局部邻域；
[0025]
基于局部极小值所提取的物体轮廓g2定义为：
[0026]
g2＝d
p-f
min
([d
p
])
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0027]
其中f
min
(
·
)为极小值定义。
[0028]
进一步地，所述对提取的轮廓进行融合，得到最终的图像轮廓，采用的表达式如下：
[0029]
g＝m.*g1 (1-m).*g2ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0030]
g为最终的图像轮廓；可以采用图像分割方法或者交互方式生成m，默认情况下m为全1矩阵。
[0031]
进一步地，所述根据原图像以及所述的最终的图像轮廓，确定铅笔画的彩色轮廓，包括：
[0032]
假设彩色铅笔画在白纸上绘制，设与原图像i具有相同尺寸的纯白图像为则铅笔画的彩色轮廓c可以表示为：
[0033][0034]
其中，g为最终的图像轮廓。
[0035]
进一步地，所述通过所述色调图像与彩色轮廓的融合，得到最终的彩色铅笔画，表示如下：
[0036]
p＝c.*t
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0037]
其中，p为最终的彩色铅笔画，c为彩色轮廓，t为色调图像。
[0038]
与现有技术相比，本发明具有以下技术特点：
[0039]
1.本发明构造了一个兼具图像整体亮度和局部亮度的参数自适应函数，在亮度范围内不改变原有亮度间相对关系的情况下有效提升图像的整体亮度。该方法生成的图像色彩艳丽、自然，满足铅笔画的高亮度要求。
[0040]
2.本发明基于图像像素饱和度分量和亮度分量存在互补关系的观察，依据原图像建立它们之间的数学模型，借助于调整后的高亮度分量生成新的低饱和度分量。该方法能够在有效降低图像饱和度的同时保持原图像内容且避免出现异常灰色区域。
[0041]
3.本发明给出一种极值滤波边缘提取技术，可以控制其提取的边缘像素隶属于局部前景物体而不是背景区域，从而实现生成的轮廓颜色与相应的局部前景物体颜色对应。
附图说明
[0042]
图1为本发明方法对输入图像处理过程的示意图；
[0043]
图2为本发明一个实施例中与现有的几种方法的效果对比图。
具体实施方式
[0044]
本发明方法首先给出一种自适应的亮度优化模型，在亮度范围内不改变原有亮度间相对关系的情况下有效提升图像的整体亮度；然后基于图像像素饱和度分量和亮度分量存在互补关系的观察，将原自然图像的这种关系作为约束迁移到铅笔画，根据调整后的高亮度分量生成满足铅笔画风格的低饱和度分量；提出一种极值滤波技术实现所提取的铅笔画轮廓形状、强度和颜色等与原图像中对应物体的边缘特征一致。
[0045]
参见附图，本发明提供一种逼真的彩色铅笔画生成方法，该方法首先将原图像转换到hsi颜色空间，得到色调分量、亮度分量和饱和度分量；对亮度分量进行编辑以生成高亮度分量；对饱和度分量进行编辑以生成低饱和度分量，将所述的色调分量、高亮度分量和低饱和度分量进行合并后转换到rgb颜色空间，得到色调图像；将原图像转换为灰度图像，针对灰度图像分别利用局部极大值、局部极小值进行轮廓提取，对提取的轮廓进行融合，得到最终的图像轮廓；根据原图像以及所述的最终的图像轮廓，确定铅笔画的彩色轮廓；通过所述色调图像与彩色轮廓的融合，得到最终的彩色铅笔画。
[0046]
下面结合附图对本发明的具体步骤作进一步详细说明。
[0047]
步骤1，对原图像i进行色调编辑，生成满足铅笔画高亮度和低饱和度特点的色调图像t，具体如下：
[0048]
步骤1.1将原图像i转换到hsi颜色空间，得到色调分量ih，饱和度分量is和亮度分量ii。
[0049]
步骤1.2，考虑到指数函数的光滑、有界、单调等特点，本方案中建立亮度值ti和ii间的关系如式1所示。
[0050]
采用式1对亮度分量ii进行编辑以生成高亮度分量ti：
[0051]
[0052]
其中σ1为自适应调控参数，σ1的取值对结果有直接影响。当原图像i像素亮度较小时赋予较大σ1值抑制亮度增加过快，而亮度较大时赋予较小σ1值防止亮度降低。同时兼顾原图像整体亮度值，整体亮度值偏低时给予较大的调整，而整体亮度值偏高时进行较小的调整。
[0053]
假设原图像i的整体亮度值用整幅图像的亮度均值im表示，则兼顾整体的自适应调控参数由下式2确定：
[0054]
σ1＝α*im*(1-f(ii))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0055]
其中f(ii)＝exp(i
i2-1/(i
i2
ε))，ε为一个比较小的数，防止分母为0，本实施例中ε＝10-5
；α为权重系数。
[0056]
步骤1.3，对饱和度分量is进行编辑以生成低饱和度分量ts。
[0057]
由于亮度分量ii和饱和度分量is均属于[0,1]，本方案中将该特点理解为is和1-ii成正比，写成表达式为：
[0058]
λ.*is ii＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0059]
其中λ为权重系数，参数的下标“.”表示点乘，下同。当某像素i的饱和度分量is(i)＝0而ii(i)≠1时，表达式(3)不成立，为避免该情况出现，对图像的饱和度分量人为引入一个比较小的正数ε，即有is＝is ε。
[0060]
铅笔画具有高亮度和低饱和度的特点，该特点仍满足关系表达式(3)。也就是说，对自然图像，当提高其亮度分量后，借用表达式(3)可以生成一个低饱和度分量，满足铅笔画色调的要求。为此本方案将同一场景中自然图像饱和度分量和亮度分量之间的关系延伸到铅笔画，即在原自然图像中，根据其亮度分量ii和饱和度分量is计算表达式(3)中的权重系数λ，利用该权重系数λ及编辑生成的高亮度分量ti，计算期望的低饱和度分量ts为：
[0061]
ts＝(1-ti)./(λ ε)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0062]
步骤1.4，将步骤1.1中的色调分量ih，步骤1.2生成高亮度分量ti以及步骤1.3生成低饱和度分量ts三个分量合并，并转换到rgb颜色空间得到色调图像t。
[0063]
步骤2，基于原图像i生成彩色铅笔画轮廓线c。
[0064]
为了提取有效的物体轮廓，本方案提出一种极值轮廓提取算法。该算法的思想源于以下几点：1)同与相邻像素的差异相比，当前像素和局部邻域内像素极值的对比更能表现物体轮廓的强度；2)统计发现多数情况下，图像中局部背景区域的灰度值高于相应的前景灰度值，以及受阴影等因素的影响，轮廓应位于局部灰度值小的位置，也就是，当前像素灰度值和局部邻域内极大灰度值差异越大，该像素属于轮廓的可能性越大；3)当局部前景区域的灰度值大于相应背景区域时，为了保持所提取轮廓线的颜色与前景物体颜色一致，轮廓线应设在局部灰度值大的位置。
[0065]
步骤2.1，灰度轮廓线g生成。
[0066]
本方案提出极值轮廓提取算法以提取图像的灰度轮廓线，其包括基于局部极大值和基于局部极小值两种情况。
[0067]
将原图像i转换为灰度图像d，基于局部极大值所提取的物体轮廓g1可以表示为：
[0068]
g1＝f
max
([d
p
])-d
p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0069]dp
为灰度图像d中像素p的灰度值，f
max
(
·
)为极大值定义，[
·
]为所选择的以像素p为中心的局部邻域，如5
×
5；由于d
p
∈[0，1]，所以g1∈[0，1]。
[0070]
基于局部极小值所提取的物体轮廓g2定义为：
[0071]
g2＝d
p-f
min
([d
p
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0072]
其中f
min
(
·
)为极小值定义。
[0073]
本方案将基于局部极大值提取的轮廓g1和基于局部极小值提取的轮廓g2优化组合以获取图像的最终的图像轮廓g，即：
[0074]
g＝m.*g1 (1-m).*g2ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0075]
可以采用图像分割方法或者交互方式生成m，默认情况下m为全1矩阵。
[0076]
步骤2.2，彩色轮廓线c生成。
[0077]
假设彩色铅笔画在白纸上绘制，设与原图像/具有相同尺寸的纯白图像为则铅笔画的彩色轮廓c可以表示为：
[0078][0079]
步骤3色调图像与彩色轮廓融合生成铅笔画图像p。
[0080]
类似于彩色铅笔画绘制，最终铅笔画图像p由步骤1生成的色调图像t和步骤2生成的彩色轮廓c两部分融合生成，则最终生成的彩色铅笔画p可以表示为：
[0081]
p＝c.*t
ꢀꢀꢀꢀꢀꢀ
(9)
[0082]
实施例：
[0083]
请参阅图2，为本发明方法与现有方法的效果对比图。在图2中，(a)组为原图像，(f)组为本发明方法对原图像生成彩色铅笔画的结果，(b)、(c)、(d)组分别为现有方法对原图像生成彩色铅笔画的结果，这些方法分别为：
[0084]
(b)c.lu，l.xu，j.jia：combining sketch and tone for pencil draw ing production.proceedings of the symposium on non-photorealistic animation and rendering(annecy，france，2012)，pp.65-73.
[0085]
(c)c.gao，m.tang m，x.liang，z.su z，c.zou：pencilart：a chromatic penciling style generation framework.computer graphics forum,37(6):395-409,2018.
[0086]
(d)y.li,c.fang,a.hertzmann,e.shechtman,m.yang:im2pencil:controllable pencil illustration from photographs.proceedings of the ieee conference on computer vision and pattern recognition(ca,usa,2019),pp.1525-1534.
[0087]
通过效果对比可明显看出，本发明方法在细节处理上更为逼真，生成的彩色图像满足铅笔画高亮度低饱和度的色调要求，且可以实现生成的轮廓线颜色与前景物体一致。
[0088]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。