基于图像分割的局部重着色算法的制作方法

1.本发明涉及数字图像处理技术领域，具体地说，涉及一种基于图像分割的局部重着色算法。


背景技术：

2.图像重着色技术作为计算机视觉领域研究重点之一，近年来在多媒体、医疗以及艺术创作等领域有着较为广泛的应用。图像重着色算法可分为两类，一类是使用基于用户交互的图像重着色算法，该类算法需要用户在图像中的局部区域添加颜色标记，利用图像相邻像素的亮度、梯度等信息的相似性和图像的边界信息以及纹理信息来实现颜色扩展。另一类图像重着色算法是利用基于调色板的图像重着色算法将图像分解为图层，其中每一个调色板代表一个具有单一颜色的图层。一种传统的调色板提取算法是使用聚类算法来提取调色板，例如使用k均值聚类算法(k-means)在rgb空间中对图像中的现有颜色进行聚类，这类算法能够捕获到图像中最突出的颜色，通过改变调色板的颜色来改变图像中对应像素的颜色，以此实现图像的重新着色。另一种提取调色板的方法是通过计算rgb空间中的颜色凸包来提取对应的调色板，该方法认为图像中的所有可能的颜色都位于凸包内部，每一个凸包的顶点代表一种颜色的调色板，同样以改变调色板的颜色的方式实现图像的重新着色。但是，传统图像重着色算法容易发生颜色渗漏问题，而且在结构相似度(ssim)方面较差。


技术实现要素：

3.本发明的内容是提供一种基于图像分割的局部重着色算法，其能够克服现有技术的某种或某些缺陷。
4.根据本发明的基于图像分割的局部重着色算法，其包括以下步骤：
5.步骤1：选择需要处理的图像；
6.步骤2：标记一个矩形区域，使目标区域包含在矩形区域内；
7.步骤3：执行图像分割算法得到目标区域的初始alpha蒙版；
8.步骤4：利用双边滤波算法对目标区域的初始alpha蒙版进行双边滤波处理，再进行二值化后得到目标区域最终的alpha蒙版；
9.步骤5：将目标区域最终的alpha蒙版输入图像叠加即可分割出图像目标区域；
10.步骤6：将图像目标区域输入到图像重着色算法；
11.步骤7：执行算法，得到rgb颜色凸包和对应的rgba图层；
12.步骤8：移动rgb颜色凸包顶点即可改变对应图层颜色，得到重着色的图像目标区域；
13.步骤9：将重着色的图像目标区域和输入图像叠加即可得到局部重着色图像。
14.作为优选，步骤3中，图像分割算法为grabcut图像分割算法。
15.作为优选，grabcut图像分割算法用数组z＝(z1,
…zn
,
…
,zn)来表示图像，通过求
解图像像素集合α＝{α1,α2,
…
,αn},αn∈{0,1}中各个像素的值来表示图像分割，其中0表示背景，1表示前景。
16.作为优选，图像重着色算法的步骤为：
17.a、调色板提取：图像的目标区域分割完成后得到分割图像i，通过图像i像素的颜色值在rgb立方体中找到像素对应的颜色点，之后使用凸包包裹rgb立方体中所有的颜色点得到rgb颜色凸包，接着通过迭代边折叠简化算法将凸包的一系列边进行折叠以减少凸包顶点数量，再重新计算凸包，完成对凸包进行简化，简化之后的凸包的顶点成为图像i的调色板；
18.b、图像分解：对于凸包内的任意的一个像素点而言都有一组唯一的重心坐标，或者混合权重，其颜色p可由公式(1)表示：
19.p＝∑iω
ici
ꢀꢀ
(1)
20.其中像素点的混合权重ωi为正且和为1，在凸包内混合权重ωi也为广义重心坐标，ci为凸包的顶点；通过对凸包的顶点进行三角剖分计算出凸包内像素点的广义重心坐标，像素点的广义重心坐标为包含该像素点的单纯形的重心坐标，根据像素颜色将图像i分解成一组有序的半透明rgba图层；
21.c、空间一致性：考虑空间一致性，将算法扩展到rgbxy空间，其中xy是图像空间中像素的坐标；首先由函数(2)计算图像i在rgbxy空间中的凸包：
[0022]vrgbxy
＝convexhull{(ri,gi,bi,xi,yi)|i＝1,2,3,
…
,n}
ꢀꢀ
(2)
[0023]
其中v
rgbxy
是矩阵，其列是凸包的顶点q，i是图像i的像素；然后由函数(3)将rgbxy凸包细分为一组单纯形：
[0024][0025]
根据rgbxy凸包顶点v
rgbxy
，计算图像像素i的广义重心坐标，计算公式如(4)所示：
[0026][0027]
其中像素i包含在单纯形中，单纯形表示为6
×
6矩阵，其列是其在齐次坐标中的顶点；权重ωi与引用的凸包顶点相对应，以此构造n
×
q权重稀疏矩阵w
rgbxy
，具有相似颜色或在空间上相邻的像素的权重相似，实现对图层的平滑。通过矩阵乘法表示n
×
3图像目标区域，如公式(5)所示：
[0028]
i＝w
rgbxyvrgb
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0029]
其中v
rgb
是w
rgbxy
的q
×
3子矩阵。
[0030]
根据rgb空间调色板颜色p计算w
rgb
，计算公式如(6)所示：
[0031]vrgb
＝w
rgb
p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0032]
其中p表示为n
×
3矩阵，n为调色板的数量，w
rgb
是一个q
×
n矩阵；通过结合公式(5)和(6)，图像可表示为i＝w
rgbxywrgb
p，最终的权重如公式(7)所示：
[0033]
w＝w
rgbxywrgb
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0034]
对图像重新着色只需要重新计算w
rgb
。
[0035]
本发明首先对grabcut图像分割算法分割出的图像目标区域边缘的平滑处理，可
以使得到的目标区域更加准确，再将分割出的目标区域作为图像重着色算法的输入，按照像素颜色分解成一组半透明的rgba图层，每一图层对应一个单一颜色的调色板，改变调色板颜色并重新计算图层对应的权重，以此来改变对应图层颜色，将图层合成操作完成后得到的重着色目标区域与原图进行叠加，从而生成最终的局部重着色图像。本发明与传统图像重着色算法相比能解决颜色渗漏问题，实现了对图像的局部重着色，同其他的图像局部重着色算法相比在结构相似度(ssim)方面有显著提升。
附图说明
[0036]
图1为实施例1中一种基于图像分割的局部重着色算法的流程图；
[0037]
图2为实施例1中需要处理的图像示意图；
[0038]
图3为实施例1中标记目标区域示意图；
[0039]
图4为实施例1中初始alpha蒙版示意图；
[0040]
图5为实施例1中最终的alpha蒙版示意图；
[0041]
图6为实施例1中利用最终的alpha蒙版分割出目标区域示意图；
[0042]
图7为实施例1中rgb凸包示意图；
[0043]
图8为实施例1中rgba图层示意图；
[0044]
图9为实施例1中移动rgb颜色凸包顶点示意图；
[0045]
图10为实施例1中图层颜色改变示意图；
[0046]
图11为实施例1中重着色后的图像目标区域示意图；
[0047]
图12为实施例1中局部重着色图像示意图。
具体实施方式
[0048]
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
[0049]
实施例1
[0050]
如图1所示，本实施例提供了一种基于图像分割的局部重着色算法，其包括以下步骤：
[0051]
步骤1：选择需要处理的图像；如图2所示；
[0052]
步骤2：标记一个矩形区域，使目标区域包含在矩形区域内；如图3所示；
[0053]
步骤3：执行图像分割算法得到目标区域的初始alpha蒙版；如图4所示；
[0054]
步骤4：利用双边滤波算法对目标区域的初始alpha蒙版进行双边滤波处理，再进行二值化后得到目标区域最终的alpha蒙版；如图5所示；
[0055]
步骤5：将目标区域最终的alpha蒙版输入图像叠加即可分割出图像目标区域；如图6所示；
[0056]
步骤6：将图像目标区域输入到图像重着色算法；
[0057]
步骤7：执行算法，得到rgb颜色凸包和对应的rgba图层；如图7和图8所示；
[0058]
步骤8：移动rgb颜色凸包顶点即可改变对应图层颜色，得到重着色的图像目标区域；如图9、图10和图11所示；
[0059]
步骤9：将重着色的图像目标区域和输入图像叠加即可得到局部重着色图像；如图
12所示。
[0060]
图像分割算法为grabcut图像分割算法。grabcut图像分割算法用数组z＝(z1,
…zn
,
…
,zn)来表示图像，通过求解图像像素集合α＝{α1,α2,
…
,αn},αn∈{0,1}中各个像素的值来表示图像分割，其中0表示背景，1表示前景。
[0061]
grabcut算法有两个gmm，一个用于背景，一个用于前景，其中每个gmm都由k(k通常为5)个完全协方差高斯模型混合组成，同时引入了一个附加向量k＝{k1,
…
,kn,
…
,kn}，其中kn∈{1,
…
,k}，根据像素αn的值(0或1)，为每个像素分配一个唯一的gmm分量。
[0062]
grabcut图像分割算法实现过程中，首先需要在输入的图像上标记一个矩形区域，目标区域包含在矩形区域内，此时矩形区域内标记为未知区域tu，矩形区域外则标记为背景区域tb，其次利用背景像素集αn＝0和前景像素集αn＝1分别初始化背景对应的gmm和前景对应的gmm，随后进入迭代过程，迭代过程步骤如下：
[0063]
1)为像素n∈tu分配高斯分量kn：将像素的颜色值输入背景或前景对应的gmm的每一个高斯分量kn中，计算出对应的概率，将像素归类到对应概率最大的高斯分量；
[0064]
2)学习gmm参数：通过上一步的归类，每个高斯混合模型都有了相应的样本集，通过对样本集的计算得出对应的gmm参数；
[0065]
3)构造s-t无向网络图，源点s代表前景，汇点t代表背景，源点s和汇点t以及像素点构成无向网络图，其中像素点与源点s和汇点t相连的边权重设为t-link，各个像素之间相连的边权重设为n-link。并计算出权值t-link和n-link使用最小割算法进行分割；
[0066]
4)重复以上步骤直到计算所得到的gmm参数收敛即可分割出图像目标区域。
[0067]
双边滤波算法：双边滤波在对图像进行平滑处理过程中考虑到了图像像素点的空域信息(domain)和值域信息(range)，图像中像素值差异较小的部分以空域权重为主导，滤波效果较强，能实现对图像的平滑操作；而图像中边缘部分的像素值差异较大，以值域权重为主导，滤波效果较弱，因此能够很好地保持图像边缘。
[0068]
图像重着色算法的步骤为：
[0069]
a、调色板提取：图像的目标区域分割完成后得到分割图像i，通过图像i像素的颜色值在rgb立方体中找到像素对应的颜色点，之后使用凸包包裹rgb立方体中所有的颜色点得到rgb颜色凸包，接着通过迭代边折叠简化算法将凸包的一系列边进行折叠以减少凸包顶点数量，再重新计算凸包，完成对凸包进行简化，简化之后的凸包的顶点成为图像i的调色板；
[0070]
b、图像分解：对于凸包内的任意的一个像素点而言都有一组唯一的重心坐标，或者混合权重，其颜色p可由公式(1)表示：
[0071]
p＝∑iω
ici
ꢀꢀ
(1)
[0072]
其中像素点的混合权重ωi为正且和为1，在凸包内混合权重ωi也为广义重心坐标，ci为凸包的顶点；通过对凸包的顶点进行三角剖分计算出凸包内像素点的广义重心坐标，像素点的广义重心坐标为包含该像素点的单纯形的重心坐标，根据像素颜色将图像i分解成一组有序的半透明rgba图层；
[0073]
c、空间一致性：考虑空间一致性，将算法扩展到rgbxy空间，其中xy是图像空间中像素的坐标；首先由函数(2)计算图像i在rgbxy空间中的凸包：
[0074]vrgbxy
＝convexhull{(ri,gi,bi,xi,yi)|i＝1,2,3,
…
,n}
ꢀꢀ
(2)
[0075]
其中v
rgbxy
是矩阵，其列是凸包的顶点q，i是图像i的像素；然后由函数(3)将rgbxy凸包细分为一组单纯形：
[0076][0077]
根据rgbxy凸包顶点v
rgbxy
，计算图像像素i的广义重心坐标，计算公式如(4)所示：
[0078][0079]
其中像素i包含在单纯形中，单纯形表示为6
×
6矩阵，其列是其在齐次坐标中的顶点；权重ωi与引用的凸包顶点相对应，以此构造n
×
q权重稀疏矩阵w
rgbxy
，具有相似颜色或在空间上相邻的像素的权重相似，实现对图层的平滑。通过矩阵乘法表示n
×
3图像目标区域，如公式(5)所示：
[0080]
i＝w
rgbxyvrgb
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0081]
其中v
rgb
是w
rgbxy
的q
×
3子矩阵。
[0082]
根据rgb空间调色板颜色p计算w
rgb
，计算公式如(6)所示：
[0083]vrgb
＝w
rgb
p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0084]
其中p表示为n
×
3矩阵，n为调色板的数量，w
rgb
是一个q
×
n矩阵；通过结合公式(5)和(6)，图像可表示为i＝w
rgbxywrgb
p，最终的权重如公式(7)所示：
[0085]
w＝w
rgbxywrgb
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0086]
对图像重新着色只需要重新计算w
rgb
。
[0087]
本实施例与传统图像重着色算法相比能解决颜色渗漏问题，实现了对图像的局部重着色，同其他的图像局部重着色算法相比在结构相似度(ssim)方面有显著提升。
[0088]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。