基于像素对评价函数的自然图像抠图方法及系统

1.本发明涉及计算机视觉技术领域，尤其涉及基于像素对评价函数的自然图像抠图方法及系统。


背景技术：

2.自然图像抠图是计算机视觉技术领域里面比较基础却又十分具有挑战性的问题，且自然图像抠图对拍摄的背景环境不做任何的限制要求，因此自然图像抠图也成为了一个研究热点，自然图像抠图要求能够将前景物体精细地从给定的的图像中抽取出来，同时准确估计分离边缘附近的逐像素透明度，现有的基于像素对优化抠图算法的评价方法，使用多个评价准则建模成像素对评价函数，但是这种方法的前提条件是各个像素对评价准则之间能够同时满足，当评价准则不能同时满足时，将会导致像素对评价不准确，且针对于不同的类型前景图像区域，并没有建立对应的函数对其进行评价优化。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供基于像素对评价函数的自然图像抠图方法及系统，本发明能够通过减少评价准则之间的冲突以提升像素对评价函数的准确度。
4.本发明所采用的第一技术方案是：基于像素对评价函数的自然图像抠图方法，包括以下步骤：
5.通过边缘检测算法对自然图像进行边缘检测，得到三分图；
6.对三分图的特征值进行判断，得到三分图的语义类别信息；
7.基于三分图的语义类别信息，结合像素对评价准则构建像素对评价函数；
8.基于像素对优化抠图方法对像素对评价函数进行优化并计算透明度遮罩值，得到抠图遮罩；
9.基于抠图遮罩获取前景图像并与背景图像进行结合，生成合成图像。
10.进一步，所述通过边缘检测算法对自然图像进行边缘检测，得到三分图并获取三分图的语义类别信息这一步骤，其具体包括：
11.输入自然图像；
12.通过边缘检测网络对自然图像进行边缘检测，得到三分图，所述三分图包括前景区域、未知区域和背景区域；
13.基于三分图，获取三分图的语义类别信息。
14.进一步，所述基于三分图，获取三分图的语义类别信息这一步骤，其具体包括：
15.基于三分图，选取未知区域的像素点并以该像素点为中心进行划分，得到像素块；
16.获取像素块的度量像素块特征值与全局边缘特征值并进行判断，得到判断结果；
17.根据判断结果，得到对应的三分图的语义类别信息。
18.进一步，所述基于三分图的语义类别信息，结合像素对评价准则构建像素对评价
函数这一步骤，其具体包括：
19.根据三分图的语义类别信息，选取对应像素对评价准则的权重，所述像素对评价准则包括颜色失真准则和空间距离准则；
20.根据像素块的度量像素块特征值与全局边缘特征值，构建抠图模型；
21.基于颜色失真准则，度量像素块和抠图模型之间的颜色误差，得到颜色差值；
22.基于空间距离准则，度量未知区域像素点与前景区域和背景区域的像素点之间的距离，得到距离值；
23.结合颜色差值、距离值和对应像素对评价准则的权重，构建像素对评价函数。
24.进一步，所述颜色失真准则的具体计算过程如下所示：
[0025][0026]
上式中，表示观测到的第k个未知区域像素点颜色值，表示前景区域的第i个像素点颜色值，表示背景区域的第j个像素点颜色值，表示未知区域像素点的透明度遮罩值。
[0027]
进一步，所述空间距离准则的具体计算过程如下所示：
[0028][0029][0030]
上式中，表示第k个未知区域像素点的二维坐标，表示第i个前景区域像素点的二维坐标，表示第j个背景区域像素点的二维坐标。
[0031]
进一步，所述像素对评价函数具体如下所示：
[0032]gk
(i,j)＝hc(i,j)a×hs1
(i,j)b×hs2
(i,j)b[0033]
上式中，a表示颜色重建准则的权重，b表示空间距离准则的权重，i表示前景区域的第i个像素点，j表示背景区域的第j个像素点，hc(i,j)表示观测颜色与抠图模型颜色之间的误差，h
s1
(i,j)表示前景区域像素点与未知区域的像素点之间的距离，h
s2
(i,j)表示背景区域像素点与未知区域的像素点之间的距离。
[0034]
进一步，所述基于像素对优化抠图方法对像素对评价函数进行优化并计算透明度遮罩值，得到抠图遮罩这一步骤，其具体包括：
[0035]
通过基于采样的抠图方法对像素对评价函数构建为一个优化目标进行优化，得到优化后的像素对评价函数；
[0036]
通过优化后的像素对评价函数计算三分图的透明度遮罩值，得到抠图遮罩。
[0037]
进一步，所述透明度遮罩值的计算公式具体如下所示：
[0038][0039]
上式中，i表示未知区域像素点的颜色值，f表示自然图像中的前景像素点的颜色值，b表示自然图像中背景像素点的颜色值，表示透明度遮罩值。
[0040]
本发明所采用的第二技术方案是：基于像素对评价函数的自然图像抠图系统，包括：
[0041]
检测模块，用于通过边缘检测算法对自然图像进行边缘检测，得到三分图；
[0042]
判断模块，用于对三分图的特征值进行判断，得到三分图的语义类别信息；
[0043]
构建模块，基于三分图的语义类别信息，结合像素对评价准则构建像素对评价函数；
[0044]
计算模块，基于像素对优化抠图方法对像素对评价函数进行优化并计算透明度遮罩值，得到抠图遮罩；
[0045]
合成模块，用于基于抠图遮罩获取前景图像并与背景图像进行结合，生成合成图像。
[0046]
本发明方法及系统的有益效果是：本发明通过边缘检测算法获取自然图像的三分图，以扩大三分图的感受域并计算三分图的语义信息，根据三分图的语义信息构建像素对评价函数，并通过像素对评价准则减少评价准则之间的冲突，进一步提高像素对评价函数的精确度，再基于像素对优化抠图方法对像素对评价函数进行优化，从而提升了该抠图算法的性能。
附图说明
[0047]
图1是本发明基于像素对评价函数的自然图像抠图方法的步骤流程图；
[0048]
图2是本发明基于像素对评价函数的自然图像抠图系统的结构框图；
[0049]
图3是本发明通过边缘检测算法对自然图像进行处理得到的三分图；
[0050]
图4是本发明获取三分图中未知区域像素块语义类别信息的流程示意图；
[0051]
图5是本发明待处理自然图像像素块的示意图；
[0052]
图6是本发明基于颜色失真准则对像素块进行处理的结果示意图；
[0053]
图7是本发明基于空间距离准则对像素块进行处理的结果示意图；
[0054]
图8是本发明对自然图像透明度遮罩与自然图像背景进行合成的流程示意图；
[0055]
图9是本发明基于采样的抠图方法的像素对采样示意图。
具体实施方式
[0056]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0057]
参照图1，本发明提供了基于像素对评价函数的自然图像抠图方法，该方法包括以下步骤：
[0058]
s1、通过边缘检测算法对自然图像进行边缘检测，得到三分图并获取三分图的语义类别信息；
[0059]
s11、输入自然图像；
[0060]
s12、通过边缘检测网络对自然图像进行边缘检测，得到三分图，所述三分图包括前景区域、未知区域和背景区域；
[0061]
具体地，参照图3，输入自然图像，使用sobel算子进行边缘检测，该算子包含两组
3x3的矩阵，分别为横向和纵向，将之与图像作平面卷积，即可分别得出横向和纵向的亮度差分近似值；
[0062]
所述平面卷积的计算公式为：
[0063][0064][0065][0066]
上式中，g
x
表示横向灰度偏导的近似值，gy表示纵向的灰度偏导的近似值，g表示梯度的估计值；
[0067]
输出的变为边缘特征图，所述边缘特征即为三分图，对边缘特征图进行手动标注，简单来说就是把一张图像分为三部分，前景区域，背景区域以及未知区域，其中前景区域即为图3中的白色部分，未知区域为对应的灰色部分，背景区域即为对应的黑色部分。
[0068]
s13、基于三分图，获取三分图的语义类别信息。
[0069]
s131、基于三分图，选取未知区域的像素点并以该像素点为中心进行划分，得到像素块；
[0070]
具体地，参照图5，获取未知区域的像素点，以该像素点为中心，取一个9x9的像素块，使用三分图的特征值判断这个像素块的语义信息。
[0071]
s132、获取像素块的度量像素块特征值与全局边缘特征值并进行判断，得到判断结果；
[0072]
具体地，参照图4，通过边缘检测算法，原图变成了一张二维边缘特征图(其中每个像素点的值在[0,255]之间)，边缘特征图中的每个点的值x的大小代表原图中该像素点为图像边缘点的程度，值越大代表为边缘点的可靠性越高，值越小代表为边缘点的可靠性越低，其中像素块特征值代表在边缘特征图中该9x9的像素块的边缘特征的平均值(二维边缘特征图中的平均值)，而全局边缘特征值，代表在整个三分图的未知区域中，边缘特征的平均值，通过度量像素块特征值与全局边缘特征值之间的大小关系，所述特征值即为对应的像素颜色值，对度量像素块特征值与全局边缘特征值之间的大小关系进行判断，进一步的判断方法有以下两种，第一种，设置一个阈值，对像素块的边缘特征图中的特征值进行求和处理，判断求和结果是否大于预设的阈值，判断到为大于结果则判定所述像素块的语义信息为空间连续的结构，相反则为孔洞结构，第二种，分别计算像素块的边缘特征图和全局边缘特征图的平均值，若像素块的特征平均值大于全局的特征平均值，则判断为空间连续结构，相反则为孔洞结构。
[0073]
s133、根据判断结果，得到对应的三分图的语义类别信息。
[0074]
s2、基于三分图的语义类别信息，结合像素对评价准则构建像素对评价函数；
[0075]
s21、根据三分图的语义类别信息，选取对应像素对评价准则的权重，所述像素对评价准则包括颜色失真准则和空间距离准则；
[0076]
具体地，根据三分图的语义类别信息，选择合适的像素对评价准则的建模方式，减
少颜色失真准则和空间距离准则之间存在的像素对评价冲突，由于各个评价准则可能不能同时满足，因此减少评价准则之间的冲突，便能够提高像素对评价函数的精确度，以此进一步提升基于像素对优化抠图算法的性能，进一步的若判断到三分图的语义信息为孔洞结构，则需增大空间距离准则的权重，反之，若判断到三分图的语义信息为空间连续结构，则需增大颜色失真准则的权重，以获得更准确的像素对评价结果。
[0077]
s22、根据像素块的度量像素块特征值与全局边缘特征值，构建抠图模型；
[0078]
具体地，所述抠图模型具体如下所示：
[0079]
i＝αf (1-α)b
[0080]
上式中，i表示未知区域像素点的颜色值，f表示自然图像中的前景像素点的颜色值，b表示自然图像中背景像素点的颜色值，α表示前景区域的不透明度；
[0081]
其中，α取值范围在[0,1]，取0代表背景像素点，取1代表前景像素点。
[0082]
s23、基于颜色失真准则，度量像素块和抠图模型之间的颜色误差，得到颜色差值；
[0083]
具体地，参照图6，通过计算观测到的颜色与抠图模型重建得到的颜色之间的误差，来度量像素对的质量，其计算公式如下所示：
[0084][0085]
上式中，表示观测到的第k个未知区域像素点颜色值，表示前景区域的第i个像素点颜色值，表示背景区域的第j个像素点颜色值，表示未知区域像素点的透明度遮罩值
[0086]
s24、基于空间距离准则，度量未知区域像素点与前景区域和背景区域的像素点之间的距离，得到距离值；
[0087]
具体地，参照图7，通过度量前景/背景区域像素点与未知区域像素点的距离(在二维平面上)评价像素对质量，计算公式如下所示：
[0088][0089][0090]
上式中，表示第k个未知区域像素点的二维坐标，表示第i个前景区域像素点的二维坐标，表示第j个背景区域像素点的二维坐标。
[0091]
s25、结合颜色差值、距离值和对应像素对评价准则的权重，构建像素对评价函数。
[0092]
具体地，所述像素对评价函数具体如下所示：
[0093]gk
(i,j)＝hc(i,j)a×hs1
(i,j)b×hs2
(i,j)b[0094]
上式中，a表示颜色重建准则的权重，b表示空间距离准则的权重，i表示前景区域的第i个像素点，j表示背景区域的第j个像素点，hc(i,j)表示观测颜色与抠图模型颜色之间的误差，h
s1
(i,j)表示前景区域像素点与未知区域的像素点之间的距离，h
s2
(i,j)表示背景区域像素点与未知区域的像素点之间的距离；
[0095]
进一步的，上式中对于为孔洞结构的像素块，像素对评价函数中a＝0.4，b＝0.5，
对于空间连续区域的像素块，像素对评价函数中a＝0.1，b＝0.5。
[0096]
s3、基于像素对优化抠图方法对像素对评价函数进行优化并计算透明度遮罩值，得到抠图遮罩；
[0097]
s31、通过基于启发式优化的抠图方法对像素对评价函数构建为一个优化目标进行优化，得到优化后的像素对评价函数；
[0098]
具体地，使用基于像素对优化抠图方法对上一步中的像素对评价函数进行优化，其中基于像素对优化的抠图方法大致可以分为基于采样的抠图方法和基于启发式优化的抠图方法，进一步的采用基于采样的抠图方法，该算法将自然图像抠图中所涉及的大量像素对组合优化问题建模为一个大规模的像素对组合优化问题，进一步的，如图9所示，黑色区域为三分图背景区域、白色区域为三分图前景区域，灰色区域为三分图的待求解区域即未知区域，其中图中的圆点代表像素点，首先通过在在前景区域和背景区域进行采样(采样策略可以选取空间距离上靠近未知像素点的前景和背景像素点、也同时选取颜色失真较小的像素点)，假设对于某个未知区域像素点k，在前景采样m个像素点，在背景采样n个像素点，对于像素点k就有m
×
n对像素对，我们需要使用像素对评价函数去评估这m
×
n对像素对，找出最优的一对像素对。得到最优的像素对之后就能通过下面的公式计算透明度遮罩。
[0099]
s32、通过优化后的像素对评价函数计算三分图的透明度遮罩值，得到抠图遮罩。
[0100]
具体地，所述透明度遮罩值的计算公式具体如下所示：
[0101][0102]
上式中，i表示未知区域像素点的颜色值，f表示自然图像中的前景像素点的颜色值，b表示自然图像中背景像素点的颜色值，表示透明度遮罩值。
[0103]
s4、基于抠图遮罩获取前景图像并与背景图像进行结合，生成合成图像。
[0104]
具体地，参照图8，在进行图片合成、视频编辑、虚拟现实和增强现实等需要使用到抠图技术的场景中，本发明的抠图算法可以取得更好的表现；例如，可以使用抠图技术进行图像合成，作为证件照生成的算法，当使用抠图算法得到自然图像的透明度遮罩时，就利用该遮罩进行图像编辑，通过该遮罩获取所需要编辑图像的前景图像，可以利用获取到的前景图像与任意背景结合，生成合成图像，本发明抠图算法的性能更好，所得到的透明度遮罩的精度更高，主要体现在一些毛发等细微结构，能够取得更好的抠图结果，这也是促使最后生成的合成图像的质量更高。
[0105]
参照图2，基于像素对评价函数的自然图像抠图系统，包括：
[0106]
检测模块，用于通过边缘检测算法对自然图像进行边缘检测，得到三分图；
[0107]
判断模块，用于对三分图的特征值进行判断，得到三分图的语义类别信息；
[0108]
构建模块，基于三分图的语义类别信息，结合像素对评价准则构建像素对评价函数；
[0109]
计算模块，基于像素对优化抠图方法对像素对评价函数进行优化并计算透明度遮罩值，得到抠图遮罩；
[0110]
合成模块，用于基于抠图遮罩获取前景图像并与背景图像进行结合，生成合成图像。
[0111]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的
功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0112]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。