一种基于高斯混合模型的唇部分割方法与流程

1.本发明属于计算机视觉领域，具体涉及一种基于高斯混合模型的唇部分割方法。


背景技术：

2.随着计算机技术的不断完善，科学技术不断发展进步，唇部的提取分割被越来越多的应用于实际生活中，包括语音识别、唇读、面部表情分类、音频交互等。比如在现如今的中医诊断中，需要准确的自动分割技术来提取唇部区域，唇部区域提取的越准确，唇彩分析的结果越准确。所以，如何自动获得准确的唇部区域是目前比较重要的。并且在传统的嘴唇检测方法中，通常使用固定的阈值进行估计唇部区域的像素，但是因为嘴唇和唇部周围的面部皮肤背景之间的颜色差异因人而异，当颜色差异偏大时可以使用固定阈值进行分割，但是在某些情况下，当嘴唇和唇部周围的面部皮肤背景之间的颜色差异较小时，使用固定的阈值不能准确区分得到唇部区域。


技术实现要素：

3.本发明是为了解决上述问题而进行的，目的在于提供一种基于高斯混合模型的唇部分割方法。
4.本发明提供了一种基于高斯混合模型的唇部分割方法，具有这样的特征，包括以下步骤：步骤1，对输入图像进行人脸检测，获取人脸上半部分区域，并将人脸上半部分区域的像素颜色作为训练数据，在lab颜色空间中建立肤色高斯混合模型，再通过肤色高斯混合模型计算下半脸中每个像素的肤色概率值，得到人脸下部肤色概率图；
5.步骤2，根据嘴唇的先验知识，通过迭代在人脸下部肤色概率图中检测得到唇部区域；
6.步骤3，将唇部区域的像素与非唇部区域的像素作为训练数据，分别建立唇部区域高斯混合模型与非唇部区域高斯混合模型，通过唇部区域高斯混合模型与非唇部区域高斯混合模型计算唇部区域中的各像素的概率值，得到背景概率图；
7.步骤4，对背景概率图进行ostu二值化处理得到二值化图像，通过区域生长法对二值化图像中的唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化，最后通过k
‑
points方法来平滑唇部轮廓，得到最佳唇部区域；
8.步骤5，根据最佳唇部区域在输入图像中对应提取得到嘴唇轮廓图像。
9.在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤1中，对输入图像进行人脸检测时，将输入图像采用haar分类器进行人脸检测，并确保唇部区域在检测框内，并且在人脸检测时根据输入图像的大小动态进行等比例缩小来加快人脸检测的速度。
10.在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤1中，在lab颜色空间中建立肤色高斯混合模型的过程如下：
11.单高斯分布公式为：
[0012][0013]
公式(1)中，μ为数据均值，σ为数据标准差，p(x|θ)为单高斯分布的概率密度函数，在lab颜色空间中，l代表亮度，a代表从红色至绿色的范围，b代表从黄色至蓝色的范围，设x＝(l，a，b)
t
[0014]
求出均值：
[0015][0016]
协方差矩阵计算方式如下：
[0017][0018]
肤色高斯混合模型使用k个子高斯模型，混合高斯分布公式为：
[0019][0020]
求出训练数据x
j
的概率p(x
j
)：
[0021][0022]
公式(4)和公式(5)中，x
j
表示第j个训练数据，j＝1，2，...，n；k是肤色高斯混合模型中子高斯模型的数量，k＝1，2，...，k；w
k
为训练数据属于第k个子高斯模型的概率，n(x|θ
k
)为第k个子高斯模型的高斯分布密度函数，θ
k
＝(μ
k
，σ
k
)；对于肤色高斯混合模型，参数为每个子高斯模型的期望、协方差在肤色高斯混合模型中发生的概率。
[0023]
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤1中，利用肤色高斯混合模型计算下半脸中每个像素x的概率值p
down
(x)，概率值越大表示该像素越接近肤色，反之远离肤色，基于lab颜色空间进行计算得到人脸下部肤色概率图。
[0024]
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤2中，通过迭代在人脸下部肤色概率图中检测得到唇部区域的过程如下：
[0025]
步骤2
‑
1，设定阈值的迭代数组it[i]，进行初始化，设置i＝0使阀值的初始迭代值为0；
[0026]
步骤2
‑
2，对于人脸下部肤色概率图中的每个像素j，如果p(x
j
)≥it[i]，表示该像素类似于面部肤色，将该像素的灰度值设置为0，否则保留该像素，将该像素的灰度值设置为255，来将人脸下部肤色概率图根据阈值划分为候选唇部区域和背景；
[0027]
步骤2
‑
3，根据嘴唇的先验知识，在候选唇部区域中检测疑似嘴唇个数，并用lip
cnt
表示；
[0028]
步骤2
‑
4，如果lip
cnt
＝1，则表示找到唇部区域，设置it＝1，获取候选唇部区域的感兴趣区域，在进行迭代优化后得到唇部区域，如果lip
cnt
≠1，且迭代数组并未迭代完成，则增加i的值并回到步骤2
‑
2，当迭代数组迭代完成，且没有找到唇部区域时，结束迭代。
[0029]
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤2中，嘴唇的先验知识如下：
[0030]
嘴唇外接矩形的宽高比：
[0031]
ratio
wh
＝w/h ratio
wh
∈[1,6]
ꢀꢀ
(6)
[0032]
目标填充率：
[0033]
ratio
fill
＝area(ω)/(w*h) ratio
fill
∈[0.3，1)
ꢀꢀ
(7)
[0034]
嘴唇面积与下半脸面积比：
[0035]
ratio
arsa
＝area(ω)/area(i
down
) ratio
arsa
∈[0.03,0.15]
ꢀꢀ
(8)
[0036]
嘴唇中心点位置信息：
[0037]
lip
csnter
(x)∈[i
down
(width)/3，2i
down
(width)/3]
ꢀꢀ
(9)
[0038]
lip
center
(y)≥i
down
(height)/3
ꢀꢀ
(10)
[0039]
公式(6)
‑
公式(7)中，w为嘴唇外接矩形的宽度，h为嘴唇外接矩形的高度。
[0040]
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤3中，通过唇部区域高斯混合模型和非唇部区域高斯混合模型来计算唇部区域中的各像素的概率值，得到背景概率图p
b
(x)，计算公式如下：
[0041][0042]
公式(11)中，p(x|non_lip)，p(x|lip)分别对应非唇部区域高斯混合模型和唇部区域高斯混合模型计算出唇部区域中的各像素的概率值。
[0043]
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤4中，对背景概率图进行ostu二值化处理的过程如下：
[0044]
将背景概率图从[0，1]映射到灰度值[0，225]，通过otsu二值化计算公式，将每个灰度值作为二值化阈值并进行重复循环计算得到相应的类内方差，再取最小的类内方差所对应的灰度值作为二值化阈值来进行图像的二值化。
[0045]
在本发明提供的基于高斯混合模型的唇部分割方法中，还可以具有这样的特征：其中，步骤4中，通过k
‑
points方法来平滑唇部轮廓的过程为：
[0046]
去除唇部区域中的突出物的计算方式如下：
[0047][0048]
公式(12)中，∧表示and运算，k设定为5～15，
[0049]
进一步填充内凹图像，以获得最佳唇部区域，最佳唇部区域的计算如下：
[0050]
[0051]
公式(12)中，∨表示or运算，k设定为k
‑
points方法通过沿着唇部轮廓从左到右为每个k选择一个采样点，并将采样点以直线相连的方式来平滑唇部轮廓。
[0052]
发明的作用与效果
[0053]
根据本发明所涉及的一种基于高斯混合模型的唇部分割方法，通过建立肤色高斯混合模型得到人脸下部肤色概率图，在迭代得到唇部区域后再通过建立唇部区域高斯混合模型与非唇部区域高斯混合模型来优化处理唇部区域，能够保证精确分割得到唇部区域，并且还通过k
‑
points方法来平滑唇部轮廓，得到最佳唇部区域，能够得到更为准确和平滑的嘴唇；并且本发明通过通过迭代并根据嘴唇先验知识来获取唇部区域，能够在嘴唇和唇部周围的面部皮肤背景之间的颜色差异很小的情况下依旧准确获取唇部区域。
附图说明
[0054]
图1是本发明的实施例中一种基于高斯混合模型的唇部分割方法的流程图；
[0055]
图2是本发明的实施例中一种基于高斯混合模型的唇部分割方法进行唇部分割时的整体流程图；
[0056]
图3是本发明的实施例中肤色高斯混合模型的建立结构示意图；
[0057]
图4是本发明的实施例中进行粗略迭代获取唇部区域的流程示意图；
[0058]
图5是本发明的实施例中进行精确迭代获取唇部区域的流程示意图。
具体实施方式
[0059]
为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
[0060]
＜实施例＞
[0061]
图1是本发明的实施例中一种基于高斯混合模型的唇部分割方法的流程图，图2是本发明的实施例中一种基于高斯混合模型的唇部分割方法进行唇部分割时的整体流程图。
[0062]
如图1和图2所示，本实施例的一种基于高斯混合模型的唇部分割方法，包括以下步骤：
[0063]
步骤1，对输入图像进行人脸检测，获取人脸上半部分区域，并将人脸上半部分区域的像素颜色作为训练数据，在lab颜色空间中建立肤色高斯混合模型，再通过肤色高斯混合模型计算下半脸中每个像素的肤色概率值，得到人脸下部肤色概率图。
[0064]
步骤1中，对输入图像进行人脸检测时，将输入图像采用haar分类器进行人脸检测，并确保唇部区域在检测框内，并且在人脸检测时根据输入图像的大小动态进行等比例缩小来加快人脸检测的速度。
[0065]
步骤1中，在lab颜色空间中建立肤色高斯混合模型的过程如下：
[0066]
单高斯分布公式为：
[0067][0068]
公式(1)中，μ为数据均值，σ为数据标准差，p(x|θ)为单高斯分布的概率密度函数，在lab颜色空间中，l代表亮度，a代表从红色至绿色的范围，b代表从黄色至蓝色的范围，设x
＝(l，a，b)
t
[0069]
求出均值：
[0070][0071]
协方差矩阵计算方式如下：
[0072][0073]
肤色高斯混合模型使用k个子高斯模型，混合高斯分布公式为：
[0074][0075]
求出训练数据x
j
的概率p(x
j
)：
[0076][0077]
公式(4)和公式(5)中，x
j
表示第j个训练数据，j＝1，2，...，n；k是肤色高斯混合模型中子高斯模型的数量，k＝1，2，...，k；w
k
为训练数据属于第k个子高斯模型的概率，n(x|θ
k
)为第k个子高斯模型的高斯分布密度函数，θ
k
＝(μ
k
，σ
k
)；对于肤色高斯混合模型，参数为每个子高斯模型的期望、协方差在肤色高斯混合模型中发生的概率。
[0078]
图3是本发明的实施例中肤色高斯混合模型的建立结构示意图。
[0079]
如图3所示，该肤色高斯混合模型具有三个子高斯模型c1，c2，c3，每个子高斯模型均具有对应的高斯分布密度函数，w
k
为训练数据属于第k个子高斯模型的概率。
[0080]
步骤1中，利用肤色高斯混合模型计算下半脸中每个像素x的概率值p
down
(x)，概率值越大表示该像素越接近肤色，反之远离肤色，基于lab颜色空间进行计算得到人脸下部肤色概率图。
[0081]
步骤2，根据嘴唇的先验知识，通过迭代在人脸下部肤色概率图中检测得到唇部区域。
[0082]
步骤2中，嘴唇的先验知识如下：
[0083]
嘴唇外接矩形的宽高比：
[0084]
ratio
wh
＝w/h ratio
we
∈[1,6]
ꢀꢀ
(6)
[0085]
目标填充率：
[0086]
ratio
fill
＝area(ω)/(w*h) ratio
fill
∈[0.3，1)
ꢀꢀ
(7)
[0087]
嘴唇面积与下半脸面积比：
[0088]
ratio
area
＝area(ω)/area(i
down
) ratio
area
∈[0.03,0.15]
ꢀꢀ
(8)
[0089]
嘴唇中心点位置信息：
[0090]
lip
center
(x)∈[i
down
(width)/3，2i
down
(width)/3]
ꢀꢀ
(9)
[0091]
lip
center
(y)≥i
down
(height)/3
ꢀꢀ
(10)
[0092]
公式(6)
‑
公式(7)中，w为嘴唇外接矩形的宽度，h为嘴唇外接矩形的高度。
[0093]
本实施例中，在传统的嘴唇检测方法中，通常使用固定的阈值进行估计唇部区域的像素，具体过程如下：在求出图像中灰度的最大值和最小值，根据阈值划分图像为唇部区域和背景，并分别将其灰度值求和，计算唇部区域和背景的平均灰度，并判断阈值是否等于唇部区域和背景平均灰度的和的平均，若相等，则阈值即为其平均，否则，将阈值设置为唇部区域和背景灰度平均值的和的一半，继续迭代，直至计算出阈值。
[0094]
这种通过计算固定阈值来划分唇部区域和背景的方法，在嘴唇和唇部周围的面部皮肤背景之间的颜色差异很小的情况下不能保证准确划分出唇部区域。本发明通过迭代检测的方法来解决这个问题，通过多次迭代检测唇部区域，具体过程如下：
[0095]
步骤2中，通过迭代在人脸下部肤色概率图中检测得到唇部区域的过程如下：
[0096]
步骤2
‑
1，设定阈值的迭代数组it[i]，进行初始化，设置i＝0使阀值的初始迭代值为0；
[0097]
步骤2
‑
2，对于人脸下部肤色概率图中的每个像素j，如果p(x
j
)≥it[i]，表示该像素类似于面部肤色，将该像素的灰度值设置为0，否则保留该像素，将该像素的灰度值设置为255，来将人脸下部肤色概率图根据阈值划分为候选唇部区域和背景；
[0098]
步骤2
‑
3，根据嘴唇的先验知识，在候选唇部区域中检测疑似嘴唇个数，并用lip
cnt
表示；
[0099]
步骤2
‑
4，如果lip
cnt
＝1，则表示找到唇部区域，设置it＝1，获取候选唇部区域的感兴趣区域，在进行迭代优化后得到唇部区域，如果lip
cnt
≠1，且迭代数组并未迭代完成，则增加i的值并回到步骤2
‑
2，当迭代数组迭代完成，且没有找到唇部区域时，结束迭代。
[0100]
本实施例中，通过实验验证，设定一个迭代阈值数组为14，it[14]＝{0.6，0.5,0.4,0.3，0.2，0.1,0.05,0.01,0.005,0.001,0.0005,0.0001,0.00005,0.00001}，在进行迭代检测还能选择粗略迭代和精确迭代，图4是本发明的实施例中进行粗略迭代获取唇部区域的流程示意图，图5是本发明的实施例中进行精确迭代获取唇部区域的流程示意图。
[0101]
如图4所示，当进行粗略迭代时，选择从i＝6开始进行迭代，当迭代至i＜15依旧未能检测到唇部区域时，再依次使用剩余的阈值进行迭代检测。
[0102]
如图5所示，当进行精确迭代时，设置i＝0来从头开始进行迭代。
[0103]
步骤3，将唇部区域的像素与非唇部区域的像素作为训练数据，分别建立唇部区域高斯混合模型与非唇部区域高斯混合模型，通过唇部区域高斯混合模型与非唇部区域高斯混合模型计算唇部区域中的各像素的概率值，得到背景概率图。
[0104]
本实施例中，唇部区域高斯混合模型与非唇部区域高斯混合模型的建立过程与肤色高斯混合模型的建立过程一致。
[0105]
步骤3中，通过唇部区域高斯混合模型和非唇部区域高斯混合模型来计算唇部区域中的各像素的概率值，得到背景概率图p
b
(x)，计算公式如下：
[0106][0107]
公式(11)中，p(x|non_lip)，p(x|lip)分别对应非唇部区域高斯混合模型和唇部区域高斯混合模型计算出唇部区域中的各像素的概率值。
[0108]
步骤4，对背景概率图进行ostu二值化处理得到二值化图像，通过区域生长法对二值化图像中的唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化，最后通过k
‑
points方法来平滑唇部轮廓，得到最佳唇部区域。
[0109]
本实施例中，通过区域生长法对二值化图像中的唇部区域进行图形增长，去除杂质，再通过中值滤波进行优化的过程如下：从种子点的集合开始，将图像中与每个种子点相似属性的相邻像素都合并到此区域，再采用中值滤波对得到的唇部轮廓进行处理，平滑原始边缘并减少凸起，获得平滑的边缘。
[0110]
步骤4中，对背景概率图进行ostu二值化处理的过程如下：
[0111]
将背景概率图从[0，1]映射到灰度值[0，225]，通过otsu二值化计算公式，将每个灰度值作为二值化阈值并进行重复循环计算得到相应的类内方差，再取最小的类内方差所对应的灰度值作为二值化阈值来进行图像的二值化。
[0112]
步骤4中，通过k
‑
points方法来平滑唇部轮廓的过程为：
[0113]
去除唇部区域中的突出物的计算方式如下：
[0114][0115]
公式(12)中，∧表示and运算，k设定为5～15，
[0116]
进一步填充内凹图像，以获得最佳唇部区域，最佳唇部区域的计算如下：
[0117][0118]
公式(12)中，∨表示or运算，k设定为k
‑
points方法通过沿着唇部轮廓从左到右为每个k选择一个采样点，并将采样点以直线相连的方式来平滑唇部轮廓。
[0119]
步骤5，根据最佳唇部区域在输入图像中对应提取得到嘴唇轮廓图像。
[0120]
本实施例中，还对本发明的一种基于高斯混合模型的唇部分割方法的分割准确性进行实验评估，具体过程如下:
[0121]
从数据库中随机抽选1000张人脸图像，尺寸为2816x2112，并进行图像手动注释，将该1000张人脸图像通过本发明的一种基于高斯混合模型的唇部分割方法分割得到唇部区域，并与手动注释进行比对，对试验结果采用ol和se双重标准进行评估，ol表示检测结果与实际真实性的区域重叠，ol数值越高，表示分割效果越准确，性能越好；se表示为分割误差，se数值越低，表示误差越小，性能越好，实验结果如表1所示。
[0122]
表1 实验结果表
[0123] resultaverage ol(％)96.76average se(％)3.29
[0124]
如表1所示，评估结果中，ol为96.76％，本发明方法具有较高的分割准确性，且se只有3.29％，本发明方法的分割误差较小，因此，通过本发明的一种基于高斯混合模型的唇部分割方法能够准确的对唇部区域进行分割。
[0125]
实施例的作用与效果
[0126]
根据本实施例所涉及的一种基于高斯混合模型的唇部分割方法，通过建立肤色高斯混合模型得到人脸下部肤色概率图，在迭代得到唇部区域后再通过建立唇部区域高斯混合模型与非唇部区域高斯混合模型来优化处理唇部区域，能够保证精确分割得到唇部区域，并且还通过k
‑
points方法来平滑唇部轮廓，得到最佳唇部区域，能够得到更为准确和平滑的嘴唇；并且本实施例通过通过迭代并根据嘴唇先验知识来获取唇部区域，能够在嘴唇和唇部周围的面部皮肤背景之间的颜色差异很小的情况下依旧准确获取唇部区域。
[0127]
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。