一种基于全脸图像的毛孔检测方法与流程

1.本发明涉及医疗美容技术领域，更具体地说，本发明涉及一种基于全脸图像的毛孔检测方法。


背景技术：

2.面部毛孔检测在医学美容、护肤品、皮肤状态检测等场景都发挥了比较重要的作用，通过毛孔的严重程度和发生区域，可以为其推荐适合该情况的一些医美产品、护肤品或养护知识，而现有的毛孔检测方法基本都要依靠于皮肤镜等专业设备，此类方法往往成本较高，且地点局限性较大，为日常皮肤检测、化妆品开发、皮肤医学研究带来了很多不便，而目前利用普通图像进行毛孔准确识别的技术方案非常少，并且普遍并不成熟，本身的难点在于：
3.1、毛孔特征细微，如果采用深度学习方案，标注成本非常高，也并没有相关的公开数据集；
4.2、人脸照片受光照等环境因素的影响，造成色相、明度差异大，造成图像处理的困难；
5.3、人脸照片的角度多种多样，人脸各个部位在定位上的鲁棒性也是现有方案考虑较少的一个问题。
6.而目前的技术方案，普遍仅适用于局部平坦的、不存在反光、阴影的皮肤图片上，鲁棒性低，实际应用效果较差，并且，多数方案也仅仅是解决基于局部平整皮肤图片的毛孔检测上，并不能准确定位到具体的毛孔位置，对于基于完整图片的场景，也缺少比较系统的解决方案，造成了实际应用效果较差，因此，研究一种基于全脸图像的毛孔检测方法来解决上述问题具有重要意义。


技术实现要素：

7.为了克服现有技术的上述缺陷，本发明提供了一种基于全脸图像的毛孔检测方法，本发明所要解决的技术问题是：现有的毛孔检测方法基本都要依靠于皮肤镜等专业设备，此类方法往往成本较高，且地点局限性较大，为日常皮肤检测、化妆品开发、皮肤医学研究带来了很多不便，而目前利用普通图像进行毛孔准确识别的技术方案非常少，并且普遍并不成熟，多数方案并不能准确定位到具体的毛孔位置，或者仅适用于局部平坦的、不存在反光、阴影的皮肤图片上，造成了实际应用效果较差的问题。
8.为实现上述目的，本发明提供如下技术方案：一种基于全脸图像的毛孔检测方法，包括以下步骤：
9.s1、人脸检测：
10.对人脸进行检测，检测完成之后将人脸统一宽度进行调整。
11.s2、人脸部位分割：
12.采用深度学习的bisenet算法进行语义分割进行人脸各部位的分割提取，通过语
义分割，使得模型可以学习到人脸各个部位的特征，也可以融合全脸各部位的语义信息进行一个综合的判断，降低光线、背景信息、肤色和人种等信息的干扰。
13.s3、关键区域提取：
14.首先，在s2的基础上，提取各个部位的黑白mask，然后在各个黑白mask上，进行最大轮廓提取，并且将其包在一个bounding box里面，获得各个部位对应bounding box的位置信息和长宽的信息，也就等同于获得各个面部部位的位置信息，然后根据各部位的位置信息，进行四个关键区域的定义，分别为：额头、左脸颊、右脸颊和鼻子。
15.s4、检测毛孔：
16.经过s3提取了关键区域后，已经剔除了背景信息以及大的面部结构信息的干扰，现在，基于s3的关键区域，通过统计方法加图像处理的方法进行毛孔的检测，所述毛孔检测步骤如下：
17.a、提取蓝色通道；
18.b、图像锐化；
19.c、高光处理；
20.d、局部二值化；
21.e、开运算；
22.f、轮廓提取和筛选；
23.g、gbounding box提取和筛选。
24.作为本发明的进一步方案：所述s1人脸检测中采用mtcnn进行实现，通过mtcnn成熟的人脸检测方案尽可能的剔除背景信息的干扰。
25.作为本发明的进一步方案：所述s1人脸检测中对人脸统一宽度进行调整的过程中，统一将人脸调整为1350像素。
26.作为本发明的进一步方案：所述s3中额头、左脸颊、右脸颊和鼻子的定位分别为：
27.额头：x1坐标＝脸部x1 10％*脸部；
28.x2坐标＝脸部x1 脸部w
–
10％*脸部w；
29.y1坐标＝脸部y1 5％*脸部h；
30.y2坐标＝(左眉毛y1 右眉毛y1)/2
‑
5％*脸部h；
31.左脸颊：x1坐标＝脸部x1 10％*脸部w；
32.x2坐标＝鼻子x1
–
10％*脸部w；
33.y1坐标＝左眼y2 5％*脸部h；
34.y2坐标＝(鼻子y2 上嘴唇y1)/2；
35.右脸颊和鼻子的定义雷同，不赘述；
36.其中，x1表示该部位在横坐标的起始位置；x2表示该部位在横坐标的结束位置；y1表示该部位在纵坐标的起始位置；y2表示该部位在纵坐标的结束位置；w表示该部位的宽度；h表示该部位的高度。
37.作为本发明的进一步方案：所述s4中图像锐化的具体步骤为：通过自定义一个3*3滤波器，对各个区域的皮肤进行遍历计算，得到图像的锐化处理，以加强毛孔特征的对比度，所述滤波器为[[0,
‑
1,0],[
‑
1,5,
‑
1],[0,
‑
1,0]]；
[0038]
作为本发明的进一步方案：所述s4中高光处理的具体步骤为：分别获取区域皮肤
图像的第50个百分位值、第80个百分位值和第87个百分位值，将大于第87个百分位值的像素视为高光区域的像素，对于高光区域的像素，将原值*0.95作为新的像素值，以这样的方法，对高光区域的亮度做针对性地调暗处理，使得在不影响正常光照区信息的情况下，将整体区域的光线对比度降低。
[0039]
作为本发明的进一步方案：所述s4中局部二值化的具体步骤为：以当前像素为中心，15*15范围内的明暗度进行二值化处理，得到一张黑白图，在黑白图上，毛孔为黑色，其他区域为白色。
[0040]
作为本发明的进一步方案：所述s4中轮廓提取和筛选的具体步骤为：把黑白图的黑色部分轮廓提取出来，并且用面积进行过滤。
[0041]
作为本发明的进一步方案：所述s4中bounding box提取和筛选的具体步骤为：基于提取出来的轮廓，获得各个轮廓的bounding box，并从多方面进行过滤，如下：
[0042]
首先从bounding box长宽比限制进行过滤：限制长宽比在0.5
‑
1.5之间，剔除皱纹之类特征的干扰，然后从r通道值限制进行过滤：理论上来说，毛孔虽然在皮肤表面会显得稍微暗沉，但基色依然是肤色，并不会像痣、毛发那样深色，也即是说，毛孔的r值一般也不会太低，但因为实际情况下，光线等环境信息以及个体的肤色并不统一，所以也不适合取一个固定值，为了使得结果更加稳定，使用统计学方法，采用一个动态值进行判断，计算面部皮肤r通道的第20个百分位数的值作为肤色在r通道的底线值，过滤掉r通道值低于底线值的那些bounding box，通过这样的方法，剔除痣和毛发等特征的干扰。
[0043]
本发明的有益效果在于：
[0044]
1、本发明通过基于全脸图像的毛孔检测问题提供了一个比较系统且鲁棒性较高、可落地的方案，本方法通过将毛孔检测拆分为四个子问题，简化毛孔检测问题，所以毛孔检测在不采用深度学习的情况下，也能得到一个比较稳定、可靠的效果，同时人脸图片受光照影响造成的色相、明度等问题，通过高光处理、皮肤的百分数作为动态阈值等方法，比较好的缓解了这个问题造成的影响，并且人脸照片的角度多种多样，人脸各个部位在定位上的鲁棒性，也通过语义分割得到有效解决；
[0045]
2、本发明通过采用深度学习的bisenet算法进行语义分割进行人脸各部位的分割提取，通过语义分割，使得模型可以学习到人脸各个部位的特征，也可以融合全脸各部位的语义信息进行一个综合的判断，降低光线、背景信息、肤色和人种等信息的干扰，在实际应用上也比传统的图像处理方案更接近稳定，精度也更高；
[0046]
3、本发明通过在毛孔检测的过程中加入提取蓝色通道和开运算两个步骤，经观察，人脸的毛孔特征在蓝色通道最为显著，所以提取蓝色通道作为毛孔检测的图像基础，从而可以更清晰的检测到人脸表面的毛孔，且通过对二值化的结果进行开运算，使得二值化的曲线更加平滑；
[0047]
4、本发明通过对人脸统一宽度进行调整的过程中，统一将人脸调整为1350像素，从而可以保证后续毛孔识别环节的稳定性，且因为脸部各部位的光照可能并不统一，如果采用普通的二值化方案，二值化的结果会很不稳定，在光照不平衡的情况下，普通二值化的结果更倾向于光照脸面和暗面的二值化，所以采用了局部二值化的方案，从而可以保障二值化结果的稳定性。
附图说明
[0048]
图1为本发明毛孔检测方法的流程示意图；
[0049]
图2为本发明关键区域定义的流程示意图。
具体实施方式
[0050]
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
如图1
‑
2所示，一种基于全脸图像的毛孔检测方法，包括以下步骤：
[0052]
s1、人脸检测：
[0053]
对人脸进行检测，检测完成之后将人脸统一宽度进行调整，本发明通过对人脸统一宽度进行调整的过程中，统一将人脸调整为1350像素，从而可以保证后续毛孔识别环节的稳定性。
[0054]
s2、人脸部位分割：
[0055]
采用深度学习的bisenet算法进行语义分割进行人脸各部位的分割提取，通过语义分割，使得模型可以学习到人脸各个部位的特征，也可以融合全脸各部位的语义信息进行一个综合的判断，降低光线、背景信息、肤色和人种等信息的干扰，本发明通过采用深度学习的bisenet算法进行语义分割进行人脸各部位的分割提取，通过语义分割，使得模型可以学习到人脸各个部位的特征，也可以融合全脸各部位的语义信息进行一个综合的判断，降低光线、背景信息、肤色和人种等信息的干扰，在实际应用上也比传统的图像处理方案更接近稳定，精度也更高。
[0056]
s3、关键区域提取：
[0057]
首先，在s2的基础上，提取各个部位的黑白mask，然后在各个黑白mask上，进行最大轮廓提取，并且将其包在一个bounding box里面，获得各个部位对应bounding box的位置信息和长宽的信息，也就等同于获得各个面部部位的位置信息，然后根据各部位的位置信息，进行四个关键区域的定义，分别为：额头、左脸颊、右脸颊和鼻子。
[0058]
s4、检测毛孔：
[0059]
经过s3提取了关键区域后，已经剔除了背景信息以及大的面部结构信息的干扰，现在，基于s3的关键区域，通过统计方法加图像处理的方法进行毛孔的检测，毛孔检测步骤如下：
[0060]
e、提取蓝色通道；
[0061]
f、图像锐化；
[0062]
g、高光处理；
[0063]
h、局部二值化；
[0064]
e、开运算；
[0065]
f、轮廓提取和筛选；
[0066]
g、gbounding box提取和筛选。
[0067]
本发明通过在毛孔检测的过程中加入提取蓝色通道和开运算两个步骤，经观察，
人脸的毛孔特征在蓝色通道最为显著，所以提取蓝色通道作为毛孔检测的图像基础，从而可以更清晰的检测到人脸表面的毛孔，且通过对二值化的结果进行开运算，使得二值化的曲线更加平滑。
[0068]
s1人脸检测中采用mtcnn进行实现，通过mtcnn成熟的人脸检测方案尽可能的剔除背景信息的干扰。
[0069]
s1人脸检测中对人脸统一宽度进行调整的过程中，统一将人脸调整为1350像素，本发明通过对人脸统一宽度进行调整的过程中，统一将人脸调整为1350像素，从而可以保证后续毛孔识别环节的稳定性。
[0070]
s3中额头、左脸颊、右脸颊和鼻子的定位分别为：
[0071]
额头：x1坐标＝脸部x1 10％*脸部；
[0072]
x2坐标＝脸部x1 脸部w
–
10％*脸部w；
[0073]
y1坐标＝脸部y1 5％*脸部h；
[0074]
y2坐标＝(左眉毛y1 右眉毛y1)/2
‑
5％*脸部h；
[0075]
左脸颊：x1坐标＝脸部x1 10％*脸部w；
[0076]
x2坐标＝鼻子x1
–
10％*脸部w；
[0077]
y1坐标＝左眼y2 5％*脸部h；
[0078]
y2坐标＝(鼻子y2 上嘴唇y1)/2；
[0079]
右脸颊和鼻子的定义雷同，不赘述；
[0080]
其中，x1表示该部位在横坐标的起始位置；x2表示该部位在横坐标的结束位置；y1表示该部位在纵坐标的起始位置；y2表示该部位在纵坐标的结束位置；w表示该部位的宽度；h表示该部位的高度。
[0081]
s4中图像锐化的具体步骤为：通过自定义一个3*3滤波器，对各个区域的皮肤进行遍历计算，得到图像的锐化处理，以加强毛孔特征的对比度，滤波器为[[0,
‑
1,0],[
‑
1,5,
‑
1],[0,
‑
1,0]]；
[0082]
s4中高光处理的具体步骤为：分别获取区域皮肤图像的第50个百分位值、第80个百分位值和第87个百分位值，将大于第87个百分位值的像素视为高光区域的像素，对于高光区域的像素，将原值*0.95作为新的像素值，以这样的方法，对高光区域的亮度做针对性地调暗处理，使得在不影响正常光照区信息的情况下，将整体区域的光线对比度降低。
[0083]
s4中局部二值化的具体步骤为：以当前像素为中心，15*15范围内的明暗度进行二值化处理，得到一张黑白图，在黑白图上，毛孔为黑色，其他区域为白色，因为脸部各部位的光照可能并不统一，如果采用普通的二值化方案，二值化的结果会很不稳定，在光照不平衡的情况下，普通二值化的结果更倾向于光照脸面和暗面的二值化，所以采用了局部二值化的方案，从而可以保障二值化结果的稳定性。
[0084]
s4中轮廓提取和筛选的具体步骤为：把黑白图的黑色部分轮廓提取出来，并且用面积进行过滤。
[0085]
s4中bounding box提取和筛选的具体步骤为：基于提取出来的轮廓，获得各个轮廓的bounding box，并从多方面进行过滤，如下：
[0086]
首先从bounding box长宽比限制进行过滤：限制长宽比在0.5
‑
1.5之间，剔除皱纹之类特征的干扰，然后从r通道值限制进行过滤：理论上来说，毛孔虽然在皮肤表面会显得
稍微暗沉，但基色依然是肤色，并不会像痣、毛发那样深色，也即是说，毛孔的r值一般也不会太低，但因为实际情况下，光线等环境信息以及个体的肤色并不统一，所以也不适合取一个固定值，为了使得结果更加稳定，使用统计学方法，采用一个动态值进行判断，计算面部皮肤r通道的第20个百分位数的值作为肤色在r通道的底线值，过滤掉r通道值低于底线值的那些bounding box，通过这样的方法，剔除痣和毛发等特征的干扰。
[0087]
本发明通过基于全脸图像的毛孔检测问题提供了一个比较系统且鲁棒性较高、可落地的方案，本方法通过将毛孔检测拆分为四个子问题，简化毛孔检测问题，所以毛孔检测在不采用深度学习的情况下，也能得到一个比较稳定、可靠的效果，同时人脸图片受光照影响造成的色相、明度等问题，通过高光处理、皮肤的百分数作为动态阈值等方法，比较好的缓解了这个问题造成的影响，并且人脸照片的角度多种多样，人脸各个部位在定位上的鲁棒性，也通过语义分割得到有效解决。
[0088]
最后应说明的几点是：虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明的基础上，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。