一种基于深度神经网络的人脸毛孔检测方法与流程

1.本发明涉及计算机图像处理技术领域，尤其涉及一种基于深度神经网络的人脸毛孔检测方法。


背景技术：

2.随着社会经济不断发展，人们的生活水平日益提高，越来越多的人开始关注自身脸部的皮肤质量，其中衡量脸部肤质的一个重要指标就是毛孔。毛孔检测可以为日常皮肤状况监测、化妆品研发、医学检测、医疗美容等提供一个基础数据支撑。基于计算机图像处理技术的毛孔检测方法由于其方便快捷的特性而广受欢迎。
3.目前涉及计算机图像处理技术领域的毛孔检测方法中，其数据源通常可以从手机等日常移动终端设备或专业机构的皮肤检测仪器来获取，主要以可见光图像(包括红、绿、蓝三个波段)为主。现有的毛孔检测方法主要可以分为两大类：第一类主要利用传统的图像处理方法，例如对人脸图像进行中值滤波等预处理后再采用阈值分割的方法检测毛孔，或是融合了皮肤生理结构提取人脸图像上毛孔的有效表征，这一类方法的精度易受脸部区域的影响，不同区域检出精度差别较大，而且人工构建的特征无法很好地区分毛孔与人脸皮肤上的其他因素(例如痘印)，导致了较高的错分率；第二类方法主要采用深度神经网络自动计算人脸图像特征并检测毛孔，和传统图像处理方法相比，这一类图像处理方法不易受脸部区域的影响，但是深度神经网络直接预测的结果精度离实际的应用还有一定的距离，检测的准确度有待进一步提高。


技术实现要素：

4.本发明为克服上述的不足之处，目的在于提供一种基于深度神经网络的人脸毛孔检测方法，本发明首先构建了人脸毛孔样本检测数据集，采用深度语义分割网络检测人脸毛孔，获得毛孔初步检测结果图；然后通过深度语义分割网络预测人脸分区，并对分区图进行后处理；结合人脸分区，对毛孔初步检测结果图进行后处理，获得毛孔最终检测结果；在此基础上，结合人脸分区和毛孔检测结果，计算各分区的毛孔数量。本发明克服了现有人脸毛孔检测技术漏检率、错检率高，算法泛化能力不足等问题。
5.本发明是通过以下技术方案达到上述目的：一种基于深度神经网络的人脸毛孔检测方法，包括如下步骤：
6.(1)基于人脸图像构建人脸毛孔样本集；
7.(2)对人脸毛孔样本集中的图像进行预处理；
8.(3)训练得到人脸毛孔检测模型；
9.(4)对新采集的人脸图像进行处理，获取人脸毛孔预测结果图；
10.(5)基于人脸分区深度语义分割模型获取人脸分区图；
11.(6)对人脸毛孔预测结果进行后处理，得到毛孔检测结果图；
12.(7)结合人脸分区图和毛孔检测结果图统计人脸各分区的毛孔数量。
13.作为优选，所述步骤(1)具体如下：
14.(1.1)通过可见光高清相机采集人脸图像，人脸图像要求为正脸图像，人像轮廓清晰，眼睛闭合，至少采集200张正脸图像；
15.(1.2)采用人工标记的方法标记步骤(1.1)中的人脸图像，分别把图像标记为毛孔和背景区域，由此，人脸图像和其对应的标记文件可共同构成人脸毛孔样本集。
16.作为优选，所述步骤(2)中预处理操作具体为：将得到的人脸毛孔样本集中的图像分别裁剪为m
×
m大小的图片，并剔除噪声样本；其中m为正整数。
17.作为优选，所述步骤(3)的人脸毛孔检测模型训练过程为：选用深度语义分割网络进行毛孔检测，将经过步骤(2)预处理的人脸毛孔样本集用于所选的深度语义分割网络模型的训练，由此获得人脸毛孔检测模型。
18.作为优选，所述步骤(4)包括如下过程：
19.(4.1)通过可见光高清相机采集人脸图像i，人脸图像采集要求和步骤(1.1)所述样本集的采集要求一致；
20.(4.2)采用步骤(2)相同的人脸图像预处理方法裁剪步骤(4.1)中得到的人脸图像i；
21.(4.3)将由步骤(4.2)所得裁剪后的人脸图像输入由步骤(3)所得的人脸毛孔检测模型进行预测，获得裁剪图像的毛孔预测结果；
22.(4.4)把步骤(4.3)所得预测结果重新拼接为与原始人脸图像像素一一对应的人脸毛孔预测结果图p。
23.作为优选，所述步骤(5)具体如下：
24.(5.1)选择现有的已训练好的人脸分区深度语义分割模型；
25.(5.2)将步骤(4.1)得到的人脸图像i下采样为h
×
h的尺寸，其中h为正整数；
26.(5.3)将步骤(5.2)得到的下采样图像输入步骤(5.1)选择的人脸分区深度语义分割模型，获得人脸分区结果；
27.(5.4)将所得的人脸分区结果上采样为由步骤(4.1)得到的图像i的原始尺寸，由此得到图像i的人脸分区图；
28.(5.5)对人脸分区图进行后处理，只保留人脸分区图中的左眉毛、右眉毛、鼻子、上嘴唇、下嘴唇和面部皮肤，其余部分均赋值为背景区域，由此获得最终的人脸分区图。
29.作为优选，所述步骤(6)具体如下：
30.(6.1)对由步骤(4.4)所得的人脸毛孔预测结果图中类别为毛孔的图像区域，剔除像素数目小于k的毛孔连通域，直接将其赋为背景类别，由此得到人脸毛孔初步检测结果图q；
31.(6.2)结合步骤(5.5)所得的人脸分区图，将由步骤(6.1)所得人脸毛孔初步检测结果图q中除了鼻子和面部皮肤以外区域的毛孔剔除，由此获得最终毛孔检测结果图r。
32.作为优选，所述步骤(7)具体为：根据步骤(5.5)得到的人脸分区图，结合毛孔检测结果图分别计算鼻子和面部皮肤处的毛孔数量。
33.本发明的有益效果在于：本发明采用图像原始分辨率训练毛孔检测模型，极大程度保留了人脸皮肤的原始特征，有利于提高毛孔的检出率，同时，结合人脸分区图，对毛孔预测结果进行了后处理，又降低了毛孔检测的错分率。
附图说明
34.图1是本发明的方法流程示意图；
35.图2是本发明实施例中从人脸毛孔样本库中选取的部分人脸皮肤图像与毛孔样本的叠加图；
36.图3是本发明实施例中人脸毛孔预测结果图；
37.图4是本发明实施例的人脸分区结果图；
38.图5是本发明实施例中对图3剔除小面积噪声后的结果示意图；
39.图6是本发明实施例中只保留了图5中位于鼻子和面部皮肤区域的毛孔结果示意图；
40.图7是本发明实施例中鼻子区域的毛孔检测结果图。
具体实施方式
41.下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
42.实施例：如图1所示，一种基于深度神经网络的人脸毛孔检测方法，包括如下步骤：
43.步骤1、构建人脸毛孔检测样本库，包括以下过程：
44.(1.1)通过可见光高清相机采集人脸图像，人脸图像要求为正脸图像，人像轮廓清晰，眼睛闭合，至少采集200张正脸图像，本发明实施例中一共采集了407张人脸图像；
45.(1.2)采用人工标记的方法标记步骤(1.1)中所述的人脸图像，分别把图像标记为毛孔和背景区域，由此，人脸图像和其对应的标记文件可共同构成人脸毛孔样本集，如图2为本发明实施例中从人脸毛孔样本库中选取的部分人脸皮肤图像与毛孔样本的叠加图，其中黑色表示毛孔，其余为人脸皮肤。
46.步骤2、人脸图像预处理：把由步骤(1.2)所述人脸毛孔样本集中的图像分别裁剪为m
×
m(m为正整数)大小的图片，考虑到gpu的硬件配置及选用的模型，本实施样例中的裁剪尺寸为1024
×
1024，每一张图像可以无重叠裁剪为15张1024x1024大小的图片；在此基础上，剔除噪声样本，例如带有明显噪声的标记样本，本实施样例中，最终留下了5210张1024x1024大小图片。
47.步骤3、人脸毛孔检测模型训练：选用深度语义分割网络进行毛孔检测，本实施案例中，选择了unet网络；把经过步骤2处理的5210张1024x1024大小的毛孔样本图像用于unet模型的训练，由此可获得人脸毛孔检测模型。
48.步骤4、获取人脸毛孔预测结果图，包括以下过程：
49.(4.1)通过可见光高清相机采集人脸图像i，人脸图像采集要求和步骤(1.1)所述样本集的采集要求一致；
50.(4.2)采用步骤2所述的人脸图像预处理方法裁剪步骤(4.1)所述人脸图像i，本实施样例中的裁剪尺寸为1024
×
1024；
51.(4.3)将由步骤(4.2)所得裁剪后的人脸图像输入由步骤3所得人脸毛孔检测模型进行预测，获得裁剪图像的毛孔预测结果；
52.(4.4)把步骤(4.3)所得预测结果重新拼接为与原始人脸图像像素一一对应的人脸毛孔预测图p，图3是本发明实施例中人脸毛孔预测结果图，其中白色表示毛孔，黑色表示
背景。
53.步骤5、获取人脸分区图，包括以下过程：
54.(5.1)选择已经训练好的人脸分区深度语义分割模型，本实施例中，选用了在公共数据集celebamask
‑
hq上已经训练好的深度人脸分区模型bisenet；
55.(5.2)把步骤(4.1)所述人脸图像i下采样为h
×
h(h为正整数)的尺寸，本实施例中，h为512；
56.(5.3)把步骤(5.2)所述下采样图像输入步骤(5.1)所述人脸分区深度语义分割模型，获得人脸分区结果；
57.(5.4)将由步骤(5.3)所得人脸分区结果上采样为由步骤(4.1)所述图像i的原始尺寸，由此可得图像i的人脸分区图；
58.(5.5)对人脸分区图进行后处理，只保留人脸分区图中的左眉毛、右眉毛、鼻子、上嘴唇、下嘴唇和面部皮肤，其余部分均赋值为背景区域，由此可获得最终的人脸分区图，本实施例中选用的模型可以分为19类，通过本步骤的处理，最后保留6类；如图4是本发明实施例中人脸分区结果图，保留了人脸的左眉毛、右眉毛、鼻子、上嘴唇、下嘴唇和面部皮肤，其余黑色表示背景。
59.步骤6、人脸毛孔预测结果后处理：
60.(6.1)对由步骤(4.4)所得的人脸毛孔二分类检测结果中类别为毛孔的图像区域，剔除像素数目小于k的毛孔连通域，直接将其赋为背景类别，由此可得人脸毛孔初步检测结果图q，本发明实施例中k取值为2，图3中初步毛孔预测结果为613个，剔除小面积噪声后，结果图q如图5所示，其中白色表示毛孔，黑色表示背景，图5中毛孔个数为567个；
61.(6.2)结合由步骤(5.5)所得人脸分区图，把由步骤(6.1)所得人脸毛孔初步检测结果图q中除了鼻子和面部皮肤以外区域的毛孔剔除，由此可获得最终毛孔检测结果图r，如图6是本发明实施例中只保留了图5中位于鼻子和面部皮肤区域的毛孔结果图，其中白色表示毛孔，黑色表示背景，剔除了图5中位于嘴唇部分的两个预测毛孔，最后图6中毛孔个数为565个。
62.步骤7、统计人脸各分区的毛孔数量：根据由步骤(5.5)所得人脸分区图，分别计算鼻子和面部皮肤处的毛孔数量，图7是本发明实施例中鼻子区域的毛孔检测结果图，其中白色表示毛孔，黑色表示背景，鼻子区域共96个毛孔，面部皮肤区域共469个毛孔。
63.综上所述，本发明的优点为：本发明采用图像原始分辨率训练毛孔检测模型，极大程度保留了人脸皮肤的原始特征，有利于提高毛孔的检出率，同时，结合人脸分区图，对毛孔预测结果进行了后处理，又降低了毛孔检测的错分率。
64.以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。