一种人脸识别的方法与流程

1.本发明涉及一种基于图像识别与融合的人脸预测与溯源的方法及系统，属于深度学习计算机视觉领域。


背景技术：

2.随着现代化进程的逐步推进，人脸识别这一技术也越来越普及。无论是乘坐交通工具，还是快捷支付都需要用到人脸识别技术，据统计，我国人脸识别的增长率已经达到的165％，居所有智能识别技术之首，且还有进一步加大的趋势，其所涉及的领域、应用的场景也在不断地扩大，可以说未来人类的生活，很大程度上取决于人像技术的成熟度。另一方面，人们对人脸识别的及时性和准确度要求越来越高，尽管各大应用平台及设施采用了诸多最新的人脸的识别技术，比如高清实时成像识别技术、三维立体人脸成像技术、多人目标定位识别技术等，但由于均没有考虑到时间维度上人像可能发生变化，导致若长时间没有采集人像，则会导致识别率下降。同时现有的人脸识别系统均没有采用逆向人脸溯源技术，导致无法根据现有的人像来推测过去的人像，在破案、逃犯追捕等方面存在局限。
3.现有的人脸检测系统主要是基于现成的采样数据进行人脸匹配，诸如各大车站、机场的人脸识别系统，尽管采取了动态人像检测以及及时的人脸底图的更新方法，但是如果未能进行及时的人脸更新，就会导致识别效果降低或者识别失败等问题。其次，现有的系统没有根据长时期的人脸的变化情况来预测一段时间后的人脸可能的变化情况，而是仅仅根据一个时期的一张或者多张图像进行识别，对未来人脸的预测能力不足，在人像变化后，就会出现无法预测或者预测准确度下降的问题。最后，现有的系统无法实现反向人脸溯源功能，即根据现有的一段时间的人脸情况对过去一段时间的可能人脸进行反向推测，这种功能，可以应用到失踪儿童的寻找工作以及逃犯追捕等现实活动中。


技术实现要素：

4.本发明为解决已有的人脸识别系统中无法对长时间未更新的人脸图像进行准确快速识别的问题，进而提出了一种人脸识别的方法。
5.本发明采取的技术方案是：
6.一种人脸识别的方法，它包括以下步骤：
7.s1、采集人脸图像和身份信息,在人脸图像数据库中找到所述身份信息对应的不同检测时间点的人脸图像；
8.所述人脸图像数据库存储有不同人在不同检测时间点的人脸图像；
9.s2、对s1中采集的人脸图像和在人脸图像数据库中找到的人脸图像进行预处理；
10.s3、利用人脸预测模型对s2中人脸图像数据库中预处理后的人脸图像进行特征处理，在最早检测时间点的人脸图像的特征上，将后续检测时间点上具有老化后特点的人脸图像特征进行像素点随机融合，且在融合时根据人脸检测时间进行融合像素的比例分配，预测出当前时间点的人脸图像；
11.s4、判断预处理后的采集的人脸图像与预测出当前时间点的人脸图像是否一致，进而确定采集的人脸图像和身份信息是否一致，或者根据预测出的人脸图像与采集的人脸图像进行比对，对人脸预测模型进行修正，将采集的人脸图像存储在人脸图像数据库中。
12.进一步地，所述s2中，对s1中采集的人脸图像和在人脸图像数据库中找到的人脸图像进行预处理的方法包括：
13.s21、选取每张人脸图像的roi区域；
14.s22、对s21选取的roi区域进行灰度化处理；
15.s23、将s22灰度化处理后的图像进行平滑处理；
16.s24、将s23平滑处理后的图像进行增强处理，获得预处理后的人脸图像；
17.进一步地，所述s3中，人脸预测模型的获取方法为：
18.建立人脸预测模型；
19.确定训练集，所述训练集包括输入数据和输出数据，输入数据包括不同检测时间点的人脸图像中人脸的特征点，输出数据包括预测的人脸图像；
20.根据训练集对人脸预测模型进行训练，得到确定参数的人脸预测模型。
21.进一步地，所述s3中，具有老化后特点的人脸图像特征包括出现皱纹、色斑、黑眼圈、眼袋或嘴角下垂和脸部失去光泽。
22.进一步地，所述s3中，利用人脸预测模型对s2中人脸图像数据库中预处理后的人脸图像进行特征处理时，对于拍摄时间距离预测时间点相隔时间长的图像，可以减少老化前图像的像素比例而增加老化后的像素比例；对于拍摄时间距离预测时间短的图像，则可以增加老化前的图像的像素比例而减少老化后的像素比例。
23.一种人脸识别的方法，它包括以下步骤：
24.s1、采集人脸图像和身份信息,在人脸图像数据库中找到所述身份信息对应的不同检测时间点的人脸图像；
25.所述人脸图像数据库存储有不同人在不同检测时间点的人脸图像；
26.s2、对s1中采集的人脸图像和在人脸图像数据库中找到的人脸图像进行预处理；
27.s3、利用人脸溯源模型对s2中预处理后的人脸图像进行特征处理，在得到不同时间的人脸图像的脸部同一特征点后，将具有年轻特点的人脸图像特征赋予权重并进行像素点融合，且在融合后将所有特征点进行拼接，溯源出以前时间点的人脸图像，并将溯源的人脸图像与采集的人脸图像存储在人脸图像数据库中。
28.进一步地，所述s2中，对s1中采集的人脸图像和在人脸图像数据库中找到的人脸图像进行预处理的方法包括：
29.s21、选取每张人脸图像的roi区域；
30.s22、对s21选取的roi区域进行灰度化处理；
31.s23、将s22灰度化处理后的图像进行平滑处理；
32.s24、将s23平滑处理后的图像进行增强处理，获得预处理后的人脸图像；
33.进一步地，所述s3中，人脸溯源模型的获取方法为：
34.建立人脸溯源模型；
35.确定训练集，所述训练集包括输入数据和输出数据，输入数据包括不同检测时间点的人脸图像中人脸的特征点，输出数据包括溯源的人脸图像；
36.根据训练集对人脸溯源模型进行训练，得到确定参数的人脸溯源模型。
37.进一步地，所述s3中，利用人脸溯源模型对s2中预处理后的人脸图像进行特征处理时，对于拍摄时间距离预测时间点相隔时间长的图像，可以增加老化前图像的像素比例而减少老化后的像素比例；对于拍摄时间距离预测时间短的图像，则可以减少老化前的图像的像素比例而增加老化后的像素比例。
38.有益效果：
39.1、本发明充分利用现有的人脸图像采集或识别终端(如手机，电脑或者各公共场所的人脸信息采集设备等)自动采集不同时段的人脸图像信息，无需添加额外的设备设施，也无需去公安局或者社区进行专门的人脸图像信息采集，有效的方便了人们的出行，节约了时间。且每张人脸图像信息均按照人脸图像与时间对应的方式储存在人脸图像数据库中，采集到一定规模的人脸图像信息后会在人脸图像数据库中实现自动的人脸图像更新，在获取同一个人的多幅人脸图像后，通过对其多幅人脸图像上的特征点提取、图像融合、局部特征变化及实际相似度匹配等操作，利用深度卷积神经网络与图像融合技术实现未来任意时间的人脸图像预测，或者过去任意时间的人脸图像溯源，即使未来一段时间内该人未出现在一切具有人脸图像识别功能的场所，在相当长一段时间后依然可以对该人的人脸进行相对准确快速的识别，有效的解决了已有的人脸识别系统无法对长时间未更新的人脸图像进行准确快速识别的问题。
40.2、本发明充分利用现有的算法与方法、人工智能及深度学习、图像识别与目标检测等技术彻底解决了现有的人脸识别的时效性问题，在已有的人脸识别采集的人脸数据上加入时间维度的人脸数据，能够解决现有的各种因人脸在时间维度上发生变化而难以解决的问题，如：通过人脸图像预测能够追捕多年的逃犯、通过人脸图像溯源被拐卖多年的儿童被拐时的人脸图像，有效的提高了其找到亲人的几率和时间等。
41.3、本发明的人脸预测模型或人脸溯源模型能够根据遗传学规律对人脸图像进行核查检验，若预测或者溯源得到的人脸图像与该人父母及亲属的人脸图像特征点差别过大，则会返回重新计算或采样。
42.4、本发明充分利用大数据，通过分析人流需求及各线路的动态规律，还可以起到各区域人流量检测以及人流跟踪等功能。
附图说明
43.图1是本发明方法的流程图；
44.图2是本发明的系统图；
具体实施方式
45.具体实施方式一：结合图1说明本实施方式，本实施方式所述一种人脸识别的方法，它包括以下步骤：
46.s1、采集人脸图像和身份信息,在人脸图像数据库中找到所述身份信息对应的不同检测时间点的人脸图像；所述人脸图像数据库存储有不同人在不同检测时间点的人脸图像；
47.在各大公共场所及便捷支付领域的用户端进行实时的人像信息(人脸图像)采集，
包括但不限于机场，火车站，手机或身份证系统等设备，并且记录下其相应的时间信息。能够实时采集同一人在不同时间点上的人脸图像信息，将采集得到的人像信息(人脸图像)及其所对应的时间信息传回到计算机系统的人脸图像数据库中，并在人脸图像数据库中按照图像与时间对应的方式进行储存。本发明充分利用现有的人脸图像采集或识别终端，无需添加额外的设备设施，也无需去公安局或者社区进行专门的人脸图像信息采集，有效的方便了人们的出行，节约了时间。本发明充分利用互联网大数据，通过分析人流需求及各线路的动态规律，还可以起到各区域人流量检测以及人流跟踪等功能。本发明利用“非必要不获取”的原则以及黑盒处理对采集到的人像信息进行保护，充分考虑到用户的隐私问题，通过对人像信息进行加入噪声等操作来保护用户的信息安全。
48.s2、对s1中采集的人脸图像和在人脸图像数据库中找到的人脸图像进行预处理，所述预处理包括：
49.s21、选取每张人脸图像的roi区域；
50.通过采用人工选取与计算机自动选取相结合的方法选取每张人脸图像的roi区域。人工选取如：利用opencv中的cv.moments()方法确定人脸图像中目标特征的轮廓中心位置，再利用cv.drawcontours()方法绘出该轮廓的几何形状。计算机自动选取则可采用r
‑
cnn或者faster
‑
r
‑
cnn算法来进行目标的分类和定位，完成了每张人脸图像的roi区域的选取。
51.s22、对s21选取的roi区域进行灰度化处理；
52.选择各种计算机视觉和机器学习软件库进行每张人脸图像的roi区域的灰度化处理，如利用opencv中的cv2.cvtcolor()方法进行图像灰度化处理。灰度化处理后的人脸图像将由三通道变为单通道，为后续的处理提供了方便。
53.s23、将s22灰度化处理后的图像进行平滑处理；
54.在实际场景中拍摄得到的人脸图像可能会出现光线干扰，图像阴影，图像噪声等因素，所以为了获取高质量的人脸图像，有必要对s22灰度化处理后的每张人脸图像的roi区域进行平滑去噪处理。对于每张人脸图像的roi区域的滤波方式，可以根据每张人脸图像的roi区域的噪点情况采取均值滤波、中值滤波、高斯滤波等不同的滤波方式以期达到最佳的去噪效果。
55.s24、将s23平滑处理后的图像进行增强处理；
56.由于现有的公共场所的相机大同小异，相机的分辨率、曝光时间等性能均有不同，所得到的人脸图像也有所不同。为了改善人脸图像的视觉效果，提高人脸图像的清晰度，同时针对给定人脸图像的应用场合，突出某些感兴趣的特征，抑制不感兴趣的特征，以扩大人脸图像中不同物体特征之间的差别，满足某些特殊分析的需要对得到的人脸图像进行图像增强处理。可以采用基于空间域的图像增强方法，如线性灰度增强、直方图灰度增强等方法均能有效地改善图像的视觉效果。至此。，完成了预处理，获得预处理后的人脸图像。
57.s3、根据预处理合格的图像，选用或建立人脸预测模型；
58.选用人脸预测模型应满足：
59.如果仅是一个人的单幅人脸图像或者是同一时间点上同一个人的多幅人脸图像(比如多幅人脸图像来自于同一天的同一段视频)，则在利用人脸预测模型对其进行特征处理后，选用内置通用的人脸预测模型进行后续处理；
60.建立人脸预测模型应满足：
61.若是图像为同一人不同时间点上的多幅人脸图像，则进行人脸图像特征提取与处理后，并将多幅人脸图像的提取特征进行对比和融合，建立或修正具有个人特点的人脸预测模型进行后续处理。
62.s4、利用人脸预测模型进行人脸图像预测；
63.图像融合预测部分是将提取到的多幅与时间关联人脸的关键特征做一定的处理。在由卷积神经网络中利用卷积核提取了已获得图像的关键人脸特征后进行上述的老化处理。
64.利用人脸预测模型进行人脸图像预测的具体方式为：
65.人脸预测模型的获取方法为：
66.建立人脸预测模型；
67.确定训练集，所述训练集包括输入数据和输出数据，输入数据包括不同检测时间点的人脸图像中人脸的特征点，输出数据包括预测的人脸图像；
68.根据训练集对人脸预测模型进行训练，得到确定参数的人脸预测模型。
69.分别获取同一个人最早预处理合格的人脸图像和后续时间预处理合格的具有老化特征的人脸图像；同时提取最早预处理合格的人脸图像的关键特征和后续时间预处理合格的人脸图像的老化特征，并将其发送至人脸预测模型；在人脸预测模型内将同时提取的所述关键特征和所述老化特征进行融合，并在融合时加入具体的针对每一个脸部特征的独特的老化像素，并根据具体的人脸检测时间对关键特征、老化特征和老化像素进行融合像素的比例分配，如：对于拍摄时间距离预测时间相隔时间很长的人脸图像，可以相对减少老化前人脸图像的像素比例而增加老化后人脸图像的像素比例，从而显得人脸变化较大。相反，对于拍摄时间距离预测时间较近的人脸图像，则可以适当增加老化前人脸图像的像素比例而减少老化后人脸图像的像素比例，从而显得人脸变化较小。系统设计采用所有收集到且预处理合格的长时间跨度的人脸图像素材，因为时间跨度大的照片能在时间维度上进行多次迭代，从而计算该对象人脸图像的老化程度和速度，能够避免使用标准统一化的图像的老化处理过程，而对该对象使用独立的老化过程建模，从而能更加精确的预测单个个体的人脸图像。
70.常见的人脸部的老化特征有：
71.1)由于胶原蛋白流失，水分含量减少，皮肤就会失去弹性，多有皱纹出现。
72.2)随着年龄的增长，脸部皮肤开始变得油腻，油脂的分泌量多，失去了光泽，不再保持脸色红润状态，呈现出发黄，发黑的特点。
73.3)出现色斑的概率增高，而这些色斑的产生和黑色素堆积有关，身体老化速度加快，遗传因素影响，平时经常晒太阳，这些原因都会导致脸部皮肤有较多的色斑。
74.4)因为年龄增长之后身体逐渐老化，眼睛周围的皮肤状态变差，皮下的脂肪含量减少，在皮肤变薄之后局部堆积的黑色素更容易浮现，因此会给人感觉黑眼圈明显或者眼袋明显下垂。
75.5)抬头纹增多，连成纹路线。
76.6)鼻翼两边的笑纹加深。
77.7)颧骨附近的肉往下移。
78.8)嘴角有些下垂。
79.在人脸预测或溯源处理系统内判断预处理后的采集的人脸图像与预测出当前时间点的人脸图像是否一致，进而确定采集的人脸图像和身份信息是否一致，输出人脸预测图像或人链溯源图像，或者根据预测出的人脸图像与采集的人脸图像进行比对，对人脸预测模型进行修正，将采集的人脸图像存储在人脸图像数据库中。
80.具体实施方式二：结合图1说明本实施方式，本实施方式所述一种人脸识别的方法，它包括以下步骤：
81.s1、采集人脸图像和身份信息,在人脸图像数据库中找到所述身份信息对应的不同检测时间点的人脸图像；所述人脸图像数据库存储有不同人在不同检测时间点的人脸图像；
82.在各大公共场所及便捷支付领域的用户端进行实时的人像信息(人脸图像)采集，包括但不限于机场，火车站，手机或身份证系统等设备，并且记录下其相应的时间信息。能够实时采集同一人在不同时间点上的人脸图像信息，将采集得到的人像信息(人脸图像)及其所对应的时间信息传回到计算机系统的人脸图像数据库中，并在人脸图像数据库中按照图像与时间对应的方式进行储存。本发明充分利用现有的人脸图像采集或识别终端，无需添加额外的设备设施，也无需去公安局或者社区进行专门的人脸图像信息采集，有效的方便了人们的出行，节约了时间。本发明充分利用互联网大数据，通过分析人流需求及各线路的动态规律，还可以起到各区域人流量检测以及人流跟踪等功能。本发明利用“非必要不获取”的原则以及黑盒处理对采集到的人像信息进行保护，充分考虑到用户的隐私问题，通过对人像信息进行加入噪声等操作来保护用户的信息安全。
83.s2、对s1中采集的人脸图像和在人脸图像数据库中找到的人脸图像进行预处理，所述预处理包括：
84.s21、选取每张人脸图像的roi区域；
85.通过采用人工选取与计算机自动选取相结合的方法选取每张人脸图像的roi区域。人工选取如：利用opencv中的cv.moments()方法确定人脸图像中目标特征的轮廓中心位置，再利用cv.drawcontours()方法绘出该轮廓的几何形状。计算机自动选取则可采用r
‑
cnn或者faster
‑
r
‑
cnn算法来进行目标的分类和定位，完成了每张人脸图像的roi区域的选取。
86.s22、对s21选取的roi区域进行灰度化处理；
87.选择各种计算机视觉和机器学习软件库进行每张人脸图像的roi区域的灰度化处理，如利用opencv中的cv2.cvtcolor()方法进行图像灰度化处理。灰度化处理后的人脸图像将由三通道变为单通道，为后续的处理提供了方便。
88.s23、将s22灰度化处理后的图像进行平滑处理；
89.在实际场景中拍摄得到的人脸图像可能会出现光线干扰，图像阴影，图像噪声等因素，所以为了获取高质量的人脸图像，有必要对灰度化处理后的每张人脸图像的roi区域进行平滑去噪处理。对于每张人脸图像的roi区域的滤波方式，可以根据每张人脸图像的roi区域的噪点情况采取均值滤波、中值滤波、高斯滤波等不同的滤波方式以期达到最佳的去噪效果。
90.s24、将s23平滑处理后的图像进行增强处理；
91.由于现有的公共场所的相机大同小异，相机的分辨率、曝光时间等性能均有不同，所得到的人脸图像也有所不同。为了改善人脸图像的视觉效果，提高人脸图像的清晰度，同时针对给定人脸图像的应用场合，突出某些感兴趣的特征，抑制不感兴趣的特征，以扩大人脸图像中不同物体特征之间的差别，满足某些特殊分析的需要对得到的人脸图像进行图像增强处理。可以采用基于空间域的图像增强方法，如线性灰度增强、直方图灰度增强等方法均能有效地改善图像的视觉效果。至此。，完成了预处理，获得预处理后的人脸图像。
92.s3、根据预处理合格的图像，选用或建立人脸溯源模型，所述人脸预测模型和人脸溯源模型能够融为一个人脸预测或溯源模型；
93.选用人脸溯源模型应满足：
94.如果仅是一个人的单幅人脸图像或者是同一时间点上同一个人的多幅人脸图像(比如多幅人脸图像来自于同一天的同一段视频)，则在利用人脸溯源模型对其进行特征处理后，选用内置通用的人脸溯源模型进行后续处理；
95.建立人脸溯源模型应满足：
96.若是图像为同一人不同时间点上的多幅人脸图像，则进行人脸图像特征提取与处理后，并将多幅人脸图像的提取特征进行对比和融合，建立或修正具有个人特点的人脸溯源模型进行后续处理。
97.s4、利用人脸溯源模型进行人脸图像溯源；
98.利用人脸溯源模型进行人脸图像溯源的具体方式为：
99.人脸溯源模型的获取方法为：
100.建立人脸溯源模型；
101.确定训练集，所述训练集包括输入数据和输出数据，输入数据包括不同检测时间点的人脸图像中人脸的特征点，输出数据包括溯源的人脸图像；
102.根据训练集对人脸溯源模型进行训练，得到确定参数的人脸溯源模型。
103.人脸图像的溯源首先获取同一个人在不同时间点的多幅人脸图像；在多幅人脸图像上分别提取多个相同位置的同一特征点，对上述人脸图像的脸部关键特征点进行逆向年轻化的分析处理，即将上述的老化特征进行逆向运算。将多幅人脸图像上的多个所述特征点进行权重处理，即将那些看起来让人年轻的特征赋与更大的权重，保留多幅人脸图像共有的所述特征点；将多幅人脸图像共有的特征点发送至人脸溯源模型，在人脸溯源模型内将权重处理后保留的每一个特征点分别与针对每一个脸部特征的独特的退化像素融合，并将融合后的所有特征点进行组合，得到溯源的人脸图像。此过程依然需要上述的长时间跨度的素材采集，以便提高模型的精确度。从而准确的溯源过去一段时间内的该人的人脸图像。
104.本发明在实际场景中，采集得到的新人脸图像信息将不断的作为人脸预测模型或人脸溯源模型优化的输入与反馈，用于不断修正个人独特的人脸预测模型或人脸溯源模型，以获得最优的预测人脸图像或溯源人脸图像。
105.本发明的人脸预测模型或人脸溯源模型能够根据遗传学规律对人脸图像进行核查检验，若预测或者溯源得到的人脸图像与该人父母及亲属的人脸图像特征点差别过大，则会返回重新计算或采样。在上述的过程中，所有的采集以及预测或溯源得到的人像及其相关信息都会由系统调度中心统一处理，根据现有的用户隐私保护策略进行严格的保护，
以确保用户信息不被不法分子获取。
106.具体实施方式三：结合图2说明本实施方式，本实施方式所述一种人脸识别的系统，所述系统包括人脸采集模块、人脸预处理模块、人脸预测与溯源模块和人脸预测与溯源的检验与模型修正模块；
107.人脸采集模块，与人脸预处理模块连接，用于采集人脸图像，采集的人脸图像包括不同时间段的人脸图像，并将采集的人脸图像发送至人脸预处理模块；
108.人脸预处理模块，与人脸预测或溯源模块连接，用于对接收的人脸图像进行预处理，并将预处理后的人脸图像发送至人脸预测或溯源模块；
109.人脸预测或溯源模块，包括人脸预测模型和人脸溯源模型，与人脸预测或溯源的检验与模型修正模块连接，用于利用人脸预测模型或人脸溯源模型生成预测的人脸图像或溯源的人脸图像，并将生成后的预测的人脸图像或溯源的人脸图像发送至人脸预测与溯源的检验或模型修正模块；
110.利用人脸预测模型对人脸图像数据库中预处理后的人脸图像进行特征处理，在最早检测时间点的人脸图像的特征上，将后续检测时间点上具有老化后特点的人脸图像特征进行像素点随机融合，且在融合时根据人脸检测时间进行融合像素的比例分配，预测出当前时间点的人脸图像；
111.利用人脸溯源模型对采集的图像和在人脸图像数据库中预处理后的人脸图像进行特征处理，在得到不同时间的人脸图像的脸部同一特征点后，将具有年轻特点的人脸图像特征赋予权重并进行像素点融合，且在融合后将所有特征点进行拼接，溯源出以前时间点的人脸图像，并将溯源的人脸图像与采集的人脸图像存储在人脸图像数据库中。
112.人脸预测或溯源的检验与模型修正模块，用于接收和检验预测的人脸图像或溯源的人脸图像，并通过反复检验接收的各人脸图像修正人脸预测模型或人脸溯源模型，使人脸预测模型或人脸溯源模型能够更加精准，减少错误，提高预测的人脸图像和溯源的人脸图像的准确性。