一种RGB单目活体检测神经网络训练图片预处理方法与流程

一种rgb单目活体检测神经网络训练图片预处理方法
技术领域
1.本发明涉及图像识别处理技术领域，特别涉及一种rgb单目活体检测神经网络训练图片预处理方法。


背景技术：

2.活体检测是确定待测对象是否具有某些真实生理特征从而进行身份验证场景的方法，在人脸识别领域中，活体检测是利用关键点定位和人脸追踪等技术，通过张嘴、摇头、点头、眨眼等动作或组合来验证待测对象是否为真实活体的操作，因此活体检测在人脸识别技术领域具有重要地位。传统的活体检测大多都是基于双摄、3d结构光、tof等方法，目前的基于单目rgb摄像头的活体检测准确率普遍较低，容易被照片、视频、面具所攻击，导致单目rgb摄像头的活体检测应用受阻。
3.特别地，基于神经网络训练的rgb单目活体检测，往往泛化能力很差，当遇到特殊场景(训练数据中没有类似场景)，或者更换传感器sensor时，会导致检测的准确率急速下降。
4.另外，现有技术中的常用术语如下：
5.1、活体检测：在一些身份验证场景确定对象真实生理特征的方法。
6.2、rgb单目活体检测：活体检测方式的一种，利用单个可见光摄像头提供的人脸rgb图片，进行活体检测。


技术实现要素：

7.为了解决上述现有技术中的问题，本技术的目的在于：
8.针对rgb单目活体泛化能力差的缺点，对训练数据进行归一化处理，提高检测网络的泛化能力。
9.具体地，本发明提供一种rgb单目活体检测神经网络训练图片预处理方法，所述方法包括以下步骤：
10.s1，将图片的目标区域rgb分量的均值，都归一化到rn，gn，bn；
11.s2，将归一化的图片作为训练样本，其中，所述的归一化流程如下：
12.s2.1,设人脸样本图片a，计算目标区域rgb分量的均值，分别为rm，gm，bm；
13.s2.2，计算归一化rgb分量和目标区域rgb分量均值的比值，sr＝rn/rm，
14.sg＝gn/gm，sb＝bn/bm；
15.s2.3，计算归一化后的图片a’的rgb分量，对应图片a’的每一个像素点，r’＝r*sr，g’＝g*sg，b’＝b*sb；
16.s3,将图片a’加入rgb单目活体检测网络训练集，训练网络；
17.s4，推理时，将待检测图片按训练图片相同的规则，归一化检测图片，进行rgb单目活体检测。
18.所述目标区域，可以是整张图片，或者是图片部分区域，目标指图片中人脸皮肤部
分，但不限定目标区域的划取方式。
19.所述目标优选为取人脸样本图片中心1/4面积区域作为目标，一般情形下这块区域为人脸中心皮肤区域。
20.所述步骤s1中，对训练样本图片目标区域的rgb分量均值，归一化处理的rn，gn，bn可以相等，也可以不相等。
21.所述方法中所有的训练样本可以公用同一组固定值rn，gn，bn，也可以使用不同的rn，gn，bn。
22.所述步骤s1中在实践处理时，所述归一化到rn，gn，bn的这三个值都设置为128。
23.所述步骤s2.1中rm，gm，bm可以取rm＝86，gm＝82，bm＝76；
24.所述步骤s2.2中sr＝rn/rm，sg＝gn/gm，sb＝bn/bm可以取sr＝128/86，sg＝128/82，sb＝128/76；
25.所述步骤s2.3中r’＝r*sr，g’＝g*sg，b’＝b*sb，假设原图a中的一个点的值为(93,90,86)，那个对应a’中，该点的值为(93*128/86,90*128/82,86*128/76)，四舍五入为(138，140，144)。
26.所述方法假设图片是否为活体，和图片的亮度以及图片rgb分量之间的比值没有关系。
27.所述方法中设备采集样本时，图片的亮度调节、色彩色调的冷暖调节、不会影响该图片是否为活体图片。
28.由此，本技术的优势在于：提高了模型的泛化能力，提高准确率。现有技术的方法在数据采集中，不对数据做预处理，那么就可能会因为数据在亮度和色度的不平衡，导致数据泛化能力差，例如，采集数据过程中，活体的数据整体亮度偏暗，色度偏暖，而非活体整体偏亮，色度偏冷，那么训练过程中，学习的特征可能就和亮度色度相关，导致检测过程中，亮度偏亮，色度偏冷的活体样本，被检测为非活体。本发明对数据的预处理，会改变了图片的亮度和色度，但是这些变化是图片数据采集过程中，原本就可能出现的变化，因此也不会影响人脸是否会活体的检测效果。
附图说明
29.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
30.图1本发明的方法流程图。
31.图2(a)是本技术具体实施例中的原图。
32.图2(b)是本技术具体实施例中归一化后的图片示意图。
具体实施方式
33.为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
34.如图1所示，本发明涉及一种rgb单目活体检测神经网络训练图片预处理方法，所述方法包括以下步骤：
35.s1，将图片的目标区域rgb分量的均值，都归一化到rn，gn，bn；将人脸样本图片的
rgb分量的均值，都归一化到rn，gn，bn，具体实例可以分别取值为128,128,128；其中，所述目标区域，这个目标区域可以是整张图片，或者是图片部分区域。原本目标实际指图片中人脸皮肤部分，这里取人脸样本图片中心1/4面积区域作为目标，一般情形下这块区域为人脸中心皮肤区域。这样做的目的是为保证人脸区域能够更好的归一化，训练可以更好的学习人脸部分特征，但是本技术不会限定目标区域的划取方式；
36.s2，将归一化的图片作为训练样本，其中，所述的归一化流程如下：
37.s2.1,设人脸样本图片a，计算目标区域rgb分量的均值，分别为rm，
38.gm，bm；(例如rm＝86，gm＝82，bm＝76)；
39.s2.2，计算归一化rgb分量和目标区域rgb分量均值的比值，sr＝rn/rm，
40.sg＝gn/gm，sb＝bn/bm；(例如sr＝128/86，sg＝128/82，sb＝128/76)；
41.s2.3，计算归一化后的图片a’的rgb分量，对应图片a’的每一个像素点，r’＝r*sr，g’＝g*sg，b’＝b*sb；假设原图a中的一个点的值为(93,90,86)，那个对应a’中，该点的值为(93*128/86,90*128/82,86*128/76)，四舍五入为(138，140，144)；s3,将图片a’加入rgb单目活体检测网络训练集，训练网络；
42.s4，推理时，将待检测图片按训练图片相同的规则，归一化检测图片，进行rgb单目活体检测。此步骤必须，因为训练网络的目的就是为了推理，推理时必须包含归一化操作。
43.具体地，本发明的实施例为：
44.1、本发明认为图片是否为活体，和图片的亮度以及图片rgb分量之间的比值没有关系。显然，设备采集样本时，图片的亮度调节，色彩色调的冷暖调节，并不会影响该图片是否为活体图片。所以本发明将图片的rgb分量的均值，都归一化到rn，gn，bn。然后将归一化的图片作为训练样本，提高了模型的泛化能力。
45.2、归一化流程如下，人脸样本图片a，计算目标区域rgb分量的均值，分别为rm，gm，bm。计算归一化rgb分量和目标区域rgb分量均值的比值，sr＝rn/rm，sg＝gn/gm，sb＝bn/bm。计算归一化后图片a’的rgb分量，对图片的每一个像素点，r’＝r*sr，g’＝g*sg，b’＝b*sb。将a’加入rgb单目活体检测网络训练集，训练网络。推理时，将检测图片按训练图片相同的规则，归一化检测图片，进行rgb单目活体检测。
46.如图2(a)所示，其为原图，图2(b)为归一化后的图片，其中设定的rn，gn，bn的值均为128。其中目标区域设置为图片中心，长宽为原图1/2的长方形，图2(b)相对图2(a)，亮度变暗，(因为是黑白图片，无法看出色度的变化)。普遍效果，不管亮或者暗的图片，都会变成亮暗适中的图片，色度方面，原先偏暖或者偏冷的图片，色度也会趋向适中。效果和rn，gn，bn这三个值的设定相关。
47.对训练样本图片的rgb分量均值，归一化处理，rn，gn，bn可以相等，也可以不相等。所有的训练样本可以公用同一组固定值rn，gn，bn，也可以使用不同的rn，gn，bn。rn，gn，bn如何取值，本发明不再予以深入讨论。例如图2a，中心1/4面积区域，rm＝210，gm＝120，bm＝130，归一化到rn＝128，gm＝128，bm＝128。
48.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。