一种基于深度神经网络的美瞳识别处理方法与系统与流程

1.本发明涉及美瞳识别处理方法与系统领域，具体涉及一种基于深度神经网络的美瞳识别处理方法与系统。


背景技术：

2.在虹膜识别中，由于佩戴彩色隐形眼镜即美瞳人群的存在，会对虹膜识别的结果构成干扰，因为美瞳的花纹叠加在虹膜本身的纹理上，会引起用户的虹膜纹理特征发生变化，导致用户的虹膜无法被正确识别，所以在进行虹膜识别时，需要对用户是否佩戴美瞳进行检测，目前市面上，针对虹膜识别中美瞳识别的需求，有以下这些专利：
3.专利号为2019110013640的应用于虹膜识别的美瞳检测方法及装置；
4.专利号为2019109953829一种基于深度学习的美瞳识别方法及系统；
5.专利号为2019109953890一种基于迁移学习的美瞳识别方法及系统；
6.其中，专利号为2019110013640的应用于虹膜识别的美瞳检测方法及装置需要首先将虹膜区域图像进行局部二值化处理，得到虹膜区域图像的lbp特征，然后根据局部二值化图像形成灰度共生矩阵得到glcm特征，再将虹膜图像的lbp特征和glcm特征进行组合并输入预先训练好的美瞳检测模型，输出美瞳检测结果。此方法不但过程复杂，实现起来非常困难，而且预处理环节过多，很容易丢失信息或者引入误差，另外在实际应用中，由于各种光照条件变化以及光斑干扰的存在，导致此方法不能适应现实场景大容量样本准确识别的需求；
7.专利号为2019109953829的一种基于深度学习的美瞳识别方法及系统采用了深度学习技术来实现美瞳识别的需求，在网络学习之前的数据预处理阶段，此发明要求将样本中的非虹膜区域进行手动掩码(瞳孔部分填充0，虹膜和瞳孔以外区域填充255)，同时对于虹膜区域进行局部二值化处理再进行网络训练，由于手动标注掩码的工作量巨大，这使得想要用海量的学习样本进行训练变得非常困难，同时，对于虹膜区域进行局部二值化处理的操作很容易损失信息或者因为受到光照光斑的干扰而影响结果的正确性；
8.专利号为2019109953890的一种基于迁移学习的美瞳识别方法及系统同样采用了深度学习技术来实现美瞳识别的需求，但此发明为了能实现深度神经网络的多次迭代训练，要求通过聚类算法将正负样本集再分类成多个样本子集，同时将虹膜区域展开成矩形区域再行归一化处理得到特征模板再进行训练学习和推理比对，此发明算法的操作环节太多，不但实现起来过于复杂和困难，而且每一步都很难保证效果的绝对精准，算法的环节越多，越容易引入误差或者遗漏信息；
9.综上所述，现行的美瞳识别方法，在开始神经网络训练之前的数据预处理阶段，都存在以下不便：
10.预处理流程复杂，环节较多，实现起来比较困难且很难得到满意的效果；
11.需要手工填充掩码，人力成本很大，无法在海量样本情况下推广；
12.在数据预处理阶段不能有效过滤与分类判决无关的信息，增加了网络学习的难
度。


技术实现要素：

13.本发明要解决的技术问题是现行的美瞳识别方法，在开始神经网络训练之前的数据预处理阶段，都存在以下不便：预处理流程复杂，环节较多，实现起来比较困难且很难得到满意的效果；需要手工填充掩码，人力成本很大，无法在海量样本情况下推广；在数据预处理阶段不能有效过滤与分类判决无关的信息，增加了网络学习的难度，本发明提供一种基于深度神经网络的美瞳识别处理方法，本发明还提供一种基于深度神经网络的美瞳识别处理系统，本发明还提供一种美瞳识别处理系统，能够通过语义分割算法自动区分眼睛区域图像中所述眼睛内区域图像与所述眼睛外区域图像域，并进行掩码填充，节省了大量人工标注的人力，从而使得网络可以使用海量样本进行训练；只需要对容易分割的眼睑区域进行掩码填充，不需要填充瞳孔和巩膜部分，减少了预处理的工作量，也增加了网络的鲁棒性，用以解决现有技术导致的缺陷。
14.为解决上述技术问题本发明提供以下的技术方案：
15.第一方面，一种基于深度神经网络的美瞳识别处理方法，其中，包含以下步骤：
16.步骤a1：获取眼睛区域图像；
17.步骤a2：将所述眼睛区域图像分割成眼睛内区域图像与眼睛外区域图像；
18.步骤a3：计算所述眼睛内区域图像的灰度均值，根据所述灰度均值对所述眼睛外区域图像的上眼睑区域与下眼睑区域进行掩码处理；
19.步骤a4：计算所述眼睛区域图像的均值与标准差；
20.步骤a5：搭建深度神经网络模型，将所述均值与标准差输入至所述深度神经网络模型对所述眼睛区域图像的像素值进行归一化处理得到数据集；
21.步骤a6：依据所述数据集对所述深度神经网络模型进行训练；
22.步骤a7：重新获取眼睛区域图像并通过步骤输入步骤a2-步骤a4进行预处理得到眼睛区域图像的均值与标准差并传输至步骤a6得到的所述深度神经网络模型中进行处理得到分类结果数据。
23.所述深度神经网络模型包含输入层、归一化层、block层、输出层，考虑到美瞳识别的实际应用环境，本技术方案提供了两套处理系统，即cpu系统和考虑嵌入式需求的arm dsp系统，美瞳识别处理方法分成训练和推理两个流程，其中训练流程都需要在cpu平台完成，而推理流程既可以通过cpu平台完成，也可以通过arm dsp的嵌入式平台完成，在arm dsp的嵌入式平台上，由arm设备先进行部分的眼睛区域图像预处理流程，包括读入眼睛区域图像，对于图像眼睛内区域和眼睛外区域进行自动分割，计算眼睛内区域的平均灰度并对眼睛外区域进行掩码；掩码之后得到的图像会被保存为一个两维的无符号数组，arm将这个两维的无符号数组传输给dsp,由dsp进行图像数据的归一化处理之后，再传递给所述block层进行推理得到美瞳还是活体的分类结果；
24.所述输入层读取已经完成掩码的图像；
25.所述归一化层用于完成每张眼睛图像数据的单独归一化工作，考虑到美瞳识别在实际应用中往往存在应用于嵌入式设备的需求，因此需要将网络模型移植到嵌入式设备，比如dsp上，而dsp往往都只能支持定点数的输入，不能接受浮点数的输入，而输入样本图像
经过归一化操作以后，数据就会从定点数转化成浮点数，从而无法在不损失精度的情况下将输入传递给dsp，因此本发明设计了单独的所述归一化层(sn层)内嵌在所述深度神经网络模型中，由dsp来实现归一化操作，从而避免计算精度的损失。
26.所述block层包含依次连接的五个卷积层与三个全连接层，其中卷积层的卷积核大小均为3*3，每个卷积层之后均连接一个均值池化层，池化核的大小为3*3，步长为2，所述深度神经网路模型的损失函数为交叉熵损失函数。
27.所述输出层为一个softmax分类器，判决门限为0.5.高于0.5判定为美瞳，低于0.5判定为活体。
28.上述的一种基于深度神经网络的美瞳识别处理方法，其中，步骤a2中采用智能化定位分割算法进行所述眼睛内区域图像与所述眼睛外区域图像的分割，在所述眼睛区域图像中自动区分所述眼睛内区域图像(包含眼白、虹膜、瞳孔)与所述眼睛外区域图像(包含上眼睑与下眼睑)，只对所述眼睛外区域进行掩码，对于所述眼睛内区域即瞳孔、虹膜、眼白区域不进行掩码操作，并且掩码采用的是所述眼睛内区域的灰度平均值，而非0或255这样的固定常数，由于可以用于区分美瞳还是活体的纹理特征信息在整个样本图像上只占据一部分面积，所以在很多美瞳识别的场景中，都会对冗余的信息面积做掩码处理，从而让网络学习时，可以将学习的关注点集中到真正可以用来区分美瞳和活体的关键区域，与其他美瞳识别相关的技术方案相比，本技术方案虽然一样也要做掩码处理，但在掩码的具体实现方式上和其他的美瞳识别技术方案中的掩码方式有很大的区别；
29.市面上的其他美瞳处理算法比如专利号为2019109953829的一种基于深度学习的美瞳识别方法及系统，该发明提供的技术方案在进行样本图像掩码预处理时，需要固定的将瞳孔区域置为0，而将除了瞳孔虹膜以外的区域(眼睑 眼白)置为255，而本技术方案只需要对眼睛外区域即上眼睑区域与下眼睑区域做掩码处理即可，眼白、瞳孔区域都可以不做掩码，并且在本技术方案中，采用眼睛内区域的平均值来做为眼睛外区域掩码的填充值，虽然眼白以及瞳孔并不携带可以区分美瞳与活体的特征信息，但深度学习网络本身就具备强大的对于冗余信息的处理能力，同时，预处理操作的环节越多也越容易引入误差或者增加标注的人力成本，过多过于严格的掩码约束有时只会降低网络的抗干扰能力，所以本技术方案掩码区域的要求并不严格，只需要对可以明确分割的眼睛外区域做掩码即可，并不要求对于瞳孔和眼白区域也做掩码；同时本技术方案并不使用固定值，比如255或者0做掩码的填充值，而是采用眼睛内区域均值，也就是眼白、虹膜、瞳孔区域的灰度均值作为眼睑区域掩码的填充值，在随后的归一化过程中，眼睑区域因为被填充的是数值是整个眼睛区域图像的灰度均值，所以全都会被归一化为0，代表着无信息，从而不会对网络的学习过程构成任何干扰。
30.上述的一种基于深度神经网络的美瞳识别处理方法，其中，所述智能化定位分割算法为语义分割算法，通过所述语义分割算法自动区分眼睛区域图像中所述眼睛内区域图像与所述眼睛外区域图像域。
31.上述的一种基于深度神经网络的美瞳识别处理方法，其中，所述眼睛内区域图像包含眼白、虹膜、瞳孔，所述眼睛外区域图像包含上眼睑、下眼睑。
32.步骤a3中自动对眼睛外区域部分进行掩码填充，从而避免了手工标注的巨大工作量，使得利用海量样本进行网络训练得以实现。
33.每张所述眼睛区域图像都使用图像本身的均值和标准差做归一化，而不同于其他专利方法中统一使用样本集整体的均值和标准差做归一化或者是使用固定的常数做归一化，这是因为对于美瞳识别场景，只有纹理才是区分美瞳还是活体的主要依据，样本本身的均值和标准差都不携带任何的分类信息，每个样本图像都使用图像本身的均值和标准差做归一化，可以有效过滤不同样本间灰度均值和标准差的差异，从而降低网络学习的难度；
34.此预处理方法实现简单，不需要人力标注，且由于在预处理阶段就过滤了与美瞳识别无关的噪声又全部保留了区分美瞳与活体关键的纹理信息，从而降低了神经网络学习的难度，使得深度神经网络能够达到更好的训练效果。
35.同时此预处理流程比较简洁，区别于其他专利，此预处理方法不需要局部二值化，也不需要计算样本图像的lbp，glcm特征，也不需要将虹膜区域扩展成矩形并通过聚类算法将样本集再分成若干样本子集，在容易实现的同时，也避免了过多处理环节会引入的信息损失或者误差。
36.区别于传统方法中采用固定常数归一化或者采用样本集均值归一化的方式，本发明采用的是每个样本单独归一化。
37.本技术方案提供的一种基于深度神经网络的美瞳识别处理方法具体分为四部分内容：美瞳识别数据预处理，深度神经网络搭建，神经网络训练流程，神经网络推理流程；
38.神经网络训练流程(数据集训练流程)：通过事先收集的所述眼睛区域图像(样本数据)对于已经搭建的所述深度神经网络模型进行训练，将所述数据集通过所述输入层输入所述深度神经网络模型中，并在所述输出层得到分类结果，通过计算输出结果和预期输出结果之间的差异得到学习误差，并根据学习误差的大小调整所述深度神经网络模型中的连接权重，通过反复的推理与反馈之后，使得所述深度神经网络对于每个训练输入得到的推理输出，都可以和预期输出相一致。
39.神经网络推理流程：深度神经网络模型通过所述数据集训练达标后，就可以用于美瞳识别的实际应用了，当有新的眼睛区域图像输入以后，首先进行美瞳识别数据预处理，然后输入已经训练过的所述深度神经网络模型就可以得到正确的美瞳还是活体的分类结果。
40.第二方面，一种基于深度神经网络的美瞳识别处理系统，其中，包含信息采集模块、图像数据运算模块、神经网络模型搭建模块、归一化运算模块、神经网络训练模块、预测模块；
41.所述信息采集模块用于获取眼睛的眼睛区域图像并传输至所述图像数据运算模块；
42.所述图像数据运算模块用于将所述眼睛区域图像分割成眼睛内区域图像与眼睛外区域图像并计算所述眼睛内区域图像的灰度均值，根据所述灰度均值对所述眼睛外区域图像的上眼睑区域与下眼睑区域进行掩码处理，还用于计算所述眼睛区域图像的均值与标准差；
43.所述神经网络模型搭建模块用于搭建深度神经网络模型；
44.所述归一化运算模块用于将所述均值与标准差输入至所述深度神经网络模型对所述眼睛区域图像的像素值进行归一化处理得到数据集；
45.所述神经网络训练模块用于获取所述数据集并依据所述数据集对所述深度神经
网络模型进行训练；
46.所述预测模块用于重新获取眼睛区域图像并通过所述图像数据运算模块进行预处理得到眼睛区域图像的均值与标准差并传输至训练后的所述深度神经网络模型中进行处理得到分类结果数据。
47.上述的一种基于深度神经网络的美瞳识别处理系统，其中，所述图像数据运算模块采用智能化定位分割算法进行所述眼睛内区域图像与所述眼睛外区域图像的分割；
48.上述的一种基于深度神经网络的美瞳识别处理系统，其中，所述智能化定位分割算法为语义分割算法，通过所述语义分割算法自动区分眼睛区域图像中所述眼睛内区域图像与所述眼睛外区域图像域。
49.上述的一种基于深度神经网络的美瞳识别处理系统，其中，所述眼睛内区域图像包含眼白、虹膜、瞳孔，所述眼睛外区域图像包含上眼睑、下眼睑。
50.考虑到深度学习技术在实际应用中往往都需要将网络模型移植到dsp上，而dsp往往都只能支持定点数的输入，不能接受浮点数的输入，而输入样本图像经过归一化操作以后，数据就会从定点数转化成浮点数，从而无法在不损失精度的情况下将输入传递给dsp；
51.因此本技术方案增加了单独归一化层(sn层)，sn层在整个处理网络中的位置在输入层和block层之间，设置sn层的意义在于，在嵌入式平台上，由dsp侧来完成对于定点数图像的归一化操作，从而不损失任何的精度，提高推理的准确性；
52.单独归一化层的数据处理过程，可以用公式如下表述：
[0053][0054]
其中，x
′i是归一化以后得到的单个新样本数据，xi是原先样本集中这张图片的数据，是该图片掩码以后的灰度均值，si是该图片掩码以后的标准差，α为标准差的调整参数，取值为1-3之间，从而将归一化以后得到的单个新样本数据x
′i控制在均值为0，范围基本在-1到1的范围以内；
[0055]
block层包括依次连接的五个卷积层和三个全连接层，其中卷积层的卷积核大小均为3*3，每个卷积层之后均连接一个均值池化层，池化核的大小为3*3，步长为2，深度学习网络模型的损失函数为交叉熵损失函数；
[0056]
输出层为一个softmax分类器，判决门限为0.5.高于0.5判定为美瞳，低于0.5判定为活体。
[0057]
第三方面，一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。
[0058]
依据上述本发明一种基于深度神经网络的美瞳识别处理方法与系统提供的技术方案具有以下技术效果：
[0059]
通过语义分割算法自动区分眼睛区域图像中所述眼睛内区域图像与所述眼睛外区域图像域，并进行掩码填充，节省了大量人工标注的人力，从而使得网络可以使用海量样本进行训练；
[0060]
只需要对容易分割的眼睑区域进行掩码填充，不需要填充瞳孔和巩膜部分，减少了预处理的工作量，也增加了网络的鲁棒性，不使用固定的常数比如0或者255作为掩码的填充值，而是使用信息区域的灰度平均值作为掩码区域的填充值，掩码区域经过归一化操
作之后，数值上都转换成代表无信息的0值，从而不会对网络的学习都成任何干扰；
[0061]
直接用原图进行训练和推理，不需要对图像进行局部二值化处理，不需要提取图像的lbp特征和glcm特征，也不需要对于正负样本的训练集再分类成若干个训练子集，减少了预处理的实现的复杂度，同时由于处理环节的减少，也减少了在处理过程中可能引入的各种误差或者遗漏的信息，增加了网络在大容量样本情况下的识别效果；
[0062]
每张眼睛区域图像根据本身的均值和标准差进行归一化操作，而不是使用固定值或者使用整个样本集的均值和方差进行归一化操作，这是因为在美瞳识别的场景中，只有虹膜区域的纹理才携带美瞳与活体之间的分类判决信息，而样本与样本相互间的均值差异以及方差差异不携带任何可以辅助美瞳与活体之间的分类判决信息，所以采用每张眼睛区域图像根据本身的均值和标准差进行归一化的操作，可以过滤掉样本本身无价值的信息，让网络的学习能够专注于可以有效区分美瞳与活体的关键纹理信息；
[0063]
针对神经网络模型的硬件化需求，提出了网络内部的归一化层(sn层)设计，使得网络可以在不损失精度的情况下实现硬件化。
附图说明
[0064]
图1为本发明一种基于深度神经网络的美瞳识别处理方法的流程图；
[0065]
图2为本发明一种基于深度神经网络的美瞳识别处理方法中将眼睛区域图像分割成眼睛内区域图像与眼睛外区域图像的二阶贝塞尔曲线的无美瞳与有美瞳的眼睛示意图；
[0066]
图3为本发明一种基于深度神经网络的美瞳识别处理方法中眼睛内区域图像的灰度均值的无美瞳与有美瞳的眼睛示意图；
[0067]
图4为本发明一种基于深度神经网络的美瞳识别处理方法中眼睛区域图像的通过均值与标准差进行归一化后的无美瞳与有美瞳的眼睛示意图；
[0068]
图5为本发明一种基于深度神经网络的美瞳识别处理方法的整体流程图；
[0069]
图6为本发明一种基于深度神经网络的美瞳识别处理系统的结构示意图。
[0070]
其中，附图标记如下：
[0071]
信息采集模块101、图像数据运算模块102、神经网络模型搭建模块103、归一化运算模块104、神经网络训练模块105、预测模块106。
具体实施方式
[0072]
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解，下结合具体图示，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
[0073]
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0074]
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
[0075]
同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0076]
本发明的第一实施例是提供一种基于深度神经网络的美瞳识别处理方法，目的是通过语义分割算法自动区分眼睛区域图像中所述眼睛内区域图像与所述眼睛外区域图像域，并进行掩码填充，节省了大量人工标注的人力，从而使得网络可以使用海量样本进行训练；只需要对容易分割的眼睑区域进行掩码填充，不需要填充瞳孔和巩膜部分，减少了预处理的工作量，也增加了网络的鲁棒性。
[0077]
如图1所示，第一方面，第一实施例，一种基于深度神经网络的美瞳识别处理方法，其中，包含以下步骤：
[0078]
步骤a1：获取眼睛区域图像；
[0079]
步骤a2：将眼睛区域图像分割成眼睛内区域图像与眼睛外区域图像，然后将分界点拟合到二阶贝塞尔曲线，如图2所示；
[0080]
步骤a3：计算眼睛内区域图像的灰度均值得到如图3所示的图像，根据灰度均值对眼睛外区域图像的上眼睑区域与下眼睑区域进行掩码处理；
[0081]
步骤a4：计算眼睛区域图像的均值与标准差；
[0082]
步骤a5：搭建深度神经网络模型，将均值与标准差输入至深度神经网络模型对眼睛区域图像的像素值进行归一化处理得到数据集得到如图4所示的图像；
[0083]
步骤a6：依据数据集对深度神经网络模型进行训练；
[0084]
步骤a7：重新获取眼睛区域图像并通过步骤输入步骤a2-步骤a4进行预处理得到眼睛区域图像的均值与标准差并传输至步骤a6得到的深度神经网络模型中进行处理得到分类结果数据。
[0085]
深度神经网络模型包含输入层、归一化层、block层、输出层，考虑到美瞳识别的实际应用环境，本技术方案提供了两套处理系统，即cpu系统和考虑嵌入式需求的arm dsp系统，美瞳识别处理方法分成训练和推理两个流程，其中训练流程都需要在cpu平台完成，而推理流程既可以通过cpu平台完成，也可以通过arm dsp的嵌入式平台完成，在arm dsp的嵌入式平台上，由arm设备先进行部分的眼睛区域图像预处理流程，包括读入眼睛区域图像，对于图像眼睛内区域和眼睛外区域进行自动分割，计算眼睛内区域的平均灰度并对眼睛外区域进行掩码；掩码之后得到的图像会被保存为一个两维的无符号数组，arm将这个两维的无符号数组传输给dsp,由dsp进行图像数据的归一化处理之后，再传递给block层进行推理得到美瞳还是活体的分类结果；
[0086]
输入层读取已经完成掩码的图像；
[0087]
归一化层用于完成每张眼睛图像数据的单独归一化工作，考虑到美瞳识别在实际应用中往往存在应用于嵌入式设备的需求，因此需要将网络模型移植到嵌入式设备，比如dsp上，而dsp往往都只能支持定点数的输入，不能接受浮点数的输入，而输入样本图像经过归一化操作以后，数据就会从定点数转化成浮点数，从而无法在不损失精度的情况下将输入传递给dsp，因此本发明设计了单独的归一化层(sn层)内嵌在深度神经网络模型中，由dsp来实现归一化操作，从而避免计算精度的损失。
[0088]
block层包含依次连接的五个卷积层与三个全连接层，其中卷积层的卷积核大小
均为3*3，每个卷积层之后均连接一个均值池化层，池化核的大小为3*3，步长为2，深度神经网路模型的损失函数为交叉熵损失函数。
[0089]
输出层为一个softmax分类器，判决门限为0.5.高于0.5判定为美瞳，低于0.5判定为活体。
[0090]
上述的一种基于深度神经网络的美瞳识别处理方法，其中，步骤a2中采用智能化定位分割算法进行眼睛内区域图像与眼睛外区域图像的分割，在眼睛区域图像中自动区分眼睛内区域图像(包含眼白、虹膜、瞳孔)与眼睛外区域图像(包含上眼睑与下眼睑)，只对眼睛外区域进行掩码，对于眼睛内区域即瞳孔、虹膜、眼白区域不进行掩码操作，并且掩码采用的是眼睛内区域的灰度平均值，而非0或255这样的固定常数，由于可以用于区分美瞳还是活体的纹理特征信息在整个样本图像上只占据一部分面积，所以在很多美瞳识别的场景中，都会对冗余的信息面积做掩码处理，从而让网络学习时，可以将学习的关注点集中到真正可以用来区分美瞳和活体的关键区域，与其他美瞳识别相关的技术方案相比，本技术方案虽然一样也要做掩码处理，但在掩码的具体实现方式上和其他的美瞳识别技术方案中的掩码方式有很大的区别；
[0091]
市面上的其他美瞳处理算法比如专利号为2019109953829的一种基于深度学习的美瞳识别方法及系统，该发明提供的技术方案在进行样本图像掩码预处理时，需要固定的将瞳孔区域置为0，而将除了瞳孔虹膜以外的区域(眼睑 眼白)置为255，而本技术方案只需要对眼睛外区域即上眼睑区域与下眼睑区域做掩码处理即可，眼白、瞳孔区域都可以不做掩码，并且在本技术方案中，采用眼睛内区域的平均值来做为眼睛外区域掩码的填充值，虽然眼白以及瞳孔并不携带可以区分美瞳与活体的特征信息，但深度学习网络本身就具备强大的对于冗余信息的处理能力，同时，预处理操作的环节越多也越容易引入误差或者增加标注的人力成本，过多过于严格的掩码约束有时只会降低网络的抗干扰能力，所以本技术方案掩码区域的要求并不严格，只需要对可以明确分割的眼睛外区域做掩码即可，并不要求对于瞳孔和眼白区域也做掩码；同时本技术方案并不使用固定值，比如255或者0做掩码的填充值，而是采用眼睛内区域均值，也就是眼白、虹膜、瞳孔区域的灰度均值作为眼睑区域掩码的填充值，在随后的归一化过程中，眼睑区域因为被填充的是数值是整个眼睛区域图像的灰度均值，所以全都会被归一化为0，代表着无信息，从而不会对网络的学习过程构成任何干扰。
[0092]
上述的一种基于深度神经网络的美瞳识别处理方法，其中，智能化定位分割算法为语义分割算法，通过语义分割算法自动区分眼睛区域图像中眼睛内区域图像与眼睛外区域图像域。
[0093]
上述的一种基于深度神经网络的美瞳识别处理方法，其中，眼睛内区域图像包含眼白、虹膜、瞳孔，眼睛外区域图像包含上眼睑、下眼睑。
[0094]
步骤a3中自动对眼睛外区域部分进行掩码填充，从而避免了手工标注的巨大工作量，使得利用海量样本进行网络训练得以实现。
[0095]
每张眼睛区域图像都使用图像本身的均值和标准差做归一化，而不是统一使用样本集整体的均值和标准差做归一化或者是使用固定的常数做归一化，这是因为对于美瞳识别场景，只有纹理才是区分美瞳还是活体的主要依据，样本本身的均值和标准差都不携带任何的分类信息，每个样本图像都使用图像本身的均值和标准差做归一化，可以有效过滤
不同样本间灰度均值和标准差的差异，从而降低网络学习的难度；
[0096]
此预处理方法实现简单，不需要人力标注，且由于在预处理阶段就过滤了与美瞳识别无关的噪声又全部保留了区分美瞳与活体关键的纹理信息，从而降低了神经网络学习的难度，使得深度神经网络能够达到更好的训练效果。
[0097]
区别于传统方法中采用固定常数归一化或者采用样本集均值归一化的方式，本发明采用的是每个样本单独归一化。
[0098]
如图5所示，本技术方案提供的一种基于深度神经网络的美瞳识别处理方法具体分为四部分内容：美瞳识别数据预处理，深度神经网络搭建，神经网络训练流程，神经网络推理流程；
[0099]
神经网络训练流程(数据集训练流程)：通过事先收集的眼睛区域图像(样本数据)对于已经搭建的深度神经网络模型进行训练，将数据集通过输入层输入深度神经网络模型中，并在输出层得到分类结果，通过计算输出结果和预期输出结果之间的差异得到学习误差，并根据学习误差的大小调整深度神经网络模型中的连接权重，通过反复的推理与反馈之后，使得深度神经网络对于每个训练输入得到的推理输出，都可以和预期输出相一致。
[0100]
神经网络推理流程：深度神经网络模型通过数据集训练达标后，就可以用于美瞳识别的实际应用了，当有新的眼睛区域图像输入以后，首先进行美瞳识别数据预处理，然后输入已经训练过的深度神经网络模型就可以得到正确的美瞳还是活体的分类结果。
[0101]
如图6所示，第二方面，第二实施例，一种基于深度神经网络的美瞳识别处理系统，其中，包含信息采集模块101、图像数据运算模块102、神经网络模型搭建模块103、归一化运算模块104、神经网络训练模块105、预测模块106；
[0102]
信息采集模块101用于获取眼睛的眼睛区域图像并传输至图像数据运算模块102；
[0103]
图像数据运算模块102用于将眼睛区域图像分割成眼睛内区域图像与眼睛外区域图像并计算眼睛内区域图像的灰度均值，根据灰度均值对眼睛外区域图像的上眼睑区域与下眼睑区域进行掩码处理，还用于计算眼睛区域图像的均值与标准差；
[0104]
神经网络模型搭建模块103用于搭建深度神经网络模型；
[0105]
归一化运算模块104用于将均值与标准差输入至深度神经网络模型对眼睛区域图像的像素值进行归一化处理得到数据集；
[0106]
神经网络训练模块105用于获取数据集并依据数据集对深度神经网络模型进行训练；
[0107]
预测模块106用于重新获取眼睛区域图像并通过图像数据运算模块102进行预处理得到眼睛区域图像的均值与标准差并传输至训练后的深度神经网络模型中进行处理得到分类结果数据。
[0108]
上述的一种基于深度神经网络的美瞳识别处理系统，其中，图像数据运算模块102采用智能化定位分割算法进行眼睛内区域图像与眼睛外区域图像的分割；
[0109]
上述的一种基于深度神经网络的美瞳识别处理系统，其中，智能化定位分割算法为语义分割算法，通过语义分割算法自动区分眼睛区域图像中眼睛内区域图像与眼睛外区域图像域。
[0110]
上述的一种基于深度神经网络的美瞳识别处理系统，其中，眼睛内区域图像包含眼白、虹膜、瞳孔，眼睛外区域图像包含上眼睑、下眼睑。
[0111]
考虑到深度学习技术在实际应用中往往都需要将网络模型移植到dsp上，而dsp往往都只能支持定点数的输入，不能接受浮点数的输入，而输入样本图像经过归一化操作以后，数据就会从定点数转化成浮点数，从而无法在不损失精度的情况下将输入传递给dsp；
[0112]
因此本技术方案增加了单独归一化层(sn层)，sn层在整个处理网络中的位置在输入层和block层之间，设置sn层的意义在于，由dsp侧来完成对于定点数图像的归一化操作，从而不损失任何的精度，提高推理的准确性；
[0113]
单独归一化层的数据处理过程，可以用公式如下表述：
[0114][0115]
其中，x
′i是归一化以后得到的单个新样本数据，xi是原先样本集中这张图片的数据，是该图片掩码以后的灰度均值，si是该图片掩码以后的标准差，α为标准差的调整参数，取值为1-3之间，从而将归一化以后得到的单个新样本数据x
′i控制在均值为0，范围基本在-1到1的范围以内；
[0116]
block层包括依次连接的五个卷积层和三个全连接层，其中卷积层的卷积核大小均为3*3，每个卷积层之后均连接一个均值池化层，池化核的大小为3*3，步长为2，深度学习网络模型的损失函数为交叉熵损失函数；
[0117]
输出层为一个softmax分类器，判决门限为0.5.高于0.5判定为美瞳，低于0.5判定为活体。
[0118]
第三方面，一种计算机可读存储介质，其中，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面中任一项方法的步骤。
[0119]
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等；
[0120]
处理器可以是中央处理器(central processing unit，cpu)等，或者是图像处理器(graphic processing unit,gpu)存储器可以存储可执行指令；
[0121]
处理器可以执行在存储器中存储的执行指令，从而实现本文描述的各个过程。
[0122]
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；
[0123]
其中，非易失性存储器可以是rom(read-onlymemory，只读存储器)、prom(programmablerom，可编程只读存储器)、eprom(erasableprom，可擦除可编程只读存储器)、eeprom(electricallyeprom，电可擦除可编程只读存储器)或闪存。
[0124]
易失性存储器可以是ram(randomaccessmemory，随机存取存储器)，其用作外部高速缓存；
[0125]
通过示例性但不是限制性说明，许多形式的ram可用，例如sram(staticram，静态随机存取存储器)、dram(dynamicram，动态随机存取存储器)、sdram(synchronousdram，同步动态随机存取存储器)、ddrsdram(doubledatarate sdram，双倍数据速率同步动态随机存取存储器)、esdram(enhanced sdram，增强型同步动态随机存取存储器)、sldram(synchlinkdram，同步连接动态随机存取存储器)和drram(directrambusram，直接内存总线随机存取存储器)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0126]
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序；
[0127]
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
[0128]
应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
[0129]
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现；
[0130]
这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件；
[0131]
本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本技术的范围。
[0132]
在本技术实施例中，所公开的系统、装置和方法可以通过其它方式来实现；
[0133]
例如，单元或模块的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式；
[0134]
例如，多个单元或模块或组件可以进行组合或者可以集成到另一个系统中；
[0135]
另外，在本技术实施例中的各功能单元或模块可以集成在一个处理单元或模块中，也可以是单独的物理存在等等。
[0136]
应理解，在本技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术的实施例的实施过程构成任何限定。
[0137]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中；
[0138]
因此，本技术的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本技术实施例所描述的技术方案的全部或部分过程；
[0139]
上述存储介质可以包括rom、ram、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
[0140]
综上，本发明的一种基于深度神经网络的美瞳识别处理方法与系统，能够通过语义分割算法自动区分眼睛区域图像中所述眼睛内区域图像与所述眼睛外区域图像域，并进行掩码填充，节省了大量人工标注的人力，从而使得网络可以使用海量样本进行训练；只需要对容易分割的眼睑区域进行掩码填充，不需要填充瞳孔和巩膜部分，减少了预处理的工作量，也增加了网络的鲁棒性。
[0141]
以上对发明的具体实施例进行了描述。需要理解的是，发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换，这并不影响发明的实质内容。