一种基于非对称性特征和黎曼流形结构的人脸识别方法与流程

1.本发明涉及图像处理技术，特别是一种基于非对称性特征和黎曼流形结构的人脸识别方法。


背景技术：

2.随着互联网技术和5g时代的到来，新一代科技革命的迅猛发展，在自然社会科学方面，如交通运输业、金融行业、监控系统、社会管理以及服务民生等，无时无刻都在以指数形式快速产生大量数据，不但收集的数据数量在增加，数据的维度也在不断增加，同时在这些数据中有着难以被人类视觉所直观发现的内在关系和逻辑结构，这给利用数据带来了极大的困难，因此，研究更好的算法来处理和分析数据的内在关系和逻辑结构是我们刻不容缓的任务。
3.在深度学习出现之前，人脸识别的特征提取都是采用传统手工特征提取，该方法不仅识别效率低下，而且网络结构复杂，并不是端到端的网络结构，需要对每一个部分单独进行训练，同时耗费时间长。基于深度学习的方法出现，人脸识别技术是通过网络结构自行学习获取特征进行识别，如r-cnn、yolo、vgg、googlenet等网络结构，其中，r-cnn是两步检测方法，首先要生成2000个候选口，然后对这些候选框进行处理输入到网络中进行卷积池化等操作，最后通过全连接层进行分类检测，该网络结构需要分两步进行训练，并且由于2000候选框都要进行检测，耗时长，训练慢不利于提高人脸识别的速率；yolo是一个端到端的网络检测结构，可以对整个网络结构进行训练，进行人脸识别的时间短，但其识别的准确率低下；vgg网络结构不仅在速率和准确率上都取得了不错的提升，但是该网络结构在卷积池化操作之后的第一个全连接层参数量出现了爆炸性的增长，大大加大对硬件资源的需求，网络结构也过于臃肿；googlenet采用的多尺度并行的特征提取，虽然在网络结构的参数量也显著降低了，但是其位于欧氏空间，不能挖掘人脸的内在逻辑。


技术实现要素：

4.发明目的：本发明的目的是提供一种基于非对称性特征和黎曼流形结构的人脸识别方法，从而提高人脸识别的准确率和速率。
5.技术方案：本发明所述的一种基于非对称性特征和黎曼流形结构的人脸识别方法，包括以下步骤：
6.s1、将经过标记的人脸图像数据集随机划分为训练集和验证集；
7.s2、采用基于googlenet和resnet网络结构改进的卷积神经网络；
8.s2.1、通过3
×
3的卷积核构建一层多通道特征图；
9.s2.2、在输出多通道特征图后接上relu激活函数，引入非线性结构。
10.s3、采用多个不同卷积核大小堆叠而成构建不同的inception模块；
11.s3.1、采用多个不同卷积核大小堆叠而成构建不同的inception模块；
12.s3.2、每一个inception模块中，对每一个卷积核获取的特征图按照其深度进行堆
叠而成，通过训练n层不同尺度的特征，对所有隐藏层进行训练以获取优良人脸图像特征获取人脸图像的多尺度特征。
13.s4、将获取人脸图像多尺度特征图的网络框架参数进行有监督的微调；所述的微调采用随机梯度下降的方法，通过最小化输出类型和人脸图像特征标签误差的损失函数，以获取能够提高人脸识别效果的优良人脸图像多尺度特征。
14.s5、由卷积神经网络结构获取的人脸图像多尺度特征图，对其每一张特征图进行平坦化操作并按照规则组合成矩阵形式，对该矩阵进行变换求其协方差矩阵，再经过正则化的方法，使得该协方差矩阵具有对称正定的特性，进而可以将人脸图像多尺度特征图数据转换为流形数据；
15.s5.1、通过卷积神经网络结构获取的人脸图像多尺度特征图，将每一张特征图通过平坦化操作形成向量；
16.s5.2、将每一列向量组合成矩阵形式，对其矩阵进行协方差运算获取协方差矩阵；
17.s5.3、通过一定的正则化条件，如：c

＝c λtrace(c)a，其中λ为正则化参数，一般设置为0.0001，trace(c)为c的迹，a为单位矩阵，就可使得该协方差矩阵具有对称正定的特性，使得该协方差矩阵具有对称正定的特性；
18.s5.4、将人脸图像多尺度特征图数据转换为流形数据。
19.s6、将转换的流形数据spd矩阵通过spdnet网络结构，经过bimap层、reeig层以及logeig层可以生成更加具有判别性并且数据维度显著下降的spd矩阵，同时还可以使其能够应用到后续其它的全连接层以及softmax层进行人脸识别的输出；
20.s6.1、将转换的流形数据spd矩阵通过bimap层的双线映射b将输入的spd矩阵转换成低维的spd矩阵；
21.s6.2、reeig层使用非线性函数r来修正spd矩阵，该函数通过调整spd矩阵的较小特征值来校正它们；
22.s6.3、logeig层对所求出spd矩阵执行黎曼计算，使其能够应用到后续其它的全连接层以及softmax层进行人脸识别的输出。
23.一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于非对称性特征和黎曼流形结构的人脸识别方法。
24.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于非对称性特征和黎曼流形结构的人脸识别方法。
25.有益效果：与现有技术相比，本发明具有如下优点：
26.1、与现有主流方案相比而言，通过堆叠不同大小卷积核，采取非对称性的特征提取，具有加宽网络结构，优化特征提取等优点；
27.2、类似于googlenet网络结构，本发明所述的卷积网络结构技术的人脸识别结构也是一种模块化思想，整体易于保留人脸图像的浅层特征，并且还能挖掘深层次的语义特征；
28.3、相比于卷积神经网络，本发明在卷积神经网络中融入了流形学习的对称正定矩阵的黎曼流形结构，进一步降低数据维度，使得人脸图像数据可以位于一个平滑的空间之中；
29.4、为了将黎曼流形学习融入卷积神经网络，本发明采用一种计算其协方差矩阵，并加入一定的正则化项，使得获得人脸图像特征流形表示具有对称正定矩阵的性质。
附图说明
30.图1为本发明的步骤流程图；
31.图2为人脸图像特征流形表示示意图；
32.图3为多尺度网络结构图；
33.图4为非对称特征提取的网络结构图；
34.图5为基于卷积神经网络的人脸图像多尺度特征提取研究流程图。
具体实施方式
35.下面结合附图对本发明的技术方案作进一步说明。
36.如图1所示，一种基于非对称性特征和黎曼流形结构的人脸识别方法，包括以下步骤：
37.s1、将经过标记的人脸图像数据集随机划分为训练集和验证集；
38.s2、如图3所示，采用基于googlenet和resnet网络结构改进的卷积神经网络；
39.s2.1、通过3
×
3的卷积核构建一层多通道特征图；
40.s2.2、在输出多通道特征图后接上relu激活函数，引入非线性结构。
41.s3、如图4所示，采用多个不同卷积核大小堆叠而成构建不同的inception模块；
42.s3.1、采用多个不同卷积核大小堆叠而成构建不同的inception模块；
43.s3.2、每一个inception模块中，对每一个卷积核获取的特征图按照其深度进行堆叠而成，通过训练n层不同尺度的特征，对所有隐藏层进行训练以获取优良人脸图像特征获取人脸图像的多尺度特征。
44.s4、如图5所示，将获取人脸图像多尺度特征图的网络框架参数进行有监督的微调；所述的微调采用随机梯度下降的方法，通过最小化输出类型和人脸图像特征标签误差的损失函数，以获取能够提高人脸识别效果的优良人脸图像多尺度特征。
45.s5、如图2所示，由卷积神经网络结构获取的人脸图像多尺度特征图，对其每一张特征图进行平坦化操作并按照规则组合成矩阵形式，对该矩阵进行变换求其协方差矩阵，再经过正则化的方法，使得该协方差矩阵具有对称正定的特性，进而可以将人脸图像多尺度特征图数据转换为流形数据；
46.s5.1、通过卷积神经网络结构获取的人脸图像多尺度特征图，将每一张特征图通过平坦化操作形成向量；
47.s5.2、将每一列向量组合成矩阵形式，对其矩阵进行协方差运算获取协方差矩阵；
48.s5.3、通过一定的正则化条件，如：c

＝c λtrace(c)a，其中λ为正则化参数，一般设置为0.0001，trace(c)为c的迹，a为单位矩阵，就可使得该协方差矩阵具有对称正定的特性，使得该协方差矩阵具有对称正定的特性；
49.s5.4、将人脸图像多尺度特征图数据转换为流形数据。
50.s6、将转换的流形数据spd矩阵通过spdnet网络结构，经过bimap层、reeig层以及logeig层可以生成更加具有判别性并且数据维度显著下降的spd矩阵，同时还可以使其能
够应用到后续其它的全连接层以及softmax层进行人脸识别的输出；
51.s6.1、将转换的流形数据spd矩阵通过bimap层的双线映射b将输入的spd矩阵转换成低维的spd矩阵；
52.s6.2、reeig层使用非线性函数r来修正spd矩阵，该函数通过调整spd矩阵的较小特征值来校正它们；
53.s6.3、logeig层对所求出spd矩阵执行黎曼计算，使其能够应用到后续其它的全连接层以及softmax层进行人脸识别的输出。
54.本实施例采用的是一个网上开源数据集，并将其随机十一等分，取出其中一份作为最后测试使用，其余九份用于训练一份用于交叉验证，并将验证损失加入到网络结构中，这样可以用交叉验证其人脸识别效果；其次通过3
×
3的卷积核构建一层128通道人脸图像特征图，并在输出128通道特征图后接上relu激活函数，引入非线性结构，其次采用多个不同卷积核大小，如1
×
1、3
×
3、1
×
3、3
×
1、5
×
5、1
×
5以及5
×
1，堆叠而成构建不同的inception模块，通过不同的inception模块组合以获取优良的人脸图像多尺度特征，其中在每一个inception模块中将会对每一个卷积核获取的特征图按照其深度进行堆叠而成，通过训练n层不同尺度的特征，对所有隐藏层进行训练以获取优良人脸图像特征获取人脸图像的多尺度特征，同时采取随机梯度下降的方法以更新卷积核的权重，通过最小化输出类型和人脸图像特征标签误差的损失函数，以获取能够提高人脸识别效果的优良人脸图像多尺度特征。
55.通过卷积神经网络结构获取的人脸图像多尺度特征图，并将每一张特征图通过平坦化操作形成向量，再将每一列向量组合成矩阵形式，对其矩阵进行协方差运算获取协方差矩阵，即对人脸图像多尺度特征图计算其协方差，其计算方式：其中是人脸图像特征集f的平均向量，可以表示为：再通过一定的正则化条件，其方式：c

＝c λtrace(c)a，其中λ为正则化参数，一般设置为0.0001，trace(c)为c的迹，a为单位矩阵，就可使得该协方差矩阵具有对称正定的特性，可以将人脸图像多尺度特征图数据转换为流形数据。
56.将转换的流形数据spd矩阵通过bimap层的双线映射b将输入的spd矩阵转换成低维的spd矩阵，其映射方式：其中是第k层输入的spd矩阵，是转换矩阵(即权重)，是输出的低维spd矩阵。为保证输出矩阵xk是一个有效的spd矩阵，转换矩阵wk需要满足行满秩的限制。通过使用bimap层，在原始spd流形上的输入矩阵被转换到另一个spd流形上，即bimap层上的数据空间都对应一个spd流形；然后reeig层使用非线性函数r来修正spd矩阵，该函数通过调整spd矩阵的较小特征值来校正它们，其计算方式：
57.其中u
k-1
和∑
k-1
通过特征值分解得到，∈是校正阈值，i是单位矩阵，max(∈i,∑
k-1
)是取对角元素最大值的操作；logeig层主要用于对所求出spd矩阵执行黎曼计算，使其能够应用到后续的其它层中，其第k层应用的黎曼计算函数：
其中x
k-1
的特征值分解被表示为的特征值分解被表示为是特征值对数的对角矩阵，最后人脸图像特征的矩阵形式通过对称正定矩阵的黎曼流形网络结构(spdnet)可以生成更加紧凑和更具有判别性的对称正定矩阵，从而提高人脸识别效果以及加快识别速率。本发明对于cifar-10数据集的识别的准确率和速率都取得了较好的效果，明显高于卷积神经网络的识别率和速率。