一种基于边云协同的自适应人脸识别方法及系统

1.本发明涉及人脸识别领域，尤其涉及一种基于边云协同的自适应人脸识别方法及系统。


背景技术：

2.人脸识别作为一种高效准确的身份认证技术，在解锁终端，移动支付，登陆应用等领域应用日趋广泛。常用的人脸识别策略是在边缘设备采集人脸图片再将采集到的目标人脸发送至云平台进行识别，现有人脸识别系统多运行于互联网覆盖率高，网络情况良好的发达地区，采集人像的设备性能优良，而在互联网覆盖率低，公用网络带宽低，时延高，采集人像的边缘设备性能较差的欠发达地区，现有的人脸识别系统往往起不到预期的效果，实时性和准确率都不能满足用户的要求。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供一种基于边云协同的自适应人脸识别方法及系统，能够降低边缘设备负担，同时不影响识别效果。
4.本发明所采用的第一技术方案是：一种于边云协同的自适应人脸识别方法，包括以下步骤：
5.基于边缘设备采集目标人脸图像，得到目标图像；
6.对目标图像进行特征提取并计算特征范数；
7.判断到特征范数大于预设阈值，基于边缘设备进行余弦相似度匹配并展示匹配结果；
8.判断到特征范数小于预设阈值，将人脸图像上传至云平台进行识别，并将识别结果返回边缘设备展示。
9.进一步，所述对目标图像进行特征提取并计算特征范数这一步骤，其具体包括：
10.对目标图像进行图像预处理，得到预处理后图像；
11.基于mobilefacenet-coo网络对预处理后图像进行特征提取，得到第一人脸特征向量；
12.根据所有的第一人脸特征向量向量计算特征范数。
13.进一步，所述对目标图像进行图像预处理，得到预处理后图像这一步骤，其具体包括：
14.对目标图像进行灰度化和直方图均衡化处理，得到均衡图像；
15.基于多任务卷积神经网络对均衡图像进行人脸检测，得到人脸区域和关键点坐标；
16.基于仿射函数，根据关键点坐标对人脸区域进行校正，得到预处理后图像。
17.进一步，所述这特征范数的计算公式如下：
[0018][0019]
上式中，表示特征范数，ai表示该特征向量第i个维度数值，n表示表示人脸特征向量维度的数量。
[0020]
进一步，所述判断到特征范数大于预设阈值，基于边缘设备进行余弦相似度匹配并展示匹配结果这一步骤，其具体包括：
[0021]
判断到特征范数大于预设阈值；
[0022]
基于边缘设备将第一人脸特征向量与第一网络人脸特征数据库中的标准人脸特征向量进行余弦相似度匹配，得到第一比较信息；
[0023]
根据第一比较信息选择相似度最高对应的人脸信息进行展示。
[0024]
进一步，所述判断到特征范数小于预设阈值，将目标图像上传至云平台进行识别，并将识别结果返回边缘设备展示这一步骤，其具体包括：
[0025]
判断到特征范数小于预设阈值，将目标图像上传至云平台；
[0026]
对目标图像进行图像预处理，得到预处理后图像；
[0027]
基于sefacenet网络对预处理后图像进行特征提取，得到第二特征向量；
[0028]
将第一人脸特征向量与第一网络人脸特征数据库中的标准人脸特征向量进行余弦相似度匹配，得到第二比较信息；
[0029]
根据第二比较信息选择相似度最高对应的人脸信息，得到识别结果；
[0030]
将识别结果返回边缘设备展示。
[0031]
进一步，所述判断到特征范数小于预设阈值，将目标图像上传至云平台进行识别，并将识别结果返回边缘设备展示这一步骤，还包括：
[0032]
基于mobilefacenet-coo网络对预处理后图像进行特征提取，得到第三特征向量；
[0033]
判断到传输网络空闲，边缘设备从云平台下载第三特征向量至第一网络人脸特征数据库。
[0034]
本发明所采用的第二技术方案是：一种基于边云协同的自适应人脸识别系统，包括：
[0035]
边缘计算模块，基于边缘设备采集目标人脸图像，得到目标图像；对目标图像进行特征提取并计算特征范数；判断到特征范数大于预设阈值，基于边缘设备进行余弦相似度匹配并展示匹配结果；
[0036]
云计算模块，判断到特征范数小于预设阈值，将人脸图像上传至云平台进行识别，并将识别结果返回边缘设备展示。
[0037]
本发明方法及系统的有益效果是：本发明设计了一种适用于欠发达地区的基于边云协同的自适应人脸识别方法，该方法引入边云协同概念，将识别任务根据网络条件，识别对象质量进行分类，按照实际情况分配到云端和边缘端，同时所采用的分类方法并不占用额外的性能，降低了边缘设备负担，同时不影响识别效果，在保持较高识别率的情况下实现实时识别的效果，满足实际用户需求，为欠发达地区居民的身份验证工作提供了智能化的通用型人脸识别解决方案。
附图说明
[0038]
图1是本发明一种基于边云协同的自适应人脸识别方法的步骤流程图；
[0039]
图2是本发明具体实施例人脸特征数据库的构建示意图；
[0040]
图3是本发明具体实施例mobilefacenet-coo网络结构示意图；
[0041]
图4是本发明具体实施例coo-bneck模块结构示意图；
[0042]
图5是本发明具体实施例sefacenet网络结构示意图；
[0043]
图6是本发明具体实施例sefacenet block模块结构示意图；
[0044]
图7是本发明一种基于边云协同的自适应人脸识别系统的结构框图。
具体实施方式
[0045]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0046]
如图1所示，本发明提供了一种基于边云协同的自适应人脸识别方法，该方法包括以下步骤：
[0047]
s1、基于边缘设备采集目标人脸图像，得到目标图像；
[0048]
s2、对目标图像进行特征提取并计算特征范数；
[0049]
s2.1、对目标图像进行图像预处理，得到预处理后图像；
[0050]
s2.1.1、通过灰度化，直方图均衡化处理采集到的人脸图像，降低计算量同时减少不相关因素对识别的影响；
[0051]
s2.1.2、人脸检测使用mtcnn(多任务卷积神经网络)检测人脸并截取调整为112
×
96像素的图像块，同时获取面部关键点坐标。人脸矫正利用关键点坐标和仿射函数对人脸区域进行矫正；
[0052]
s2.1.3、人脸矫正利用关键点坐标和仿射函数对人脸区域进行矫正。
[0053]
s2.2、基于mobilefacenet-coo网络对预处理后图像进行特征提取，得到第一人脸特征向量；
[0054]
mobilefacenet-coo在mobilefacenet的基础上提高了对空间和通道信息的关注，采用coo-bneck模块作为网络组成模块，同时调整网络结构，进一步提升模型特征提取能力，具体网络结构如图3所示，该网络主要部分由coo-bneck堆叠构成，第一层是传统卷积进行快速下采样操作，降低特征维度，然后利用6个coo-bneck的堆叠提取丰富的人脸特征，并增加特征的通道数，同时在池化层部分，用全局深度卷积层(gdconv)替换全局池化层，受到倒残差的启发，在最后增加一个1
×
1卷积层获取高维特征，由于特征图较小，在获取更丰富的特征满足需求的同时造成计算成本的增加量较小。
[0055]
原始bneck使用深度分离可卷积(dwconv)，在通过分组卷积降低参数量的同时，存在缺乏跨通道信息和空间位置信息的问题，为此在dwconv层后添加coordatt注意力模块(cooratt)，并在支路特征contact阶段加入通道混洗操作，提升模型的特征表达能力。coordatt注意力模块利用两个一维全局池化操作(avg pool)将水平，竖直两个方向上的输入特征聚合成两个独立方向特征图，这两个特征图包含了全局特征在特定方向上长程依赖，最后融入输出特征图，从而增强特征图的位置表示能力。最后一个1
×
1卷积层融合各通
道的特征。基于保持网络轻量级特性和提升对跨通道信息和空间位置信息关注的原则，采用通道混洗(channel shuffle)使不同通道特征相互关联，同时采用coordatt注意力模块替换se模块，将空间信息嵌入通道注意力中，同时使得特征提取网络可以根据特征图包含的空间信息动态增强有用的特征表达，提出了coo-bneck，其结构如图4所示。
[0056]
s2.3、根据所有的第一人脸特征向量向量计算特征范数。
[0057]
具体地，特征范数对比模块中的特征范数计算方法为具体地，特征范数对比模块中的特征范数计算方法为表示特征范数，ai表示该特征向量第i个维度数值，n表示表示人脸特征向量维度的数量。在计算出所有特征向量的范数后，模型迁移训练完成后，通过mobilefacenet-coo网络计算训练图片的特征范数，统计后从高到低排序，以1:1的比例划分高质量图片集和低质量图片集，以分界处的特征范数值特征范数阈值。
[0058]
s3、判断到特征范数大于预设阈值，基于边缘设备进行余弦相似度匹配并展示匹配结果；
[0059]
s3.1、判断到特征范数大于预设阈值；
[0060]
s3.2、基于边缘设备将第一人脸特征向量与第一网络人脸特征数据库中的标准人脸特征向量进行余弦相似度匹配，得到第一比较信息；
[0061]
s3.3、根据第一比较信息选择相似度最高对应的人脸信息进行展示。
[0062]
具体地，人脸匹配算法采用余弦相似度匹配，其公式为cosθ表示余弦相似度，a
ibi
表示第a、b向量的第i个纬度的值，n表示特征向量纬度的个数，将网络人脸特征数据库中的标准人脸特征向量与目标人脸特征向量进行比较，选择符合阈值限制同时相似度最高的人脸并返回身份信息。
[0063]
s4、判断到特征范数小于预设阈值，将人脸图像上传至云平台进行识别，并将识别结果返回边缘设备展示。
[0064]
s4.1、判断到特征范数小于预设阈值，将目标图像上传至云平台；
[0065]
s4.2、对目标图像进行图像预处理，得到预处理后图像；
[0066]
具体地，在云平台也进行与边缘计算同样的图像预处理，但是不可上传处理后的图像，因为需要在存储空间大的云平台保存采集到的人像原件，以便使用人脸识别系统的上层应用进行信息管理等操作。
[0067]
s4.3、基于sefacenet网络对预处理后图像进行特征提取，得到第二特征向量；
[0068]
s4.4、将第一人脸特征向量与第一网络人脸特征数据库中的标准人脸特征向量进行余弦相似度匹配，得到第二比较信息；
[0069]
s4.5、根据第二比较信息选择相似度最高对应的人脸信息，得到识别结果；
[0070]
s4.6、将识别结果返回边缘设备展示。
[0071]
senet卷积神经网络是一种经典的特征提取网络，sefacenet特征提取网络是在34层se-resnet网络的基础上进行改进的。为了适应人脸识别任务，用sefaceblock替代了原有的seblock，将最后一层的平均池化层替换为全局深度卷积层。senet网络的输入尺寸为224
×
224像素，但是人脸数据集尺寸为112
×
96像素，直接将原始数据输入会导致最后一个卷积层输出的特征图尺寸从7
×
7变成4
×
3，降低了网络提取细节信息的能力，为此将第一
个卷积层中的7
×
7卷积核替换成3
×
3卷积核，另外将步长为2调整为1，这样网络最后输出的特征图尺寸提升为7
×
6，保留了原本网络中提取特征信息的能力，调整后的神经网络结构如图5所示。sefacenet中间层由sefaceblock模块组成，与残差模块类似，模块分为恒等和非恒等两种，二者的区别是输入输出特征图通道数是否相等，恒等模块通道数相同，由实线连接，非恒等通道数不同，由虚线链接，中途需要通过1
×
1卷积调整通道数。
[0072]
senet的核心是se block，其主要目的是提高感受野，在空间层面上融合更多特征，提取多尺度空间信息，而在单通道的特征融合问题上，使用的是全局平均池化层。当网络输入图像是对齐的人脸时，最终输出的特征图角单元比中心单元携带更少的人脸信息，不同的单元对提取人脸特征向量的重要性不同。全局池化层对特征图所有单元同等重视，这不符合人脸识别问题的实际需求，因此使用全局深度卷积层(gdconv)来代替最后一个se block的全局平均池化层，然后再链接后面的全连接层(fc)，通过sigmoid激活函数(sigmoid)并与原始特征进行特征融合(scale)，在不改变特征图大小的基础上获取更丰富的人脸特征信息，图6为sefacenet block模块结构。
[0073]
进一步作为本方案优选实施例，所述判断到特征范数小于预设阈值，将目标图像上传至云平台进行识别，并将识别结果返回边缘设备展示这一步骤，还包括：
[0074]
s4.6、基于mobilefacenet-coo网络对预处理后图像进行特征提取，得到第三特征向量；
[0075]
s4.7、判断到传输网络空闲，边缘设备从云平台下载第三特征向量至第一网络人脸特征数据库。
[0076]
具体地，由于云节点自身拥有充足的计算和存储资源，因此可以将mobilefacenet-coo和sefacenet两种特征提取方式同时部署在云节点上，对上传到云节点识别的人脸图像通过两种方法同时进行特征向量提取，网络空闲时边缘设备再从云节点下载新的人脸特征向量，再次边缘识别时，如果图片质量高可以直接在本地数据库进行比对，大大缩短了边缘设备人脸匹配的时间。整体结构如图2所示。
[0077]
如图7所示，一种基于边云协同的自适应人脸识别系统，包括：
[0078]
边缘计算模块，基于边缘设备采集目标人脸图像，得到目标图像；对目标图像进行特征提取并计算特征范数；判断到特征范数大于预设阈值，基于边缘设备进行余弦相似度匹配并展示匹配结果；
[0079]
云计算模块，判断到特征范数小于预设阈值，将人脸图像上传至云平台进行识别，并将识别结果返回边缘设备展示。
[0080]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0081]
一种基于边云协同的自适应人脸识别装置：
[0082]
至少一个处理器；
[0083]
至少一个存储器，用于存储至少一个程序；
[0084]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于边云协同的自适应人脸识别方法。
[0085]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的
功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0086]
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种基于边云协同的自适应人脸识别方法。
[0087]
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0088]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。