人脸属性识别方法、装置、存储介质和智能设备与流程

1.本技术涉及人脸识别技术领域，尤其涉及一种人脸属性识别方法、装置、存储介质和智能设备。


背景技术：

2.随着技术的发展，人脸识别技术进一步发展到可以在动态的视频中准确识别出人脸，以及进一步进行人脸属性识别。人脸属性识别是指对人脸图像所表现出来的属性进行估计、判别和分析。人脸属性包括性别，年龄，表情，动作，是否戴眼镜，眼睛大小，眼睛睁开或者闭着，头发长短或者直发卷发类别，正面或侧面等。
3.目前，进行人脸属性识别时，首先会借助辅助的定位机制锁定人脸属性所在的区域，即对人脸的关键点进行定位，然后从定位的区域内提取人脸属性特征，最后预测人脸属性的标签值，然而，人脸关键点的定位并不一定准确，人脸属性识别的准确性不高。


技术实现要素：

4.本技术实施例提供了一种人脸属性识别方法、装置、存储介质和智能设备，可以解决现在技术中人脸属性识别的准确度不高的问题。
5.第一方面，本技术实施例提供了一种人脸属性识别方法，包括：
6.获取目标人脸图像；
7.将所述目标人脸图像输入至训练好的人脸属性识别模型；
8.通过所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组；获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组；
9.通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。
10.第二方面，本技术实施例提供了一种人脸属性识别装置，包括：
11.目标图像获取单元，用于获取目标人脸图像；
12.目标图像输入单元，用于将所述目标人脸图像输入至训练好的人脸属性识别模型；
13.特征提取和构建单元，用于通过所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组；获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组；
14.人脸属性识别单元，用于通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。
15.第三方面，本技术实施例提供了一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的人脸属性识别方法。
16.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的人脸属性识别方法。
17.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在智能设备上运行时，使得智能设备执行如上述第一方面所述的人脸属性识别方法。
18.本技术实施例中，通过获取目标人脸图像，将所述目标人脸图像输入至训练好的人脸属性识别模型，所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组，即分组提取人脸特征，然后获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组，充分利用人脸特征之间的关联信息有助于人脸属性识别，再通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。本方案利用训练好的人脸属性识别模型进行人脸属性识别可提高识别的效率，通过该人脸属性识别模型将提取的特征进行有效分组后，再利用特征之间的关联性对人脸属性进行识别，可有效提高人脸属性识别的准确性。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的人脸属性识别方法的实现流程图；
21.图2是本技术实施例提供的人脸属性识别方法中人脸属性识别模型的构建和训练的具体实现流程图；
22.图3是本技术实施例提供的人脸属性识别方法中获取初始特征组的具体实现流程图；
23.图4是本技术实施例提供的人脸属性识别方法中构建目标特征组的具体实现流程图；
24.图5是本技术实施例提供的人脸属性识别方法中人脸属性识别模型的网络结构示意图；
25.图6是本技术实施例提供的人脸属性识别装置的结构框图；
26.图6.1是本技术实施例提供的另一种人脸属性识别装置的结构框图；
27.图7是本技术实施例提供的智能设备的示意图。
具体实施方式
28.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具
体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
29.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
30.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
31.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0032]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0034]
本技术实施例提供的人脸属性识别方法可以应用于移动设备、服务器、超级移动个人计算机(ultra-mobile personal computer，umpc)等智能设备上，本技术实施例对智能设备的具体类型不作任何限制。
[0035]
图1示出了本技术实施例提供的人脸属性识别方法的实现流程，该方法流程包括步骤s101至s104。各步骤的具体实现原理如下：
[0036]
s101：获取目标人脸图像。
[0037]
具体地，所述目标人脸图像是指待进行人脸属性识别的人脸图像。在本技术实施例中，可利用拍摄装置实时拍摄一张人脸图像作为所述目标人脸图像，或者，接收用户通过客户端上传的人脸图像作为所述目标人脸图像。
[0038]
可选地，将获取的人脸图像进行图像处理，得到目标人脸图像。具体地，将获取的彩色人脸图像进行灰度处理，得到人脸的灰度图像，再将所述灰度图像直方图均衡化，得到处理后的人脸图像，作为目标人脸图像。通过灰度处理使得原人脸图像中多余信息减少，更利于进行人脸属性的识别。
[0039]
s102：将所述目标人脸图像输入至训练好的人脸属性识别模型。
[0040]
具体地，所述人脸属性识别模型是基于人脸属性关联信息的深度卷积神经网络框架的模型。本技术实施例中，在没有增加多余时间复杂度和空间复杂度的前提下，设计了一种可以端到端训练的、基于整体的深度人脸属性预测框架，具体提出了一种基于人脸属性关联信息的、主干网络全局共享分支子网络局部共享式的深度卷积神经网络框架aac-mcnn(adaptive attributes correlation multi-task cnn)。
[0041]
图2示出了本技术实施例提供的人脸属性识别方法中人脸属性识别模型的构建和训练的具体实现流程，该人脸属性识别模型的构建和训练在智能设备上运行实现，详述如下：
[0042]
a1：构建所述人脸属性识别模型，所述人脸属性识别模型包括主网络、多个分支子网络和全连接层，所述人脸属性识别模型还包括特征图拼接模块、通道选择模块以及特征图融合模块。
[0043]
在本技术实施例中，所述人脸属性模型包括主网络、多个分支子网络、全连接层、fmcm模块(featuremapconcat module，特征图拼接模块)、csm模块(channel-selected module，通道选择模块)以及fmfm模块(featuremap-fused module，特征图融合模块)。所述主网络连接多个所述分支子网络，在各分支子网络中包括多个卷积层，所述分支子网络的第一卷积层与fmcm模块连接，所述fmcm模块与csm模块连接，所述csm模块与述fmfm模块连接，所述fmfm模块与所述全连接层连接。其中，所述分支子网络的数量可根据指定属性类别的数量确定，一个分支子网络对应一种指定属性类别。所述fmcm模块的作用是集中合并各分支子网络的输出；所述csm模块用于充分挖掘各分支子网络输出的初始特征组之间关联性，并排序抽取关联特征；所述fmfm模块用于初始特征组之间的特征融合。
[0044]
a2：获取样本人脸图像，所述样本人脸图像具有样本人脸属性标签，所述人脸属性标签按指定属性类别标记分组。
[0045]
具体地，获取人脸图像数据集，例如，使用celeba数据集，celeba是香港中文大学的开放数据，包含10177个名人身份的202599张图片，并且都做好了特征标记，这对人脸模型相关的训练是非常好用的数据集。将所述人脸图像数据集中的人脸图像进行数据清洗、预处理以及数据增强处理，进而得到大量的人脸图像作为样本人脸图像。其中，预处理包括但不限于人脸图像的灰度处理。在本实施例中，所述样本人脸图像具有样本人脸属性标签，同一样本人脸图像包括多个样本人脸属性标签，根据指定属性类别将多个样本人脸属性标签进行标记分组，所述指定属性类别可根据所述样本人脸属性标签的关联性矩阵确定，例如，使用pearson相关性矩阵将多个样本人脸属性标签分组。
[0046]
a3：通过所述主网络提取所述样本人脸图像中的样本低层人脸特征。低层次人脸特征指的是人脸图像中不具有语义信息的、基础的浅层特征，譬如角点、纹理、颜色、边缘、棱角等。在本技术实施例中，所述主网络包括卷积层，通过所述主网络的卷积层提取所述样本人脸图像中的样本低层人脸特征。
[0047]
a4：通过所述分支子网络按所述分支子网络对应的指定属性类别，获取与所述样本低层人脸特征相关的样本属性共享特征，并根据各个分支子网络的所述样本低层人脸特征以及所述样本属性共享特征，得到多个样本初始特征组。
[0048]
在本技术实施例中，所述分支子网络包括多个卷积层，通过所述分支子网络的第一卷积层按所述分支子网络对应的指定属性类别，获取与所述样本低层人脸特征相关的样本属性共享特征。样本属性共享特征指的是相关性较高的人脸属性与属性之间可以共享的特征，譬如数据集中男性和胡须的pearson相关系数为0.75、女性和化妆的pearson相关系数为0.81，说明人脸属性与属性之间并不是互相独立的，因此人脸图像的特征中存在着可以共享的部分，即属性共享特征。
[0049]
a5：通过所述特征图拼接模块将所述多个样本初始特征组合并，得到样本合并特
征组。具体地，所述特征图拼接模块fmcm用于将多个分支子网络输出的多个样本初始特征组合并，即，将各个分支子网络的样本初始特征组中的特征进行特征合并。本技术实施例中，所述特征图拼接模块fmcm的输入为分支子网络输出的样本初始特征组，输出为样本合并特征组。
[0050]
可选地，确定所述样本初始特征组的总数，从多个样本初始特征组合中选择所述样本初始特征组的总数减1数量的样本初始特征组进行合并，得到多个样本合并特征组。例如，当分支子网络数量为5，存在5个样本初始特征组时，在5个样本初始特征组中选择4个样本初始特征组进行合并，可得到5个特征合并组，每一特征合并组由4个样本初始特征组的特征合并生成。每一样本初始特征组与缺少该样本初始特征组中特征的样本合并特征组对应。
[0051]
在本技术实施例中，样本初始特征组为三维矩阵。示例性地，fm
i
表示第i个分支子网络输出的初始特征组，fm
sum-i
表示除去第i组初始特征组以外其他初始特征组按照通道维度拼接合并总和的样本合并特征组，fm
i
与fm
sum-i
对应。分支子网络的数量为n，fm
i
的维度是[hight，width，channel]，fm
sum-i
的维度是[hight,width,channel*(n-1)]。
[0052]
a6：通过所述通道选择模块计算每一样本初始特征组中样本特征与所述样本合并特征组中样本特征的关联性，从所述样本合并特征组中抽取与所述样本初始特征组中的特征关联性达到预设关联指数阈值的样本特征，得到所述样本初始特征组的样本关联特征。本实施例中，所述通道选择模块csm的输入为样本合并特征组，输出为样本关联特征。
[0053]
具体地，所述通道选择模块csm具体可根据特征矩阵的张量运算自适应学习特征之间的关联性，并按关联性将特征排序。将样本合并特征组中与初始样本特征组中的特征关联性达到预设关联指数阈值的样本特征抽取出来作为所述样本初始特征组的样本关联特征。例如，将样本合并特征组中与初始样本特征组中的样本特征关联性最高的样本特征抽取出来作为所述样本初始特征组的样本关联特征。所述预设关联指数阈值可以为特征矩阵关联概率值。
[0054]
在本技术实施例中，所述通道选择模块csm输出的样本合并特征组也是三维矩阵，cfm
i
表示根据特征相关性大小从fm
sum-i
中按照通道维度抽取并拼接后得到的样本关联特征组，其中i＝1,2
…
n。
[0055]
示例性地，以第i分支子网络第一卷积层的输出初始特征组fm
i
为例，将fm
i
和合并特征组fm
sum-i
分别重新重塑为[channel,hight*width]和[hight*width,channel*(n-1)]维度，获取fm
i
和fm
sum-i
二者矩阵点乘后的相关性矩阵cm
i
，进一步对所述相关性矩阵的通道维度应用softmax函数，得到fm
i
和fm
sum-i
的概率相关性矩阵pcm
i
，计算fm
sum-i
每一个通道上特征矩阵的均值，再将每一个通道上特征矩阵的均值除以fm
sum-i
所有通道均值的总和，得到fm
sum-i
每一个通道所占的权重因子[factor1,factor2,
…
,factor
c*(n-1)
]；最后，计算概率相关性矩阵pcm
i
与通道所占的权重因子的元素乘积，对该乘积得到的矩阵中每一个行向量使用softmax柔性最大值函数，softmax柔性最大值函数的作用是将行向量映射为离散概率分布，按照矩阵每一个行向量离散概率大小，依次从fm
sum-i
中按照通道维度抽取关联特征矩阵，拼接后得到维度为[hight,width,channel]的样本关联特征组cfm
i
。
[0056]
本技术实施例中，csm算法的核心思想在于可以根据特征矩阵的张量运算自适应学习并排序属性间的相关性，从而筛选出和本组分支子网络初始特征组中关联性最大的特
征表示，由于添加的是特征矩阵在通道维度的矩阵求平均和排序运算，并没有增加复杂的计算量，对网络前向传播的时间复杂度几乎没有影响，因此，在保障人脸属性识别模型进行准确的人脸属性识别的同时，并未增加模型计算复杂度。
[0057]
a7：通过所述特征图融合模块将所述样本初始特征组及其对应的样本关联特征进行特征融合，得到样本目标特征组。
[0058]
具体地，通过特征图融合模块fmfm将所述样本初始特征组及其对应的样本关联特征进行特征融合，从而优化分支子网络提取的特征表示。所述特征图融合模块fmfm可用于自动学习多任务框架下两组初始特征组之间可以关联共享的特征，所述特征图融合模块fmfm的输入为分支子网络第一卷积层输出的样本初始特征组，以及所述通道选择模块csm输出的样本关联特征，维度为[hight,width,channel]，所述特征图融合模块fmfm的输出为所述样本目标特征组，维度也为[hight,width,channel]。在本技术实施例中，分支子网络可以聚焦局部特征所在的区域(譬如眼睛，嘴巴，头发等)，此时，局部特征之外的区域激活值趋近于零，聚焦局部所在的区域后，可以提取相应的局部特征表示，fmfm模块则在此基础上自动学习初始特征组之间可关联共享的特征表示。
[0059]
可选地，在本技术实施例中，分别将每一分支子网络的样本初始特征组及其对应的样本关联特征分别融合后，可得到多个样本子目标特征组，所述特征融合模块还用于将多个样本子目标特征组进行两两融合，所述样本子目标特征组为三维矩阵。示例性地，将所述样本子目标特征组重塑为维度为[hight*width,channel]的矩阵，当进行两两融合时，将其中一样本子目标特征组矩阵转置后与另一样本子目标特征组做矩阵点乘操作，再对矩阵的行向量或列向量分别应用softmax函数，softmax函数的作用同上，是将矩阵的行或列向量分别映射为离散概率分布，重塑矩阵维度的另一作用是可以从位置像素点与通道两个维度进行矩阵运算，得到区分相关性强弱的概率分布矩阵，矩阵每个元素的大小衡量了两个样本子目标特征组行向量或列向量之间的相关性大小，且离散概率分布的累加之和为1，将得到的概率分布矩阵再与原样本子目标特征组矩阵点乘可以筛选出和本样本子目标特征组相关性最大的特征表示，最后通过矩阵元素级别的相加，将两个样本子目标特征组融合。
[0060]
a8：在所述全连接层中对所述样本目标特征组的特征进行分类，根据分类结果得到所述样本人脸图像中的人脸属性标签。
[0061]
可选地，在本技术实施例中，所述人脸属性识别模型还包括池化层，通过所述池化层对所述样本目标特征组的特征进行平均池化，再通过所述全连接层对平均池化的样本目标特征组的特征进行分类，根据分类结果，得到所述样本人脸图像中的人脸属性标签。
[0062]
a9：利用预设损失函数对所述人脸属性识别模型的预设参数进行调整，直至所述人脸属性识别模型输出的人脸属性标签与所述样本人脸图像的样本人脸属性标签一致。其中，所述预设参数包括输出特征图尺寸、网络层参数以及卷积核数量。
[0063]
在本技术实施例中，在全连接层面，我们使用softmax函数下的交叉熵损失函数，同时加入正则化惩罚主干网络和分支子网络的权重因子w
b
和所述预设损失函数l
total
具体的公式化表示如下式(1)：
[0064][0065]
其中，n表示所述样本人脸图像的数量，每张样本人脸图像标记了m个样本人脸属
性标签，y为所述样本人脸图像中的人脸属性，表示第i张样本人脸图像中的第j个人脸属性，c
k
表示人脸属性存在状态，人脸属性存在状态包括存在该人脸属性和不存在该人脸属性，k的值为0或1，c0表示不存在该人脸状态，c1表示存在该人脸状态，当表示对第j个人脸属性的两个全连接输出节点使用softmax函数，表示与相对应的样本人脸属性标签的真实值，w
b
表示主网络卷积层的权重因子，w
s
表示分支子网络的卷积层的权重因子，r1、r2为大于0且小于1的比例因子。
[0066]
可选地，进一步使用交叉熵损失函数计算多个属性的预测值与实际值的差距度量，所述交叉熵损失函数的具体公式化表示如下式(2)：
[0067][0068]
根据上式(2)可以看出，当时，此时原始的标签值为0，越大那么损失函数的数值越小，同理时，说明原始的标签值为1，那么的概率值越大则损失函数的数值越小。在本技术实施例中，损失函数可以很好地衡量输出的标签值和预测的标签值间的差距。
[0069]
s103：通过所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组；获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组。
[0070]
可选地，作为本技术的一个实施例，所述人脸属性识别模型包括主网络和多个分支子网络，如图3所示，上述通过所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组的步骤，具体包括：
[0071]
b1：通过所述主网络提取所述目标人脸图像中的低层人脸特征，所述低层人脸特征包括构成人脸基本要素的特征，具体是指人脸图像中不具有语义信息的、基础的浅层特征。
[0072]
b2：通过所述分支子网络按指定属性类别获取与所述低层人脸特征相关的属性共享特征，并根据各个分支子网络的所述低层人脸特征以及所述属性共享特征，得到多个初始特征组，所述属性共享特征是指低层人脸特征之间可关联共享的特征。在本技术实施例中，所述分支子网络包括多个卷积层，通过所述分支子网络的第一卷积层按所述分支子网络对应的指定属性类别，获取与所述低层人脸特征相关的属性共享特征。
[0073]
本技术实施例中，上述步骤b1-b2的具体执行过程参见上述人脸属性模型的训练过程，在此不再赘述。
[0074]
可选地，作为本技术的一个实施例，如图4所示，上述获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组的步骤，具体包括：
[0075]
c1：合并所述多个初始特征组中的特征，得到合并特征组。本技术实施例中，通过上述人脸属性识别模型中的所述特征图拼接模块fmcm将多个分支子网络输出的初始特征组合并。具体地，确定所述初始特征组的总数，从多个初始特征组合中选择所述初始特征组的总数减1数量的初始特征组进行合并，从而得到多个合并特征组。本实施例中，所述特征图拼接模块fmcm的输入为分支子网络输出的初始特征组，输出为合并特征组，具体合并过程参见上述人脸属性模型的训练过程，在此不再赘述。
[0076]
c2：计算每一初始特征组中特征与所述合并特征组中特征的关联性。
[0077]
在本技术实施例中，通过所述通道选择模块csm计算每一初始特征组中特征与所述合并特征组中特征的关联性。本实施例中，所述通道选择模块csm的输入为合并特征组，输出为关联特征。
[0078]
可选地，将所述初始特征和所述合并特征组分别重塑为指定维度的初始特征矩阵和合并特征矩阵，然后将所述初始特征矩阵和合并特征矩阵进行矩阵点乘，得到相关性矩阵，再对所述相关性矩阵的通道维度应用softmax函数，得到所述初始特征矩阵和所述合并特征矩阵的概率相关性矩阵；计算所述合并特征矩阵每一个通道上特征矩阵的均值。将每一个通道上特征矩阵的均值除以所述合并特征矩阵所有通道均值的总和，得到所述合并特征矩阵每一个通道所占的权重因子。计算所述概率相关性矩阵与通道所占的权重因子的元素乘积，对该乘积得到的矩阵中每一个行向量使用softmax柔性最大值函数，将所述行向量映射为离散概率分布。根据所述离散概率分布，确定每一初始特征组中特征与所述合并特征组中特征的关联性。
[0079]
c3：从所述合并特征组中抽取与所述初始特征组中特征的关联性达到预设关联指数阈值的特征，得到所述初始特征组的关联特征。具体地，根据上述离散概率分布中离散概率确定特征的关联性，将关联性达到预设关联指数阈值的特征抽取出来，得到所述初始特征组的关联特征。
[0080]
c4：将所述初始特征组及其对应的关联特征进行特征融合，得到目标特征组。具体地，使用上述特征融合模块fmfm进行特征融合，本实施例中，所述特征图融合模块fmfm的输入为分支子网络第一卷积层输出的初始特征组，以及所述通道选择模块csm输出的关联特征，输出为目标特征组。具体特征融合过程参加前述内容。可选地，在本技术实施例中，分别将每一分支子网络中初始特征组及其对应的关联特征融合后，可得到多个子目标特征组，所述特征融合模块还用于将多个子目标特征组进行两两融合，
[0081]
在本技术实施例中，上述步骤c1-c4的具体执行过程参见上述人脸属性模型的训练过程，在此不再赘述。
[0082]
s104：通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。
[0083]
在本技术实施例中，在全连接层使用softmax函数下的交叉熵损失函数进行标签分类。可选地，所述人脸属性识别模型还包括池化层，在上述步骤s104之前，通过所述池化层对所述目标特征组的特征进行平均池化，再通过所述全连接层对平均池化的所述目标特征组中的特征进行分类，根据分类结果，得到所述人脸样本图像中人脸属性的人脸属性。
[0084]
以一个应用场景为例，图5示出了本技术实施例中人脸属性识别模型的网络结构
示意图，示例性地，输入一张256*256尺寸的rgb人脸图像，通过主干网络backbone提取所述人脸图像的低层人脸特征，并按指定属性类别分别输送给5组分支子网络，主干网输出的特征尺寸为14*14。5组分支子网络主要包含卷积层conv、批量归一化bn层、池化层pool、全局平均池化gap层和softmax全连接层，卷积层的参数如下表1所示，分支子网络的3层卷积层依次对应着conv5、conv6和conv7。5组分支子网络之间通过fmcm、csm和fmfm三个网络模块交换信息，挖掘分支子网络特征组间的关联性，fmcm模块的作用是集中合并各组分支子网络的输出，csm模块是充分挖掘各组分支子网络输出的初始特征组之间的关联性并排序抽取，fmfm模块的作用是自适应学习多任务框架下两组子目标特征组之间可以共享的特征表示，并进行特征融合。
[0085]
表1 aac-mcnn主干网 单组分支子网络卷积层的参数细节
[0086][0087]
由上可见，在本技术实施例中，通过获取目标人脸图像，将所述目标人脸图像输入至训练好的人脸属性识别模型，所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组，即分组提取人脸特征，可提高特征提取的精准度，然后获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组，充分利用人脸特征之间的关联信息有助于人脸属性识别，再通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。本方案利用训练好的人脸属性识别模型进行人脸属性识别可提高识别的效率，通过该人脸属性识别模型将提取的特征进行有效分组后，再利用特征之间的关联性对人脸属性进行识别，可有效提高人脸属性识别的准确性。
[0088]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0089]
对应于上文实施例所述的人脸属性识别方法，图6示出了本技术实施例提供的人脸属性识别装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0090]
参照图6，该人脸属性识别装置包括：目标图像获取单元61，目标图像输入单元62，特征提取和构建单元63，人脸属性识别单元64，其中：
[0091]
目标图像获取单元61，用于获取目标人脸图像；
[0092]
目标图像输入单元62，用于将所述目标人脸图像输入至训练好的人脸属性识别模型；
[0093]
特征提取和构建单元63，用于通过所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组；获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组；
[0094]
人脸属性识别单元64，用于通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。
[0095]
可选地，所述人脸属性识别模型包括主网络和多个分支子网络，所述特征提取和构建单元63包括：
[0096]
低层特征获取模块，用于通过所述主网络提取所述目标人脸图像中的低层人脸特征，所述低层人脸特征包括构成人脸基本要素的特征；
[0097]
初始特征组获取模块，用于通过所述分支子网络按指定属性类别获取与所述低层人脸特征相关的属性共享特征，并根据各个分支子网络的所述低层人脸特征以及所述属性共享特征，得到多个初始特征组，所述属性共享特征是指低层人脸特征之间可关联共享的特征。
[0098]
可选地，所述特征提取和构建单元63包括：
[0099]
特征合并模块，用于合并所述多个初始特征组中的特征，得到合并特征组；
[0100]
特征关联性计算模块，用于计算每一初始特征组中特征与所述合并特征组中特征的关联性；
[0101]
关联特征获取模块，用于从所述合并特征组中抽取与所述初始特征组中特征的关联性达到预设关联指数阈值的特征，得到所述初始特征组的关联特征；
[0102]
目标特征组构建模块，用于将所述初始特征组及其对应的关联特征进行特征融合，得到目标特征组。
[0103]
可选地，如图6.1所示，所述人脸属性识别装置还包括模型构建及训练单元65，具体地，所述模型构建及训练单元65具体包括：
[0104]
属性识别模型构建模块，用于构建所述人脸属性识别模型，所述人脸属性识别模型包括主网络、多个分支子网络和全连接层，所述人脸属性识别模型还包括特征图拼接模块、通道选择模块以及特征图融合模块；
[0105]
样本图像获取模块，用于获取样本人脸图像，所述样本人脸图像具有样本人脸属
性标签，所述人脸属性标签按指定属性类别标记分组；
[0106]
样本低层特征获取模块，用于通过所述主网络提取所述样本人脸图像中的样本低层人脸特征；
[0107]
样本初始特征获取模块，用于通过所述分支子网络按所述分支子网络对应的指定属性类别，获取与所述样本低层人脸特征相关的样本属性共享特征，并根据各个分支子网络的所述样本低层人脸特征以及所述样本属性共享特征，得到多个样本初始特征组；
[0108]
样本特征合并模块，用于通过所述特征图拼接模块将所述多个样本初始特征组合并，得到样本合并特征组；
[0109]
样本关联特征获取模块，用于通过所述通道选择模块计算每一样本初始特征组中样本特征与所述样本合并特征组中样本特征的关联性，从所述样本合并特征组中抽取与所述样本初始特征组中的特征关联性达到预设关联指数阈值的样本特征，得到所述样本初始特征组的样本关联特征；
[0110]
样本目标特征组确定模块，用于通过所述特征图融合模块将所述样本初始特征组及其对应的样本关联特征进行特征融合，得到样本目标特征组；
[0111]
属性预测模块，用于在所述全连接层中对所述样本目标特征组的特征进行分类，根据分类结果得到所述样本人脸图像中的人脸属性标签；
[0112]
模型参数调整模块，用于利用预设损失函数对所述人脸属性识别模型的预设参数进行调整，直至所述人脸属性识别模型输出的人脸属性标签与所述样本人脸图像的样本人脸属性标签一致。
[0113]
在本技术实施例中，通过获取目标人脸图像，将所述目标人脸图像输入至训练好的人脸属性识别模型，所述人脸属性识别模型按指定属性类别提取所述目标人脸图像中的特征，得到与所述指定属性类别分别对应的多个初始特征组，即分组提取人脸特征，可提高特征提取的精准度，然后获取所述多个初始特征组之间的关联特征，并根据所述多个初始特征组以及所述多个初始特征组之间的关联特征，构建目标特征组，充分利用人脸特征之间的关联信息有助于人脸属性识别，再通过所述人脸属性识别模型对所述目标特征组的特征进行分类，根据分类结果得到所述目标人脸图像中的人脸属性标签，以利用所述人脸属性标签进行人脸属性识别。本方案利用训练好的人脸属性识别模型进行人脸属性识别可提高识别的效率，通过该人脸属性识别模型将提取的特征进行有效分组后，再利用特征之间的关联性对人脸属性进行识别，可有效提高人脸属性识别的准确性。
[0114]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0115]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如图1至图5表示的任意一种人脸属性识别方法的步骤。
[0116]
本技术实施例还提供一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如图1至图5表示的任意一种人脸属性识别方法的步骤。
[0117]
本技术实施例还提供一种计算机程序产品，当该计算机程序产品在服务器上运行
时，使得服务器执行实现如图1至图5表示的任意一种人脸属性识别方法的步骤。
[0118]
图7是本技术一实施例提供的智能设备的示意图。如图7所示，该实施例的智能设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机可读指令72。所述处理器70执行所述计算机可读指令72时实现上述各个人脸属性识别方法实施例中的步骤，例如图1所示的步骤s101至s104。或者，所述处理器70执行所述计算机可读指令72时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至64的功能。
[0119]
示例性的，所述计算机可读指令72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令72在所述智能设备7中的执行过程。
[0120]
所述智能设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述智能设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是智能设备7的示例，并不构成对智能设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述智能设备7还可以包括输入输出设备、网络接入设备、总线等。
[0121]
所述处理器70可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0122]
所述存储器71可以是所述智能设备7的内部存储单元，例如智能设备7的硬盘或内存。所述存储器71也可以是所述智能设备7的外部存储设备，例如所述智能设备7上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器71还可以既包括所述智能设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机可读指令以及所述智能设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0123]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0124]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统
中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0125]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0126]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0127]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。