模型训练方法、遮挡检测方法、系统、电子设备及介质与流程

1.本技术实施例涉及数据处理技术领域，特别涉及一种模型训练方法、遮挡检测方法、系统、电子设备及介质。


背景技术：

2.人脸质量评价对于人脸识别的整个过程有着极大的作用，通过滤除质量较差的人脸图像，可以明显提升人脸识别的准确率。在人脸质量评价过程中，人脸遮挡区域、遮挡比例的识别判断非常重要的环节。
3.目前基于人脸关键点及五官来判断人脸是否被遮挡。常用的方法是设定密集的覆盖人脸的关键点来区分五官，每个关键点有相应的二维坐标值，同时通过预测每一个关键点是否被遮挡，进而综合预测五官及人脸遮挡比例。类似的方法，在准确率上确实也能满足人脸质量评价的需求，但对于低成本、低算力的嵌入式设备来说，要么因模型太大而无法部署，要么因模型的计算量大、耗时极长而无法部署，使得人脸识别整体体验降低或成本过高难以落地部署。


技术实现要素：

4.本技术实施例的目的在于提供一种模型训练方法、遮挡检测方法、系统、电子设备及介质，使得降低人脸遮挡检测模型的计算量和模型复杂度以及提升计算速度，从而可以部署在低成本、低算力的嵌入式设备上。
5.为解决上述技术问题，本技术的实施例提供了一种模型训练方法，包括：获取训练数据集，所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签，各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态；将各所述人脸训练图像输入预训练模型中进行处理，获取各所述人脸训练图像的各预测遮挡标签，各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态；基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练，生成人脸遮挡检测模型。
6.本技术的实施例还提供了一种遮挡检测方法，包括：获取待检测的人脸图像；采用如上所述的模型训练方法训练得到的人脸遮挡检测模型对所述人脸图像进行检测，获取所述人脸图像的遮挡标签，所述遮挡标签包含所述人脸图像中各指定区域的遮挡状态；根据所述遮挡标签获取所述人脸图像的遮挡情况。
7.本技术的实施例还提供了一种模型训练系统，包括：第一获取模块、第二获取模块和训练模块；所述第一获取模块，用于获取训练数据集，所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签，各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态；所述第二获取模块，用于将各所述人脸训练图像输入预训练模型中进行处理，获取各所述人脸训练图像的各预测遮挡标签，各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态；所述训练模块，用于基于各所述遮挡
标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练，生成人脸遮挡检测模型。
8.本技术的实施例还提供了一种遮挡检测系统，包括：第一获取模块、上述的人脸遮挡检测模型和第二获取模块；所述第一获取模块，用于获取待检测的人脸图像；所述人脸遮挡检测模型，用于对所述人脸图像进行检测，获取所述人脸图像的遮挡标签，所述遮挡标签包含所述人脸图像中各指定区域的遮挡状态；所述第二获取模块，用于根据所述遮挡标签获取所述人脸图像的遮挡情况。
9.本技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述模型训练方法或遮挡检测方法。
10.本技术的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练方法或遮挡检测方法。
11.本技术实施例中，在模型训练过程中，获取训练数据集，所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签，各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态；将各所述人脸训练图像输入预训练模型中进行处理，获取各所述人脸训练图像的各预测遮挡标签，各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态；基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练，生成人脸遮挡检测模型。使得本技术只预测指定区域的遮挡状态，无需进行关键点检测和或区域检测等任务，在模型训练过程中能够自行学习到区域状态与预测区域位置的对应关系；从而降低了人脸遮挡检测模型的计算量和模型复杂度，提升了模型计算速度，使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上，解决了由于现有模型的高计算量、高存储量和高耗时所导致的现有模型无法部署在嵌入式设备上，使得人脸识别整体体验降低或成本过高难以落地部署的技术问题。
附图说明
12.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
13.图1是本技术实施例提供的模型训练方法的流程图；图2是本技术实施例提供的人脸图像上各指定区域的示意图；图3是本技术实施例提供的第一卷积处理的流程示意图；图4是本技术实施例提供的第二卷积处理的流程示意图；图5是本技术实施例提供的模型训练方法的流程图；图6是本技术实施例提供的遮挡检测方法的流程图；图7是本技术实施例提供的模型训练系统的结构示意图；图8是本技术实施例提供的遮挡检测系统的结构示意图；图9是本技术实施例提供的电子设备的结构示意图。
具体实施方式
14.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
15.本技术的实施例涉及一种模型训练方法，如图1所示，具体包括以下步骤。
16.步骤101，获取训练数据集，训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签，各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态。
17.在一实施中，训练数据集中包含大量的人脸训练图像（可以是2万张人脸训练图像），人脸训练图像是经过标注的人脸遮挡图像，图像遮挡样例可以是墨镜、围巾、手机、手部、发梢和或书本等，训练数据集中还包括各人脸训练图像的遮挡标签，遮挡标签包含的是人脸训练图像中各指定区域的遮挡状态，如图2所示，人脸训练图像上的指定区域可以是区域1至区域20，在获取遮挡标签时，只需要各指定区域的顺序位置，依次获取各指定区域的遮挡状态，各指定区域的遮挡状态可以用0或1表示，0表示未遮挡，1表示遮挡；最终所生成的遮挡标签可以为00100000010000000110，表示区域3、区域10、区域18和区域19为遮挡，其余区域为未遮挡；所生产的遮挡标签是根据区域的排序生成的，遮挡标签中的每个数据并不关注区域的区域位置，只关注该区域是遮挡1还是未遮挡0。
18.步骤102，将各人脸训练图像输入预训练模型中进行处理，获取各人脸训练图像的各预测遮挡标签，各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态。
19.在一实施中，预训练模型包括卷积与最大池化模块、第一深度可分离卷积模块、第二深度可分离卷积模块、卷积与平均池化模块和全连接模块；其中，第一深度可分离卷积模块包含a次第一卷积处理和b次第二卷积处理，第二深度可分离包含c次第一卷积处理和d次第二卷积处理，a、b、c和d均为大于1的正整数。
20.在一实施中，卷积与最大池化模块用于对人脸训练图像依次进行卷积处理（卷积核大小优选为3*3*24）和最大池化处理（步长优先为2）；第一深度可分离卷积模块用于对卷积与最大池化模块输出的特征图进行a次第一卷积处理和b次第二卷积处理（a值和b值优选为1）；第二深度可分离卷积模块用于对第一深度可分离卷积模块输出的特征图进行c次第一卷积处理和d次第二卷积处理（c值优选为1，d值优先为3）；卷积与平均池化模块用于对第二深度可分离卷积模块输出的特征图依次进行卷积处理（卷积核优选为1*1*128）和平均池化处理；全连接模块用于对卷积与平均池化模块输出的特征图进行全连接处理，并结合激活函数对全连接处理之后的特征进行归一化处理，生成最终的预测遮挡标签；其中，以输入图像的大小为112*112*3为例说明预训练模型的各模块的示例参数：（1）卷积与最大池化模块中的卷积处理的卷积核大小为3*3*24、步长为2和输出大小为56*56*24，最大池化处理的卷积核大小为3*3*24、步长为2和输出大小为28*28*24；（2）第一深度可分离卷积模块的第一卷积处理的步长为2和输出大小为14*14*24，第二卷积处理的步长为1和输出大小为14*14*48；（3）第二深度可分离卷积模块的第一卷积处理的步长为2和输出大小为7*7*48，第二卷积处理的步长为1和输出大小为7*7*96；（4）卷积与平均池化模块中的卷积处理的卷积核
大小为1*1*128、步长为1和输出大小为7*7*128，平均池化处理的卷积核大小为7*7*128和输出大小为1*1*128；（5）全连接模块的输出为与各指定区域数量相同的数组。
21.在一实施中，第一深度可分离卷积模块和第二深度可分离卷积模块第一卷积处理的处理过程大致相同，只是输入数据存在一定的差异，图3为第一卷积处理的流程示意图，第一卷积处理的流程包括：对输入图像进行深度可分离卷积处理，生成第一特征图；对输入图像先进行卷积处理后进行深度可分离卷积处理，生成第二特征图；对第一特征图和第二特征图进行拼接，生成第一拼接特征图；对第一拼接特征图进行图像通道乱序，生成第三卷积特征图；其中，拼接是指将两张特征图在第四个维度上进行拼接，拼接实际上是将两个特征图侧边缘连接起来。
22.在一实施中，第一深度可分离卷积模块和第二深度可分离卷积模块第二卷积处理的处理过程大致相同，只是输入数据存在一定的差异，图4为第二卷积处理的流程示意图，第二卷积处理的流程包括：根据预设的拆分规则对第三卷积特征图进行拆分，生成第三特征图和第四特征图；对第四特征图先进行卷积处理后进行深度可分离卷积处理，生成第五特征图；对第三特征图和第五特征图进行拼接，生成第二拼接特征图；对第二拼接特征图进行图像通道乱序，生成第四卷积特征图；其中，对第一卷积处理之后的第一拼接特征图进行拆分时可以根据第一拼接特征图的最后一个维度进行拆分。
23.步骤103，基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练，生成人脸遮挡检测模型。
24.在一实施中，所构建损失函数为l=(1/n)*∑-[yi*log(pi) (1-yi)*log(1-pi)]其中，l为损失函数的值，n为各人脸训练图像的数量，yi为各遮挡标签的值，pi为各预测遮挡标签的值，i为1至a之间的正整数，a为各指定区域的数量。
[0025]
在一实施中，在获取到损失函数的损失值后，当损失值过大时，采用梯度下降方法不断迭代模型参数，进行下一轮的模型训练，直至损失函数的值满足要求。
[0026]
本技术实施例，在模型训练过程中，获取训练数据集，训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签，各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态；将各人脸训练图像输入预训练模型中进行处理，获取各人脸训练图像的各预测遮挡标签，各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态；基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练，生成人脸遮挡检测模型。使得本技术只预测指定区域的遮挡状态，无需进行关键点检测和或区域检测等任务，在模型训练过程中能够自行学习到区域状态与预测区域位置的对应关系；从而降低了人脸遮挡检测模型的计算量和模型复杂度，提升了模型计算速度，使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上，解决了由于现有模型的高计算量、高存储量和高耗时所导致的现有模型无法部署在嵌入式设备上，使得人脸识别整体体验降低或成本过高难以落地部署的技术问题。
[0027]
本技术的实施例涉及一种模型训练方法，如图5所示，具体包括以下步骤。
[0028]
步骤201，获取训练数据集，训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签，各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态。
[0029]
在一实施中，本步骤与本技术实施例的步骤101大致相同，此处不一一赘述。
[0030]
步骤202，将各人脸训练图像输入预训练模型中进行处理，获取各人脸训练图像的
各预测遮挡标签，各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态。
[0031]
在一实施中，本步骤与本技术实施例的步骤102大致相同，此处不一一赘述。
[0032]
步骤203，基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练，生成人脸遮挡检测模型。
[0033]
在一实施中，本步骤与本技术实施例的步骤103大致相同，此处不一一赘述。
[0034]
步骤204，获取验证数据集，验证数据集包含各人脸验证图像和各人脸验证图像对应的各验证遮挡标签。
[0035]
在一实施中，所获取的验证数据集的整体样式与训练数据集的样式大致相同，也可以说验证数据集是训练数据集的一部分数据；验证数据集和训练数据集中的人脸图像的类型也不受限制，可以是红外图像、灰度图、rgb彩色图像或者深度图等等。
[0036]
步骤205，将各人脸验证图像输入人脸遮挡检测模型中进行处理，获取各人脸验证图像的各预测验证遮挡标签。
[0037]
在一实施中，人脸遮挡检测模型的处理流程与步骤102提及的预训练模型的处理步骤相同，处理之后便可以获取到各人脸验证图像的各预测验证遮挡标签。
[0038]
步骤206，基于损失函数，根据各验证遮挡标签和各预测验证遮挡标签获取人脸遮挡检测模型的验证损失值。
[0039]
在一实施中，基于损失函数l=(1/n)*∑-[yi*log(pi) (1-yi)*log(1-pi)]获取各人脸验证图像的各预测验证遮挡标签与各人脸验证图像的各验证遮挡标签之间的验证损失值。
[0040]
步骤207，检测验证损失值是否满足预设验证条件。
[0041]
在一实施中，预设的验证条件可以为是否与模型训练时所获取的损失值间的差距小于预设阈值；当验证损失值满足验证条件时，执行步骤208；当验证损失值不满足验证条件时，执行步骤209。
[0042]
步骤208，保存人脸遮挡检测模型。
[0043]
在一实施中，当验证损失值满足验证条件时，说明此时的人脸遮挡检测模型的精度已满足一定的条件，人脸遮挡检测模型不需要在进行训练，可以将人脸遮挡检测模型保存下来，并投入实际使用中。
[0044]
步骤209，对训练数据集进行数据增广处理，并使用增广处理后的训练数据集对人脸遮挡检测模型进行训练。
[0045]
在一实施中，当验证损失值不满足验证条件时，则说明此时的人脸遮挡检测模型的精度较差，还需要继续进行训练，此时可以获取新的训练数据集，也可以对原有的训练数据集进行数据增广处理，使用数据增广处理后的训练数据集对人脸遮挡检测模型继续进行训练。
[0046]
在一实施中，所采用的数据增广方式，可以包括：（1）在生成训练数据送入模型训练前，将人脸图像顺时针随机旋转区间[-15，15]内的一个角度。因遮挡标签与图像旋转角度无关，而无需修改标签值；（2）随机调整训练前数据的亮度、对比度、色相，是一个样本有更多的表现形式，达到丰富训练样本的目的；（3）使用常见的遮挡物（手部、手机、围巾、胡须、发梢、书本等）制作成带透明度的干扰贴图，在训练前的图像样本随机贴在任意位置，然后遍历关键区域的透明度，判断指定区域内是否发生新的遮挡状态改变，修改遮挡标签即
可。以此，可以获得多样化的遮挡状态的训练样本。
[0047]
本技术实施例，在其他实施例的基础上还可以利用验证数据集对生成的人脸遮挡检测模型进行验证，只有在验证通过的情况下，才会将人脸遮挡检测模型保存并投入使用；否则会对人脸遮挡检测模型再进行训练，直至人脸遮挡检测模型达到未过拟合。
[0048]
本技术的实施例涉及一种遮挡检测方法，如图6所示，具体包括以下步骤。
[0049]
步骤301，获取待检测的人脸图像。
[0050]
在一实施中，待检测的人脸图像的获取方式不受限制，可以是采用拍摄装置拍摄获取的，也可以是通过互联网等方式获取的；人脸图像的类型也不受限制，可以是红外图像、灰度图、rgb彩色图像或者深度图等等。
[0051]
步骤302，采用上述模型训练方法训练得到的人脸遮挡检测模型对人脸图像进行检测，获取人脸图像的遮挡标签，遮挡标签包含人脸图像中各指定区域的遮挡状态。
[0052]
在一实施中，人脸遮挡检测模型的处理流程与步骤102提及的预训练模型的处理步骤相同，处理之后便可以获取到人脸图像的遮挡标签。
[0053]
步骤303，根据遮挡标签获取人脸图像的遮挡情况。
[0054]
在一实施中，所获取的遮挡情况包括遮挡部位和遮挡状况两部分；遮挡状况在确定时可以根据遮挡标签中遮挡状态为遮挡的遮挡状态的数量和遮挡标签中遮挡状态为未遮挡的遮挡状态的数量的比值来确定，当比值满足预设阈值时，确定人脸图像的遮挡状况为遮挡，反之，则为未遮挡；之后可以根据遮挡状态为遮挡的遮挡状态对应的指定区域的区域位置确定人脸图像的遮挡部位。遮挡标签中的各遮挡状态是按区域顺序存放的，因此可以根据顺序确定出遮挡状态为遮挡的遮挡状态对应的指定区域，从而获取到对应的遮挡部位；如待检测的人脸图像的遮挡标签为11111111111100000000，遮挡状态为遮挡的为12个，未遮挡为8个，比值为12/8=1.5，若阈值为0.5，则确定待检测的人脸图像的遮挡状况为遮挡，遮挡状态为遮挡的为区域1至区域12，根据在确定区域顺序时，根据图2所示的区域位置，则说明待检测的人脸图像的遮挡部位为眉毛和眼镜。
[0055]
本技术实施例，在人脸遮挡检测过程中，采用训练好的人脸遮挡检测模型对指定区域的遮挡状态，无需进行关键点检测和或区域检测等任务；从而降低了人脸遮挡检测模型的计算量和模型复杂度，提升了模型计算速度，使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上。
[0056]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0057]
本技术的实施例涉及一种模型训练系统，其特征在于，下面对本实施例的模型训练系统的细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本例的必须，图7是本实施例的模型训练系统的示意图，包括：第一获取模块401、第二获取模块402和训练模块403。
[0058]
其中，第一获取模块401，用于获取训练数据集，训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签，各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态。
[0059]
第二获取模块402，用于将各人脸训练图像输入预训练模型中进行处理，获取各人脸训练图像的各预测遮挡标签，各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态。
[0060]
训练模块403，用于基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练，生成人脸遮挡检测模型。
[0061]
本技术的实施例涉及一种遮挡检测系统，其特征在于，下面对本实施例的遮挡检测系统的细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本例的必须，图8是本实施例的遮挡检测系统的示意图，包括：第一获取模块501、上述方法实施例中提及的人脸遮挡检测模型502和第二获取模块503。
[0062]
其中，第一获取模块501，用于获取待检测的人脸图像。
[0063]
人脸遮挡检测模型502，用于对人脸图像进行检测，获取人脸图像的遮挡标签，遮挡标签包含人脸图像中各指定区域的遮挡状态。
[0064]
第二获取模块503，用于根据遮挡标签获取人脸图像的遮挡情况。
[0065]
不难发现，本实施例为与上述方法实施例对应的系统实施例，本实施例可以与上述方法实施例互相配合实施。上述实施例中提到的相关技术细节和技术效果在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述实施例中。
[0066]
本技术实施例涉及一种服务器，如图9所示，包括：至少一个处理器601 ；以及，与所述至少一个处理器601通信连接的存储器602；其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行上述各实施例中的模型训练方法或遮挡检测方法。
[0067]
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0068]
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0069]
本技术实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0070]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0071]
本领域的普通技术人员可以理解，上述各实施例是实现本技术的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。