口罩佩戴检测方法、装置、计算机可读存储介质及设备与流程

1.本发明涉及生物识别领域，特别是指一种口罩佩戴检测方法、装置、计算机可读存储介质及设备。


背景技术：

2.新型冠状肺炎(covid19)的爆发导致了严重的公共卫生安全问题，居民在公共场所(如商场等)以及乘坐公共交通工具(如地铁、公交车等)时需要佩戴口罩，以降低传染病带来的风险，所以对人是否佩戴口罩的检测尤为重要。在现阶段，楼宇以及地铁口都设有通关闸机，并且使用人脸识别进行身份认证，所以基于图像识别的口罩检测具有较好的应用场景基础，也可以节省大量的人力成本和公共资源。
3.检测人脸是否佩戴口罩的第一步需要检测是否存在人脸，然后判断检测到的人脸是否佩戴口罩。人脸检测是口罩佩戴检测的基础，现有技术中使用的大部分人脸检测方法是基于anchor或滑动窗口的方法，这些方案会以人脸的bounding box为检测目标，对人脸的姿态，尤其是俯仰姿态和左右转头姿态的鲁棒性较差。这是因为正面的人脸宽和高的比例接近于1:1，所以通常会检测一个正方形的bounding box，而侧面90度的人脸长宽比接近于2:1，这就会导致检测bounding box出现漏检的问题。同时，基于anchor或滑动窗口的方法对人脸遮挡的鲁棒性也比较差。
4.而由于行人通过闸机时，一般不会停留在图像采集前面主动配合图像采集，也即行人的姿态不一定正面面对图像采集装置，因此基于目前的人脸检测算法实现的口罩佩戴检测方法会出现佩戴口罩检测不到人脸或角度大检测不到人脸的问题，这样会导致真正戴口罩的行人由于检测不到人脸而拒绝通过闸机，存在误检，用户体验差。
5.现在技术中检测人脸是否佩戴口罩的方法整体来说有两个思路，第一种方法是对检测到的人脸图像归一化然后采用分类的方法判断图像中是否有口罩，或者判断嘴部是否有遮挡等等。第二种是直接在检测到的人脸图像上获取嘴部区域，然后判断是不是嘴巴或者判断有没有口罩存在。
6.第一种方法检测到人脸后再进行口罩分类，无论是基于嘴巴区域还是人脸区域都需要使用cnn进行二分类处理，会导致额外的时间开销，不利于算法的应用。
7.第二种方法基于嘴巴区域的口罩检测需要通过人脸关键点的位置获取嘴部区域。对通关闸机来说，由于行人通过闸机时一直在走动，因此采集的人脸图像质量会存在模糊，会存在关键点检测不到或者检测不准确的问题，因此基于嘴巴区域的口罩检测准确率低，同时，基于嘴巴区域的口罩检测还会有额外的定位时间开销。


技术实现要素：

8.为解决现有技术的口罩佩戴检测存在误检且时间开销大的问题，本发明提供一种口罩佩戴检测方法、装置、计算机可读存储介质及设备，可以较好地解决较大姿态和遮挡导致人脸漏检的问题，检测准确率高，并且可以同时进行人脸检测和口罩分类，时间复杂度较
低。
9.本发明提供技术方案如下：
10.第一方面，本发明提供一种口罩佩戴检测方法，所述方法包括：
11.人脸图像经一卷积神经网络处理得到目标特征图，所述目标特征图上的每一个位置均输出人脸概率值、中心点偏移量、尺度回归量、关键点回归值以及佩戴口罩概率值；
12.对目标特征图上的每一个位置，当根据该位置的人脸概率值判断该位置是人脸时，根据该位置的坐标、中心点偏移量和尺度回归量计算得到人脸框位置，根据该位置的尺度回归量、关键点回归值计算得到人脸关键点坐标，根据该位置的佩戴口罩概率值判断是否佩戴口罩。
13.进一步的，所述对目标特征图上的每一个位置，当根据该位置的人脸概率值判断该位置是人脸时，根据该位置的坐标、中心点偏移量和尺度回归量计算得到人脸框位置，根据该位置的尺度回归量、关键点回归值计算得到人脸关键点坐标，根据该位置的佩戴口罩概率值判断是否佩戴口罩，包括：
14.对目标特征图上的每一个位置，若该位置的人脸概率值大于设定的人脸阈值，则该位置为人脸；
15.通过如下公式计算得到人脸框位置：
16.x＝(i offset
x
0.5)
×
4-scalew/2
17.y＝(j offsety 0.5)
×
4-scaleh/2
18.w＝scalew19.h＝scaleh20.其中，(i,j)为目标特征图上该位置的坐标，(x,y)为人脸框的左上角坐标，w和h分别为人脸框的宽度和高度，(offset
x
,offsety)为该位置的中心点偏移量，(scalew,scaleh)为该位置的尺度回归量；
21.通过如下公式计算得到人脸关键点坐标：
[0022][0023][0024]
其中，(xk,yk)为人脸关键点坐标，为该位置的关键点回归值，k为人脸关键点的标号；
[0025]
对目标特征图上的每一个位置，若该位置的佩戴口罩概率值大于设定的佩戴口罩阈值，则判断为佩戴口罩。
[0026]
进一步的，所述卷积神经网络在训练时，所述人脸概率值和佩戴口罩概率值的损失使用softmax损失函数计算，所述中心点偏移量、尺度回归量和关键点回归值的损失使用l2损失函数计算，所述人脸概率值、佩戴口罩概率值、中心点偏移量、尺度回归量、关键点回归值的损失的权重分别为0.35、0.35、0.1、0.1、0.1。
[0027]
进一步的，所述人脸图像经过第一操作得到第一特征图，所述第一特征图经过第二操作得到第二特征图，所述第一特征图和第二特征图经过第一eltwise操作得到第三特征图；
[0028]
所述第三特征图经过第三操作得到第四特征图，所述第四特征图经过第四操作得
到第五特征图，所述第四特征图和第五特征图经过第二eltwise操作得到第六特征图；
[0029]
所述第六特征图经过第五操作得到第七特征图，所述第六特征图和第七特征图经过第三eltwise操作得到第八特征图；
[0030]
所述第八特征图经过第六操作得到第九特征图，所述第九特征图经过第七操作得到第十特征图，所述第十特征图和第九特征图经过第四eltwise操作得到第十一特征图；
[0031]
所述第十一特征图经过第八操作得到第十二特征图，所述第十一特征图和第十二特征图经过第五eltwise操作得到第十三特征图；
[0032]
所述第十三特征图经过第九操作得到第十四特征图，所述第十三特征图和第十四特征图经过第六eltwise操作得到第十五特征图；
[0033]
所述第十五特征图经过第十操作得到第十六特征图，所述第十六特征图经过第十一操作得到第十七特征图，所述第十六特征图和第十七特征图经过第七eltwise操作得到第十八特征图；
[0034]
所述第十八特征图经过第十二操作得到第十九特征图，所述第十八特征图和第十九特征图经过第八eltwise操作得到第二十特征图；
[0035]
所述第二十特征图经过第十三操作得到第二十一特征图，所述第二十一特征图经过第十四操作得到第二十二特征图，所述第二十一特征图和第二十二特征图经过第九eltwise操作得到第二十三特征图；
[0036]
所述第二十三特征图经过第十五操作得到第二十四特征图，所述第二十三特征图和第二十四特征图经过第十eltwise操作得到第二十五特征图；
[0037]
所述第二十五特征图经过第十六操作得到第二十六特征图，所述第二十特征图经过第十七操作得到第二十七特征图，所述第二十六特征图和第二十七特征图经过第十一eltwise操作得到第二十八特征图；
[0038]
所述第二十八特征图经过第十八操作得到第二十九特征图，所述第八特征图经过第十九操作得到第三十特征图，所述第二十九特征图和第三十特征图经过第十二eltwise操作得到第三十一特征图；
[0039]
所述第三十一特征图经过第二十操作得到第三十二特征图，所述第三特征图经过第二十一操作得到第三十三特征图，所述第三十二特征图和第三十三特征图经过第十三eltwise操作得到第三十四特征图；
[0040]
所述第三十四特征图经过第二十二操作得到所述目标特征图；
[0041]
所述第一操作至第二十二操作均包括卷积操作、bn操作、激活操作。
[0042]
第二方面，本发明提供一种口罩佩戴检测装置，所述装置包括：
[0043]
处理模块，用于人脸图像经一卷积神经网络处理得到目标特征图，所述目标特征图上的每一个位置均输出人脸概率值、中心点偏移量、尺度回归量、关键点回归值以及佩戴口罩概率值；
[0044]
检测模块，用于对目标特征图上的每一个位置，当根据该位置的人脸概率值判断该位置是人脸时，根据该位置的坐标、中心点偏移量和尺度回归量计算得到人脸框位置，根据该位置的尺度回归量、关键点回归值计算得到人脸关键点坐标，根据该位置的佩戴口罩概率值判断是否佩戴口罩。
[0045]
进一步的，所述检测模块包括：
[0046]
人脸判断单元，用于对目标特征图上的每一个位置，若该位置的人脸概率值大于设定的人脸阈值，则该位置为人脸；
[0047]
人脸框计算单元，用于通过如下公式计算得到人脸框位置：
[0048]
x＝(i offset
x
0.5)
×
4-scalew/2
[0049]
y＝(j offsety 0.5)
×
4-scaleh/2
[0050]
w＝scalew[0051]
h＝scaleh[0052]
其中，(i,j)为目标特征图上该位置的坐标，(x,y)为人脸框的左上角坐标，w和h分别为人脸框的宽度和高度，(offset
x
,offsety)为该位置的中心点偏移量，(scalew,scaleh)为该位置的尺度回归量；
[0053]
人脸关键点计算单元，用于通过如下公式计算得到人脸关键点坐标：
[0054][0055][0056]
其中，(xk,yk)为人脸关键点坐标，为该位置的关键点回归值，k为人脸关键点的标号；
[0057]
口罩佩戴判断单元，用于对目标特征图上的每一个位置，若该位置的佩戴口罩概率值大于设定的佩戴口罩阈值，则判断为佩戴口罩。
[0058]
进一步的，所述卷积神经网络在训练时，所述人脸概率值和佩戴口罩概率值的损失使用softmax损失函数计算，所述中心点偏移量、尺度回归量和关键点回归值的损失使用l2损失函数计算，所述人脸概率值、佩戴口罩概率值、中心点偏移量、尺度回归量、关键点回归值的损失的权重分别为0.35、0.35、0.1、0.1、0.1。
[0059]
进一步的，所述人脸图像经过第一操作得到第一特征图，所述第一特征图经过第二操作得到第二特征图，所述第一特征图和第二特征图经过第一eltwise操作得到第三特征图；
[0060]
所述第三特征图经过第三操作得到第四特征图，所述第四特征图经过第四操作得到第五特征图，所述第四特征图和第五特征图经过第二eltwise操作得到第六特征图；
[0061]
所述第六特征图经过第五操作得到第七特征图，所述第六特征图和第七特征图经过第三eltwise操作得到第八特征图；
[0062]
所述第八特征图经过第六操作得到第九特征图，所述第九特征图经过第七操作得到第十特征图，所述第十特征图和第九特征图经过第四eltwise操作得到第十一特征图；
[0063]
所述第十一特征图经过第八操作得到第十二特征图，所述第十一特征图和第十二特征图经过第五eltwise操作得到第十三特征图；
[0064]
所述第十三特征图经过第九操作得到第十四特征图，所述第十三特征图和第十四特征图经过第六eltwise操作得到第十五特征图；
[0065]
所述第十五特征图经过第十操作得到第十六特征图，所述第十六特征图经过第十一操作得到第十七特征图，所述第十六特征图和第十七特征图经过第七eltwise操作得到第十八特征图；
[0066]
所述第十八特征图经过第十二操作得到第十九特征图，所述第十八特征图和第十
九特征图经过第八eltwise操作得到第二十特征图；
[0067]
所述第二十特征图经过第十三操作得到第二十一特征图，所述第二十一特征图经过第十四操作得到第二十二特征图，所述第二十一特征图和第二十二特征图经过第九eltwise操作得到第二十三特征图；
[0068]
所述第二十三特征图经过第十五操作得到第二十四特征图，所述第二十三特征图和第二十四特征图经过第十eltwise操作得到第二十五特征图；
[0069]
所述第二十五特征图经过第十六操作得到第二十六特征图，所述第二十特征图经过第十七操作得到第二十七特征图，所述第二十六特征图和第二十七特征图经过第十一eltwise操作得到第二十八特征图；
[0070]
所述第二十八特征图经过第十八操作得到第二十九特征图，所述第八特征图经过第十九操作得到第三十特征图，所述第二十九特征图和第三十特征图经过第十二eltwise操作得到第三十一特征图；
[0071]
所述第三十一特征图经过第二十操作得到第三十二特征图，所述第三特征图经过第二十一操作得到第三十三特征图，所述第三十二特征图和第三十三特征图经过第十三eltwise操作得到第三十四特征图；
[0072]
所述第三十四特征图经过第二十二操作得到所述目标特征图；
[0073]
所述第一操作至第二十二操作均包括卷积操作、bn操作、激活操作。
[0074]
第三方面，本发明提供一种用于口罩佩戴检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的口罩佩戴检测方法的步骤。
[0075]
第四方面，本发明提供一种用于口罩佩戴检测的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的口罩佩戴检测方法的步骤。
[0076]
本发明具有以下有益效果：
[0077]
本发明使用基于人脸中心点的人脸检测方案，在人脸检测时将人脸建模为一个点，即人脸的中心点，然后根据中心点的偏移量以及人脸尺度回归量即可得到人脸框的位置，并且同时得到人脸关键点的位置，实现人脸检测。基于人脸中心点的人脸检测方案与基于anchor或滑动窗口的方法相比，不需要检测正方形的bounding box，因而可以较好地解决较大姿态和遮挡导致人脸漏检的问题，鲁棒性较强，解决了真正戴口罩的行人由于检测不到人脸而拒绝通过闸机的问题。并且本发明通过一个神经网络在人脸检测的同时进行口罩检测，可以同时进行人脸检测和口罩佩戴分类，不会导致额外的时间开销，时间复杂度较低，并且使用一个网络同时进行人脸检测和口罩分类两个任务，有利于提高两个任务的准确度。本发明进行口罩检测时直接在整张人脸上进行，不需要获取嘴部区域，即使采集的图像质量存在一定的模糊，也不会影响检测结果的准确性。
附图说明
[0078]
图1为本发明的口罩佩戴检测方法的流程图；
[0079]
图2为本发明的口罩佩戴检测装置的示意图；
[0080]
图3为检测模块的示意图；
[0081]
图4为本发明的卷积神经网络的结构图。
具体实施方式
[0082]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0083]
实施例1：
[0084]
本发明实施例提供了一种口罩佩戴检测方法，如图1所示，该方法包括：
[0085]
s100：人脸图像经一卷积神经网络处理得到目标特征图，目标特征图上的每一个位置均输出人脸概率值、中心点偏移量、尺度回归量、关键点回归值以及佩戴口罩概率值。
[0086]
s200：对目标特征图上的每一个位置，当根据该位置的人脸概率值判断该位置是人脸时，根据该位置的坐标、中心点偏移量和尺度回归量计算得到人脸框位置，根据该位置的尺度回归量、关键点回归值计算得到人脸关键点坐标，根据该位置的佩戴口罩概率值判断是否佩戴口罩。
[0087]
本发明使用基于人脸中心点的人脸检测方案，在人脸检测时将人脸建模为一个点，即人脸的中心点，然后根据中心点的偏移量以及人脸尺度回归量即可得到人脸框的位置，并且同时得到人脸关键点的位置，实现人脸检测。基于人脸中心点的人脸检测方案与基于anchor或滑动窗口的方法相比，不需要检测正方形的bounding box，因而可以较好地解决较大姿态和遮挡导致人脸漏检的问题，鲁棒性较强，解决了真正戴口罩的行人由于检测不到人脸而拒绝通过闸机的问题。并且本发明通过一个神经网络在人脸检测的同时进行口罩检测，可以同时进行人脸检测和口罩佩戴分类，不会导致额外的时间开销，时间复杂度较低，并且使用一个网络同时进行人脸检测和口罩分类两个任务，有利于提高两个任务的准确度。本发明进行口罩检测时直接在整张人脸上进行，不需要获取嘴部区域，即使采集的图像质量存在一定的模糊，也不会影响检测结果的准确性。
[0088]
本发明不限制卷积神经网络的具体结构，只要能够实现本发明的功能即可，在其中一个示例中，卷积神经网络的具体结构如4图所示，图4中，虚线为分割线，并不是卷积神经网络的主体结构，只是用于分割示图。左右两边的数字表示网络对接标号，同一标号的线相连。
[0089]
基于该结构的卷积神经网络，人脸图像经一卷积神经网络处理得到目标特征图的具体操作过程如下：
[0090]
s101：待检测图像(input)经过第一操作(process1)得到第一特征图(feature1)，第一特征图(feature1)经过第二操作(process2)得到第二特征图(feature2)，第一特征图(feature1)和第二特征图(feature2)经过第一eltwise操作(eltwise1)得到第三特征图(feature3)。
[0091]
s102：第三特征图(feature3)经过第三操作(process3)得到第四特征图
(feature4)，第四特征图(feature4)经过第四操作(process4)得到第五特征图(feature5)，第四特征图(feature4)和第五特征图(feature5)经过第二eltwise操作(eltwise2)得到第六特征图(feature6)。
[0092]
s103：第六特征图(feature6)经过第五操作(process5)得到第七特征图(feature7)，第六特征图(feature6)和第七特征图(feature7)经过第三eltwise操作(eltwise3)得到第八特征图(feature8)。
[0093]
s104：第八特征图(feature8)经过第六操作(process6)得到第九特征图(feature9)，第九特征图(feature9)经过第七操作(process7)得到第十特征图(feature10)，第十特征图(feature10)和第九特征图(feature9)经过第四eltwise操作(eltwise4)得到第十一特征图(feature11)。
[0094]
s105：第十一特征图(feature11)经过第八操作(process8)得到第十二特征图(feature12)，第十一特征图(feature11)和第十二特征图(feature12)经过第五eltwise操作(eltwise5)得到第十三特征图(feature13)。
[0095]
s106：第十三特征图(feature13)经过第九操作(process9)得到第十四特征图(feature14)，第十三特征图(feature13)和第十四特征图(feature14)经过第六eltwise操作(eltwise6)得到第十五特征图(feature15)。
[0096]
s107：第十五特征图(feature15)经过第十操作(process10)得到第十六特征图(feature16)，第十六特征图(feature16)经过第十一操作(process11)得到第十七特征图(feature17)，第十六特征图(feature16)和第十七特征图(feature17)经过第七eltwise操作(eltwise7)得到第十八特征图(feature18)。
[0097]
s108：第十八特征图(feature18)经过第十二操作(process12)得到第十九特征图(feature19)，第十八特征图(feature18)和第十九特征图(feature19)经过第八eltwise操作(eltwise8)得到第二十特征图(feature20)。
[0098]
s109：第二十特征图(feature20)经过第十三操作(process13)得到第二十一特征图(feature21)，第二十一特征图(feature21)经过第十四操作(process14)得到第二十二特征图(feature22)，第二十一特征图(feature21)和第二十二特征图(feature22)经过第九eltwise操作(eltwise9)得到第二十三特征图(feature23)。
[0099]
s110：第二十三特征图(feature23)经过第十五操作(process15)得到第二十四特征图(feature24)，第二十三特征图(feature23)和第二十四特征图(feature23)经过第十eltwise操作(eltwise10)得到第二十五特征图(feature25)。
[0100]
s111：第二十五特征图(feature25)经过第十六操作(process16)得到第二十六特征图(feature26)，第二十特征图(feature20)经过第十七操作(process17)得到第二十七特征图(feature27)，第二十六特征图(feature26)和第二十七特征图(feature27)经过第十一eltwise操作(eltwise11)得到第二十八特征图(feature28)。
[0101]
s112：第二十八特征图(feature28)经过第十八操作(process18)得到第二十九特征图(feature29)，第八特征图(feature8)经过第十九操作(process19)得到第三十特征图(feature30)，第二十九特征图(feature29)和第三十特征图(feature30)经过第十二eltwise操作(eltwise12)得到第三十一特征图(feature31)。
[0102]
s113：第三十一特征图(feature31)经过第二十操作(process20)得到第三十二特
征图(feature32)，第三特征图(feature3)经过第二十一操作(process21)得到第三十三特征图(feature33)，第三十二特征图(feature32)和第三十三特征图(feature33)经过第十三eltwise操作(eltwise13)得到第三十四特征图(feature34)。
[0103]
s114：第三十四特征图(feature34)经过第二十二操作(process22)得到目标特征图(output)。
[0104]
得到目标特征图后，分别经过如图4所示的五个分支处理，从上到下五个分支分别得到人脸概率值、中心点偏移量、尺度回归量、是否佩戴口罩概率值以及关键点回归值。
[0105]
前述的第一操作至第二十二操作均包括卷积操作、bn操作、激活操作。
[0106]
前述的卷积神经网络结构，对一张输入宽和高分别为width和height的人脸图像，经过该卷积神经网络后可以获得大小为(width/4)
×
(height/4)的目标特征图。
[0107]
目标特征图上的每一个位置对应了原人脸图像的一个待检测人脸框的中心点，目标特征图的每一个位置都如下的输出：人脸概率值p
ij
，中心点偏移量(offset
x
,offsety)，尺度回归量(scalew,scaleh)，关键点回归值和佩戴口罩概率值。其中人脸概率值、中心点偏移量和尺度回归量用于确定人脸的位置，佩戴口罩概率用于佩戴口罩二分类，关键点回归值用于确定5个关键点的位置。
[0108]
作为本发明实施例的一种改进，前述的s200包括：
[0109]
s201：对目标特征图上的每一个位置(i，j)，若该位置的人脸概率值p
ij
大于设定的人脸阈值t，则该位置为人脸。
[0110]
s202：若该位置(i，j)是人脸，则通过如下公式计算得到人脸框位置：
[0111]
x＝(i offset
x
0.5)
×
4-scalew/2
[0112]
y＝(j offsety 0.5)
×
4-scaleh/2
[0113]
w＝scalew[0114]
h＝scaleh[0115]
其中，(i,j)为目标特征图上该位置的坐标，(x,y)为人脸框的左上角坐标，w和h分别为人脸框的宽度和高度，(offset
x
,offsety)为该位置的中心点偏移量，(scalew,scaleh)为该位置的尺度回归量。
[0116]
s203：(width/4)
×
(height/4)的目标特征图的每一个位置(i,j)都会有一个10维的输出，表示人脸5个关键点的回归值k＝1,2,3,4,5。
[0117]
若该位置(i，j)是人脸，则通过如下公式计算得到人脸关键点坐标：
[0118][0119][0120]
其中，(xk,yk)为人脸关键点坐标，为该位置的关键点回归值，k为人脸关键点的标号。
[0121]
s204：对目标特征图上的每一个位置，若该位置的佩戴口罩概率值大于设定的佩戴口罩阈值，则判断为佩戴口罩。
[0122]
(width/4)
×
(height/4)的目标特征图的每一个位置(i,j)都会有一个2维的输出，表示人脸是否佩戴口罩，该2维的输出中其中一个位置表示佩戴口罩的概率。若该位置
(i，j)是人脸，则取该位置的元素值为p，如果p大于设定的阈值t
p
，则认为佩戴口罩。
[0123]
前述的卷积神经网络在训练的过程中使用多监督的训练方案，在训练时，人脸概率值和口罩概率值为分类任务，使用softmax损失函数计算，人脸概率值和佩戴口罩概率值的损失分别记为loss1和loss2；中心点偏移量、尺度回归量和关键点回归值为回归任务，使用l2损失函数计算，中心点偏移量、尺度回归量和关键点回归值的损失分别记为loss3，loss4和loss5，；为了平衡任务，loss1、loss2、loss3、loss4和loss5的权重分别为0.35、0.35、0.1、0.1、0.1。
[0124]
本发明使用多监督方法进行训练，使用一个网络同时进行人脸检测和口罩分类任务，有利于提高两个任务的准确度。
[0125]
实施例2：
[0126]
本发明实施例提供了一种口罩佩戴检测装置，如图2所示，该装置包括：
[0127]
处理模块100，用于人脸图像经一卷积神经网络处理得到目标特征图，目标特征图上的每一个位置均输出人脸概率值、中心点偏移量、尺度回归量、关键点回归值以及佩戴口罩概率值。
[0128]
检测模块200，用于对目标特征图上的每一个位置，当根据该位置的人脸概率值判断该位置是人脸时，根据该位置的坐标、中心点偏移量和尺度回归量计算得到人脸框位置，根据该位置的尺度回归量、关键点回归值计算得到人脸关键点坐标，根据该位置的佩戴口罩概率值判断是否佩戴口罩。
[0129]
本发明使用基于人脸中心点的人脸检测方案，在人脸检测时将人脸建模为一个点，即人脸的中心点，然后根据中心点的偏移量以及人脸尺度回归量即可得到人脸框的位置，并且同时得到人脸关键点的位置，实现人脸检测。基于人脸中心点的人脸检测方案与基于anchor或滑动窗口的方法相比，不需要检测正方形的bounding box，因而可以较好地解决较大姿态和遮挡导致人脸漏检的问题，鲁棒性较强，解决了真正戴口罩的行人由于检测不到人脸而拒绝通过闸机的问题。并且本发明通过一个神经网络在人脸检测的同时进行口罩检测，可以同时进行人脸检测和口罩佩戴分类，不会导致额外的时间开销，时间复杂度较低，并且使用一个网络同时进行人脸检测和口罩分类两个任务，有利于提高两个任务的准确度。本发明进行口罩检测时直接在整张人脸上进行，不需要获取嘴部区域，即使采集的图像质量存在一定的模糊，也不会影响检测结果的准确性。
[0130]
本发明不限制卷积神经网络的具体结构，只要能够实现本发明的功能即可，在其中一个示例中，卷积神经网络的具体结构如图4所示，图4中，虚线为分割线，并不是卷积神经网络的主体结构，只是用于分割示图。左右两边的数字表示网络对接标号，同一标号的线相连。
[0131]
基于该结构的卷积神经网络，人脸图像经一卷积神经网络处理得到目标特征图的具体操作过程如下：
[0132]
人脸图像经过第一操作得到第一特征图，第一特征图经过第二操作得到第二特征图，第一特征图和第二特征图经过第一eltwise操作得到第三特征图；
[0133]
第三特征图经过第三操作得到第四特征图，第四特征图经过第四操作得到第五特征图，第四特征图和第五特征图经过第二eltwise操作得到第六特征图；
[0134]
第六特征图经过第五操作得到第七特征图，第六特征图和第七特征图经过第三
eltwise操作得到第八特征图；
[0135]
第八特征图经过第六操作得到第九特征图，第九特征图经过第七操作得到第十特征图，第十特征图和第九特征图经过第四eltwise操作得到第十一特征图；
[0136]
第十一特征图经过第八操作得到第十二特征图，第十一特征图和第十二特征图经过第五eltwise操作得到第十三特征图；
[0137]
第十三特征图经过第九操作得到第十四特征图，第十三特征图和第十四特征图经过第六eltwise操作得到第十五特征图；
[0138]
第十五特征图经过第十操作得到第十六特征图，第十六特征图经过第十一操作得到第十七特征图，第十六特征图和第十七特征图经过第七eltwise操作得到第十八特征图；
[0139]
第十八特征图经过第十二操作得到第十九特征图，第十八特征图和第十九特征图经过第八eltwise操作得到第二十特征图；
[0140]
第二十特征图经过第十三操作得到第二十一特征图，第二十一特征图经过第十四操作得到第二十二特征图，第二十一特征图和第二十二特征图经过第九eltwise操作得到第二十三特征图；
[0141]
第二十三特征图经过第十五操作得到第二十四特征图，第二十三特征图和第二十四特征图经过第十eltwise操作得到第二十五特征图；
[0142]
第二十五特征图经过第十六操作得到第二十六特征图，第二十特征图经过第十七操作得到第二十七特征图，第二十六特征图和第二十七特征图经过第十一eltwise操作得到第二十八特征图；
[0143]
第二十八特征图经过第十八操作得到第二十九特征图，第八特征图经过第十九操作得到第三十特征图，第二十九特征图和第三十特征图经过第十二eltwise操作得到第三十一特征图；
[0144]
第三十一特征图经过第二十操作得到第三十二特征图，第三特征图经过第二十一操作得到第三十三特征图，第三十二特征图和第三十三特征图经过第十三eltwise操作得到第三十四特征图；
[0145]
第三十四特征图经过第二十二操作得到目标特征图；
[0146]
第一操作至第二十二操作均包括卷积操作、bn操作、激活操作。
[0147]
如图3所示，前述的检测模块包括：
[0148]
人脸判断单元201，用于对目标特征图上的每一个位置，若该位置的人脸概率值大于设定的人脸阈值，则该位置为人脸。
[0149]
人脸框计算单元202，用于通过如下公式计算得到人脸框位置：
[0150]
x＝(i offset
x
0.5)
×
4-scalew/2
[0151]
y＝(j offsety 0.5)
×
4-scaleh/2
[0152]
w＝scalew[0153]
h＝scaleh[0154]
其中，(i,j)为目标特征图上该位置的坐标，(x,y)为人脸框的左上角坐标，w和h分别为人脸框的宽度和高度，(offset
x
,offsety)为该位置的中心点偏移量，(scalew,scaleh)为该位置的尺度回归量。
[0155]
人脸关键点计算单元203，用于通过如下公式计算得到人脸关键点坐标：
[0156][0157][0158]
其中，(xk,yk)为人脸关键点坐标，为该位置的关键点回归值，k为人脸关键点的标号。
[0159]
口罩佩戴判断单元204，用于对目标特征图上的每一个位置，若该位置的佩戴口罩概率值大于设定的佩戴口罩阈值，则判断为佩戴口罩。
[0160]
该卷积神经网络在训练时，人脸概率值和佩戴口罩概率值的损失使用softmax损失函数计算，中心点偏移量、尺度回归量和关键点回归值的损失使用l2损失函数计算，人脸概率值、佩戴口罩概率值、中心点偏移量、尺度回归量、关键点回归值的损失的权重分别为0.35、0.35、0.1、0.1、0.1。
[0161]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
[0162]
实施例3：
[0163]
本说明书提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于口罩佩戴检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的口罩佩戴检测方法的步骤。
[0164]
本发明使用基于人脸中心点的人脸检测方案，在人脸检测时将人脸建模为一个点，即人脸的中心点，然后根据中心点的偏移量以及人脸尺度回归量即可得到人脸框的位置，并且同时得到人脸关键点的位置，实现人脸检测。基于人脸中心点的人脸检测方案与基于anchor或滑动窗口的方法相比，不需要检测正方形的bounding box，因而可以较好地解决较大姿态和遮挡导致人脸漏检的问题，鲁棒性较强，解决了真正戴口罩的行人由于检测不到人脸而拒绝通过闸机的问题。并且本发明通过一个神经网络在人脸检测的同时进行口罩检测，可以同时进行人脸检测和口罩佩戴分类，不会导致额外的时间开销，时间复杂度较低，并且使用一个网络同时进行人脸检测和口罩分类两个任务，有利于提高两个任务的准确度。本发明进行口罩检测时直接在整张人脸上进行，不需要获取嘴部区域，即使采集的图像质量存在一定的模糊，也不会影响检测结果的准确性。
[0165]
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
[0166]
上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
[0167]
实施例4：
[0168]
本发明还提供一种用于口罩佩戴检测的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于口罩佩戴检测的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述口罩佩戴检测方法的步骤。
[0169]
本发明使用基于人脸中心点的人脸检测方案，在人脸检测时将人脸建模为一个点，即人脸的中心点，然后根据中心点的偏移量以及人脸尺度回归量即可得到人脸框的位置，并且同时得到人脸关键点的位置，实现人脸检测。基于人脸中心点的人脸检测方案与基于anchor或滑动窗口的方法相比，不需要检测正方形的bounding box，因而可以较好地解决较大姿态和遮挡导致人脸漏检的问题，鲁棒性较强，解决了真正戴口罩的行人由于检测不到人脸而拒绝通过闸机的问题。并且本发明通过一个神经网络在人脸检测的同时进行口罩检测，可以同时进行人脸检测和口罩佩戴分类，不会导致额外的时间开销，时间复杂度较低，并且使用一个网络同时进行人脸检测和口罩分类两个任务，有利于提高两个任务的准确度。本发明进行口罩检测时直接在整张人脸上进行，不需要获取嘴部区域，即使采集的图像质量存在一定的模糊，也不会影响检测结果的准确性。
[0170]
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
[0171]
需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件 程序类、存储介质 程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0172]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0173]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0174]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通
过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0175]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0176]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0177]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0178]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0179]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0180]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
[0181]
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0182]
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0183]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0184]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。