口罩识别方法、装置、存储介质及电子设备与流程

1.本公开涉及图像识别领域，具体地，涉及一种口罩识别方法、装置、存储介质及电子设备。


背景技术：

2.随着科技技术的发展，人工智能已经广泛的应用在各行各业中，例如应用在人脸识别、语音识别、大数据分析、自动驾驶、语意解析等诸多方面。
3.口罩作为一种卫生用品，一般指戴在口鼻部位用于过滤进入口鼻的空气，以达到阻挡有害的气体、气味、飞沫、病毒等物质进出佩戴者口鼻的作用。在某些场所例如食品行业、粉尘工作环境以及疫情环境下的公共场所，需要对出入人员佩戴口罩的情况进行检查。但是，目前仍然采取人工检查出入人员佩戴口罩状态的方法，需要耗费较多的人力和时间进行检查，检查效率较低。


技术实现要素：

4.本公开的目的是提供一种口罩识别方法、装置、存储介质及电子设备，以解决相关技术中人工检查佩戴口罩状态而存在的检查效率较低的问题，提高检查用户佩戴口罩状态的检查效率。
5.为了实现上述目的，本公开的第一方面提供一种口罩识别方法，所述方法包括：
6.通过图像采集设备采集用户的图像，得到待识别图片；
7.将所述待识别图片输入口罩识别模型，得到所述待识别图片对应的口罩识别结果，所述口罩识别结果用于表征所述用户配戴口罩的状态；
8.其中，所述口罩识别模型包括第一子模型和第二子模型，所述第一子模型用于从所述待识别图片中提取人像图片，并将提取到的所述人像图片输入所述第二子模型，所述第二子模型用于确定所述人像图片对应的口罩识别结果。
9.可选地，所述通过图像采集设备采集用户的图像，得到待识别图片，包括：
10.通过所述图像采集设备在预设时长内扫描用户，得到扫描视频，并从所述扫描视频中提取视频帧，得到多张待识别图片；
11.所述将所述待识别图片输入口罩识别模型，得到所述待识别图片对应的口罩识别结果，包括：
12.将所述多张待识别图片输入所述第一子模型，并通过所述第一子模型从所述多张待识别图片中进行人像提取，得到至少一张人像图片；
13.将提取到的所述至少一张人像图片输入所述第二子模型，并通过所述第二子模型从所述至少一张人像图片中提取图像特征，根据每一所述人像图片对应的所述图像特征确定所述口罩识别结果。
14.可选地，所述第二子模型包括四层神经网络，所述第二子模型用于通过如下方式确定所述人像图片对应的口罩识别结果：
15.通过第一层神经网络对输入的所述人像图片进行卷积处理，得到所述人像图片对应的第一图像特征，并将所述第一图像特征输入第二层神经网络；
16.通过所述第二层神经网络对所述第一图像特征进行卷积处理，得到所述人像图片对应的第二图像特征，并将所述第二图像特征输入第三层神经网络，其中所述第一图像特征与所述第二图像特征对应的特征维度不同；
17.通过所述第三层神经网络对所述第二图像特征进行特征缩放处理，得到目标图像特征，并将所述目标图像特征输入第四层神经网络；
18.通过所述第四层神经网络对所述目标图像特征进行分类，并根据所述分类结果输出所述人像图片对应的口罩识别结果。
19.可选地，所述口罩识别模型的训练过程包括：
20.获取标注有样本位置信息的第一样本人像图片，所述样本位置信息用于表征所述第一样本人像图片中样本人像的实际位置信息，所述第一样本人像图片包括佩戴口罩的人像图片和未佩戴口罩的人像图片；
21.将所述第一样本人像图片输入所述第一子模型，得到所述第一样本人像图片中样本人像的预测位置信息；
22.根据所述第一样本人像图片中样本人像的实际位置信息和所述预测位置信息计算第一损失函数，并根据所述第一损失函数的计算结果，调整所述第一子模型的参数。
23.可选地，所述口罩识别模型的训练过程包括：
24.通过训练好的第一子模型提取第二样本人像图片中的样本人像，所述第二样本人像图片标注有所述样本人像对应的实际口罩识别结果，所述第二样本人像图片包括佩戴口罩的人像图片和未佩戴口罩的人像图片；
25.将从所述第二样本人像图片提取到的所述样本人像输入所述第二子模型，得到所述样本人像对应的预测口罩识别结果；
26.根据所述样本人像对应的实际识别结果和所述预测识别结果计算第二损失函数，并根据所述第二损失函数的计算结果，调整所述第二子模型的参数。
27.可选地，所述第二样本人像图片为多张，所述口罩识别模型的训练过程还包括：
28.在将从所述第二样本人像图片提取到的所述样本人像输入所述第二子模型之前，对从所述多张第二样本人像图片提取到的多个样本人像进行归一化处理，以使所述多个样本人像的尺寸信息一致且像素值位于预设范围内。
29.可选地，所述方法还包括：
30.输出用于提示所述用户所述口罩识别结果的语音信息；和/或
31.显示用于提示所述用户所述口罩识别结果的文字信息。
32.本公开的第二方面还提供一种口罩识别装置，所述装置包括：
33.采集模块，用于通过图像采集设备采集用户的图像，得到待识别图片；
34.识别模块，用于将所述待识别图片输入口罩识别模型，得到所述待识别图片对应的口罩识别结果，所述口罩识别结果用于表征所述用户配戴口罩的状态；
35.其中，所述口罩识别模型包括第一子模型和第二子模型，所述第一子模型用于从所述待识别图片中提取人像图片，并将提取到的所述人像图片输入所述第二子模型，所述第二子模型用于确定所述人像图片对应的口罩识别结果。
36.本公开的第三方面还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
37.本公开的第四方面还提供一种电子设备，包括：
38.图像采集单元，用于采集用户的图像；
39.存储器，其上存储有计算机程序；
40.处理器，用于执行所述存储器中的所述计算机程序，以基于所述图像采集单元采集到的图像实现上述第一方面中任一项所述方法的步骤。
41.通过上述技术方案，通过图像采集设备采集用户的图像，得到待识别图片，并将待识别图片输入口罩识别模型，利用口罩识别模型的第一子模型从待识别图片中提取人像图片，并将提取到的人像图片输入口罩识别模型的第二子模型，利用第二子模型确定人像图片对应的口罩识别结果。由此，可以实现用户佩戴口罩状态的自动识别，减少用于检查的人力和时间，从而提高用户佩戴口罩状态的检查效率。另一方面，通过此种自动识别的方式，可以避免检查人员与被检查人员的接触，在疫情场景下，可以减少检查人员被感染的风险。
42.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
43.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
44.图1是本公开实施例提供的一种口罩识别方法的流程示意图；
45.图2是本公开实施例提供的一种标记人像位置的示意图；
46.图3是本公开实施例提供的一种口罩识别装置的框图；
47.图4是本公开实施例提供的一种电子设备的框图。
具体实施方式
48.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
49.在应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
50.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。另外，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
51.口罩作为一种卫生用品，一般指戴在口鼻部位用于过滤进入口鼻的空气，以达到阻挡有害的气体、气味、飞沫、病毒等物质进出佩戴者口鼻的作用。尤其在疫情防控形势下，佩戴口罩能够降低公共场合的人员交叉感染风险，保障人员安全。但是，目前小区、商场、地
铁、医院等公共场所仍然采取人工检查人员佩戴口罩状态的方法，此方法不但效率低下，而且有检查人员被感染的风险。
52.有鉴于此，本公开提供一种口罩识别方法、装置、存储介质及电子设备，以解决上述问题。
53.在对本公开的技术方案进行详细的实施例说明之前，下面先对本公开技术方案的应用场景进行说明。
54.本公开实施例提供的口罩识别方法，可应用于带有摄像头的电子设备。其中，该电子设备可以是监控设备、安检设备以及带有摄像头的机器人等等，并且可以安装在办公楼、商场、地铁、火车站等需要检查人员佩戴口罩状态的公共场所，本公开对此不作具体限定。
55.下面对本公开的技术方案进行详细的实施例说明。
56.本公开实施例提供一种口罩识别方法，如图1所示，该方法包括：
57.s101、通过图像采集设备采集用户的图像，得到待识别图片。
58.s102、将待识别图片输入口罩识别模型，得到待识别图片对应的口罩识别结果，口罩识别结果用于表征用户配戴口罩的状态。
59.其中，口罩识别模型包括第一子模型和第二子模型，第一子模型用于从待识别图片中提取人像图片，并将提取到的人像图片输入第二子模型，第二子模型用于确定人像图片对应的口罩识别结果。
60.采用上述方法，通过图像采集设备采集用户的图像，得到待识别图片，可以避免检查人员与被检查人员的近距离接触，在疫情场景下，可以减少检查人员被感染的风险。以及通过第一子模型从待识别图片提取人像图片后，将提取到的人像图片输入第二子模型进行自动识别，确定人像图片对应的口罩识别结果。由此，可以实现用户佩戴口罩状态的自动识别，减少用于检查的人力和时间，从而提高用户佩戴口罩状态的检查效率。
61.为了使得本领域技术人员更加理解本公开提供的口罩识别方法，下面对上述各步骤进行详细举例说明。
62.首先说明本公开中口罩识别模型的训练过程。
63.在本公开实施例中，口罩识别模型包括第一子模型和第二子模型，其中第一子模型用于定位并提取人像图片，第二子模型用于对提取到的人像图片进行识别，输出口罩识别结果。在训练过程中，可以先训练第一子模型，然后固定第一子模型的参数，训练第二子模型。
64.在可能的方式中，口罩识别模型的训练过程包括如下训练第一子模型的过程：获取标注有样本位置信息的第一样本人像图片，该样本位置信息用于表征第一样本人像图片中样本人像的实际位置信息，该第一样本人像图片包括佩戴口罩的人像图片和未佩戴口罩的人像图片。然后将第一样本人像图片输入第一子模型，得到第一样本人像图片中样本人像的预测位置信息。最后根据第一样本人像图片中样本人像的实际位置信息和预测位置信息计算第一损失函数，并根据第一损失函数的计算结果，调整第一子模型的参数。
65.示例地，第一子模型可以为目标检查网络模型，例如第一子模型可以是yolov4目标检查模型。样本位置信息可以通过labelimg工具对第一样本人像图片进行处理得到。比如，参照图2，标注后的图片可以包括位置标注框，该位置标注框标示出了第一样本人像图片中样本人像的实际位置信息。并且，针对不同的应用场景可以标注不同大小的位置标注
框，例如，针对监控场景可以标注包括全身的位置标注框，如图2左侧示意的位置标注框，或者针对进出门禁可以标注只包括人头的位置标注框，如图2右侧示意的位置标注框，等等，本公开对此不作具体限定。应当理解的是，可以获取多张第一样本人像图片来训练第一子模型，因此在可能的方式中，还可以对多张第一样本人像图片进行预处理，以将该多张第一样本人像图片处理为统一格式的图片，比如将多张第一样本人像图片处理为统一大小的图片，等等。
66.在得到标注有样本位置信息的第一样本人像图片后，可以将该第一样本人像图片输入第一子模型，即通过第一子模型得到第一样本人像图片中样本人像的预测位置信息。然后，可以根据该预测位置信息和样本人像的实际位置信息计算第一损失函数。最后，通过该第一损失函数的计算结果调整第一子模型的参数。应当理解的是，第一损失函数可以用于表征预测位置信息和实际位置信息之间的差异，因此通过第一损失函数的计算结果调整第一子模型的参数，可以使得第一子模型输出的预测位置信息越来越接近样本人像的实际位置信息，从而实现对第一子模型的训练。
67.以第一子模型为yolov4目标检查模型为例，对用于训练第一子模型的自动化训练工具设定运行参数：“gpu＝1cudnn＝1cudnn_half＝1opencv＝1openmp＝1libso＝1debug＝1”，并在linux操作系统下运行。然后将预处理后的第一样本人像图片放入linux操作系统下的相应文件夹，并修改训练参数配置文件，即设定yolov4目标检查模型的初始训练参数。最后，再使用命令“./darknet detector train cfg/obj.data cfg/yolo
‑
obj.cfg yolov4.conv.137”启动对yolov4目标检查模型的自动训练。
68.通过上述方式，可以通过标注有样本位置信息的第一样本人像图片训练第一子模型，从而后续可以通过训练好的第一子模型对用户的图像进行人像图片提取，进而后续可以通过第二子模型对提取到的人像图片进行自动识别，减少用于检查的人力和时间，提高用户佩戴口罩状态的检查效率。
69.在训练得到第一子模型之后，可以固定第一子模型的参数，训练第二子模型。在可能的方式中，通过训练好的第一子模型提取第二样本人像图片中的样本人像，该第二样本人像图片标注有该样本人像对应的实际口罩识别结果，该第二样本人像图片包括佩戴口罩的人像图片和未佩戴口罩的人像图片。然后可以将从第二样本人像图片提取到的样本人像输入第二子模型，得到样本人像对应的预测口罩识别结果。最后，根据样本人像对应的实际识别结果和预测识别结果计算第二损失函数，并根据第二损失函数的计算结果，调整第二子模型的参数。
70.示例地，第二样本人像图片和第一样本人像图片可以不同，也可以相同，本公开对此不作限定。通过第一子模型可以得到第二样本人像图片中样本人像的坐标位置以及大小信息，通过该坐标位置以及大小信息第一子模型可以从第二样本人像图片中提取得到样本人像。应当理解的是，第二样本人像图片预先标注有样本人像标注有实际识别结果，例如正确佩戴口罩、未正确佩戴口罩以及未佩戴口罩。因此，可以确定第二样本人像图片中的样本人像对应的实际识别结果。
71.在提取得到第二样本人像图片中的样本人像之后，可以将该样本人像输入第二子模型。该第二子模型可以为分类模型，从而通过第二子模型得到第二样本人像图片中样本人像的预测识别结果，即第二子模型可以输出样本人像口罩佩戴的预测结果。然后，可以根
据该预测结果和样本人像的实际口罩佩戴结果计算第二损失函数。应当理解的是，由于实际应用中口罩佩戴结果有多个类别，比如正确佩戴口罩、未正确佩戴口罩以及未佩戴口罩，因此第二子模型属于多分类网络。在此场景下，第二损失函数可以为categorical_crossentropy损失函数。
72.最后，可以通过该第二损失函数的计算结果调整第二子模型的参数。应当理解的是，第二损失函数可以用于表征预测识别结果和实际识别结果之间的差异，因此通过第二损失函数的计算结果调整第二子模型的参数，可以使得第二子模型输出的预测识别结果越来越接近样本人像的实际识别结果，从而实现对第二子模型的训练。具体实施时，可以在第二损失函数的计算结果大于目标损失函数值的情况下，重新进行训练，直至第二损失函数的计算结果小于或等于目标损失函数值。
73.应当理解的是，在第二样本人像图片为多张的情况下，可能由于提取到的多个样本人像大小不统一而影响训练效果。因此，在可能的方式中，为了方便训练，可以在将从第二样本人像图片提取到的样本人像输入第二子模型之前，对从多张第二样本人像图片提取到的多个样本人像进行归一化处理，以使多个样本人像的尺寸信息一致且像素值位于预设范围内。例如，预设范围设定为0
‑
1，即将多个样本人像的像素值转换为0
‑
1之间，并且可以将第二样本人像图片的像素统一转换为64
×
64，本公开对此不作具体限定。
74.在可能的方式中，第二子模型可以为四层神经网络模型，其中第一层神经网络和第二层神经网络可以是卷积核大小为3
×
3，步数为3的卷积层，对输入的图片进行特征提取，第三层神经网络和第四层神经网络可以是全连接层，用于对提取到的特征进行分类识别，最终输出口罩识别结果。在此种情况下，在第二子模型的训练过程中，可以在第三层神经网络和第四层神经网络之间，使用dropout方法防止过拟合，以提升第二子模型的训练效果，得到更准确地口罩识别结果。在具体实施时，dropout方法的参数比如可以设定为0.5，本公开对此不作限定。
75.通过上述方式，可以通过训练好的第一子模型和标注有识别结果的第二样本人像图片训练第二子模型，从而后续过程中可以通过训练好的第二子模型进行用户佩戴口罩状态的自动识别，减少用于检查的人力和时间，提高用户佩戴口罩状态的检查效率。
76.在训练得到人像识别模型后，在模型应用阶段，可以先通过图像采集设备采集用户的图像，得到待识别图片，然后将待识别图片输入口罩识别模型，该口罩识别模型可以输出该待识别图片对应的口罩识别结果，实现用户佩戴口罩状态的自动识别。
77.在可能的方式中，可以通过图像采集设备在预设时长内扫描用户，得到扫描视频，并从扫描视频中提取视频帧，得到多张待识别图片。相应地，可以将多张待识别图片输入第一子模型，并通过第一子模型从所述多张待识别图片中进行人像提取，得到至少一张人像图片，然后将提取到的至少一张人像图片输入第二子模型，并通过第二子模型从至少一张人像图片中提取图像特征，根据每一人像图片对应的图像特征确定口罩识别结果。
78.在实际应用中，为了人像图片的采集准确性和完整性，可以通过图像采集设备在预设时长内扫描用户的图像，得到扫描视频，然后从扫描视频中提取视频帧，得到多张待识别图片。其中，预设时长可以根据实际情况设定，本公开实施例对此不作限定，比如设定为3秒，等等。
79.在采集得到多张待识别图片后，可以将该多张待识别图片输入第一子模型，并通
过第一子模型从多张待识别图片中进行人像提取，得到至少一张人像图片。比如，第一子模型可以对每一待识别图片进行人像提取，从而得到多张人像图片。或者，第一子模型可以从该多张待识别图片中按照预设规则选取或者随机选取部分待识别图片进行人像提取，得到至少一张人像图片。
80.然后，可以将提取到的至少一张人像图片输入第二子模型，并通过第二子模型从至少一张人像图片中提取图像特征，根据每一人像图片对应的图像特征确定口罩识别结果，通过该口罩识别结果可以确定用户佩戴口罩状态，比如用户正确佩戴口罩，用户未佩戴口罩等等。
81.在可能的方式中，第二子模型包括四层神经网络，相应地，第二子模型可以通过第一层神经网络对输入的人像图片进行卷积处理，得到人像图片对应的第一图像特征，并将第一图像特征输入第二层神经网络。然后通过第二层神经网络对第一图像特征进行卷积处理，得到人像图片对应的第二图像特征，并将第二图像特征输入第三层神经网络，其中第一图像特征与第二图像特征对应的特征维度不同。接着，通过第三层神经网络对第二图像特征进行特征缩放处理，得到目标图像特征，并将目标图像特征输入第四层神经网络。最后通过第四层神经网络对目标图像特征进行分类，并根据分类结果输出人像图片对应的口罩识别结果。
82.示例地，第一层神经网络和第二层神经网络可以是卷积核大小为3
×
3，步数为3的卷积层，对输入的图片进行特征提取。第三层神经网络和第四层神经网络可以是全连接层。其中，第三层神经网络用于对第二层神经网络输出的第二图像特征进行特征缩放处理，得到目标图像特征。该目标图像特征的特征维度可以小于第二图像特征，从而可以减小第四层神经网络的计算量。最后，第四层神经网络用于对目标图像特征进行分类识别，最终输出口罩识别结果。
83.通过上述方式，基于四层神经网络的第二子模型可以实现用户佩戴口罩状态的自动识别，减少用于检查的人力和时间，提高用户佩戴口罩状态的检查效率。
84.在得到口罩识别结果后，还可以输出用于提示用户口罩识别结果的语音信息；和/或，显示用于提示用户口罩识别结果的文字信息。也即是说，可以通过语音或文字的形式向用户提示口罩识别结果。
85.需说明的是，由于用户佩戴口罩的状态是可以改变的，因此可以在通过语音或文字的形式向用户提示口罩识别结果后，间隔预定时间继续采集用户的图像，进行用户佩戴口罩状态的识别。其中，预定时间可以根据实际情况设定，本公开实施例对此不作限定，比如设定为3秒，等等。此外，为了避免频繁的提醒，可以在用户持续正确佩戴口罩的情况下，只输出一次语音或文字形式的提示，但是在用户未佩戴口罩或者佩戴不正确的情况下，每次采集图像得到口罩识别结果后都要输出语音或文字形式的提示，以提醒用户正确佩戴口罩。
86.比如，将本公开提供的口罩识别方法应用于机器人，该机器人可以安装有摄像头，用于采集用户的图像。同时，该机器人可以内置有本公开提供的口罩识别模型，从而该机器人可以对采集到的包括人像的待识别图片进行自动识别，得到口罩识别结果。若该机器人设置有语音输出模块，比如麦克风等等，则该机器人可以通过该语音输出模块输出用于提示用户口罩识别结果的语音信息。或者，若该机器人设置有显示模块，比如led显示屏等等，
则该机器人可以通过该显示模块显示用于提示用户口罩识别结果的文字信息。又或者，若该机器人同时设置有语音输出模块和显示模块，则该机器人可以同时输出用于提示用户口罩识别结果的语音信息和文字信息。
87.在其他可能的情况下，还可以将本公开提供的口罩识别方法应用于进出闸门的控制系统，从而根据该口罩识别结果控制闸门的开启和关闭。例如，在用户进入公共场所时摄像头采集用户的图像，通过口罩识别模型得到该用户佩戴口罩状态的识别结果为“未佩戴口罩”，对用户进行语音提示“请佩戴口罩”，并使闸门处于关闭状态。在预定时间后，重新对用户的图像进行采集，并在通过口罩识别模型得到该用户佩戴口罩状态的识别结果为“正确佩戴口罩”的情况下，对用户进行语音提示“已佩戴口罩，可通行”，同时开启闸门以使用户进入该公共场所。
88.采用上述方法，通过图像采集设备采集用户的图像，得到待识别图片，并将待识别图片输入口罩识别模型，得到待识别图片对应的口罩识别结果，并输出提示用户该口罩识别结果的语音信息以及通过控制闸门的开启和关闭控制人员出入，避免的检查人员与被检查人员的接触，减少检测人员被感染的风险，同时自动识别用户佩戴口罩状态并对用户进行提醒以及控制闸门开启和关闭，对公共场所的人员出入进行管理。
89.在其他可能的情况下，还可以将本公开提供的口罩识别方法应用于公共场所的监控系统，从而根据该口罩识别结果搜索人群中未佩戴口罩或佩戴不正确的人员。例如，通过监控摄像头采集监控画面中每一用户的图像，通过口罩识别模型得到每一用户的口罩识别结果，并对口罩识别结果为“未佩戴口罩”和“未正确佩戴口罩”的用户在监控后台的屏幕上一一标注，后台人员在监控后台的屏幕上的标注信息后，可以通过广播或其他方式提醒用户正确佩戴口罩。或者将监控后台的屏幕画面实时投屏到公共场所的屏幕上，以提醒用户正确佩戴口罩。
90.采用上述方法，通过图像采集设备采集用户的图像，得到待识别图片，并将待识别图片输入口罩识别模型，得到待识别图片对应的口罩识别结果，并在监控后台的屏幕上标注未佩戴口罩或者未正确佩戴口罩的用户以及根据标注信息对用户进行提醒，避免的检查人员与被检查人员的接触，减少检测人员被感染的风险，同时自动识别用户佩戴口罩状态并对用户进行提醒，方便对公共场所的人员进行管理。
91.本公开实施例提供一种口罩识别装置，该口罩识别装置可以通过软件、硬件或者两者结合的方式成为电子设备的部分或全部。如图3所示，该口罩识别装置300包括：
92.采集模块301，用于通过图像采集设备采集用户的图像，得到待识别图片。
93.识别模块302，用于将所述待识别图片输入口罩识别模型，得到所述待识别图片对应的口罩识别结果，所述口罩识别结果用于表征所述用户配戴口罩的状态。
94.其中，所述口罩识别模型包括第一子模型和第二子模型，所述第一子模型用于从所述待识别图片中提取人像图片，并将提取到的所述人像图片输入所述第二子模型，所述第二子模型用于确定所述人像图片对应的口罩识别结果。
95.通过上述装置，通过图像采集设备采集用户的图像，得到待识别图片，并将待识别图片输入口罩识别模型，利用口罩识别模型的第一子模型从待识别图片中提取人像图片，并将提取到的人像图片输入口罩识别模型的第二子模型，利用第二子模型确定人像图片对应的人像识别结果。可以实现用户佩戴口罩状态的自动识别，减少用于检查的人力和时间，
从而提高用户佩戴口罩状态的检查效率。另一方面，通过此装置，可以避免检查人员与被检查人员的近距离接触，在疫情场景下，可以减少检查人员被感染的风险。
96.可选地，所述采集模块301用于：
97.通过所述图像采集设备在预设时长内扫描用户，得到扫描视频，并从所述扫描视频中提取视频帧，得到多张待识别图片；
98.所述识别模块302用于：
99.将所述多张待识别图片输入所述第一子模型，并通过所述第一子模型从所述多张待识别图片中进行人像提取，得到至少一张人像图片；
100.将提取到的所述至少一张人像图片输入所述第二子模型，并通过所述第二子模型从所述至少一张人像图片中提取图像特征，根据每一所述人像图片对应的所述图像特征确定所述口罩识别结果。
101.可选地，所述第二子模型包括四层神经网络，所述识别模块302用于：
102.通过第一层神经网络对输入的所述人像图片进行卷积处理，得到所述人像图片对应的第一图像特征，并将所述第一图像特征输入第二层神经网络；
103.通过所述第二层神经网络对所述第一图像特征进行卷积处理，得到所述人像图片对应的第二图像特征，并将所述第二图像特征输入第三层神经网络，其中所述第一图像特征与所述第二图像特征对应的特征维度不同；
104.通过所述第三层神经网络对所述第二图像特征进行特征缩放处理，得到目标图像特征，并将所述目标图像特征输入第四层神经网络；
105.通过所述第四层神经网络对所述目标图像特征进行分类，并根据所述分类结果输出所述人像图片对应的口罩识别结果。
106.可选地，所述装置300还包括如下用于训练所述口罩识别模型的模块：
107.获取模块，用于获取标注有样本位置信息的第一样本人像图片，所述样本位置信息用于表征所述第一样本人像图片中样本人像的实际位置信息，所述第一样本人像图片包括佩戴口罩的人像图片和未佩戴口罩的人像图片；
108.第一输入模块，用于将所述第一样本人像图片输入所述第一子模型，得到所述第一样本人像图片中样本人像的预测位置信息；
109.第一调整模块，用于根据所述第一样本人像图片中样本人像的实际位置信息和所述预测位置信息计算第一损失函数，并根据所述第一损失函数的计算结果，调整所述第一子模型的参数。
110.可选地，所述装置300还包括如下用于训练所述口罩识别模型的模块：
111.提取模块，用于通过训练好的第一子模型提取第二样本人像图片中的样本人像，所述第二样本人像图片标注有所述样本人像对应的实际口罩识别结果，所述第二样本人像图片包括佩戴口罩的人像图片和未佩戴口罩的人像图片；
112.第二输入模块，用于将从所述第二样本人像图片提取到的所述样本人像输入所述第二子模型，得到所述样本人像对应的预测口罩识别结果；
113.第二调整模块，用于根据所述样本人像对应的实际识别结果和所述预测识别结果计算第二损失函数，并根据所述第二损失函数的计算结果，调整所述第二子模型的参数。
114.可选地，所述第二样本人像图片为多张，所述装置300还包括如下用于训练所述口
罩识别模型的模块：
115.预处理模块，用于在将从所述第二样本人像图片提取到的所述样本人像输入所述第二子模型之前，对从所述多张第二样本人像图片提取到的多个样本人像进行归一化处理，以使所述多个样本人像的尺寸信息一致且像素值位于预设范围内。
116.可选地，所述装置300还包括：
117.输出模块，用于输出用于提示所述用户所述口罩识别结果的语音信息；和/或
118.显示模块，用于显示用于提示所述用户所述口罩识别结果的文字信息。
119.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
120.本公开实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例提供的口罩识别方法的步骤。
121.本公开实施例还提供一种电子设备，包括：
122.图像采集单元，用于采集用户的图像；
123.存储器，其上存储有计算机程序；
124.处理器，用于执行所述存储器中的所述计算机程序，以基于所述图像采集单元采集到的图像实现上述实施例提供的口罩识别方法的步骤。
125.图4是根据一示例性实施例示出的一种电子设备400的框图。如图4所示，该电子设备400可以包括：处理器401，存储器402。该电子设备400还可以包括多媒体组件403，输入/输出(i/o)接口404，以及图像采集单元405中的一者或多者。
126.其中，处理器401用于控制该电子设备400的整体操作，以完成上述的口罩识别方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如收发的消息、图片、音频、视频等等。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read
‑
only memory，简称eprom)，可编程只读存储器(programmable read
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口404为处理器401和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。图像采集单元405可以是摄像头，用于采集用户的图像。
127.在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元
件实现，用于执行上述的口罩识别方法。
128.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的口罩识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器402，上述程序指令可由电子设备400的处理器401执行以完成上述的口罩识别方法。
129.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。