行人的口罩佩戴状态识别方法、系统、装置及介质与流程

1.本发明涉及图像处理技术领域，具体提供一种行人的口罩佩戴状态识别方法、系统、装置及介质。


背景技术：

2.现有技术中，针对口罩佩戴的识别算法主要有两种：基于人脸的口罩识别算法和基于人体的口罩识别算法。基于人脸的口罩识别算法是使用人脸检测模型将人脸检测出来，再使用分类模型识别人脸是否佩戴口罩。应用基于人脸的口罩识别算法进行口罩佩戴识别，由于获取到的人脸图像的分辨率较低，头部的姿态变化较大，例如低头、抬头、侧脸等，都会对于人脸检测产生影响，且当脸部佩戴口罩时也会对人脸检测产生影响，进一步，影响佩戴口罩的识别结果。基于人体的口罩识别算法是需要使用人体检测模型将人体检测出来，再使用分类模型识别人体是否佩戴口罩。应用基于人体的口罩识别算法，避免了人脸图像分辨率低，头部姿态变化大的问题，但是人体姿态、截断以及穿着等因素对于佩戴口罩的识别结果也会产生较大影响。且现有技术中，通常只能识别出脸部是否佩戴口罩，并不能识别出佩戴口罩的状态，例如口罩位于下巴部位，或者口罩没有遮住口鼻等。
3.相应地，本领域需要一种新的行人的口罩佩戴状态识别方案来解决上述问题。


技术实现要素：

4.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决由于获取到的人脸图像的分辨率较低、头部的姿态变化较大、人体姿态、截断以及穿着等因素影响佩戴口罩识别结果的问题。
5.在第一方面，本发明提供一种行人的口罩佩戴状态识别方法，所述方法包括：
6.获取待识别行人的行人图像；
7.对所述行人图像进行人体关键点识别，获取所述行人图像中所述待识别行人的人体关键点；
8.根据所述人体关键点，获取所述行人图像中所述待识别行人的头部区域图像；
9.根据所述头部区域图像识别所述待识别行人的口罩佩戴状态。
10.在上述行人的口罩佩戴状态识别方法的一个技术方案中，所述人体关键点包括头部关键点、颈部关键点、左肩关键点和右肩关键点，“根据所述人体关键点，获取所述行人图像中所述待识别行人的头部区域图像”的步骤具体包括：
11.获取所述颈部关键点分别到所述头部关键点、所述左肩关键点、所述右肩关键点的距离的最大值；
12.获取以所述颈部关键点为中心，以所述最大值的预设倍数为半径的圆形目标区域图像，获取所述圆形目标区域图像的圆外接四边形区域图像作为所述行人图像中所述待识别行人的头部区域图像。
13.在上述行人的口罩佩戴状态识别方法的一个技术方案中，在“根据所述人体关键
点，获取所述行人图像中所述待识别行人的头部区域图像”的步骤之前，所述方法还包括：
14.分别获取每个人体关键点的可预测性信息；
15.若至少一个人体关键点的可预测性信息是不可预测，则输出图像异常信息并不再执行“根据所述人体关键点，获取所述行人图像中所述待识别行人的头部区域图像”的步骤；
16.若所有人体关键点的可预测性信息均是可预测，则执行“根据所述人体关键点，获取所述行人图像中所述待识别行人的头部区域图像”的步骤；
17.其中，所述可预测是指所述人体关键点位于所述行人图像中且在所述行人图像中未被遮挡，或当所述人体关键点位于所述行人图像中且在所述行人图像中被遮挡时能够根据在所述行人图像中所述待识别行人的人体轮廓可以预测出所述人体关键点在所述行人图像中的位置，所述不可预测是指当所述人体关键点未位于所述行人图像时或当所述人体关键点位于所述行人图像中且在所述行人图像中被遮挡时根据在所述行人图像中所述待识别行人的人体轮廓不可以预测出所述人体关键点在所述行人图像中的位置。
18.在上述行人的口罩佩戴状态识别方法的一个技术方案中，所述口罩佩戴状态包括佩戴口罩、未佩戴口罩和未知，“根据所述头部区域图像识别所述待识别行人的口罩佩戴状态”的步骤具体包括：
19.当未成功获取到所述头部区域图像时，直接判定所述口罩佩戴状态是未知；
20.当成功获取到所述头部区域图像时对所述头部区域图像进行脸部区域检测；若未检测到脸部区域，则直接判定所述口罩佩戴状态是未知；若检测到脸部区域，则继续对所述脸部区域进行口罩检测；如果检测到口罩，则判定所述口罩佩戴状态是佩戴口罩；如果未检测到口罩，则判定所述口罩佩戴状态是未佩戴口罩。
21.在上述行人的口罩佩戴状态识别方法的一个技术方案中，所述口罩佩戴状态还包括口罩位置状态，所述口罩位置状态包括遮盖口鼻、仅遮盖口部、未遮盖口鼻和未知，“根据所述头部区域图像识别所述待识别行人的口罩佩戴状态”的步骤进一步包括：
22.当所述口罩佩戴状态是未佩戴口罩和未知时，直接判定所述口罩位置状态是未知；
23.当所述口罩佩戴状态是佩戴口罩时，分别对所述脸部区域进行口部和鼻部检测；若未检测到口部和鼻部，则判定所述口罩位置状态是遮盖口鼻；若检测到鼻部且未检测到口部，则判定所述口罩位置状态是仅遮盖口部；若同时检测到口部和鼻部，则判定所述口罩位置状态是未遮盖口鼻。
24.在上述行人的口罩佩戴状态识别方法的一个技术方案中，“对所述行人图像进行人体关键点识别，获取所述行人图像中所述待识别行人的人体关键点”的步骤具体包括：
25.步骤s11：通过下列步骤训练人体关键点识别模型：
26.步骤s111:获取包含多张经过标注的行人图像的第一训练集，所述第一训练集包括第一样本，所述第一样本为行人图像，所述第一样本的样本标签为标注的人体关键点；
27.步骤s112:对所述第一样本进行数据增强处理，获取第二样本，所述第二样本的样本标签与对应的所述第一样本的样本标签相同，所述第一样本和所述第二样本组成所述第二训练集；
28.步骤s113:应用所述第二训练集训练所述人体关键点识别模型；
29.步骤s12：采用训练好的人体关键点识别模型对所述行人图像进行人体关键点识别，获取所述行人图像中所述待识别行人的人体关键点。
30.在上述行人的口罩佩戴状态识别方法的一个技术方案中，“根据所述头部区域图像识别所述待识别行人的口罩佩戴状态”的步骤具体包括：
31.步骤s21：通过下列步骤训练口罩识别模型：
32.步骤s211:获取包含多张经过标注的行人图像的第三训练集，所述第三训练集包括第三样本，所述第三样本为行人图像，所述第三样本的样本标签为标注的口罩佩戴状态；
33.步骤s212:对所述第三样本进行数据增强处理，获取第四样本，所述第四样本的样本标签与对应的所述第三样本的样本标签相同，所述第三样本和所述第四样本组成所述第四训练集；
34.步骤s213:应用所述第四训练集训练所述口罩识别模型；
35.步骤s22：采用训练好的口罩识别模型，并根据所述头部区域图像识别所述待识别行人的口罩佩戴状态。
36.在第二方面，本发明提供一种行人的口罩佩戴状态识别系统，所述系统包括：
37.行人图像获取模块，其被配置为获取待识别行人的行人图像；
38.人体关键点获取模块，其被配置为对所述行人图像进行人体关键点识别，获取所述行人图像中所述待识别行人的人体关键点；
39.头部区域图像获取模块，其被配置为根据所述人体关键点，获取所述行人图像中所述待识别行人的头部区域图像；
40.口罩佩戴状态识别模块，其被配置为根据所述头部区域图像识别所述待识别行人的口罩佩戴状态。
41.在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述行人的口罩佩戴状态识别方法的技术方案中任一项技术方案所述的行人的口罩佩戴状态识别方法。
42.在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述行人的口罩佩戴状态识别方法的技术方案中任一项技术方案所述的行人的口罩佩戴状态识别方法。
43.本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
44.在实施本发明的技术方案中，可以对待识别行人的行人图像进行人体关键点识别，并根据人体关键点，获取行人图像中待识别行人的头部区域图像，根据头部区域图像识别待识别行人的口罩佩戴状态。通过上述配置方式，本发明能够先对待识别行人的行人图像进行人体关键点识别，再获取头部区域图像，由于对人体关键点进行识别较直接进行头部区域图像识别的检出率更高，降低了人脸图像的分辨率较低、头部姿态变化大等因素对于头部区域图像识别的影响，同时先进行人体关键点识别再获取头部区域图像，根据头部区域图像识别口罩佩戴状态，也能够降低人体姿态、截断以及穿着等因素对于口罩佩戴状态的识别结果的影响，提高了口罩佩戴状态识别结果的准确性。
附图说明
45.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
46.图1是根据本发明的一个实施例的行人的口罩佩戴状态识别方法的主要步骤流程示意图；
47.图2是根据本发明实施例的一个实施方式的人体关键点识别模型框架示意图；
48.图3是根据本发明实施例的一个实施方式的行人的口罩佩戴状态识别方法的主要步骤流程示意图；
49.图4是根据本发明实施例的一个实施方式的人体关键点示意图；
50.图5是根据本发明的一个实施例的行人的口罩佩戴状态识别系统的主要结构框图示意图。
具体实施方式
51.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
52.在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。单数形式的术语“一个”也可以包含复数形式。
53.参阅附图1，图1是根据本发明的一个实施例的行人的口罩佩戴状态识别方法的主要步骤流程示意图。如图1所示，本发明实施例中的行人的口罩佩戴状态识别方法主要包括下列步骤s101-步骤s104。
54.步骤s101：获取待识别行人的行人图像。
55.在本实施例中，可以先获取待识别行人的行人图像。
56.一个实施方式中，可以获取视频监控系统的网络摄像机的视频流，按照一定的帧数间隔对视频流进行抽帧，以获取待识别行人的行人图像。行人图像指的是上述视频流中包含待识别行人的画面信息的视频图像。
57.步骤s102：对行人图像进行人体关键点识别，获取行人图像中待识别行人的人体关键点。
58.人体关键点指的是待识别的行人图像中，可以定位待识别行人的人体位置的点。在本实施例中，可以采用人体识别技术领域中常规的人体关键点识别方法对步骤s101获取的行人图像进行人体关键点识别，以获取行人图像中待识别行人的人体关键点。
59.一个实施方式中，可以使用预设的人体关键点识别模型获取行人图像中待识别行人的人体关键点。预设的人体关键点识别模型指的是经过训练的可以对行人图像中待识别行人的人体关键点进行识别的模型。
60.参阅附图4，图4是根据本发明实施例的一个实施方式的人体关键点示意图，如图4所示，人体关键点有14个，可以对获取的行人图像进行人体关键点识别，获取待识别行人的14个人体关键点。其中，人体关键点1至14分别表示左肩关键点1、右肩关键点2、左肘关节点3、右肘关键点4、左手关键点5、右手关键点6、左臀关键点7、右臀关键点8、左膝关键点9、右膝关键点10、左脚关键点11、右脚关键点12、头部关键点13、颈部关键点14。需要说明的是，本领域技术人员可以根据实际需求灵活设置需要识别到的人体关键点的数量，比如人体关键点还可以为16个、20个或24个等，只要能够根据识别到的人体关键点获取行人图像中待识别行人的头部区域图像即可。
61.步骤s103：根据人体关键点，获取行人图像中待识别行人的头部区域图像。
62.在本实施例中可以获取与头部区域图像相关的人体关键点比如头部关键点、颈部关键点、左肩关键点、右肩关键点，然后根据这些人体关键点在行人图像中的位置，确定与待识别行人的头部相关的区域，最后将这部分区域作为待识别行人的头部区域图像。可以根据头部关键点、颈部关键点、左肩关键点、右肩关键点的组合获取行人图像中待识别行人的头部区域图像，也可以根据其中一个人体关键点获取行人图像中待识别行人的头部区域图像。
63.一个实施方式中，可以使用预设的头部区域抠图模型获取行人图像中待识别行人的头部区域图像。预设的头部区域抠图模型指的是经过训练的可以根据人体关键点获取行人图像中待识别行人的头部区域图像的模型。
64.步骤s104：根据头部区域图像识别待识别行人的口罩佩戴状态。
65.在本实施例中在获取到待识别行人的头部区域图像可以对头部区域图像进行口罩检测，根据口罩检测的结果确定待识别行人的口罩佩戴状态。其中，口罩检测的结果包括但不限于：是否检测到口罩以及口罩的位置等。根据是否检测到口罩可以确定待识别行人是否佩戴口罩，根据口罩的位置可以确定口罩位于待识别行人的脸部的位置，即口罩的佩戴位置。例如，口罩佩戴在口部，口罩佩戴在口鼻部等等。
66.一个实施方式中，可以使用预设的口罩识别模型识别待识别行人的口罩佩戴状态。预设的口罩识别模型指的是经过训练的可以根据头部区域图像识别待识别行人的口罩佩戴状态的模型。
67.基于上述步骤s101-步骤s104，本发明可以对待识别行人的行人图像进行人体关键点识别，并根据人体关键点，获取行人图像中待识别行人的头部区域图像，根据头部区域图像识别待识别行人的口罩佩戴状态。通过上述配置方式，本发明能够先对待识别行人的行人图像进行人体关键点识别，再获取头部区域图像，由于对人体关键点进行识别较直接进行头部区域图像识别的检出率更高，降低了人脸图像的分辨率较低、头部姿态变化大等因素对于头部区域图像识别的影响，同时先进行人体关键点识别再获取头部区域图像，根据头部区域图像识别口罩佩戴状态，也能够降低人体姿态、截断以及穿着等因素对于口罩佩戴状态的识别结果的影响，提高了口罩佩戴状态识别结果的准确性。
68.在本发明实施例的一个实施方式中，本发明除了可以包括上述步骤s101至步骤s104外，在步骤s103之前，本发明还可以包括以下步骤s105至步骤s107：
69.步骤s105：分别获取每个人体关键点的可预测性信息；
70.步骤s106：若至少一个人体关键点的可预测性信息是不可预测，则输出图像异常
信息并不再执行步骤s103；
71.步骤s107：若所有人体关键点的可预测性信息均是可预测，则执行步骤s103；
72.其中，可预测是指人体关键点位于行人图像中且在行人图像中未被遮挡，或当人体关键点位于行人图像中且在行人图像中被遮挡时能够根据在行人图像中待识别行人的人体轮廓可以预测出人体关键点在行人图像中的位置，不可预测是指当人体关键点未位于行人图像时或当人体关键点位于行人图像中且在行人图像中被遮挡时根据在行人图像中待识别行人的人体轮廓不可以预测出人体关键点在行人图像中的位置。
73.在本实施方式中，在步骤s103之前，可以先获取每个人体关键点的可预测性信息，若至少一个人体关键点的可预测性信息为不可预测，即，至少一个人体关键点位于行人图像中且在行人图像中被遮挡时根据在行人图像中待识别行人的人体轮廓不可以预测出人体关键点在行人图像中的位置，则输出图像异常信息，并不再执行步骤s103。若人体关键点的可预测性信息均为可预测，即，人体关键点位于行人图像中且在行人图像中未被遮挡，或人体关键点位于行人图像中且在行人图像中被遮挡但根据在行人图像中待识别行人的人体轮廓可以预测出人体关键点在行人图像中的位置，则可以继续执行步骤s103。其中，人体关键点检测的前置条件为人体检测，即识别出行人图像中人体轮廓。根据人体轮廓不可以将该人体关键点预测出来的情况包括人体关键点位于人体轮廓以外、根据人体轮廓不能够确定人体关键点的位置等。
74.一个实施方式中，可以使用前述预设的人体关键点识别模型获取每个人体关键点的可预测性信息，人体关键点可以包括人体关键点的位置和可预测性信息，该人体关键点识别模型可以包括分类网络和回归网络，其中回归网络可以用于获取人体关键点的位置，分类网络可以用于获取人体关键点的可预测性信息。
75.下面对步骤s102至步骤s104作进一步地说明。
76.在本发明实施例的一个实施方式中，步骤s102可以进一步包括以下步骤s1021至步骤s1022：
77.步骤s1021：通过以下步骤s10211至步骤s10213训练人体关键点识别模型：
78.步骤s10211：获取包含多张经过标注的行人图像的第一训练集，第一训练集包括第一样本，第一样本为行人图像，第一样本的样本标签为标注的人体关键点；其中，标注的人体关键点包括但不限于：人体关键点的类型信息、在行人图像中的位置和可预测性信息。可预测信息与前述方法实施例中步骤s105至步骤s107中的可预测性信息类似，在此不再进行赘述。
79.步骤s10212：对第一样本进行数据增强处理，获取第二样本，第二样本的样本标签与对应的第一样本的样本标签相同，第一样本和第二样本组成第二训练集。
80.步骤s10213：应用第二训练集训练人体关键点识别模型。
81.在本实施方式中，可以通过上述步骤s10211至步骤s10213训练人体关键点识别模型，其中应用数据增强处理，增加行人图像模糊、遮挡、截断、复杂姿态等场景的样本，增加难样本的学习概率，使得训练的人体关键点识别模型能够获得更好的识别效果。数据增强处理包括但不限于：高斯模糊、运动模糊、随机擦除、半身遮挡、随机裁剪、半身截断等。需要说明的是，在本实施例中可以采用机器学习技术领域中常规的模型训练方法应用第二训练集训练人体关键点识别模型，本领域技术人员可以根据实际需求灵活选取模型训练方法训
练人体关键点识别模型，只要能够使训练好的人体关键点识别模型具备从行人图像中识别人体关键点的能力即可。
82.一个实施方式中，人体关键点识别模型可以包括分类网络和回归网络，可以使用机器学习的方法，采用回归算法训练人体关键点识别模型的回归网络，以使人体关键点识别模型能够获取人体关键点的位置；采用分类算法训练人体关键点识别模型的分类网络，以使人体关键点识别模型能够获取人体关键点的可预测性信息，并保存训练好的人体关键点识别模型。
83.步骤s1022：采用训练好的人体关键点识别模型对行人图像进行人体关键点识别，获取行人图像中待识别行人的人体关键点。
84.在本实施方式中，可以采用步骤s1021中训练好的人体关键点识别模型对行人图像进行人体关键点识别，以获取行人图像中待识别行人的人体关键点。
85.在本发明实施例的一个实施方式中，如图4所示，人体关键点可以包括头部关键点13、颈部关键点14、左肩关键点1和右肩关键点2，步骤s103可以进一步包括以下步骤s1031至步骤s1032：
86.步骤s1031：获取颈部关键点14分别到头部关键点13、左肩关键点1、右肩关键点2的距离的最大值；
87.步骤s1032：获取以颈部关键点14为中心，以最大值的预设倍数为半径的圆形目标区域图像，获取圆形目标区域图像的圆外接四边形区域图像作为行人图像中待识别行人的头部区域图像。
88.在本实施方式中，可以获取颈部关键点14分别到头部关键点13、左肩关键点1、右肩关键点2的距离的最大值，以最大值的预设倍数为半径的圆形目标区域图像，获取圆形目标区域图像的圆外接四边形区域图像作为行人图像中待识别行人的头部区域图像。
89.一个实施方式中，最大值的预设倍数可以为最大值的0.75倍，圆外接四边形可以为圆外接正方形，可以根据以下公式(1)和公式(2)获取圆外接正方形：
90.d＝max(dist(pt
14
，pt
13
)，dist(pt
14
，pt1)，dist(pt
14
，pt2))*0.75
ꢀꢀꢀ
(1)
91.crop
box
＝[pt
14
x-d，pt
14
y-d，pt
14
x d，pt
14
y d]
ꢀꢀꢀ
(2)
[0092]
其中，pt1，pt
12
，pt
13
，pt
14
表示为人体关键点1，人体关键点2，人体关键点13，人体关键点14的坐标，pt
14
x，pt
14
y表示为人体关键点14在行人图像的图像坐标系下的x，y坐标，dist表示为求两个人体关键点之间距离的函数，max表示为求最大值的函数，d表示为圆形目标区域图像的半径，crop
box
表示为圆外接正方形的左上角和右下角坐标。
[0093]
在本发明实施例的一个实施方式中，口罩佩戴状态可以包括佩戴口罩、未佩戴口罩和未知，步骤s104可以进一步包括以下步骤s1041至步骤s1042：
[0094]
步骤s1041：当未成功获取到头部区域图像时，直接判定口罩佩戴状态是未知。
[0095]
步骤s1042：当成功获取到头部区域图像时对头部区域图像进行脸部区域检测；若未检测到脸部区域，则直接判定口罩佩戴状态是未知；若检测到脸部区域，则继续对脸部区域进行口罩检测；如果检测到口罩，则判定口罩佩戴状态是佩戴口罩；如果未检测到口罩，则判定口罩佩戴状态是未佩戴口罩。
[0096]
在本实施方式中，若未成功获取到头部区域图像时，直接判断口罩佩戴状态为未知；若成功获取到头部区域图像，则可以对头部区域图像进行脸部区域检测，若未检测到脸
部区域，则判定口罩佩戴状态为未知，若检测到脸部区域且检测到口罩，则判定口罩佩戴状态为佩戴口罩，若检测到脸部区域但未检测到口罩，则判定口罩佩戴状态为未佩戴口罩。
[0097]
在本发明实施例的一个实施方式中，口罩佩戴状态还可以包括口罩位置状态，口罩位置状态可以包括遮盖口鼻、仅遮盖口部、未遮盖口鼻和未知，步骤s104可以进一步包括以下步骤s1043至步骤s1044：
[0098]
步骤s1043：当口罩佩戴状态是未佩戴口罩和未知时，直接判定口罩位置状态是未知；
[0099]
步骤s1044：当口罩佩戴状态是佩戴口罩时，分别对脸部区域进行口部和鼻部检测；若未检测到口部和鼻部，则判定口罩位置状态是遮盖口鼻；若检测到鼻部且未检测到口部，则判定口罩位置状态是仅遮盖口部；若同时检测到口部和鼻部，则判定口罩位置状态是未遮盖口鼻。
[0100]
在本实施方式中，可以对脸部区域进行口部和鼻部检测，根据检测结果判断口罩位置状态。
[0101]
在本发明实施例的一个实施方式中，步骤s104可以包括以下步骤s1045至步骤s1046：
[0102]
步骤s1045：通过下列步骤s10451至步骤s10453训练口罩识别模型：
[0103]
步骤s10451：获取包含多张经过标注的行人图像的第三训练集，第三训练集包括第三样本，第三样本为行人图像，第三样本的样本标签为标注的口罩佩戴状态；其中，标注的口罩佩戴状态至少包括：行人图像中的行人是否佩戴口罩(佩戴口罩、未佩戴口罩或未知)以及当行人佩戴口罩时的口罩位置状态(遮盖口鼻、仅遮盖口部、未遮盖口鼻或未知)。
[0104]
步骤s10452：对第三样本进行数据增强处理，获取第四样本，第四样本的样本标签与对应的第三样本的样本标签相同，第三样本和第四样本组成第四训练集；
[0105]
步骤s10453：应用第四训练集训练口罩识别模型。
[0106]
在本实施方式中，可以通过上述步骤s10451至步骤s10453训练口罩识别模型，其中应用数据增强处理，增加行人图像模糊、遮挡、截断、复杂姿态等场景的样本，增加难样本的学习概率，使得训练的口罩识别模型能够获得更好的识别效果。数据增强处理包括但不限于：高斯模糊、运动模糊、随机擦除、半身遮挡、随机裁剪、半身截断等。
[0107]
一个实施方式中，可以使用机器学习的方法，采用分类算法训练口罩识别模型。
[0108]
步骤s1046：采用训练好的口罩识别模型，并根据头部区域图像识别待识别行人的口罩佩戴状态。
[0109]
在本实施方式中，可以采用训练好的口罩识别模型，对头部区域图像进行识别，获取待识别行人的口罩佩戴状态。
[0110]
一个实施方式，参阅附图2和附图3，图2是根据本发明实施例的一个实施方式的人体关键点识别模型框架示意图，图3是根据本发明实施例的一个实施方式的行人的口罩佩戴状态识别方法的主要步骤流程示意图。如图3所示，在本实施方式中，行人的口罩佩戴状态识别方法包括以下步骤：
[0111]
步骤s201：获取待识别行人的行人图像。
[0112]
在本实施方式中，可以获取待识别行人的行人图像并将待识别行人的行人图像输入至人体关键点识别模型。
[0113]
步骤s202：通过人体关键点识别模型进行人体关键点识别。
[0114]
在本实施方式中，可以通过人体关键点识别模型对步骤s201输入的行人图像进行人体关键点识别。
[0115]
步骤s203：获取人体关键点识别模型输出的人体关键点的可预测性信息和人体关键点的位置。
[0116]
在本实施方式中，人体关键点识别模型可以对行人图像进行人体关键点识别。如图2所示，在待识别行人的行人图像输入至人体关键点识别模型后，通过人体关键点识别模型中的分类网络获取人体关键点的可预测性信息，并应用人体关键点识别模型中的回归网络对人体关键点进行位置回归，分别获取到人体关键点的可预测性信息和人体关键点在行人图像的位置。其中，人体关键点识别模型可以为基于卷积神经网络的识别模型，卷积神经网络包括但不限于resnet，vgg，hrnet，mobilenet等，人体关键点识别模型的分类网络和回归网络可以采用卷积神经网络中常用的网络结构实现，网络结构包括但不限于：全连接网络结构，1x1卷积网络结构，池化网络结构等，也可以应用基于heatmap热力图建立的人体关键点识别模型对行人图像进行人体关键点识别。
[0117]
步骤s204：判断人体关键点13、14、1、2的可预测信息是否均为可预测，若是，则跳转至步骤s205，若否，则跳转至步骤s209。
[0118]
步骤s205：通过头部区域抠图模型并根据人体关键点13、14、1、2获取待识别行人的头部区域图像。
[0119]
在本实施方式中，可以使用头部区域抠图模型，根据人体关键点的可预测性信息的类别和人体关键点的坐标，获取待识别行人的头部区域图像。
[0120]
步骤s206：根据头部区域图像，通过口罩识别模型，识别待识别行人的口罩佩戴状态。
[0121]
在本实施方式中，可以使用口罩识别模型，根据头部区域图像，识别待识别行人的口罩佩戴状态。口罩识别模型可以使用特征提取网络从头部区域图像中提取头部区域头像的图像特征，根据图像特征确定待识别行人是否佩戴口罩以及口罩的位置信息。特征提取网络包括但不限于resnet，vgg，googlenet，mobilenet等。
[0122]
步骤s207：输出是否佩戴口罩；
[0123]
步骤s208：输出口罩位置状态；
[0124]
在本实施方式中，口罩识别模型可以输出待识别行人是否佩戴口罩以及口罩的位置状态。
[0125]
步骤s209：输出未知。
[0126]
在本实施方式中，若人体关键点13、14、1、2中至少一个为不可预测，则可以输出未知信息。
[0127]
步骤s210：应用后处理模块待识别行人的最终口罩佩戴状态。
[0128]
在本实施方式中，可以根据步骤s207、步骤s208、步骤s209的输出结果，应用后处理模块进行后处理。具体为，如果人体关键点13、14、1、2中存在不可预测的人体关键点，则后处理模块的输出为未知；如果是否佩戴口罩输出为未知时，则后处理模块的输出为未知；如果是否佩戴口罩输出为未佩戴口罩，则后处理模块的输出为未佩戴口罩；如果是否佩戴口罩输出为佩戴口罩且口罩位置状态输出为未遮盖口鼻，则后处理模块的输出为佩戴口罩
未遮盖口鼻；如果是否佩戴口罩输出为佩戴口罩且口罩位置状态输出为仅遮盖口部，则后处理模块的输出为佩戴口罩仅遮盖口部；如果是否佩戴口罩输出为佩戴口罩且口罩位置状态输出为遮盖口鼻，则后处理模块的输出为佩戴口罩遮盖口鼻。
[0129]
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
[0130]
进一步，本发明还提供了一种行人的口罩佩戴状态识别系统。
[0131]
参阅附图5，图5是根据本发明的一个实施例的行人的口罩佩戴状态识别系统的主要结构框图。如图5所示，本发明实施例中的行人的口罩佩戴状态识别系统可以包括行人图像获取模块、人体关键点获取模块、头部区域图像获取模块和口罩佩戴状态识别模块。在本实施例中，行人图像获取模块可以被配置为获取待识别行人的行人图像。人体关键点获取模块可以被配置为对行人图像进行人体关键点识别，获取行人图像中待识别行人的人体关键点。头部区域图像获取模块可以被配置为根据人体关键点，获取行人图像中待识别行人的头部区域图像。口罩佩戴状态识别模块可以被配置为根据头部区域图像识别待识别行人的口罩佩戴状态。
[0132]
上述行人的口罩佩戴状态识别系统以用于执行图1所示的行人的口罩佩戴状态识别方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，行人的口罩佩戴状态识别系统的具体工作过程及有关说明，可以参考行人的口罩佩戴状态识别方法的实施例所描述的内容，此处不再赘述。
[0133]
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
[0134]
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的行人的口罩佩戴状态识别方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的行人的口罩佩戴状态识别方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
[0135]
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的行
人的口罩佩戴状态识别方法的程序，该程序可以由处理器加载并运行以实现上述行人的口罩佩戴状态识别方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
[0136]
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
[0137]
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
[0138]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。