基于深度学习的营运车内人员口罩佩戴状态检查方法与流程

1.本发明涉及图像识别技术领域，特别涉及一种基于深度学习的营运车内人员口罩佩戴状态检查和一种计算机可读存储介质。


背景技术：

2.相关技术中，当需要通过图像识别模型对待检测图像进行识别，以判断人员是否佩戴口罩时。多采用直接将图像输入到统一的识别模型中，以通过一个统一个识别模型对待检测图像进行检测。这种方式在车内人员较多，光线不佳的情况下，检测精度较低，容易出现漏检的情况。


技术实现要素：

3.本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于深度学习的营运车内人员口罩佩戴状态检查方法，能够有效提高营运车辆内人员口罩佩戴状态检测的精准度。
4.本发明的第二个目的在于提出一种计算机可读存储介质。
5.为达到上述目的，本发明第一方面实施例提出了一种基于深度学习的营运车内人员口罩佩戴状态检查方法，包括以下步骤：通过对应所述营运车设置的拍摄装置获取营运车内的待检测图像，并将所述待检测图像输入到预先训练好的人脸检测模型，通过所述人脸检测模型判断所述待检测图像中是否存在人脸，并在判断结果为是时提取所述人脸对应的人脸区域图片；将所述人脸区域图片输入到预先训练好的口罩佩戴检测二分类模型，以通过所述口罩佩戴检测二分类模型判断所述人脸区域图片中的人脸是否佩戴有口罩，并在判断结果为否时进行报警。
6.根据本发明实施例的基于深度学习的营运车内人员口罩佩戴状态检查方法，首先，通过对应所述营运车设置的拍摄装置获取营运车内的待检测图像，并将所述待检测图像输入到预先训练好的人脸检测模型，接着，过所述人脸检测模型判断所述待检测图像中是否存在人脸，并在判断结果为是时提取所述人脸对应的人脸区域图片；然后，将所述人脸区域图片输入到预先训练好的口罩佩戴检测二分类模型，以通过所述口罩佩戴检测二分类模型判断所述人脸区域图片中的人脸是否佩戴有口罩，并在判断结果为否时进行报警；从而实现有效提高营运车辆内人员口罩佩戴状态检测的精准度。
7.另外，根据本发明上述实施例提出的基于深度学习的营运车内人员口罩佩戴状态检查方法还可以具有如下附加的技术特征：
8.可选地，用于训练所述人脸检测模型的人脸检测数据集的获取包括：获取口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集，并对所述口罩遮挡人脸数据集、所述公开数据集和所述营运车历史图像数据集进行标注，以及对标注后的所述口罩遮挡人脸数据集、所述公开数据集和所述营运车历史图像数据集进行数据清洗和数据增强；将数据增强后的所述口罩遮挡人脸数据集、所述公开数据集和所述营运车历史图像数据集转化为统
一格式，并将统一格式后的所述口罩遮挡人脸数据集、所述公开数据集和所述营运车历史图像数据集划分为训练数据集和测试数据集。
9.可选地，所述统一格式为voc数据集格式。
10.可选地，所述数据增强包括对所述口罩遮挡人脸数据集、所述公开数据集和所述营运车历史图像数据集中的图片进行随机扰动、翻转、裁剪和降采样。
11.可选地，所述人脸检测模型采用pyramidbox网络结构。
12.可选地，用于训练所述口罩佩戴检测二分类模型的口罩分类数据集的获取包括：根据标注结果提取所述口罩遮挡人脸数据集、所述公开数据集和所述营运车历史图像数据集中各图像的人脸区域图片，并对提取得到的人脸区域图片进行标注，以生成戴口罩数据集和未戴口罩数据集，并对所述戴口罩数据集和所述未戴口罩数据集中的数据进行数据增强。
13.可选地，在对所述戴口罩数据集和所述未戴口罩数据集中的数据进行数据增强之前，还包括：对所述戴口罩数据集和所述未戴口罩数据集进行过滤，以删除所述戴口罩数据集和所述未戴口罩数据集中单边像素点个数低于像素点个数阈值的图片。
14.可选地，在对所述戴口罩数据集和所述未戴口罩数据集中的数据进行数据增强之前，还包括：对所述戴口罩数据集和所述未戴口罩数据集进行数据平衡，以使得所述戴口罩数据集中图片数量与所述未戴口罩数据集中图片数量的比值大于等于0.4。
15.可选地，所述口罩佩戴检测二分类模型为轻量级卷积神经网络模型，所述口罩佩戴检测二分类模型中包括se模块。
16.为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于深度学习的营运车内人员口罩佩戴状态检查程序，该基于深度学习的营运车内人员口罩佩戴状态检查程序被处理器执行时实现如上述的基于深度学习的营运车内人员口罩佩戴状态检查方法。
17.根据本发明实施例的计算机可读存储介质，通过存储基于深度学习的营运车内人员口罩佩戴状态检查程序，以使得处理器在执行该基于深度学习的营运车内人员口罩佩戴状态检查程序时，实现如上述的基于深度学习的营运车内人员口罩佩戴状态检查方法，从而实现有效提高营运车辆内人员口罩佩戴状态检测的精准度。
附图说明
18.图1为根据本发明实施例的基于深度学习的营运车内人员口罩佩戴状态检查方法的流程示意图。
具体实施方式
19.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
20.相关技术中，进行人员口罩佩戴检查时，在车内人员较多，光线不佳的情况下，检测精度较低，容易出现漏检的情况。根据本发明实施例的基于深度学习的营运车内人员口罩佩戴状态检查方法，首先，通过对应所述营运车设置的拍摄装置获取营运车内的待检测
图像，并将所述待检测图像输入到预先训练好的人脸检测模型，接着，过所述人脸检测模型判断所述待检测图像中是否存在人脸，并在判断结果为是时提取所述人脸对应的人脸区域图片；然后，将所述人脸区域图片输入到预先训练好的口罩佩戴检测二分类模型，以通过所述口罩佩戴检测二分类模型判断所述人脸区域图片中的人脸是否佩戴有口罩，并在判断结果为否时进行报警；从而实现有效提高营运车辆内人员口罩佩戴状态检测的精准度。
21.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
22.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
23.图1为根据本发明实施例的基于深度学习的营运车内人员口罩佩戴状态检查方法的流程示意图，如图1所示，该基于深度学习的营运车内人员口罩佩戴状态检查方法包括以下步骤：
24.s101，通过对应营运车设置的拍摄装置获取营运车内的待检测图像，并将待检测图像输入到预先训练好的人脸检测模型。
25.也就是说，通过设置在营运车(例如，公交车、长途客运汽车、出租车等)上的拍摄装置对营运车内的待检测图像进行获取；其中，获取的方式可以有多种；例如，通过预设时间间隔，以根据时间间隔进行图像的获取；或者，获取车门的开启信息，并在获取到开启信息之后对图像进行获取；接着，将获取到的图像输入到预先训练好的人脸检测模型。
26.s102，通过人脸检测模型判断待检测图像中是否存在人脸，并在判断结果为是时提取人脸对应的人脸区域图片。
27.s103，将人脸区域图片输入到预先训练好的口罩佩戴检测二分类模型，以通过口罩佩戴检测二分类模型判断人脸区域图片中的人脸是否佩戴有口罩，并在判断结果为否时进行报警。
28.即言，在获取到待检测图像之后，首先通过人脸检测模型来判断待检测图像是否存在人脸，并在存在的情况下，提取人脸区域图像；接着，通过口罩佩戴检测二分类模型判断人脸区域图片中的人脸是否佩戴有口罩；从而能够有效提高口罩佩戴检测的准确率。
29.在一些实施例中，用于训练人脸检测模型的人脸检测数据集的获取包括：获取口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集，并对口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集进行标注，以及对标注后的口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集进行数据清洗和数据增强；将数据增强后的口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集转化为统一格式，并将统一格式后的口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集划分为训练数据集和测试数据集。
30.作为一种示例，对于公开数据集，首先，对数据标注情况进行核验；然后，再核验完成后将格式统一转化为.xml格式。而对于营运车历史图像数据集(例如，车载设备拍摄的历史图片数据集)，首先使用labelimg软件进行标注，以标注出该营运车历史图像数据集中每张图片中包含的人脸区域；并在标注完成之后，将数据集转化为voc数据集格式。
31.在一些实施例中，统一格式为voc数据集格式。
32.在一些实施例中，数据增强包括对口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集中的图片进行随机扰动、翻转、裁剪和降采样。
33.在一些实施例中，人脸检测模型采用pyramidbox网络结构。
34.作为一种示例，人脸检测模型采用pyramidbox网络结构；由于模型引入了上下文敏感预测模块，在检测过程中考虑肩膀、身体等上下文信息，在戴口罩、面部被遮挡、图像模糊的情况下，相比于其他通用目标检测算法，人脸检出能力更强。模型能有效提升在机动车内的人脸的检测能力。对训练数据做数据增强，包括随机扰动、翻转、裁剪、降采样等，然后将图片统一缩放至640*640分辨率输入模型，进行训练，最终得到模型预测的人脸边界框信息，检测出图片中所有的人脸位置。
35.在一些实施例中，用于训练口罩佩戴检测二分类模型的口罩分类数据集的获取包括：根据标注结果提取口罩遮挡人脸数据集、公开数据集和营运车历史图像数据集中各图像的人脸区域图片，并对提取得到的人脸区域图片进行标注，以生成戴口罩数据集和未戴口罩数据集，并对戴口罩数据集和未戴口罩数据集中的数据进行数据增强。
36.在一些实施例中，在对戴口罩数据集和未戴口罩数据集中的数据进行数据增强之前，还包括：对戴口罩数据集和未戴口罩数据集进行过滤，以删除戴口罩数据集和未戴口罩数据集中单边像素点个数低于像素点个数阈值的图片。
37.在一些实施例中，在对戴口罩数据集和未戴口罩数据集中的数据进行数据增强之前，还包括：对戴口罩数据集和未戴口罩数据集进行数据平衡，以使得戴口罩数据集中图片数量与未戴口罩数据集中图片数量的比值大于等于0.4。
38.在一些实施例中，口罩佩戴检测二分类模型为轻量级卷积神经网络模型，口罩佩戴检测二分类模型中包括se模块(squeeze-and-excitation模块)。
39.作为一种示例，使用轻量级卷积神经网络模型mobilenet，为了提升识别效果，在网络中增加se(squeeze-and-excitation)模块，将注意力机制引入mobilenet，对于一个h
×w×
c输入图像，通过全局池化(global pooling)和全连接，拉伸成1
×1×
c，然后再与原图像相乘，将每个通道赋予权重。对于口罩识别任务能添加注意力，去除低权重的噪声点，提高识别效果，通过mobilenet se的模型训练一个是否佩戴口罩的二分类识别模型。将检测到的人脸区域图片输入这个分类网络获取最终是否佩戴口罩的结果。
40.综上所述，根据本发明实施例的基于深度学习的营运车内人员口罩佩戴状态检查方法，首先，通过对应所述营运车设置的拍摄装置获取营运车内的待检测图像，并将所述待检测图像输入到预先训练好的人脸检测模型，接着，过所述人脸检测模型判断所述待检测图像中是否存在人脸，并在判断结果为是时提取所述人脸对应的人脸区域图片；然后，将所述人脸区域图片输入到预先训练好的口罩佩戴检测二分类模型，以通过所述口罩佩戴检测二分类模型判断所述人脸区域图片中的人脸是否佩戴有口罩，并在判断结果为否时进行报警；从而实现有效提高营运车辆内人员口罩佩戴状态检测的精准度。
41.为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有基于深度学习的营运车内人员口罩佩戴状态检查程序，该基于深度学习的营运车内人员口罩佩戴状态检查程序被处理器执行时实现如上述的基于深度学习的营运车内人员口罩佩戴状态检查方法。
42.根据本发明实施例的计算机可读存储介质，通过存储基于深度学习的营运车内人
员口罩佩戴状态检查程序，以使得处理器在执行该基于深度学习的营运车内人员口罩佩戴状态检查程序时，实现如上述的基于深度学习的营运车内人员口罩佩戴状态检查方法，从而实现有效提高营运车辆内人员口罩佩戴状态检测的精准度。
43.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
44.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
45.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
46.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
47.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
48.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
49.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
50.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
51.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等
术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
52.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
53.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
54.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。