基于深度学习的遗弃口罩检测方法与流程

1.本发明涉及环境保护技术领域，具体为一种基于深度学习的遗弃口罩检测方法，依托于视觉分析技术实现对遗弃口罩进行准确识别，减少遗弃口罩对环境的污染。


背景技术：

2.呼吸道飞沫是病毒的主要传播途径之一，在社交距离难以保持的公共场所戴口罩可以有效降低病毒的传播。佩戴口罩可以过滤携带病毒颗粒的气溶胶，对抑制病毒传播发挥关键作用，但也带来了新的问题。在缺乏安全意识的情况下，使用过的口罩被随意遗弃，成为一种新的安全隐患。
3.由于病毒可以在潮湿条件下存活四到七天天，使用过的口罩可能成为新的感染源。遗弃的口罩不仅对人类安全构成威胁，还直接影响海洋生物、鸟类、渔业、水产养殖，并可能引发更大规模的后续灾害。因此，对遗弃口罩及时妥善处理具有重要意义，而及时发现口罩是能够及时处置的前提。
4.安装在公共区域的视频、相机等设备对遗弃口罩进行实时检测和报警，是及时发现遗弃口罩并迅速处置的一种方法，如公开号为cn215477456u的实用新型专利公开的一种无接触智能识别的废弃口罩收集箱。但遗弃的口罩在地表不仅表现出不同的形态，而且易于与地表的多种地物，如塑料袋、纸片、石头、砖块等混淆，现有的公共区域的视频、相机等通常只用r、g、b三个通道对其进行识别，由于可利用的信息有限，准确度较低。
5.因此，开发一种能够精准识别遗弃口罩的方法成为亟需解决的问题。


技术实现要素：

6.本发明的目的在于提供一种基于深度学习的遗弃口罩检测方法，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：基于深度学习的遗弃口罩检测方法，包括以下步骤：
8.s1.构建遗弃口罩的训练样本图像集；
9.s2.提取训练样本图像集的图像特征数据，获得训练样本的图像特征数据集；所述图像特征数据包括口罩轮廓特征数据和口罩颜色增强特征数据；
10.s3.构建遗弃口罩检测模型并对其训练和验证；
11.s3.1采用图像特征数据集的部分数据对遗弃口罩检测模型进行训练，得到训练后的遗弃口罩检测模型；
12.s3.2采用图像样本数据集的另一部分数据对训练后的遗弃口罩检测模型进行验证，最终得到验证后的遗弃口罩检测模型。
13.s4.采用验证后的遗弃口罩检测模型对待检测图像的遗弃口罩进行检测。
14.进一步地，所述步骤s1的构建方法具体包括：
15.s1.1.获取多组包含遗弃口罩的训练样本图像；
16.s1.2.分别对上述训练样本图像中的遗弃口罩进行标记，获得遗弃口罩的训练样本图像集；
17.进一步地，所述s1.1的获取方法具体为：采用不同高度和角度的相机对不同场景中的遗弃口罩进行拍摄。
18.进一步地，所述s2中的口罩轮廓特征数据包括口罩大面积折痕特征数据、口罩两侧的耳线特征数据和口罩规则的线状结构特征数据中的一种或多种。
19.进一步地，所述s2中的口罩轮廓特征数据的提取方法为canny边缘检测算法。
20.进一步地，所述s2中的口罩颜色增强特征数据包括训练样本图像中每个像素的r通道、g通道、b通道和n通道的像素值，所述n通道为rgb通道信息的权重。
21.进一步地，训练样本图像中的口罩颜色为蓝色时，所述n通道定义为：
[0022][0023]
其中，r
xy g
xy b
xy
分别表示第x行和第y列的r、g、b通道的像素值，n
xy
表示第x行和第y列的n通道的像素值。
[0024]
进一步地，训练样本图像中的口罩颜色为白色时，所述n通道定义为：
[0025][0026]
其中，r
xy g
xy b
xy
分别表示第x行和第y列的r、g、b通道的像素值，n
xy
表示第x行和第y列的n通道的像素值,m为三个通道的平均值。
[0027]
进一步地，训练样本图像中的口罩颜色为黑色时，所述n通道定义为：
[0028][0029]
其中，r
xy g
xy b
xy
分别表示第x行和第y列的r、g、b通道的像素值，n
xy
表示第x行和第y列的n通道的像素值。
[0030]
进一步地，训练样本图像中的口罩颜色为红色时，所述n通道定义为：
[0031][0032]
其中，r
xy g
xy b
xy
分别表示第x行和第y列的r、g、b通道的像素值，n
xy
表示第x行和第y列的n通道的像素值。
[0033]
进一步地，训练样本图像中的口罩颜色为粉色时，所述n通道定义为：
[0034][0035]
其中，r
xy g
xy b
xy
分别表示第x行和第y列的r、g、b通道的像素值，n
xy
表示第x行和第y列的n通道的像素值。
[0036]
进一步地，所述s4中的遗弃口罩检测模型为yolov5s模型。
[0037]
与现有技术相比，本发明的有益效果是：
[0038]
本发明公开的基于深度学习的遗弃口罩检测方法，本技术基于口罩的轮廓特征和口罩的颜色增强特征，将经边缘检测后的口罩轮廓特征数据和增加n通道的口罩颜色增强
特征数据作为数据源，与r、g、b三个通道联合，共同加入到深度学习中，利用改进的yolov5s模型对多类型信息进行学习和挖掘。与仅使用彩色图像的r、g、b三通道作为数据源的口罩识别方法相比，本技术公开的检测方法能够准确地检测出遗弃的口罩，多类型信息融合提高了遗弃口罩的识别精度。
附图说明
[0039]
图1为训练样本图像集中的部分图像；
[0040]
图2为训练样本图像集中的一幅图像；
[0041]
图3为图2中口罩轮廓特征数据的提取结果图；
[0042]
图4为图2中n通道特征图；
[0043]
图5为不同场景下遗弃口罩的部分检测结果图；
[0044]
图6为现有技术采用rgb三通道数据作为遗弃口罩检测模型对不同场景下遗弃口罩检测结果图；
[0045]
图7为本技术采用融合rgb三通道数据以及口罩轮廓特征数据和n通道数据作为遗弃口罩检测模型对不同场景下遗弃口罩检测结果图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
本发明提供一种技术方案：基于深度学习的遗弃口罩检测方法，包括以下步骤：
[0048]
s1.构建遗弃口罩的训练样本图像集，具体包括：
[0049]
s1.1.获取多组包含遗弃口罩的训练样本图像，具体为：采用不同高度和角度的相机对不同场景中的遗弃口罩进行拍摄；
[0050]
s1.2.分别对上述训练样本图像中的遗弃口罩进行标记，获得遗弃口罩的训练样本图像集；
[0051]
s2.提取训练样本图像集的图像特征数据，获得训练样本的图像特征数据集；
[0052]
图像特征数据包括口罩轮廓特征数据和口罩颜色增强特征数据，口罩轮廓特征数据包括口罩大面积折痕特征数据、口罩两侧的耳线特征数据和口罩规则的线状结构特征数据中的一种或多种；口罩轮廓特征数据的提取方法为canny边缘检测算法；
[0053]
口罩颜色增强特征数据包括训练样本图像中每个像素的r通道、g通道、b通道和n通道的像素值，所述n通道为rgb通道信息的权重；
[0054]
当训练样本图像中的口罩颜色为蓝色时，n通道定义为：
[0055][0056]
其中，r
xy g
xy b
xy
分别表示第x行和第y列的r、g、b通道的像素值，n
xy
表示第x行和第y列的n通道的像素值。
[0057]
s3.构建遗弃口罩检测模型并对其训练和验证；
[0058]
s3.1采用图像特征数据集的部分数据对遗弃口罩检测模型进行训练，循环迭代得到训练后的遗弃口罩检测模型；
[0059]
s3.2采用图像特征数据集的另一部分数据对训练后的遗弃口罩检测模型进行验证，最终得到验证后的遗弃口罩检测模型。
[0060]
s4.采用验证后的遗弃口罩检测模型对待检测图像的遗弃口罩进行检测，遗弃口罩检测模型为yolov5s模型。
[0061]
请参阅图1，本实施例采集蓝色医用口罩作为研究对象，从不同高度和角度对不同环境下的遗弃口罩进行拍照，手动标记不同场景中遗弃口罩，生成遗弃口罩的训练样本图像集。
[0062]
图像中的不同对象具有不同的颜色和空间几何特征，口罩主要依靠颜色和形状信息将其与其他对象区分开来。增强图像中物体的边缘和颜色增强特征更有利于识别口罩。因此，本技术对训练样本图像集的图像特征数据提取时创造性的引入了口罩轮廓特征数据和口罩颜色增强特征数据。
[0063]
对于口罩轮廓特征而言，申请人通过对大量口罩结构特别是废弃、遗弃口罩的分析发现，与大部分其它地物相比，口罩有以下几个比较突出的特征：1)普通的一次性口罩大部分有折痕；2)口罩两侧有耳线，属于一个线面的结合体构造。3)口罩有规则的线状结构。不同类型的口罩具备以上一个或者几个特征。而这些特征基本上都可以通过使用边缘检测的方法，将口罩的信息突出出来。因此，识别前对口罩开展边缘轮廓特征提取，可以有效提高检测的精度。边缘轮廓是图像中灰度突变点的集合，对应于频域中的高频信息，包含了图像中大量有用的信息，canny是一种经典的边缘检测算法，它可以从不同的视觉对象中提取有用的结构信息，并大大减少要处理的数据量。本技术使用canny算法获得图像中不同对象的边缘特征。采用高斯滤波对图像进行平滑处理，通过窗口计算灰度梯度的大小和方向。根据灰度直方图的分布，对梯度进行非最大化抑制，采用双阈值方法对候选边缘点进行边缘检测和连接。请参阅图2，不同对象的边缘轮廓清晰。
[0064]
对于口罩颜色增强特征而言，单一、醒目的色调，是常见口罩的另一个重要的特征，医用一次性口罩以蓝色居多，此外还有白色等其它颜色；n95型口罩以白色居多，还有少量黑色色调。这些色调与自然界的大部分地物有一定的差别，可以作为口罩识别的一个重要的辅助信息。因此，为提高口罩的识别精度，使用了图像处理中的增加n通道(颜色增强技术)来增强口罩色调与其它地物色调的差异。增加n通道可以对输入图片的饱和度、亮度以及肤色等进行最优调整。以最常见的蓝色医用口罩为例，图像中的每个像素r、g和b通道，分别代表红色、绿色和蓝色，它们都是区间[0,255]内的整数。为了突出显示蓝色通道信息，添加了一个新的n通道，它是rgb通道数据的权重，请参阅如图3所示，其中b通道的权重高于其他颜色，进而对蓝色图像进行高亮显示，对区分口罩和其他对象有积极作用。
[0065]
在对遗弃口罩检测模型训练过程中，yolo被归类为卷积神经网络(cnn)模型，是基于python的深度学习算法之一。目前有5个主要版本，yolov5s由于其较好的灵活性和较高的效率，在目标检测领域得到了广泛的应用。因此，选择yolov5s作为遗弃口罩检测的基础网络。本技术将yolov5s模型的输入r、g、b通道数据以及口罩轮廓特征数据和n通道数据，改进了输入模块。请参阅图4所示，改进后的yolov5s模型包括四个部分：输入模块、主干模块、颈部模块和头部模块。输入模块的主要功能是数据输入和数据处理。由于原始图像的大小
不是固定的，考虑到计算效率和图像的有效信息，原始图像被重新采样到640*640以反馈给检测网络。为了增加样本的多样性，对图像进行翻转、缩放和改变色域以扩大数据量，这也增强了网络特征学习能力。主干模块主要包括聚焦模块、特征提取网络和相应的激活功能。聚焦模块在图片进入主干网络之前对其进行切片。这样，可以在一定程度上减少模型的计算量，而不会丢失信息，并且可以为后续的特征提取保留更完整的图像采样信息。为了更好地利用主干提取的特征，颈部模块位于主干和头部模块之间。头部模块用于根据提取的特征进行预测。
[0066]
对比试验
[0067]
收集了分布在不同场景中的200张遗弃口罩图像，150张用于训练，50张用于验证。实验是在3.6ghz的intel i9-9900k cpu和nvidia rtx 2080tigpu的计算机上进行的，是在pytork框架下使用python语言开展的。每一步传送到遗弃口罩检测模型的图像数为4个，学习率为0.0001，学习次数为2000年。随着学习次数的增加，损失值逐渐减小。当达到1000时，学习过程趋于稳定，损失值稳定在0.05。经过50张遗弃口罩图像验证后即可开展对口罩的识别，识别后的部分结果请参阅图5。
[0068]
如图6和7，采用现有的rgb三通道数据作为yolov5s模型的输入与本技术的在rgb三通道数据基础上融合口罩轮廓特征和n通道数据作为yolov5s模型的输入对同一组图像中的口罩进行识别比较发现，本技术公开的检测方法对遗弃口罩的识别性能优于rgb三通道的检测结果。在草地、停车场、灌木丛和沥青路面等不同场景中，本技术公开的检测方法对遗弃的口罩的平均识别准确率的平均值为94.3％，高于rgb三通道的检测的平均值为88.8％。此外，该方法还可以准确检测部分遮挡的口罩和折叠的口罩。
[0069]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。