一种基于度量学习的安全服检测方法及系统

1.本发明属于目标检测领域，更具体地，涉及一种基于度量学习的安全服检测方法及系统。


背景技术：

2.在工业生产中，安全问题至关重要，安全生产的意识深入人心。安全服是工作人员在生产作业区域必须穿着的防护服装，规范穿着安全服可以有效保护工作人员的躯体，减轻酸碱等危险化学物品对皮肤的侵害。基于工业监控视频在线实时对工作人员穿着安全服状态的检测方法是工业场景中工作人员生命安全的重要保障，对于规范工业管理和安全生产同样重要。目前，大多数工业管理单位多采用人工监督的方法，对于进出生产作业区域的工作人员是否穿着安全服进行肉眼检查，这种原始的检查与监督方式效率低下。
3.当前逐渐出现一些使用目标检测算法的工作人员安全服穿着在线检测系统，但是所针对的安全服目标大多数来源于网络爬取或日常生活场景中的拍摄采集的反光衣背心，针对真实工业场景中的安全服目标非常稀少。且当有新的安全服出现时，需要重新训练模型，无法迅速地进行迭代更新。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于度量学习的安全服检测方法及系统，由此解决现有的检测方法检测精度有待提高的技术问题。
5.为实现上述目的，按照本发明的第一方面，提供了一种基于度量学习的安全服检测方法，包括：
6.s1，采用工作人员图像数据集训练transreid模型；其中，所述工作人员图像数据集为对工业场景监控视频中的各图像帧进行目标检测得到；
7.s2，将待检测的工作人员图像帧进行目标检测后输入至训练好的transreid模型，得到待分类特征图；
8.s3，从目标特征库中确定出与所述待分类特征图距离最近的前m个特征图，确定所述前m个特征图各自的安全服类型；
9.s4，将所述前m个特征图中频次最高的安全服类型作为所述待检测的工作人员图像帧的安全服类型检测结果。
10.按照本发明的第二方面，提供了一种基于度量学习的安全服检测系统，包括：计算机可读存储介质和处理器；
11.所述计算机可读存储介质用于存储可执行指令；
12.所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
13.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
14.1、本发明提供的基于度量学习的安全服检测方法，采用了度量学习中提取特征、计算距离得到目标分类的方式，使用transreid神经网络作为特征提取网络提取工作人员衣物的特征，使用了自注意力机制，可以更好地提取特征。
15.2、本发明提供的基于度量学习的安全服检测方法，在训练transreid神经网络时采用基于迁移学习的训练方法，在训练模型的同时扩充数据集，并在扩充后的数据集上重新训练模型，通过重复此过程可以更快地让模型在安全服分类数据集上得到较好的分类结果，同时也可以在之后的工作中半自动地标注大部分数据，而不需要一开始就标好上千张图片。
16.3、本发明提供的基于度量学习的安全服检测方法，当有新的安全服类型出现时，能够地在不重新训练模型的情况下，通过调整特征库中的图片来检测新的安全服以及优化检测效果。
附图说明
17.图1为本发明提供的基于度量学习的安全服检测方法流程图之一；
18.图2为本发明提供的基于度量学习的安全服检测方法流程图之二；
19.图3为本发明提供的基于度量学习的安全服检测方法流程图之三；
20.图4为本发明使用的transreid中的vit_jpm结构图；
21.图5为本发明所检测的裁剪过的工作人员图片样例示意图；
22.图6为本发明提供的安全服分类模型分类流程图；
23.图7为本发明在安全服模板库中添加标签为“13”的衣服种类前后检测结果对比图。
具体实施方式
24.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
25.当前的检测方法主要使用计算机视觉技术，基于视觉方法面向摄像头记录工作现场的图像或视频。具体有使用实例分割将人体检测分为头部、身体躯干上半部分与下半部分，并在hog提取三部分的特征后使用支持向量机对工作人员是否穿着安全服的情况进行分类。近些年，随着图形处理器硬件资源增长与深度学习相关研究的逐渐深入，基于深度学习的目标检测算法在计算机视觉任务中被广泛使用。例如，一种基于改进的yolov3算法用作安全服检测，通过扩张原有yolov3图像输入尺寸完成多尺度侦测，在不同分辨率测试下准确度更高。或是针对不同服装外观形状与材料构成差异导致的特征多样性问题，使用yolov4对人体上半身、下半身衣物以及携带的物品进行检测，并借助迁移学习的方法对以上目标详细分类，提出了yolov4双阶段检测算法。
26.目前对于安全服检测的问题已经有了很多的研究方案，但仍然存在以下问题：
27.1、现有研究方案所检测的安全服对象大多数来源于网络爬取或日常生活场景中的拍摄采集的反光衣背心，缺乏面向真实工业场景中的安全服目标检测方法；
28.2、在实际应用中，往往会有新的安全服出现，当有新的衣服种类出现时，现有的算法只能重新训练模型，需要专业人员进行维护；
29.3、现有解决方案所采用的目标分类技术手段较为落后。当前研究人员完成相关目标检测任务所采用的算法均采用卷积神经网络作为特征提取网络，不久前，对于最新在计算机视觉领域应用的transformer网络的具体使用相关研究还比较稀少。
30.基于此，本发明实施例提供一种基于度量学习的安全服检测方法，如图1所示，包括：
31.s1，采用工作人员图像数据集训练transreid模型；其中，所述工作人员图像数据集为对工业场景监控视频中的各图像帧进行目标检测得到。
32.具体地，工作人员图像数据集中的每一张工作人员图像，均已标注了相应的工作人员的安全服类型。
33.优选地，所述目标检测基于预先训练好的yolov5模型实现；训练样本为包含工作人员的图片帧，标签为工作人员在图像帧中的坐标，得到训练好的yolov5模型，作为目标检测模型，用于对包含工作人员的图片帧进行裁剪，得到工作人员全身图像，如图6所示。
34.上述训练集的构建方式为：从真实工业场景监控视频中提取包含工作人员的图片帧，对每个图片帧中的工作人员进行标注。
35.提取图片帧的方式如下：将读取到的监控视频流第一帧图像设为背景帧，将静止不动对象设置为背景，使用背景建模算法提取运动目标对象；并计算后续帧与当前背景帧之间的差值，如果差值大于阈值t，则更新背景帧，否则继续读取直到视频结束为止；如果差值小于阈值t，则计算运动目标对象的移动轮廓面积，如果移动轮廓面积大于阈值t’，保存该图像帧，否则继续读取下一帧。将对监控视频感兴趣片段中的行人检测转换为对视频画面中运动目标对象的检测，对监控视频数据进行自动挑选，能够提高了数据预处理效率。
36.优选地，在所述对工业场景监控视频中的各图像帧进行目标检测之前，还包括：
37.删除所述工业场景监控视频中不存在工作人员的图像帧。
38.s2，将待检测的工作人员图像帧进行目标检测后输入至训练好的transreid模型，得到待分类特征图。
39.具体地，将待检测的工业场景监控视频中的各图像帧进行目标检测，得到裁剪后的工作人员全身图像，并输入至训练好的transreid模型，得到待分类特征图。
40.s3，从目标特征库中确定出与所述待分类特征图距离最近的前m个特征图，确定所述前m个特征图各自的安全服类型。
41.优选地，所述距离为欧式距离或余弦距离。
42.s4，将所述前m个特征图中频次最高的安全服类型作为所述待检测的工作人员图像帧的安全服类型检测结果。
43.上述步骤s3-s4是对待分类特征图进行分类以得到安全服类型，可看做是分类器根据目标特征库执行的分类操作。
44.优选地，transreid模型的训练过程包括：
45.s11，将工作人员图像数据集划分为n个数据集；
46.s12，采用第一个数据集训练初始transreid模型，得到第一次训练好的transreid模型；将第一个数据集输入第一次训练好的transreid模型进行特征提取，得到第一特征
库；将第二个数据集输入第一次训练好的transreid模型进行特征提取后，基于第一特征库得到第一分类结果(即根据第一特征库，对得到的第二个数据集输入第一次训练好的transreid模型得到的各特征图的安全服分类结果)；若所述第一分类结果中存在标注错误的图像，则将其标注进行人工修正后更新第一数据集；采用更新后的第一数据集第二次训练transreid模型，得到第二次训练好的transreid模型，将更新后的第一数据集输入第二次训练好的transreid模型，得到第二特征库；
47.s13，将第三个数据集输入第二次训练好的transreid模型进行特征提取后，基于第二特征库得到第二分类结果；若所述第二分类结果中存在标注错误的图像，则将其标注进行人工修正后再次更新第一数据集；采用再次更新后的第一数据集第三次训练transreid模型，得到第三次训练好的transreid模型及第三特征库；重复迭代，直至将第n个数据集输入第n-1次训练好的transreid模型进行特征提取后，基于第n-1特征库得到的第n-1分类结果准确度高于阈值；将第n-1次训练好的transreid模型作为最终训练好的transreid模型，第n-1特征库作为目标特征库。
48.优选地，若出现新的安全服种类，则将工作人员穿着该新的安全服种类的图像帧进行目标检测后输入至训练好的transreid模型得到的特征图增加至所述目标特征库中，即可对新的安全服种类进行识别。
49.如图2所示，下面以一个具体的例子对本发明提供的方法进行进一步说明。
50.s1、收集真实工业场景中监控视频数据，将监控视频画面中不存在工作人员的图像定义为检测背景，对所获取到的工业监控视频数据进行预处理，筛除监控视频数据中背景图像帧，保留监控画面中存在工作人员的图像。对图像中的工作人员采用labelimg标注工具进行标注，将图片中人员标注为“person”，得到工作人员目标检测数据集，采用工作人员目标检测数据集训练yolov5模型。
51.具体训练步骤为，从yolov5官网下载预训练模型与网络结构的配置文件，配置文件中包含yolov5模型训练的默认超参数与相关权重值，使用人员目标检测数据集进行训练，得到人员目标检测模型。
52.s1、收集真实工业场景中监控视频数据，对数据集图像中的工作人员采用labelimg标注工具进行标注,得到人员目标检测数据集，包括：
53.s11、获取真实工业场景中的监控视频数据；
54.s12、将监控视频画面中不存在工作人员的图像定义为检测背景，对所获取到的工业监控视频数据进行预处理，筛除监控视频数据中背景图像帧，保留监控画面中存在工作人员的图像；
55.s13、使用labelimg软件对人员目标检测数据集中工作人员进行标注，将图片中人员标注为“person”。
56.s2、训练yolov5模型，得到人员检测模型。具体训练步骤为，从yolov5官网下载预训练模型与网络结构的配置文件，配置文件中包含yolov5模型训练的默认超参数与相关权重值，使用人员目标检测数据集进行训练，得到人员目标检测模型。
57.s3、将收集到的工业视频放入人员检测模型中，得到裁剪后的工作人员图片，如图3所示，使用dukemtmc-reid格式标注部分数据，得到安全服分类数据集(即工作人员图像数据集)，包括：
58.s31、将图片输入至yolov5人员检测模型，可以得到图片中工作人员在图中的长方形区域的坐标，使用opencv裁剪图片得到裁剪过的工作人员的图片；
59.s32、将图片按工作人员所穿衣服种类分类放至不同子文件夹中，最后使用python程序按照dukemtmc-reid格式重命名图片，再按照比例与训练集和测试集中衣服种类无交集的原则划分训练集与测试集，得到安全服分类数据集。
60.s4、使用安全服分类数据集训练transreid网络，初步得到安全服分类模型。
61.具体训练步骤为，从网上下载transreid作者提供的预训练权重，如图4所示，选用无摄像头信息、有局部特征的vit_jpm模型，配置文件中模型训练的默认超参数与相关权重值，使用安全服分类数据集进行训练。
62.s5、使用得到的安全服分类模型(包括transreid网络和分类器)对更多裁剪过的工作人员的图片进行自动标注，人工纠正标注错误的标签，更新安全服数据集，包括：
63.s51、将裁剪过的工作人员的图片输入到安全服分类模型中，可以得到各图片的特征，将特征与数据集中图片的特征计算距离，本发明中计算的是欧式距离，由于模板库中图片可能存在极端情况，即存在几张不同标签的图片反而比同标签的图片提取得到的特征距离更近，如图5所示，取距离前5近的结果中，频次最高的标签为各图片中安全服的预测类型(当标签数量相同时，取距离最近的)，根据dukemtmc-reid格式重命名图片，即可得到标注过的图片；
64.s52、人工对s51中标注过的图片进行筛查，将错误标注的图片的标签更改为正确的标签，如果该图片中的衣服不在模板库就标注为新的标签；
65.s53、将标注过的裁剪后的工作人员的图片按照标签与比例添加到安全服分类模型中，扩充安全服分类数据集。
66.s6、使用更新后的安全服数据集训练transreid网络，得到新的安全服分类模型，判断得到的安全服分类模型是否满足实际使用需求(安全服类型监测准确率是否达到阈值)，若不满足，回到步骤s5，若满足，到步骤s7；
67.步骤s6中得到满足实际使用要求的安全服分类网络包含训练模型与判断模型是否达到实际使用需求，具体步骤如下：
68.s61、训练模型步骤与s4类似，仅仅使用的数据集不同，即可得到新的安全服分类模型；
69.s62、使用图3所示的安全服检测系统对一段视频进行检测，使用安全服分类数据集中的所有图片作为安全服模板库，查看检测效果，判断是否达到实际使用的要求。
70.s7、使用安全服分类数据集中的数据初步建立安全服模板库：根据实际使用需求，从安全服分类数据集中选取需要检测种类的衣服图片添加到安全服模板库中，为了实现图7所示的功能，添加各个标签的图片不能少于5张。
71.s8、根据需求扩充安全服模板库，使用transreid模型提取安全服模板库中图片的特征，得到安全服特征库并判断是否有新类型的衣服需要加入模板库或存在误检，如果是，重复s8，如果不是，得到安全服分类特征库。
72.s8中根据需求扩充安全服模板库，并更新安全服特征库，具体步骤如下：
73.s81、当有新种类的衣服需要添加到库中时，截取5张以上工作人员穿着该种类衣服的裁剪后的图片标注后放入安全服模板库中，跳转至步骤s83，没有新种类衣服，至步骤
s82；
74.s82、在检测过程中如发现有错误分类现象，截图并将图片正确标注后放入安全服模板库中，跳转至步骤s83；
75.s83、使用transreid模型提取安全服模板库中图片的特征，得到安全服模板库。
76.本发明实施例提供一种基于度量学习的安全服检测系统，包括：计算机可读存储介质和处理器；
77.所述计算机可读存储介质用于存储可执行指令；
78.所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。
79.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。