一种安全帽识别装置的制作方法

1.本实用新型涉及安全帽识别技术领域，特别是涉及一种安全帽识别装置。


背景技术：

2.随着中国新基建的不断展开，工程建设的快速发展，高层建筑、大跨度结构、深基础施工的数量日益增多，建筑工地的安全问题也备受关注，在建筑工地作业的工人不断增加，为了防止或者有效减轻作业人员收到高空物体坠落、物体碰撞对头部造成的伤害，工地场所佩戴安全帽是最根本的需求。但是工地中仍然存在作业人员自身安全意识差或工地管理不善等因素导致作业人员未能佩戴安全帽。一旦发生事故，对家庭、工地等的影响是非常大的。
3.现有的安全帽检测系统一般通过固定摄像头完成安全帽的图像采集，通过对固定摄像头采集的图像进行识别，确定安全帽的佩戴情况，而固定摄像头的铺设成本高，同时设备移动较困难，存在一定的工作盲区，在死角内的作业人员的工作情况均无法有效采集。


技术实现要素：

4.本实用新型的目的是提供一种安全帽识别装置，采用的是无人机搭载云台相机进行视频图像采集，不仅能降低巡检成本，还能对区域内的图像全方位的采集，实现区域内安全帽的全方位识别。
5.为实现上述目的，本实用新型提供了如下方案：
6.一种安全帽识别装置，包括：控制端、无人机和设置在所述无人机上的云台相机；
7.所述控制端与所述无人机连接；所述无人机与所述云台相机连接；所述无人机用于接收所述云台相机采集到的目标区域的视频图像，并将所述视频图像发送至所述控制端；所述控制端用于输出安全帽识别结果。
8.可选地，所述安全帽识别装置，还包括：设置在所述无人机上的安全提示模块；所述安全提示模块与所述无人机连接；
9.所述安全提示模块与所述无人机连接；所述无人机还用于接收所述控制端发送的安全帽识别结果；所述安全提示模块用于向所述目标区域内未佩戴安全帽的人员发出警示信号。
10.可选地，所述安全帽识别装置，还包括：设置在所述无人机上的数传模块；
11.所述数传模块分别与所述控制端和所述无人机连接；所述数传模块用于将所述控制端发出的所述安全帽识别结果发送至所述无人机。
12.可选地，所述安全帽识别装置，还包括：设置在所述无人机上的图传模块；
13.所述图传模块分别与所述控制端和所述无人机连接；所述图传模块用于将所述云台相机采集的目标区域的视频图像发送至所述控制端。
14.可选地，所述云台相机为二维相机或三维相机。
15.可选地，所述无人机为四轴固定翼飞行器或六轴固定翼飞行器。
16.可选地，所述图传模块为型号为ts832的图传发射接收器。
17.根据本实用新型提供的具体实施例，本实用新型公开了以下技术效果：
18.本实用新型实施例提供了一种安全帽识别装置，该装置包括：控制端、无人机和设置在无人机上的云台相机，通过无人机搭载云台相机对目标区域进行移动拍摄，解决了固定摄像头巡检成本高，且存在巡检盲区的问题，本实用新型实施例不仅巡检成本低，而且能对目标区域进行全方位的视频图像的采集，从而实现目标区域内安全帽的全方位识别。
附图说明
19.为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1为本实用新型实施例提供的无人机的结构示意图。
21.图2为本实用新型实施例提供的安全帽识别装置的结构示意图。
22.图3为本实用新型实施例提供的安全帽识别装置的实现过程示意图。
23.图4为控制端中内置的yolov5网络的结构图。
24.图5为yolov5网络中的spp结构图。
25.图6为本实用新型实施例提供的yolov5网络中的改进的spp结构图。
26.符号说明：图传模块-1，数传模块-2，云台相机-3，安全提示模块-4，飞行器-5，控制端-a，目标区域-b。
具体实施方式
27.下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
28.为使本实用新型的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本实用新型作进一步详细的说明。
29.参见图1，本实施例提供的安全帽识别装置，包括：控制端a、无人机和设置在无人机上的云台相机3；控制端a与无人机连接；无人机与云台相机3连接；控制端a向无人机发送巡检指令；无人机当接收到巡检指令时控制云台相机3采集目标区域b的视频图像，并将视频图像发送至控制端a；控制端a还由视频图像对目标区域b内的安全帽的佩戴情况进行识别，得到安全帽识别结果。本实施例中，控制端a内置有现有的图像处理算法可以对施工人员的安全帽佩戴情况进行识别，例如可以采用现有的通过建立图像模型的方式分析出目标区域b施工人员的安全帽佩戴情况，具体识别的图像处理方式在此不做限定。
30.在一个示例中，参见图1或图2，安全帽识别装置，还包括：设置在无人机上的安全提示模块4。安全提示模块4与无人机连接；无人机还接收控制端a发送的安全帽识别结果，并控制安全提示模块4向目标区域b内未佩戴安全帽的施工人员发出警示信号。所述安全提示模块4可以为音响。
31.在一个示例中，参见图1或图2，安全帽识别装置，还包括：设置在无人机上的数传模块2。
32.数传模块2分别与控制端a和无人机连接；数传模块2用于将控制端a发出的巡检指令和安全帽识别结果发送至无人机。数传模块2的型号和安装在无人机上的位置在此不做限定，本领域的人员可根据自己的需求选择任何一种数传模块2，本实施使用的数传模块2的型号为433hz 100mw的holybro telemetry radio，本实施例的数传模块2安装在无人机的上方。
33.在一个示例中，参见图1或图2，安全帽识别装置，还包括：设置在无人机上的图传模块1。
34.图传模块1分别与控制端a和无人机连接；可以采用图传模块1将云台相机3采集的目标区域b的视频图像发送至控制端a。
35.图传模块1和数传模块2与控制端a的连接方式在此不做限定，本实施例图传模块1和数传模块2块与控制端a是采用无线通信的方式进行连接，且无线通信使用wifi无线方案或zigbee无线方案。
36.进一步具体的，参见图1或图2，图传模块1的型号和安装在无人机上的位置在此不做限定，本领域的人员可根据自己的需求选择任何一种能进行图像视频传输的图传模块1，本实施使用的图传模块1是型号为ts832的图传发射接收器，本实施例的图传模块1安装在无人机的上方。
37.在一个示例中，参见图1或图2，云台相机3为二维相机或三维相机，云台相机3的型号和安装在无人机上的位置在此不做限定，本实施例使用的云台相机3是飞萤8se，本实施例的云台相机3固定在无人机的下侧，云台相机3通过两个维度的旋转运动，可以实现对目标区域b的视频图像采集。
38.在一个示例中，无人机为四轴固定翼飞行器5或六轴固定翼飞行器5。
39.整个无人机识别系统工作的具体步骤如下：
40.s11：无人机接收到控制端a发送的巡检指令后巡航到目标区域b，无人机上的云台相机3通过拍照的方式进行视频图像采集，并通过图传模块1将视频图像传输到控制端a。
41.s12：在目标区域b周围的宽阔地带可以配备多架无人机，在无人机不执行巡逻命令时，则处于充电状态，在无人机接收到控制端a发送的巡检命令时，断开充电，整个巡检过程无人机能够实现自动起飞，降落，充电等功能。
42.s13：无人机按照指定轨迹飞行目标区域b的视频图像，并通过图传模块1实时将数据传输到控制端a。
43.s14：控制端a接收到视频图像并进行进一步处理后，识别目标区域b的施工人员是否佩戴安全帽，将安全帽识别结果通过数传模块2反馈到无人机端。
44.s15：控制端a控制安全提示模块4向目标区域b内未佩戴安全帽的施工人员发出警示信号，无人机将悬停在空中，无人机上的安全提示模块4进行广播，之后无人机完成巡检任务时，自动返回到固定区域内，或在在监测到电池容量低于设定值时，通过控制终端控制返回固定区域，同时安排另一架无人机接替巡检任务，在完成任务后返回固定停落点。
45.本实施例的安全帽识别装置可采用如下识别方式实现：
46.获取目标区域b的视频图像；视频图像是无人机上的云台相机3对目标区域b进行
拍摄得到的；通过将视频图像输入安全帽识别模型中，得到安全帽识别结果；安全帽识别模型为采用训练集对yolov5网络进行训练得到的。
47.控制端a对视频图像进行识别时，可以采用现有的图像处理算法，例如可以采用搭建现有的yolov5经典算法，进行模型训练，得到模型参数，然后对接收的视频、图片中的信息进行识别，识别出施工人员是否佩戴安全帽。为了有效提高视频、图像中远、小画面中的安全帽的识别率，还可以在yolov5经典算法的基础上对yolov5目标检测网络中的空间金字塔池层(spp模块)进行针对性改进，使得更加适用于本实用新型中画面较远，图像目标占比较小的场景。yolov5是yolo系列最新的检测网络，其最快可达到每秒140帧图像推理速度，满足实时检测需求，相对于yolov4结构更为小巧，权重文件最小为14mb，并且本实施例使用现有的pytorch框架搭建，加速了训练速度。
48.本实施例中控制端a内置的安全帽识别模型，其训练及识别的具体过程可以采用如下方式实现：
49.1、数据采集和数据集构建
50.首先需要采集一定数量的训练集，采集的数据集是通过无人机拍照得到多张较为清晰的图片，这里可以使用较为常用的labelimg开源软件对无人机图像中未佩戴安全帽的施工人员进行标注，标注方式可以采用人工与半自动结合的方式，然后将标注内容存储为xml文本文件用于yolov5模型的训练和测试。之后按照一定的比例将已构建好的数据集划分为训练集、验证集和测试集。
51.2、采用数据集对yolov5网络模型进行训练
52.本实用新型模型训练的操作系统采用ubuntu系统，采用高性能显卡进行运算，通过pytorch架构搭建改进后的yolov5目标检测网络进行训练，参见图4，yolov5的网络结构图，由输入端、基准网络层(backbone)、特征融合层(neck)和输出端(head)构成。
53.输入端输入要识别的图片，沿用yolov4的马赛克(mosaic)数据增强，用来提升该模型的训练速度和网络精度，输入端包含了训练数据集图像的预处理阶段。
54.基准网络层(backbone)通常是一些性能优异的分类器种的网络，该网络层用来提取图像信息中的特征信息，包括切片结构(focus)、cbl单元、csp单元和空间金字塔池层(spp模块)。
55.参见图5和图6，spp模块采用不同尺寸的池化窗口对提取特征信息之后的特征图做池化操作，再融合形成池化特征；可以将任意尺寸大小的特征图池化生成固定大小的特征图，可提高检测的精度。本实用新型为了增加感受视野，提高网络对小目标的检测能力，在原始的spp模块的三个池化窗口的基础上增加两个池化窗口。
56.特征融合层(neck)通常位于基准网络和头网络的中间位置，进一步提升特征的多样性及鲁棒性。该网络层主要用于生成特征金字塔，特征金字塔会增强模型对于不同缩放尺度对象的检测，从而能够识别不同大小和尺度的同一个物体。
57.输出端(head)用来完成目标检测结果的输出。输出端将最终得到的三个特征图像进行张量拼接，得到关于拼接特征图的维度矩阵，然后通过计算边界框损失和利用非极大值抑制方法确定模型识别出的所有未佩戴安全帽施工人员目标。
58.在网络模型训练阶段，输入设定图片的尺寸、batchsize(批大小)值、epoch(一代训练)值，并使用可视化工具wandb追踪模型训练的整个过程，设定初始训练学习率，在迭代
之后将学习率调大，同时设定学习率动量、权重衰减系数、iou阈值。使用改进后的yolov5目标检测网络模型进行训练，得到权重文件，作为后续测试和识别的依据，可以结合自制数据集进行检测，验证网络模型的训练效果，经训练和验证后的yolov5网络模型即为本实施例中的安全帽识别模型。
59.3、模型识别
60.经过安全帽识别模型进行识别的过程是：yolov5网络通过一系列的卷积、归一化、激活、池化、上采样等操作将输入尺寸为640
×
640的图片上的特征进行特征提取，得到尺寸为20*20*21，40*40*21，80*80*21的向量，其中20*20、40*40、80*80为输出向量的尺寸，21为输出向量的深度，输出向量表示三个预测目标位置的预测框，每一个预测框包含一个是否包含目标的概率值，四个表示预测框位置的坐标值，两个表示所包含目标为哪个类别的概率值，把利用权重文件作为识别依据得到最优的预测框，即最终的输出框。对于640
×
640的图片，经过yolov5之后输出多个先验框。这些先验框存在大量的冗余，然后通过计算边界框损失和利用非极大值抑制方法(nms)进行筛选。
61.非极大值抑制方法(nms)利用每个维度矩阵所包含的先验框，同时比较每个维度矩阵的置信度，最终确定出所有局部位置置信度最高的先验框。具体过程是是首先从所有的先验框中找到置信度最大者，然后逐个计算其与剩余框的交并比，如果其值大于设定阈值，代表重合度过高，即表明所标记的是同一目标，则将该框剔除；若其值小于设定阈值，则说明重合度很低，即表明标记的是不同目标，则对该先验框暂时保留，然后对剩余的先验框重复上述过程，直到处理完所有的先验框，并选定该最大置信度的先验框为第一个目标，这时会达到一个目标只保留一个先验框的目的。经过上述所有步骤后，开始进行反复迭代计算预测框与真实框的损失。当损失的值最小的时候的输出值为最优的坐标偏移值、置信度得分和类别概率，然后使用最优的坐标偏移值去调整先验框的位置，使之与真实框无限接近。
62.针对小目标检测中，中心点距离的影响相较于长宽比更大，使用diou(distance interp overunion)损失相比于ciou(completeinterp overunion)损失和giou(generalizedinterp overunion)损失对于小目标的检测效果更好，因此计算损失采用diou_loss做边界框的损失函数进行计算。diou_loss计算损失的过程如式所示：
[0063][0064]
其中，b、b
gt
分别代表了预测框和真实框的中心点，ρ代表两个中心点的欧氏距离，c代表最小外接矩形的对角线长度，iou(intersection overunion，)用预测框与真实框的交并比来表征，l
diou
代表diou损失。
[0065]
为了进一步提高目标检测模型对安全帽检测的准确性，采用融合卷积层与bn(batchnormalization)层方法提升推理速度：
[0066][0067]
其中，wi'为合并后的权值参数，β'为合并后的偏置，xi为上一层的输出，n代表模型训练中的n个样例，x
out
为全连接输出。
[0068]
最后，将无人机拍摄到的图片视频逐帧输入到安全帽识别模型中，经过安全帽识别模型后，将施工人员未佩戴安全帽的识结果转化成一种标签，然后通过数传模块2进行传输到无人机，无人机端接收到未佩戴安全帽的信号后悬停广播，并在任务结束后返回固定停落点。
[0069]
与现有技术相比，本实用新型提供的安全帽识别装置的具有以下明显的优势和有益效果：
[0070]
1、现有的安全帽识别装置一般都有固定摄像头设备组成，然后通过数据传输到控制端a，完成安全帽的识别，固定摄像头的铺设成本高，同时设备移动较困难。本实用新型采用无人机搭载云台相机3，无人机按照任务分配的指令进行目标区域b巡检，并进行安全帽的检测，并实时提醒警告，提高了工作效率，降低了巡检成本。
[0071]
2、现有的固定摄像头，在进行视频采集时，存在一定的工作盲区，在死角内的施工人员的工作情况均无法有效采集。本实用新型中采用的是无人机搭载二维云台进行视频采集，可以全方位的对区域内的图像进行采集，有效避免了盲区无法进行视频采集的情况，大大提高了巡检效率。
[0072]
3、现在的图像采集设备采用固定摄像头的形式，检测人员进行查看时经常采用是多个摄像头多个显示设备的形式，检测的效率比较低。本实用新型中采用时单个控制终端进行控制和显示，有效提高了监测效率，也提高了控制终端可移动的便利性。
[0073]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0074]
本文中应用了具体个例对本实用新型的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本实用新型的方法及其核心思想；同时，对于本领域的一般技术人员，依据本实用新型的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本实用新型的限制。