一种安全员位置检测方法及系统与流程

1.本发明涉及一种安全员位置检测方法及系统，属于计算机视觉图像处理技术领域。


背景技术：

2.在基建场景下，安全员负责现场的安全管理，对于整个建筑项目的完成起着至关重要的作用，安全员若不在现场，整个项目就存在巨大的安全隐患。对于传统的做法，是在建筑工地设立一个俯视的摄像头，人工的寻找安全员是否在场，这样的做法不仅浪费多余的人力，效果低下，且人工观测受天气、光照等外在因素影响，不能准确的获得安全员的所在位置。


技术实现要素：

3.本发明所要解决的技术问题是克服现有技术的缺陷，提供一种安全员位置检测方法及系统。
4.为解决上述技术问题，本发明提供一种安全员位置检测方法，获取基建场景下的实时图像；
5.将实时图像输入到预先训练好的基于颜色空间转换融合神经网络模型；
6.输出安全员位置信息。
7.进一步的，所述基于颜色空间转换融合神经网络模型的训练过程包括：
8.通过摄像头采集待测量区域内的图像，对所采集的图像进行数据清洗，提取出有效的图像，框出安全员穿戴的安全马甲的图像区域并打上类别标签作为训练图像；
9.将神经网络的53个卷积层在imagenet数据集上进行预训练，确定这些卷积层之间的权重；
10.将训练图像输入到预训练后的神经网络，经过卷积层提取特征之后通过全连接层进行分类，根据损失函数算出预测值与真实值之间的损失，通过反向传播算法调整神经网络各个隐层的权重，当损失值下降到预先设置阈值时，停止训练，确定最终的神经网络。
11.进一步的，所述有效的图像为保留安全员红色马甲特征明显的图像。
12.进一步的，所述损失函数为：
[0013][0014]
其中，λ
coord
表示定位损失权重，λ
noobj
表示不包含目标的网格的置信度损失权重，s2表示训练图像在预训练后的神经网络中，在逻辑上被分割成格子的个数，b表示每个格子预测的边界框个数，x,y,w,h,c,pi(c)分别是真实框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，分别是预测框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，ι表示边界框中是否包含物体，i表示第i个格子，j表示第j个边界框，其中，
[0015][0016][0017]
公式(1)中第一项代表坐标的误差，第二项代表边界框宽和高的误差，第三项代表边界框包含物体时的置信度误差，第四项代表边界框不包含物体时的置信度误差，第五项代表格子中包含物体的类别误差。
[0018]
进一步的，所述输出安全员位置信息的过程包括：
[0019]
获取利用基于颜色空间转换融合神经网络模型实时处理后得到的一个张量t，所述张量t包括预测框的位置以及类别信息；
[0020]
根据张量t对检测到的马甲区域进行hsv颜色空间转化，确定马甲的颜色；
[0021]
根据马甲的颜色确定马甲的区域，最终确定安全员的位置。
[0022]
进一步的，所述张量t的具体确定过程包括：
[0023]
将图像逻辑上划分为若干个格子后，每一个格子含有的两个预测框；
[0024]
所述预测框分别记录着边界框的坐标x、y，边界框的大小w、h以及边界框是否包含物体的置信度c，每个格子还记录着物体属于不同类别的置信度c。
[0025]
进一步的，所述根据张量t对检测到的马甲区域进行hsv颜色空间转化，确定马甲的颜色的过程包括：
[0026]
将rgb颜色空间转化为hsv颜色空间，亮度大于75％并且饱和度大于20％为亮彩色区域，亮度小于25％为黑色区域，亮度大于75％并且饱和度小于20％为白色区域，划分彩色和白色区域，得到hsv图像；
[0027]
对所得hsv图像进行二值化处理，然后进行闭运算，得到平滑轮廓后的图像；
[0028]
对得到平滑轮廓后的图像计算白色像素占边界框中所有像素的比值，确定马甲的
区域。
[0029]
一种安全员位置检测系统，包括：
[0030]
获取模块，用于获取基建场景下的实时图像；
[0031]
输入模块，用于将实时图像输入到预先训练好的基于颜色空间转换融合神经网络模型；
[0032]
输出模块，用于输出安全员位置信息。
[0033]
进一步的，所述输入模块包括模型预训练模块，所述模型预训练模块包括：
[0034]
采集模块，用于通过摄像头采集待测量区域内的图像，对所采集的图像进行数据清洗，提取出有效的图像，框出安全员穿戴的安全马甲的图像区域并打上类别标签作为训练图像；
[0035]
第一确定模块，用于将神经网络的53个卷积层在imagenet数据集上进行预训练，确定这些卷积层之间的权重；
[0036]
第二确定模块，用于将训练图像输入到预训练后的神经网络，经过卷积层提取特征之后通过全连接层进行分类，根据损失函数算出预测值与真实值之间的损失，通过反向传播算法调整神经网络各个隐层的权重，当损失值下降到预先设置阈值时，停止训练，确定最终的神经网络。
[0037]
进一步的，所述第二确定模块包括函数确定模块，用于确定所述损失函数为：
[0038][0039]
其中，λ
coord
表示定位损失权重，λ
noobj
表示不包含目标的网格的置信度损失权重，s2表示训练图像在预训练后的神经网络中，在逻辑上被分割成格子的个数，b表示每个格子预测的边界框个数，x,y,w,h,c,pi(c)分别是真实框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，分别是预测框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，ι表示边界框中是否包含物体，i表示第i个格子，j表示第j个边界框，其中，
[0040][0041][0042]
公式(1)中第一项代表坐标的误差，第二项代表边界框宽和高的误差，第三项代表边界框包含物体时的置信度误差，第四项代表边界框不包含物体时的置信度误差，第五项
代表格子中包含物体的类别误差。
[0043]
进一步的，所述输出模块包括：
[0044]
张量获取模块，用于获取利用基于颜色空间转换融合神经网络模型实时处理后得到的一个张量t，所述张量t包括预测框的位置以及类别信息；
[0045]
颜色确定模块，用于根据张量t对检测到的马甲区域进行hsv颜色空间转化，确定马甲的颜色；
[0046]
位置确定模块，用于根据马甲的颜色确定马甲的区域，最终确定安全员的位置。
[0047]
进一步的，所述张量获取模块包括张量确定模块，用于将图像逻辑上划分为若干个格子后，每一个格子含有的两个预测框；
[0048]
所述预测框分别记录着边界框的坐标x、y，边界框的大小w、h以及边界框是否包含物体的置信度c，每个格子还记录着物体属于不同类别的置信度c。
[0049]
进一步的，所述颜色确定模块包括：
[0050]
转化模块，用于将rgb颜色空间转化为hsv颜色空间，亮度大于75％并且饱和度大于20％为亮彩色区域，亮度小于25％为黑色区域，亮度大于75％并且饱和度小于20％为白色区域，划分彩色和白色区域，得到hsv图像；
[0051]
计算处理模块，用于对所得hsv图像进行二值化处理，然后进行闭运算，得到平滑轮廓后的图像；
[0052]
区域确定模块，用于对得到平滑轮廓后的图像计算白色像素占边界框中所有像素的比值，确定马甲的区域。
[0053]
本发明所达到的有益效果：
[0054]
本发明只需要安装一个摄像头即可实现，创造性的引入神经网络的方法，通过计算机迭代训练得出安全员的具体特征能够准确地识别出安全员的具体位置。本发明节省人力资源，且受环境因素影响较小，具有很好的稳定性以及鲁棒性。
附图说明
[0055]
图1是本发明安全员位置检测方法的流程示意图；
[0056]
图2是神经网络训练阶段示意图；
[0057]
图3是安全员实时检测阶段示意图。
具体实施方式
[0058]
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0059]
如图1-3所示，本发明一种安全员位置检测方法包括以下几个部分：
[0060]
1)训练图像预处理方案
[0061]
本发明提出了一种基于颜色空间转换融合神经网络的穿戴检测方法，这种学习是有监督的学习，因此对采集的训练图像要进行预处理，步骤如下：
[0062]
步骤1，利用摄像头采集多个不同场景下的安全员；
[0063]
步骤2，筛去上述图像中受环境因素影响较大的部分，保留安全员红色马甲特征较为明显的图片；
[0064]
步骤3，人工的框出行人以及红色马甲的位置，并为其边界框打上标签。
[0065]
2)深度学习方案
[0066]
将神经网络的53个卷积层在imagenet数据集上进行预训练，得到这些卷积层之间的权重，用于提取图片的特征。
[0067]
将训练图片输入神经网络，经过卷积层提取特征之后通过全连接层进行分类，根据损失函数算出预测值与真实值之间的损失，通过反向传播算法调整神经网络各个隐层的权重，当损失值下降到一定的阈值时，停止训练，得到最终的神经网络。
[0068]
具体的损失函数如公式(1)
[0069][0070]
其中，λ是各项的影响因子，s2表示输入图片逻辑上被分割成格子的个数，b表示每个格子预测的边界框个数，x,y,w,h,c,pi(c)分别是真实框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，分别是预测框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度。ι表示边界框中是否包含物体，其含义如公式(2)(3)
[0071][0072][0073]
公式(1)中第一项代表坐标的误差，第二项代表边界框宽和高的误差，第三项代表边界框包含物体时的置信度误差，第四项代表边界框不包含物体时的置信度误差，第五项代表格子中包含物体的类别误差。
[0074]
相应的本发明还提供一种安全员位置检测系统，包括：
[0075]
获取模块，用于获取基建场景下的实时图像；
[0076]
输入模块，用于将实时图像输入到预先训练好的基于颜色空间转换融合神经网络模型；
[0077]
输出模块，用于输出安全员位置信息。
[0078]
所述输入模块包括模型预训练模块，所述模型预训练模块包括：
[0079]
采集模块，用于通过摄像头采集待测量区域内的图像，对所采集的图像进行数据清洗，提取出有效的图像，框出安全员穿戴的安全马甲的图像区域并打上类别标签作为训练图像；
[0080]
第一确定模块，用于将神经网络的53个卷积层在imagenet数据集上进行预训练，确定这些卷积层之间的权重；
[0081]
第二确定模块，用于将训练图像输入到预训练后的神经网络，经过卷积层提取特征之后通过全连接层进行分类，根据损失函数算出预测值与真实值之间的损失，通过反向传播算法调整神经网络各个隐层的权重，当损失值下降到预先设置阈值时，停止训练，确定最终的神经网络。
[0082]
所述第二确定模块包括函数确定模块，用于确定所述损失函数为：
[0083][0084]
其中，λ
coord
表示定位损失权重，λ
noobj
表示不包含目标的网格的置信度损失权重，s2表示训练图像在预训练后的神经网络中，在逻辑上被分割成格子的个数，b表示每个格子预测的边界框个数，x,y,w,h,c,pi(c)分别是真实框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，分别是预测框的位置、框的宽度、框的高度、框中是否包含物体的置信度以及框中物体属于类别c的置信度，ι表示边界框中是否包含物体，i表示第i个格子，j表示第j个边界框，其中，
[0085][0086][0087]
公式(1)中第一项代表坐标的误差，第二项代表边界框宽和高的误差，第三项代表边界框包含物体时的置信度误差，第四项代表边界框不包含物体时的置信度误差，第五项代表格子中包含物体的类别误差。
[0088]
所述输出模块包括：
[0089]
张量获取模块，用于获取利用基于颜色空间转换融合神经网络模型实时处理后得到的一个张量t，所述张量t包括预测框的位置以及类别信息；
[0090]
颜色确定模块，用于根据张量t对检测到的马甲区域进行hsv颜色空间转化，确定马甲的颜色；
[0091]
位置确定模块，用于根据马甲的颜色确定马甲的区域，最终确定安全员的位置。
[0092]
所述张量获取模块包括张量确定模块，用于将图像逻辑上划分为若干个格子后，每一个格子含有的两个预测框；
[0093]
所述预测框分别记录着边界框的坐标x、y，边界框的大小w、h以及边界框是否包含物体的置信度c，每个格子还记录着物体属于不同类别的置信度c。
[0094]
所述颜色确定模块包括：
[0095]
转化模块，用于将rgb颜色空间转化为hsv颜色空间，亮度大于75％并且饱和度大于20％为亮彩色区域，亮度小于25％为黑色区域，亮度大于75％并且饱和度小于20％为白色区域，划分彩色和白色区域，得到hsv图像；
[0096]
计算处理模块，用于对所得hsv图像进行二值化处理，然后进行闭运算，得到平滑轮廓后的图像；
[0097]
区域确定模块，用于对得到平滑轮廓后的图像计算白色像素占边界框中所有像素的比值，确定马甲的区域。
[0098]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0099]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0100]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0101]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0102]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。