一种基于深度信息的煤矿井下人员检测方法

1.本发明涉及煤矿井下人员检测的技术领域，具体涉及一种基于深度信息的煤矿井下人员检测方法。


背景技术：

2.煤矿井下机电装备，如：采煤机、钻孔机器人、带式输送机等，日趋重型化及智能化。装备运行过程具有一定危险性与不确定性，其工作区域附近通常禁止矿工靠近。通过智能目标检测技术，精确检测矿井机电装备工作区域的人员，是解决自动目标跟踪、危险区域入侵检测等问题的必要基础。对于预防安全事故的发生及保障煤矿设备的正常运行至关重要。
3.现有的煤矿井下人员检测方法比较依赖图像采集传感器的性能，对光照强度要求高，在光照强度低、光照分布不均的煤矿井下环境下不大适应，容易受到影响，容易出现如下问题：1)煤矿井下全天候人工照明，人工照明不同于自然光，照明度明显较低，并且光照分布不均，会导致图像传感器采集的彩色图像具有不清晰、成像效果差等特点。同时井下人员安全服通常为深色系，与低光照下煤矿井下环境颜色相似，采集的图像中人员的辨识度低。2)伴随着井下人员的活动，其头上佩戴的安全帽头灯的光线照射会加剧煤矿井下环境的光照分布不均匀程度，并且容易使彩色图像中产生光斑、模糊。


技术实现要素：

4.针对上述存在的技术不足，本发明的目的是提供一种基于深度信息的煤矿井下人员检测方法，该方法不受光照影响，在光照强度低、光照分布不均的煤矿井下环境下，能够通过深度信息中提取出工作人员的特征，并最终可应用于实际矿井机电装备工作区域现场，确保煤矿井下机电装备的正常运行以及其工作区域附近的人员的生命安全。
5.为解决上述技术问题，本发明采用如下技术方案：
6.本发明提供一种基于深度信息的煤矿井下人员检测方法，包括以下步骤：
7.(1)构建煤矿井下人员的训练检测模型，并确定煤矿井下人员检测平均精度最高的训练模型参数；
8.(2)读取深度相机中深度信息并将其转化成深度图；
9.(3)对步骤(2)中的深度图进行数据预处理；
10.(4)利用步骤(3)预处理的数据搭建基于yolov3的煤矿井下人员检测网络架构；
11.(5)将步骤(1)确定的训练模型参数导入到步骤(4)搭建的煤矿井下人员检测网络架构；
12.(6)使用非极大值抑制nms算法去除多余的人员候选，输出人员预测边界框，得到人员预测边界框集合m；
13.(7)读取步骤(6)中的人员预测边界框集合m，得到煤矿井下人员预测框的绝对位置和尺寸。
14.优选地，步骤(1)具体包括：
15.(1.1)采集煤矿井下环境的工作人员的深度信息：采集工作人员在深度相机下拍摄的姿势和所处煤矿井下位置的深度信息，所述深度信息为二维数据矩阵x(i
×
j)；深度相机下拍摄的姿势包括行走、站立、侧靠、蹲，位置信息包括距离相机的距离；
16.(1.2)利用步骤(1.1)采集的深度信息构建训练模型的煤矿井下人员检测数据集：首先将采集的深度信息转换成灰度图，即深度图d(i
×
j)，然后利用样本标注工具在深度图中标注人员位置信息，将深度图和生成的标注文件分别保存作为样本集；将样本集分为训练集、验证集和测试集，构建标准的煤矿井下人员检测数据集；深度信息转换成灰度图的转换公式为：
[0017][0018]
式中：max_depth为深度相机的最大测量深度；
[0019]
(1.3)对步骤(1.2)中的数据集进行预处理：对获得的深度图进行随机扩展、水平和垂直翻转和随机裁剪以扩充数据；对深度图进行减均值、除以标准差的标准化处理和归一化处理；
[0020]
(1.4)利用步骤(1.3)处理好的数据搭建基于yolov3的煤矿井下人员检测网络架构：采用裁剪的darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取；裁剪的darknet-53网络结构由52个卷积层和residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化batch normalization和leaky relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
[0021]
(1.5)过滤人员候选框：使用非极大值抑制nms算法去除多余的人员候选，输出人员预测边界框，包括以下步骤：
[0022]
(1.51)将k个人员候选框放入集合n中、设置一个人员预测边界框集合m；
[0023]
(1.52)将集合n的候选框按照置信度高低排序，选出置信度最高的候选框b
confmax
从集合n中移除，放入集合m；
[0024]
(1.53)将集合n中的所有候选框与b
confmax
计算交并比即iou，交并比的计算公式如式(2)所示，其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合n中移除；
[0025][0026]
(1.54)重复(1.52)和(1.53)直到集合n为空，得到最终的人员预测边界框集合m；
[0027]
(1.6)构建损失函数：损失函数为：
[0028]
[0029]
式中：s是深度图输入模型后形成的网格的行数和列数；b为每个网格包含的预测框数；是判断第i个网格单元中第j个预测框是否有需要检测的煤矿井下人员；xi，yi，wi，hi，ci为真实框的位置，尺寸和置信度；置信度；为预测框的绝对位置和尺寸相对于网格中心位置和先验框尺寸的相对值；为预测框的置信度；为真实框的类别概率；为预测框的类别概率；
[0030]
(1.7)根据步骤(1.6)的损失函数配置训练参数，训练检测模型；
[0031]
(1.8)对步骤(1.7)中的训练检测模型进行实验验证，挑选出煤矿井下人员检测平均精度最高的模型作为训练的最优模型参数。
[0032]
优选地，步骤(2)中的深度信息为二维数据矩阵x(i
×
j)，采用如下公式：
[0033][0034]
将x(i
×
j)转换为灰度图，即深度图d(i
×
j)。
[0035]
优选地，步骤(3)中的数据预处理包括：对深度图进行减均值、除以标准差的标准化处理和归一化处理。
[0036]
优选地，步骤(4)具体包括：采用裁剪的darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取；裁剪的darknet-53网络结构由52个卷积层和residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化batch normalization和leaky relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框。
[0037]
优选地，步骤(6)具体包括：
[0038]
(6.1)将k个人员候选框放入集合n中、设置一个人员预测边界框集合m；(6.2)将集合n的候选框按照置信度高低排序，选出置信度最高的候选框b
confmax
从集合n中移除，放入集合m；
[0039]
(6.3)将集合n中的所有候选框与b
confmax
计算交并比即iou，并设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合n中移除；
[0040]
交并比的计算公式如下：
[0041][0042]
式中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；
[0043]
(6.4)重复步骤(6.2)和(6.3)直至集合n为空，得到最终的人员预测边界框集合m。
[0044]
本发明的有益效果在于：
[0045]
本发明解决了在光照强度低、光照分布不均的煤矿井下环境下普通彩色图像中难以识别人员的问题，而且提高了近距离人员的检测精度，同时实时性好，为自动目标跟踪、危险区域入侵检测等问题的解决打下基础，有助于预防安全事故的发生及保障煤矿设备的正常运行。
附图说明
[0046]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1是本发明所述基于深度信息的煤矿井下人员检测方法的流程图。
[0048]
图2是本发明所述基于深度信息的煤矿井下人员检测网络架构。
[0049]
图3是本发明所述煤矿井下人员的深度图像。
[0050]
图4是本发明具体实施例中的本发明方法的人员检测结果与基于普通彩色图像的yolov3算法的人员检测结果的对比图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
如图1至图4所示，本实施例提供一种基于深度信息的煤矿井下人员检测方法，包括训练部分和检测应用部分。
[0053]
该方法的训练部分包括以下步骤：
[0054]
(1)采集煤矿井下环境的工作人员的深度信息：采集工作人员在深度相机下拍摄的姿势和所处煤矿井下位置的深度信息，深度信息为二维数据矩阵x(i
×
j)；其中，拍摄的工作人员姿势包括行走、站立、侧靠、蹲，工作人员的位置信息包括距离相机的距离；
[0055]
(2)构建训练模型的煤矿井下人员检测数据集：首先将采集的深度信息转换成灰度图，即深度图d(i
×
j)，转换的公式如式(1)，其中max_depth为深度相机的最大测量深度；然后利用样本标注工具在深度图中标注人员位置信息，将深度图和生成的标注文件分别保存作为样本集；将样本集分为训练集、验证集和测试集，构建标准的煤矿井下人员检测数据集；
[0056][0057]
(3)数据预处理：其一、对获得的深度图进行随机扩展、水平和垂直翻转和随机裁剪以扩充数据；其二、对深度图进行减均值、除以标准差的标准化处理和归一化处理；
[0058]
(4)搭建基于yolov3的煤矿井下人员检测网络架构：采用裁剪的darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取，如图2所示；裁剪的darknet-53网络结构由52个卷积层和residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化batch normalization和leaky relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
[0059]
(5)过滤人员候选框：使用非极大值抑制nms算法去除多余的人员候选，输出人员预测边界框，该步骤由以下子步骤来实现：
[0060]
(5.1)将k个人员候选框放入集合n中、设置一个人员预测边界框集合m；(5.2)将集
合n的候选框按照置信度高低排序，选出置信度最高的候选框b
confmax
从集合n中移除，放入集合m；
[0061]
(5.3)将集合n中的所有候选框与b
confmax
计算交并比即iou，交并比的计算公式如式(2)所示，其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合n中移除；
[0062][0063]
(5.4)重复步骤(5.2)和(5.3)直到集合n为空，得到最终的人员预测边界框集合m；
[0064]
(6)构建损失函数：yolov3模型损失函数由预测框预测误差、置信度损失和分类损失组成；预测框损失由中心坐标损失，宽高尺寸损失两部分组成；置信度损失由有目标预测框置信度损失和无目标预测框置信度损失两部分组成；损失函数完整公式如式(3)所示，公式中第一项为中心坐标损失，第二项为宽高尺寸损失，第三项为有目标预测框置信度损失，第四项为无目标预测框置信度损失，最后一项是分类损失；其中s是深度图输入模型后形成的网格的行数和列数；b为每个网格包含的预测框数；是判断第i个网格单元中第j个预测框是否有需要检测的煤矿井下人员；xi，yi，wi，hi，ci为真实框的位置，尺寸和置信度；为预测框的绝对位置和尺寸相对于网格中心位置和先验框尺寸的相对值；为预测框的置信度；为真实框的类别概率；为预测框的类别概率；
[0065][0066]
(7)根据步骤(6)构建的损失函数配置训练参数，训练检测模型；
[0067]
(8)对步骤(7)中的训练检测模型进行实验，挑选出在验证集中煤矿井下人员检测平均精度即ap最好的模型作为训练的最优模型参数，用于检测应用部分。
[0068]
该方法的检测应用阶段包括以下步骤：
[0069]
(1)读取数据：从深度相机中读取深度信息，其为二维数据矩阵x(i
×
j)；将其转换成灰度图，即深度图d(i
×
j)，转换的公式如式(1)，
[0070][0071]
其中max_depth为深度相机的最大测量深度；
[0072]
(2)数据预处理：对深度图进行减均值、除以标准差的标准化处理和归一化处理；
[0073]
(3)搭建基于yolov3的煤矿井下人员检测网络架构：采用裁剪的darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取，如图2所示；裁剪的darknet-53网络结构由52个卷积层和residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批
归一化batch normalization和leaky relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
[0074]
(4)导入模型：将训练部分得到的最优的模型的参数导入煤矿井下人员检测网络中；
[0075]
(5)过滤人员候选框：使用非极大值抑制nms算法去除多余的人员候选，输出人员预测边界框，该步骤由以下子步骤来实现：
[0076]
(5.1)将k个人员候选框放入集合n中、设置一个人员预测边界框集合m；
[0077]
(5.2)将集合n的候选框按照置信度高低排序，选出置信度最高的候选框
[0078]bconfmax
从集合n中移除，放入集合m；
[0079]
(5.3)将集合n中的所有候选框与b
confmax
计算交并比即iou，交并比的计算公式如式(2)所示，
[0080][0081]
其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合n中移除；
[0082]
(5.4)重复步骤(5.2)和(5.3)直到集合n为空，得到最终的人员预测边界框集合m。
[0083]
(6)输出检测结果：读取人员预测边界框集合m，得到煤矿井下人员预测框的绝对位置和尺寸。
[0084]
本实施例所提出的基于深度信息的煤矿井下人员检测方法不受光照影响，可以应用于光照强度低、光照分布不均的煤矿井下环境下，并且与基于普通彩色图像的yolov3相比，检测的平均精度更高，实时性更好，与基于普通彩色图像的yolov3算法的人员检测结果的对比如图4及下表所示。
[0085]
方法输入尺寸apap50fps基于普通彩色图的方法416x41621.553.9112基于深度图的方法416x41664.988.7118
[0086]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。