一种基于深度神经网络的煤矿井壁渗水识别方法与流程

1.本发明涉及煤矿井壁图像检测技术领域。具体地说是一种基于深度神经网络的煤矿井壁渗水识别方法。


背景技术：

2.煤矿开采过程中的水灾害往往带来各种巨大的损失，定期对煤矿井壁进行渗水检测，可以及时消除渗水造成的更大财产损失和保护煤矿工作人员的生命安全。
3.目前，煤矿井壁渗水检测方法较为单一，大多采取人工巡检的方式，但是人工巡检的方式在准确率、效率、成本等方面存在明显缺陷。近年来，以卷积神经网络为代表的深度学习领域迅速发展，基于深度学习的方法已经成为图像检测领域的重要手段。
4.目前，图像检测可以采取多种神经网络检测方法，例如当前热门的yolo系列网络模型，但是yolo系列网络模型是基于卷积神经网络创建的，缺乏对空间位置信息的有效利用，且无法解决长距离依赖问题。神经网络模型在特征提取过程中包含多个卷积层，可以产生不同层级的特征图。其中低级特征图包含更多的细节信息和位置信息，例如颜色、纹理等。高级特征图泽包含更多的语义信息。现有方法大多缺乏不同层次特征之间的信息交互，容易造成信息丢失，使检测准确率降低。


技术实现要素：

5.为此，本发明所要解决的技术问题在于提供一种弥补卷积神经网络的不足和提升在复杂煤矿井壁环境下渗水目标检测精度的一种基于深度神经网络的煤矿井壁渗水识别方法。
6.为解决上述技术问题，本发明提供如下技术方案：
7.一种基于深度神经网络的煤矿井壁渗水识别方法，
8.步骤100：利用图像采集设备获取煤矿井壁图像，挑选出含有清晰渗水区域的图像，作为原始煤矿井壁渗水图像；
9.步骤200：对原始煤矿井壁渗水图像进行预处理，构建煤矿井壁渗水检测数据集；
10.步骤300：构建改进的yolov5模型，在原始的yolov5模型颈部网络中加入cross-transformer模块，cross-transformer模块中采用多头交叉注意力机制；
11.步骤400：将煤矿井壁渗水检测数据集输入到改进的yolov5模型中进行训练；
12.步骤500：将待检测的图像输入到训练好的模型中完成渗水目标检测。
13.上述一种基于深度神经网络的煤矿井壁渗水识别方法，在步骤100中，挑选出含有渗水的图像的数量为大于等于300张。
14.上述一种基于深度神经网络的煤矿井壁渗水识别方法，在步骤200中，建立渗水检测数据集，包括以下子步骤：
15.步骤210：使用labelimg图像标注软件对原始煤矿井壁渗水图像中的渗水区域进行手工标注，从而构成煤矿井壁渗水图像数据集，所述煤矿井壁渗水图像数据集中的样本
包括渗水图像和与渗水图像对应的渗水目标标注结果图；
16.步骤220：对煤矿井壁渗水图像数据集中的图像通过随机旋转、平移、水平翻转和垂直翻转操作实现数据扩充，得到数量扩充四倍的煤矿井壁渗水图像数据集，内含大于等于1200张的渗水图像；
17.步骤230：对扩充后的煤矿井壁渗水图像数据集中的样本按照预设比例8:2随机划分为训练集和验证集。
18.上述一种基于深度神经网络的煤矿井壁渗水识别方法，在步骤300中，所述多头交叉注意力机制采用双输入结构，其目标是获得一个输入特征图查询与键之间的相关性，然后与另外一个输入的值相乘得到注意图，这一过程可以描述为：
[0019][0020]
式(1)中，q1为一个输入的特征图查询query，k1为一个输入的键key，v1为一个输入的值value；q2为另一个输入的特征图查询query，k2为另一个输入的键key，v2为另一个输入的值value；attention表示注意力机制算法；
[0021]ck
为输入数据的维数，t为矩阵转置操作；
[0022]
mca1和mca2表示两个输入对应的多头交叉注意力。
[0023]
上述一种基于深度神经网络的煤矿井壁渗水识别方法，所述cross-transformer模块，采用双分支结构，其中包括线性投影、前馈网络、层归一化操作，并采用多头交叉注意力机制实现两个分支之间的信息交互。
[0024]
上述一种基于深度神经网络的煤矿井壁渗水识别方法，对输入的两个特征映射x1和x2进行降维操作，为了对特征映射的位置信息进行编码，引入可学习的位置嵌入，并通过直接添加的方式将其与输入的特征映射分别融合，接着对y1和y2进行层归一化操作，得到特征嵌入后的特征y1和y2，这一过程可以描述为：
[0025][0026]
式(2)中，lp为线性投影操作，pe为位置编码，ln表示层归一化。
[0027]
上述一种基于深度神经网络的煤矿井壁渗水识别方法，利用多头交叉注意力机制实现y1和y2特征图之间的信息交互，并与原始特征图相加，得到特征图z1和z2，这一过程可以描述为：
[0028][0029]
式中，mca1和mca2分别表示两个输入y1和y2对应的多头交叉注意力。
[0030]
上述一种基于深度神经网络的煤矿井壁渗水识别方法，为了适应网络的下一个维
度，采用层归一化、前馈网络、特征映射操作，并将两个特征图z1和z2相加，得到特征图f，实现进一步信息融合，这一过程可以描述为；
[0031]
f＝fm[ln(z1) ln(ffn(z1))] fm[ln(z2) ln(ffn(z2))]
ꢀꢀꢀ
(3)；
[0032]
式(3)中，ln表示层归一化，fm表示特征映射，ffn为前馈网络。
[0033]
本发明的技术方案取得了如下有益的技术效果：
[0034]
本技术提出一种基于深度神经网络的煤矿井壁渗水识别方法，在原始yolov5模型的颈部网络中引入cross-transformer模块，弥补卷积神经网络的不足，有效解决建模远程依赖关系。
[0035]
除此之外，本发明还在cross-transformer模块中使用了多头交叉注意力机制，实现不同层级特征图之间的信息交互。实现yolov5模型颈部网络中相同尺度、不同层次特征图间的信息交互与融合，提高网络的表征能力。
[0036]
改进的yolov5模型在原始yolov5模型的颈部网络中加入了cross-transformer模块，且cross-transformer模块中采用了多头交叉注意力机制，可以实现不同层次特征图之间关键信息的交互与融合，解决空间长距离依赖问题，将在复杂煤矿井壁环境下渗水目标检测精度从78％提高到85％。
附图说明
[0037]
图1本发明中一种基于深度神经网络煤矿井壁渗水识别方法的流程框图；
[0038]
图2现有yolov5模型框架图；
[0039]
图3本发明中改进的yolov5模型框架图；
[0040]
图4本发明中cross-transfromer模块结构示意图。
具体实施方式
[0041]
参照图1，本发明提供了一种基于深度神经网络的煤矿井壁渗水识别方法，用于煤矿井下机器人的煤矿井壁渗水检测工作。
[0042]
步骤100：利用图像采集设备获取煤矿井壁图像，挑选出含有渗水的图像作为原始煤矿井壁渗水图像；共获得煤矿井壁渗水图像300张；
[0043]
步骤200：对原始煤矿井壁渗水图像进行预处理，构建煤矿井壁渗水检测数据集；
[0044]
步骤210：使用labelimg图像标注软件对原始煤矿井壁渗水图像中的渗水区域进行手工标注，从而构成煤矿井壁渗水图像数据集，所述煤矿井壁渗水图像数据集中的样本包括渗水图像和与渗水图像对应的渗水目标标注结果图；
[0045]
步骤220：对煤矿井壁渗水图像数据集中的图像通过随机旋转、平移、水平翻转和垂直翻转操作实现数据扩充，得到扩充后的煤矿井壁渗水图像数据集；内含1200张渗水图像；
[0046]
步骤230：对扩充后的煤矿井壁渗水图像数据集中的样本按照8:2的比例随机划分为训练集和验证集。其中训练集样本个数为1080，验证集样本个数为120。
[0047]
步骤300：构建改进的yolov5模型，在原始的yolov5模型颈部网络中加入cross-transformer模块，cross-transformer模块中采用多头交叉注意力机制；
[0048]
所述多头交叉注意力机制采用双输入结构，其目标是获得一个输入特征图查询与
键之间的相关性，然后与另外一个输入的值相乘得到注意图，这一过程可以描述为：
[0049][0050]
式(1)中，q1为一个输入的特征图查询query，k1为一个输入的键key，v1为一个输入的值value；q2为另一个输入的特征图查询query，k2为另一个输入的键key，v2为另一个输入的值value；attention表示注意力机制算法；
[0051]ck
为输入数据的维数；t为矩阵转置操作；
[0052]
mca1和mca2表示两个输入对应的多头交叉注意力。
[0053]
如图4所示，所述cross-transformer模块，采用双分支结构，其中包括线性投影、前馈网络、层归一化操作，并采用多头交叉注意力机制实现两个分支之间的信息交互。
[0054]
步骤310：对输入的两个特征映射x1和x2进行降维操作，为了对特征映射的位置信息进行编码，引入可学习的位置嵌入，并通过直接添加的方式将其与输入的特征映射分别融合，接着对y1和y2进行层归一化操作，得到特征嵌入后的特征y1和y2，这一过程可以描述为：
[0055][0056]
式(2)中，lp为线性投影操作，pe为位置编码，ln表示层归一化。
[0057]
步骤320：利用多头交叉注意力机制实现y1和y2特征图之间的信息交互，并与原始特征图相加，得到特征图z1和z2，这一过程可以描述为：
[0058][0059]
式中，mca1和mca2分别表示两个输入y1和y2对应的多头交叉注意力。
[0060]
步骤330：为了适应网络的下一个维度，采用层归一化、前馈网络、特征映射操作，并将两个特征图z1和z2相加，得到特征图f，实现进一步信息融合，这一过程可以描述为；
[0061]
f＝fm[ln(z1) ln(ffn(z1))] fm[ln(z2) ln(ffn(z2))]
ꢀꢀꢀ
(3)；
[0062]
式(3)中，ln表示层归一化，fm表示特征映射，ffn为前馈网络。
[0063]
步骤400：将煤矿井壁渗水检测数据集输入到改进的yolov5模型中进行训练；
[0064]
步骤500：将待检测的图像输入到训练好的模型中完成渗水目标检测。
[0065]
改进的yolov5模型在原始yolov5模型的颈部网络中加入了cross-transformer模块，且cross-transformer模块中采用了多头交叉注意力机制，可以实现不同层次特征图之间关键信息的交互与融合，解决空间长距离依赖问题，将在复杂煤矿井壁环境下渗水目标检测精度从78％提高到85％。
[0066]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或
变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。