一种基于全过程分析的矿下钻杆计数方法与流程

1.本发明涉及深度学习技术领域，特别地，涉及一种基于全过程分析的矿下钻杆计数方法。


背景技术：

2.目前，煤炭资源仍然是我国经济建设中的重要能源，甚至在未来相当长的一个时期内，仍然是我国的主力能源。在煤炭生产过程中，瓦斯抽取钻机用于抽取瓦斯，将煤层中赋存或释放的瓦斯抽放出来，送至地面或其他安全地点，以减少或解除矿井瓦斯对煤矿安全生产的威胁。一般通过计算钻机的钻杆数量来衡量瓦斯抽取能力，然而传统的人工统计方式自动化水平较低，受人为因素影响较大。随着图像处理技术的发展，在地面通过视频监控实现钻杆计数技术逐步提出，但目标跟踪的方法不能长时间监控，容易丢失目标，抗干扰性差，方法复杂，容错率低。因此，如何进一步降低方法的复杂程度，提高钻杆计数的准确性成为本技术领域亟需解决的问题。
3.为此，本发明提出一种基于全过程分析的矿下钻杆计数方法为实现有效计数，解决了现有算法训练时间长，容错率低，抗干扰性差的问题。


技术实现要素：

4.本发明的目的在于提供一种基于全过程分析的矿下钻杆计数方法，用于矿井下钻机钻杆计数，可以进一步提高钻杆计数的准确性。
5.为了达成上述目的，本发明的解决方案是：
6.一种基于全过程分析的矿下钻杆计数方法，包括以下步骤(1)～(7)：
7.1、一种基于全过程分析的矿下钻杆计数方法，其特征在于，包括以下步骤：
8.步骤(1)：通过网络摄像机采集矿井下钻机打钻视频，将打钻视频保存并且提取每一帧图像；
9.步骤(2)：统一每一帧图像的格式，使图像的格式为299*299*3，通过人工的方式将单帧图像进行四分类；
10.步骤(3)：矿井下环境单一、颜色昏暗，需要对数据集处理，通过中值滤波，灰度变换增强，直方图均衡化，图像旋转的方法，扩充装钻杆图像的数据集数量，打钻杆的图像数据集和停止工作图像数据集不做处理；
11.步骤(4)：使用预训练参数训练xception神经网络模型；
12.步骤(5)：实时读取网络摄像机的视频数据流；
13.步骤(6)：通过xception网络模型判断每帧图像的类别，根据判断结果计算钻机钻杆总数量。
14.2、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(1)中，采集矿井下钻机打钻视频，通过大量钻机工作视频数据和现场调研，发现打入钻杆的完整过程必然有装钻杆、打钻杆、卸钻杆及停止四种工作状态，选取装钻杆、打
钻杆、卸钻杆及停止不同工作状态，钻机俯视、平视、仰视不同角度，凌晨、中午、夜晚等不同时间段的钻机，分别录制钻机工作视频，并将视频所有帧拆解成一张张图像。
15.3、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(2)中，通过人工的方式将单帧图像进行四分类，人工难以精确区分图像的每一帧，需要根据网络摄像头采集视频的时间显示来精确区分图片的每一帧，按照工人的动作和钻机的工作状态将所有图像分为装钻杆图像、打钻杆图像、卸钻杆图像和停止工作图像四类图像，形成数据集。
16.4、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(3)中，数据集处理过程如下，矿下实际工作环境充满石屑灰尘，影响摄像头采集的图像质量，通过预处理加强装杆图像质量，扩充装杆图像数据集，20％的装杆图像进行中值滤波，20％的装杆图像进行灰度变换增强，20％的装杆图像进行直方图均衡化，20％的装杆图像进行图像旋转，打钻杆的图像数据和停止工作的图像远多于装杆图像，随机抽取打钻杆图像和停止工作图像使其与装钻杆图像数量比值为4：3：3。
17.5、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(4)中，使用预训练参数训练xception神经网络模型过程如下：
18.步骤501：建立xception神经网络模型，模型的输入是299*299*3的图像，输出是装钻杆、打钻杆、卸钻杆以及停止工作四类；
19.步骤502：修改xception神经网络的全连接层的参数为4；
20.步骤503：导入imagenet数据集的预训练参数，对钻机装钻杆、打钻杆、卸钻杆以及停止工作四种工作状态进行特征提取；
21.步骤504：导入步骤(3)中处理好的数据，冻结xception神经网络的任意层数，冻结是指固定任意层数的参数，使任意层数的参数在训练过程中不变动，开始训练其余层数的参数；
22.步骤505：直到损失率无法下降，准确率无法上升时，解冻步骤504中冻结的参数，解冻是使参数在再次训练中改变，再次训练整体网络模型；
23.步骤506：等待训练结束保存训练参数。
24.6、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(5)中，实时读取网络摄像机的视频数据流过程如下，获取网络摄像机的ip地址，实时获取网络摄像机采集的钻机工作视频数据流。
25.7、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(6)中，通过xception网络模型判断每帧图像的类别，根据判断结果计算钻机钻杆总数量过程如下：
26.步骤701、从数据流中提取当前时刻图像，每隔10s提取一次图像记为tn,其中n为[0,1,
…
,n],其中n提取次数；
[0027]
步骤702、获取当前时刻图像后，等待5s再获取一次图像记为tn，将tn、tn图像格式修改为299*299*3，输入xception神经网络模型判断图像内容；
[0028]
步骤703、当tn判断结果为装钻杆，tn判断结果为打钻杆时，判断为工人装一次钻杆，计数加一。
附图说明
[0029]
图1为一种基于全过程分析的矿下钻杆计数方法流程图；
[0030]
图2为本方法中使用的xception神经网络模型的结构示意图；
[0031]
图3为本方法中钻杆计数的方法流程图
具体实施方式
[0032]
下面结合附图对本发明的技术方案进行进一步说明：
[0033]
本发明提供一种基于全过程分析的矿下钻杆计数方法，其总体思路为：
[0034]
首先通过网络摄像机采集矿井下钻机打钻视频，将打钻视频保存并且提取每一帧图像，统一每一帧图像的格式，使图像的格式为299*299*3，通过人工的方式将单帧图像进行四分类，矿井下环境单一、颜色昏暗，需要对数据集处理，通过中值滤波，灰度变换增强，直方图均衡化，图像旋转方法，扩充装钻杆图像的数据集数量，未装杆的图像数据集和停止工作图像数据集不做处理，使用预训练参数训练xception神经网络模型，实时读取网络摄像机的视频数据流，通过xception网络模型判断每帧图像的类别，根据判断结果计算钻机钻杆总数量。
[0035]
如图1所示，一种基于全过程分析的矿下钻杆计数方法，包括以下步骤(1)～(7)：
[0036]
1、一种基于全过程分析的矿下钻杆计数方法，其特征在于，包括以下步骤：
[0037]
步骤(1)：通过网络摄像机采集矿井下钻机打钻视频，将打钻视频保存并且提取每一帧图像；
[0038]
步骤(2)：统一每一帧图像的格式，使图像的格式为299*299*3，通过人工的方式将单帧图像进行四分类；
[0039]
步骤(3)：矿井下环境单一、颜色昏暗，需要对数据集处理，通过中值滤波，灰度变换增强，直方图均衡化，图像旋转方法，扩充装钻杆图像的数据集数量，打钻杆的图像数据集和停止工作图像数据集不做处理；
[0040]
步骤(4)：使用预训练参数训练xception神经网络模型；
[0041]
步骤(5)：实时读取网络摄像机的视频数据流；
[0042]
步骤(6)：通过xception网络模型判断每帧图像的类别，根据判断结果计算钻机钻杆总数量。
[0043]
2、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(1)中，采集矿井下钻机打钻视频，通过大量钻机工作视频数据和现场调研，发现打入钻杆的完整过程必然有装钻杆、打钻杆、卸钻杆及停止四种工作状态，选取装钻杆、打钻杆、卸钻杆及停止不同工作状态，钻机俯视、平视、仰视不同角度，凌晨、中午、夜晚等不同时间段的钻机，分别录制钻机工作视频，并将视频所有帧拆解成一张张图像。
[0044]
3、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(2)中，通过人工的方式将单帧图像进行四分类，人工难以精确区分图像的每一帧，需要根据网络摄像头采集视频的时间显示来精确区分图片的每一帧，按照工人的动作和钻机的工作状态将所有图像分为装钻杆图像、打钻杆图像、卸钻杆图像和停止工作图像四类图像，形成数据集。
[0045]
4、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，
所述步骤(3)中，数据集处理过程如下，矿下实际工作环境充满石屑灰尘，影响摄像头采集的图像质量，通过预处理加强装杆图像质量，扩充装杆图像数据集，20％的装杆图像进行中值滤波，20％的装杆图像进行灰度变换增强，20％的装杆图像进行直方图均衡化，20％的装杆图像进行图像旋转，打钻杆的图像数据和停止工作的图像远多于装杆图像，随机抽取打钻杆图像和停止工作图像使其与装钻杆图像数量比值为4：3：3。
[0046]
5、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(4)中，使用预训练参数训练xception神经网络模型过程如下：
[0047]
步骤501：建立xception神经网络模型，模型的输入是299*299*3的图像，输出是装钻杆、打钻杆、卸钻杆以及停止工作四类；
[0048]
步骤502：修改xception神经网络的全连接层的参数为4；
[0049]
步骤503：导入imagenet数据集的预训练参数，对钻机装钻杆、打钻杆、卸钻杆以及停止工作四种工作状态进行特征提取；
[0050]
步骤504：导入步骤(3)中处理好的数据，冻结xception神经网络的任意层数，冻结是指固定任意层数的参数，使任意层数的参数在训练过程中不变动，开始训练其余层数的参数；
[0051]
步骤505：直到损失率无法下降，准确率无法上升时，解冻步骤504中冻结的参数，解冻是使参数在再次训练中改变，再次训练整体网络模型；
[0052]
步骤506：等待训练结束保存训练参数。
[0053]
6、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(5)中，实时读取网络摄像机的视频数据流过程如下，获取网络摄像机的ip地址，实时获取网络摄像机采集的钻机工作视频数据流。
[0054]
7、根据权利要求1所述的一种基于全过程分析的矿下钻杆计数方法，其特征在于，所述步骤(6)中，通过xception网络模型判断每帧图像的类别，根据判断结果计算钻机钻杆总数量过程如下：
[0055]
步骤701、从数据流中提取当前时刻图像，每隔10s提取一次图像记为tn,其中n为[0,1,
…
,n],其中n提取次数；
[0056]
步骤702、获取当前时刻图像后，等待5s再获取一次图像记为tn，将tn、tn图像格式修改为299*299*3，输入xception神经网络模型判断图像内容；
[0057]
步骤703、当tn判断结果为装钻杆，tn判断结果为打钻杆时，判断为工人装一次钻杆，计数加一。
[0058]
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。