一种基于机器视觉的遮挡情况下煤矸石检测方法与流程

1.本发明涉及深度学习、计算机视觉领域，具体是使用completion
‑
gan网络在遮挡情况下识别煤和矸石的方法。


背景技术：

2.煤炭工业的绿色发展已经成为全社会关注的焦点，煤炭的清洁加工和利用是实现煤 炭工业绿色发展的重中之重。煤炭入选率是衡量煤炭绿色发展水平的有效指标，目前一些发 达国家的原煤入选率已超过了80％，我国原煤入选率约为60％。传统的拣矸工作主要在地面 依靠人工完成，存在拣矸效率低、劳动强度大、工作环境恶劣等问题，不仅如此，煤矸石堆 放存在占用土地、污染大气、危害水土、潜在灾变等一系列严重问题。
3.近年来，利用深度神经网络进行图像的研究已经成为机器学习和计算机视觉研究的热点。利用机器视觉，人工智能自动分拣煤矸石已经成为未来煤矸石分拣的发展趋势。但是现有的煤矸石自动分拣装置效率低下，难以识别相互堆叠，相互遮挡的煤矸石。本发明提供了一种遮挡情况下识别煤矸石的方法。


技术实现要素：

4.本发明的目的是解决遮挡情况下煤和矸石的识别问题。
5.为实现本发明的目的而采用的技术方案包括以下步骤：
6.1)使用mask rcnn从采集的图像中将煤或矸石没被遮挡的可见部分分割出来；
7.对采集的煤矸石图像进行预处理，将图像尺寸调整为1024*1024。经过改进的vggnet 与fpn网络耦合的网络进行不同尺度的特征提取；
8.改进的vggnet网络进行特征提取下采样，其结构采用原有的vggnet16网络卷积基结构的前十三层；改进的vggnet网络共计进行13次深度卷积，卷积核的尺寸为3*3，改进后的vggnet网络减少了模型体积，在不损失性能的前提下提高了计算速度。
9.2)使用completion
‑
gan网络根据图像分割出的可见部分生成被遮挡的不可见部分，进而获得完整图像；
10.completion
‑
gan神经网络模型包括特征学习器f、条件编码器e、生成器g和判别器d；
11.特征学习器f由输入层、卷积层、全连接层、输出层构成；特征学习器仅在训练网络时发挥作用，它的输入为与条件编码器输入的部分煤矸石图像相对应的完整煤矸石图像；它的作用是为生成器生成图像提供指导，生成和条件变量纹理、外观特征相同的完整煤矸石图像。
12.条件编码器e由输入层、卷积层、池化层、全连接层、输出层构成；它的输入为分割后提取出来的煤矸石可见部分图像，它的作用是为生成器提供条件变量，条件变量为部分煤矸石图像。
13.生成器g由输入层、全连接层、卷积层、输出层构成；它的作用是依据条件变量(部
分煤矸石图像)，在与其对应的完整煤矸石图像的指导下生成新的完整煤矸石图像。
14.判别器d由输入层、卷积层、全连接层、输出层构成；它的作用是判别生成器生成的图像真伪。
15.训练completion
‑
gan网络模型包括以下步骤：
16.2.1)对训练集进行预处理，将完整煤矸石图像进行随机分割，得到对应的部分煤矸石图像，最终得到成对图像的训练集，具体包括以下步骤：
17.2.1.1)从矿井下获取煤矸石图像数据集i，从中抽取i个样本i为批处理大小，i
g
为数据集中的完整煤矸石图像。
18.2.1.2)对原始煤矸石图像i
g
进行随机裁剪，得到其对应的部分煤矸石图像i
m
，最终得到处理后的数据集i＝(i
g
,i
m
)。
19.2.2)将完整的煤矸石图像输入到特征学习器，训练特征学习器f；
20.2.3)将对应的部分煤矸石图像输入到条件编码器，训练条件编码器e；
21.2.4)固定completion
‑
gan网络模型生成器参数，学习判别器d参数，具体包括以下步骤：
22.2.4.1)从处理后的训练数据集i＝(i
g
,i
m
)中取出k个图像对，k表示批处理大小。为第i个图像对；
23.2.4.2)将输入到特征学习器f中，输出完整煤矸石图像的纹理特征和外观特征
24.2.4.3)将输入到条件编码器e中，输出条件变量编码
25.2.4.4)将外观特征和条件变量编码输入到completion
‑
gan网络生成器g 中生成图像，得到生成的完整煤矸石图像
26.2.4.5)更新completion
‑
gan神经网络判别器参数θ
d
，η为学习率，为目标函数对判别器参数θ
d
的偏导数。
27.2.4.6)使目标函数最大化，即令
[0028][0029]
式中，为修改后的生成数据，d()为判别值。
[0030]
2.5)固定completion
‑
gan网络模型判别器参数，学习生成器g参数，具体包括以下步骤：
[0031]
2.5.1)将煤矸石图像特征和条件变量编码输入到生成器g中；
[0032]
2.5.2)更新生成器参数θ
g
，使目标函数最大化，即令：
[0033]
vggnet与fpn网络耦合的网络进行不同尺度的特征提取；
[0051]
1.2)提取到的特征图设定感兴趣区域,将获得的多个roi输送到rpn网络进行候选区域筛选；
[0052]
1.3)利用roialign层对每个候选出的roi提取固定尺寸的特征图；
[0053]
1.4)将固定尺寸的特征图输入至fcn网络，得到遮挡煤矸石的可见部分图像。
[0054]
经过改进的vggnet与fpn网络耦合的网络由两部分构成：
[0055]
(1)一部分为深度可分离卷积的vggnet网络进行特征提取下采样，其结构采用原有的vggnet16网络卷积基结构的前十三层；改进的vggnet网络共计进行13次深度卷积，卷积核的尺寸为3*3。
[0056]
(2)另一部分为fpn网络进行特征提取上采样。fpn网络采用的最邻近上采样，采样频率为2。
[0057]
2)结合图2、图3，用completion
‑
gan网络根据图像分割出的可见部分生成被遮挡的不可见部分，进而获得完整图像；
[0058]
completion
‑
gan网络模型包括特征学习器f、条件编码器e、生成器g和判别器d；
[0059]
特征学习器f由输入层、卷积层、全连接层、输出层构成；特征学习器仅在训练网络时发挥作用，它的输入为与条件编码器输入的部分煤矸石图像相对应的完整煤矸石图像；它的作用是为生成器生成图像提供指导，生成和条件变量纹理、外观特征相同的完整煤矸石图像。
[0060]
条件编码器e由输入层、卷积层、池化层、全连接层、输出层构成；它的输入为分割后提取出来的煤矸石可见部分图像，它的作用是为生成器提供条件变量，条件变量为部分煤矸石图像。
[0061]
生成器g由输入层、全连接层、卷积层、输出层构成；它的作用是依据条件变量(部分煤矸石图像)，在与其对应的完整煤矸石图像的指导下生成新的完整煤矸石图像。
[0062]
判别器d由输入层、卷积层、全连接层、输出层构成；它的作用是判别生成器生成的图像真伪。
[0063]
训练completion
‑
gan网络网络模型包括以下步骤：
[0064]
2.1)对训练集进行预处理，将完整煤矸石图像进行随机分割，得到对应的部分煤矸石图像，最终得到成对图像的训练集，具体包括以下步骤：
[0065]
2.1.1)从矿井下获取煤矸石图像数据集i，从中抽取i个样本i为批处理大小，i
g
为数据集中的完整煤矸石图像。
[0066]
2.1.2)对原始煤矸石图像i
g
进行随机裁剪，得到其对应的部分煤矸石图像i
m
，最终得到处理后的数据集i＝(i
g
,i
m
)。
[0067]
2.2)将完整的煤矸石图像输入到特征学习器，训练特征学习器f；
[0068]
2.3)将对应的部分煤矸石图像输入到条件编码器，训练条件编码器e；
[0069]
2.4)固定completion
‑
gan网络模型生成器参数，学习判别器d参数，具体包括以下步骤：
[0070]
2.4.1)从处理后的训练数据集i＝(i
g
,i
m
)中取出k个图像对，k表示批处理大小。为第i个图像对；
[0071]
2.4.2)将输入到特征学习器f中，输出完整煤矸石图像的纹理特征和外观特征
[0072]
2.4.3)将输入到条件编码器e中，输出条件变量编码
[0073]
2.4.4)将外观特征和条件变量编码输入到completion
‑
gan网络生成器g 中生成图像，得到生成的完整煤矸石图像
[0074]
2.4.5)更新completion
‑
gan网络判别器d参数θ
d
，η为学习率，为目标函数对判别器参数θ
d
的偏导数。
[0075]
2.4.6)使目标函数最大化，即令
[0076][0077]
式中，为修改后的生成数据，d()为判别值。
[0078]
2.5)固定completion
‑
gan网络模型判别器参数，学习生成器g参数，具体包括以下步骤：
[0079]
2.5.1)将煤矸石图像特征和条件变量编码输入到生成器g中；
[0080]
2.5.2)更新生成器参数θ
g
，使目标函数最大化，即令：
[0081][0082]
式中，为目标函数对生成器参数θ
g
的偏导数。
[0083]
3)得到生成的完整图像后，用现有的目标检测算法检测煤矸石。
[0084]
定义如下损失函数：
[0085]
completion
‑
gan网络对抗损失构建如下：
[0086]
最终损失函数构造如下：
[0087]
使用获得的完整图像进行检测，得到识别结果。
[0088]
completion
‑
gan网络模型采用adam梯度下降算法更新模型中的权重和偏移。
[0089]
completion
‑
gan网络模型卷积层的激活函数为relu激活函数；completion
‑
gan网络模型卷积层利用层归一化进行数据处理。