一种基于机器视觉的遮挡情况下煤矸石检测方法与流程

技术特征：
1.一种在遮挡情况下识别煤和矸石的方法，其特征在于：包括如下步骤：步骤1、使用maskrcnn从采集的图像中将煤或矸石没被遮挡的可见部分分割出来；步骤2、使用completion
‑
gan网络根据图像分割出的可见部分生成被遮挡的不可见部分，进而获得完整图像；步骤3、使用完整图像进行检测，得到识别结果。2.根据权利要求1所述步骤2中使用completion
‑
gan网络根据图像分割出的可见部分生成被遮挡的不可见部分，进而获得完整图像的方法，其特征在于，completion
‑
gan网络模型包括条件变量编码器e、特征学习器f、生成器g、判别器d；条件编码器e由输入层、卷积层、池化层、全连接层、输出层构成；它的输入为分割后提取出来的煤矸石可见部分图像，它的作用是为生成器提供条件变量，条件变量为部分煤矸石图像。特征学习器f由输入层、卷积层、全连接层、输出层构成；特征学习器仅在训练网络时发挥作用，它的输入为与条件编码器输入的部分煤矸石图像相对应的完整煤矸石图像；它的作用是为生成器生成图像提供指导，生成和条件变量纹理、外观特征相同的完整煤矸石图像。生成器g由输入层、全连接层、卷积层、输出层构成；它的作用是依据条件变量(部分煤矸石图像)，在与其对应的完整煤矸石图像的指导下生成新的完整煤矸石图像。判别器d由输入层、卷积层、全连接层、输出层构成；它的作用是判别生成器生成的图像真伪。3.根据权利要求1所述的使用completion
‑
gan网络根据图像分割出的可见部分生成被遮挡的不可见部分，进而获得完整图像的训练方法包括以下步骤：步骤21、对训练集进行预处理，将完整煤矸石图像进行随机分割，得到对应的部分煤矸石图像，最终得到成对图像的训练集；步骤22、将完整的煤矸石图像输入到特征学习器，训练特征学习器f；步骤23、将对应的部分煤矸石图像输入到条件编码器，训练条件编码器e；步骤24、固定completion
‑
gan网络模型生成器参数，学习判别器d参数；步骤25、固定completion
‑
gan网络模型判别器参数，学习生成器g参数。4.根据权利要求3所述的对训练集进行预处理的方法，其特征在于包括以下步骤：步骤211、从矿井下获取煤矸石图像数据集i，从中抽取i个样本i为批处理大小，i
g
为数据集中的完整煤矸石图像。步骤212、对原始煤矸石图像i
g
进行随机裁剪，得到其对应的部分煤矸石图像i
m
，最终得到处理后的数据集i＝(i
g
,i
m
)。5.根据权利要求3所述的固定completion
‑
gan网络模型生成器参数，学习判别器d参数的方法，其特征在于包括以下步骤：步骤241、从处理后的训练数据集i＝(i
g
,i
m
)中取出k个图像对，k表示批处理大小。为第i个图像对；步骤242、将输入到特征学习器f中，输出完整煤矸石图像的纹理特征和外观特征
步骤243、将输入到条件编码器e中，输出条件变量编码步骤244、将外观特征和条件变量编码输入到completion
‑
gan网络生成器g中生成图像，得到生成的完整煤矸石图像步骤245、更新completion
‑
gan网络判别器d参数θ
d
，η为学习率，为目标函数对判别器参数θ
d
的偏导数。步骤246、使目标函数最大化，即令式中，为修改后的生成数据，d()为判别值。6.根据权利要求3所述的固定completion
‑
gan网络模型判别器参数，学习生成器g参数的方法，其特征在于包括以下步骤：步骤251、将煤矸石图像特征和条件变量编码输入到生成器g中；步骤222、更新生成器参数θ
g
，使目标函数最大化，即令：式中，为目标函数对生成器参数θ
g
的偏导数。7.根据权利要求1所述步骤2中使用completion
‑
gan网络根据图像分割出的可见部分生成被遮挡的不可见部分，进而获得完整图像的方法，其特征在于，定义如下条件约束损失函数：式中，为外观形状损失，为纹理特征损失，p
data
为训练数据集的分布，m()为completion
‑
gan网络模型表示的函数。8.根据权利要求3所述的由图像的可见部分生成完整图像的方法，其特征在于：completion
‑
gan网络神经网络模型采用adam梯度下降算法更新模型中的权重和偏移。9.根据权利要求3所述的由图像的可见部分生成完整图像的方法，其特征在于，completion
‑
gan网络模型卷积层的激活函数为relu激活函数；completion
‑
gan神经网络模型卷积层利用层归一化进行数据处理。

技术总结
本发明提供了一种在遮挡情况下，基于计算机视觉的识别煤和矸石的方法。该方法包括：使用Mask RCNN从采集的图像中将煤或矸石没被遮挡的可见部分分割出来；使用Completion


技术研发人员：缪燕子 王啸林 王贺升 代伟 杨春雨 张宗伟 邓慧颖 蒋超康
受保护的技术使用者：中国矿业大学
技术研发日：2021.03.29
技术公布日：2021/10/28