一种基于Mask-RCNN算法的选矿摇床矿带分析模型的制作方法

一种基于mask-rcnn算法的选矿摇床矿带分析模型
技术领域
1.本发明涉及工业轮廓检测、语义分割和深度学习领域，主要涉及一种基于mask-rcnn算法的选矿摇床矿带分析模型。


背景技术：

2.选矿技术直接反映出矿物利用率与资源浪费程度，决定了工矿企业的生产品质，而直接影响选矿效能的是选矿设备的性能。摇床作为选矿设备中重要的重选设备，能够让复合矿物在水流推力和床面不对称往复运动作用下发生松散和分层，最后在床面呈现精矿带、中矿带和尾矿带等多条扇形矿带分布，实现不同品位矿物分选。当前的摇床选矿工艺已非常成熟，但自动化程度仍然不高。由于受矿量、给矿粒度、给矿浓度等诸多因素影响，摇床上的扇形矿带分布实时变动。操作工必须通过肉眼识别矿带特征信息，手动调整接矿板位置，获得最小的矿物浪费和合格的精矿品位。然而，这种传统的人工操作方法要求频繁调整接矿板位置，岗位劳动强度大，企业承担的人工成本逐年递增，选矿指标因诸多人为主观因素而存在争议。
3.当前，智能化是传统行业发展的重大趋势，依靠科技创新和智能化升级转换企业发展动力能够实现企业高质量高效益发展。为了提高摇床的选矿性能和提升工矿企业的生产品质，本发明提出将深度学习算法与摇床工艺技术结合，通过摄像头拍摄矿床实时动态信息，计算机对当前矿床上的扇形矿带分布进行算法分析，能够精准识别尾矿带和精矿带的分界线，并反馈分界线在矿床边缘的位置，实现接矿板及时调动。


技术实现要素：

4.为了克服现有技术的缺点，本发明提供一种基于mask-rcnn算法的选矿摇床矿带分析模型，该模型算法简单，便于移植于系统中应用，通过mask-rcnn算法实现矿床矿带分界线识别。
5.本发明解决其技术问题所采用的技术方案如下：
6.一种基于mask-rcnn算法的选矿摇床矿带分析模型，包括如下步骤：
7.s1：摇床图像的实时获取：安装并巩固摄像头，对准摇床侧面，通过监控摄像头采集数据；
8.s2：图像处理：对采集的每一帧图像进行压缩和饱和度调整；其中，对于用于训练和验证模型的数据，使用vgg image annotator(via) 工具进行人工语义标注；
9.s3：构建基于mask-rcnn算法的语义分割模型，用于获取摇床尾矿带和精矿带的中间区域以及矿槽位置信息：使用训练集训练 mask-rcnn模型，调整学习率和相关超参，获取模型最佳参数文件；使用训练获得的参数文件部署mask-rcnn模型，实现实时帧数据的语义分割，识别并掩码精矿带和尾矿间的中间区域，以及矿槽位置；
10.s4：获取边缘信息，排除背景对检测的干扰：使用sobe l边缘检测和图像二值化方法，突出目标边界线所在位置，去除图像背景对其边界定位干扰；
11.s5：裁剪图像，并进行边界线在摇床边缘的检测：已知图片中摇床边缘的固定位置，设定四个点构建长方形框，要求包含完整摇床边缘信息，然后进行s4后图像的裁剪；通过垂直投影，分别从位置0 和最大位置开始检测连续5个非零点记录其坐标，获取两条边界线与摇床边缘交点的y方向位置信息；根据预先设定的多尺度距离转换公式，根据交点和矿槽的y方向信息可求出分界线在摇床上的实际位置信息；
12.s6：将矿槽位置、两条边界线在摇床边缘的交叉点以及矿槽距离精矿带的距离记录于数据库中；
13.s7：在服务器上配置python3.7环境，移植环境，用实时摄像头采集图像进行调试。
14.进一步的，所述步骤s1中，搭建摇床工作系统，固定摄像头位置使其对准摇床侧面，能够捕捉摇床完整侧边缘信息；对于实时检测数据，每隔3～4秒读取当前帧，处理该帧后释放摄像机，重新读取新一帧；对于用于训练和验证的已知数据，通过设置，每隔15分钟采集矿床实时帧，采集一星期数据，存储为jpg文件，随机抽取其中 500张用作训练集和验证集。
15.进一步的，所述步骤s2包括以下步骤：
16.s2-1：对摄像头采集的每一帧图像进行高斯变换，再通过抛弃偶数行和偶数列实现下采样，目标图像大小为原始图像
14
，实现高分辨率图像的压缩，减少后续计算复杂度；
17.s2-2：对压缩后图像进行饱和度调整；首先将rgb空间图像转换为hsl空间，用以对饱和度s的上下限进行控制；设置饱和度增量i，范围为-1到1，由此计算适用于rgb那个键的调整系数进行饱和度调整；其中，增量i≥0时，饱和度采用指数型增长方式调整，增量i《0 时，饱和度采用线性减弱方式调整；由于i s存在超出饱和度上下限的可能，因此当i s≥1时，取s补数作为调整依据，当i s《1时，取i补数的倒数作为调整依据；
18.将饱和度调整过的rgb进行校验，小于0值的取0，大于1的取 1；最后，将饱和度调整完毕的rgb图像输出进行下一步操作；
19.s2-3：对于用于训练和验证模型的数据，在上述操作后还需要使用vgg image annotator工具进行人工语义标注；其中，对s2-2操作的图像进行多边形polygon标注，以获取精矿与尾矿边界线的中间区域以及矿槽头部位置，标注标签分别为mime和bunker。
20.更进一步，所述步骤3包括以下步骤：
21.s3-1：对于已知数据集中标注的500张图片，按照8:2的比例随机划分为训练集和验证集；
22.s3-2：使用训练集对基于mask-rcnn算法的语义分割模型进行训练，然后使用验证集对模型性能进行评估；mask-rcnn算法在faster-rcnn框架的基础上加上了全连接的分割网络，实现分类、回归和分割三重任务；
23.首先，将s2处理后的训练集数据输入到一个预训练好的神经网络cnn中提取特征，其中cnn可分为主干特征提取网络resnet和特征金字塔fpn两部分；该resnet-fpn模块选用resnet101作为主干特征提取网络，自下而上进行简单的特征提取过程；而fpn自上而下进行最近邻上采样，通过横向连接将上采样结果与自下而上生成的特征映射融合；具体来说，对resnet网络输出特征层conv2、conv3、 conv4和conv5分别进行1
×
1卷积操作，输出通道均设置为256通道，然后和上采样的特征映射进行加和操作，在融合之后采用3
×
3 卷积处理特征，消除上采样的混叠效应；上述操作得到的特征金字塔 [p2,p3,p4,p5]；
[0024]
接着，将特征金字塔送入区域建议网络rpn，产生多个区域候选框；rpn是一个轻量神经网络，通过滑动窗口扫描图像，寻找存在目标的区域；rpn为扫描区域anchor生成两个输出，分别是anchor类别(前景或背景)和边框精调；如果有多个anchor互相重叠，将保留拥有最高前景分数的anchor，放弃剩余的，构建区域候选框；
[0025]
相较于faster-rcnn算法模型，mask-rcnn提出用roi align取代roi pooling，解决了roi pooling操作中两次量化造成的区域不匹配问题；roi align取消量化操作，在遍历每一个候选区域时，保持浮点数边界上的图像数值；将候选区域分割成k
×
k个单元，在每个单元中计算四个固定坐标位置，使用双线性内插法计算四个位置的值，然后使用最大池化操作；
[0026]
将roi align模块输出结果输入分类/回归模块和语义分模块中；其中，分类和回归模块经过全连接层后分别通过softmax函数和回归器进行分类和位置调整；语义分割模块是一个卷积网络，它取roi分类器选择的正区域为输入，生成它们的28
×
28低分辨率掩码；
[0027]
通过利用标注的训练集训练mask-rcnn模型，获得模型最佳参数文件，以.log文件格式存储；然后，用该参数文件部署mask-rcnn 模型；最终分类/回归模块获得矿槽位置信息，语义分割模块实现实时帧数据的语义分割，对精矿带和尾矿间的中间区域进行掩码。
[0028]
更进一步，所述步骤4包括以下步骤：
[0029]
s4-1：使用sobel边缘检测获取mask-rcnn模型掩码的边缘信息； mask-rcnn模型对实时摇床帧进行数据处理和分析，得到表示精矿带和尾矿带中间区域的掩码；sobel算子对该掩码进行边缘检测，即可获得摇床上精矿带和尾矿带的边界线；其中sobel算子包括两组3
×
3 矩阵，分别为横向和纵向；将其与图像做平面卷积，可得到横向和纵向的亮度差分近似值；如下公式所示，a是原始图像，g
x
和gy是横向及纵向边缘检测后的图像灰度值；
[0030]gx
＝[[-1,0, 1],[-2,0, 2],[-1,0, 1]]
×
a；
[0031]gy
＝[[ 1, 2, 1],[0,0,0],[-1,-2,-1]]
×
a；
[0032]
图像的每个像素通过如下公式得到横纵向结合的边缘检测；
[0033][0034]
s4-2：对sobel边缘检测后的图像进行灰度变换，根据多次调试，设置阈值x＝240，对于灰度值高于240的像素点重置灰度值为255，对于小于240的像素点重置灰度值为0，实现二值化，消除背景对目标边界线识别的干扰。
[0035]
更进一步，所述步骤5包括以下步骤：
[0036]
s5-1：由于摄像机与摇床的位置固定，随时间变化仅有轻微变动，因此我们在训练模型期间依据训练集图像对矿床边缘有个粗略定点，取图像上四个位置，要求包含完整摇床边缘信息，然后进行s4后图像的裁剪；通过定点裁剪，缩小识别范围，减少计算复杂度；
[0037]
s5-2：由于裁剪后的图像上除两条边界线像素值为255外其余均为0，因此对图像做垂直映射，存在白点区域即必存在边界线；本发明对裁剪后图像进行垂直投影，分别从位置0和最大位置开始检测连续5个非零点记录其坐标位置，作为两条边界线与摇床边缘交点的y 方向位置信息；
[0038]
s5-3：工作人员沿着摇床边缘等距离设点5个点，并明确5个点距离摇床尾部的实
际距离；在摄像头拍摄的照片中，获取五个点的y 轴位置信息，根据y轴位置信息和实际距离构造分段式摇床多尺度距离转换公式；通过输入上述交点和矿槽的y轴位置，可输出偏差在 10厘米内的距离摇床尾部的实际距离。
[0039]
更进一步，所述步骤6中，获取当前帧的时间信息，通过应用摇床多尺度距离转换公式计算得到矿槽位置与精矿带边界线的实际距离差，将上述计算后的数据记录于命名为mime_sql的数据库中。
[0040]
最后，在所述步骤7中，在实际应用服务器上配置python3.7环境和相应的安装包，移植模型，通过实时摄像头采集帧数据进行调试和完善。
[0041]
一种基于mask-rcnn算法的选矿摇床矿带分析模型，包括摇床图像采集模块、图像处理模块、mask-rcnn语义分割模块、边缘检测模块、目标定位模块、数据存储模块和系统调试模块；
[0042]
所述摇床图像采集模块，通过固定摇床和摄像头位置，使其能够捕获完整的摇床侧面信息，通过不同需求进行摇床图像采集；
[0043]
所述分图像处理模块，对采集的每一帧图像进行压缩和饱和度调整；其中，对于用于训练和验证模型的数据，使用vgg image annotator 工具进行人工语义标注；
[0044]
所述mask-rcnn语义分割模块，包括训练阶段和实际应用阶段两个部分；训练阶段，运用训练集训练mask-rcnn模型，获取最终参数文件，用验证集验证模型性能；实际应用阶段，输入实时帧数据，检测精矿带与尾矿带的中间区域以及矿槽的位置信息；
[0045]
所述边缘检测模块，使用sobel边缘检测和图像二值化方法，突出目标边界线所在位置，去除图像背景对其边界定位干扰；
[0046]
所述目标定位模块，裁剪图像，缩小检测范围；通过垂直投影，分别从位置0和最大位置开始检测连续5个非零点记录其坐标，获取两条边界线与摇床边缘交点的y方向位置信息；根据预先设定的多尺度距离转换公式，根据交点和矿槽的y方向信息可求出分界线在摇床上的实际位置信息；
[0047]
所述数据存储模块，将时间信息、矿槽位置、两条边界线在摇床边缘的交叉点以及矿槽距离精矿带的距离记录于命名为mime_sql的数据库中；
[0048]
所述系统调试模块，在实际应用服务器上配置python3.7环境和相应的安装包，移植模型，通过实时摄像头采集帧数据进行调试和完善；
[0049]
本发明的有益效果为：相比较传统人工操作方法需要频繁调整接矿板、人工劳动力度大、效率低下，本发明实现快速精确的反馈精矿带和尾矿带分界线的位置信息，以及能够实时计算矿槽与精矿带边界线的实际距离，通过该距离可实现接矿板自动调整位置，提高精矿品位的合格率，加快分离矿物的效率。
附图说明
[0050]
图1为一种基于mask-rcnn算法的选矿摇床矿带分析模型的系统流程图；
[0051]
图2为maskrcnn模型的示意图；
[0052]
图3为选矿摇床矿带分析过程中原始摇床图像示意图；
[0053]
图4为选矿摇床矿带分析过程中maskrcnn检测后语义分割图像示意图；
[0054]
图5为选矿摇床矿带分析过程中边缘检测后的图像示意图；
[0055]
图6为选矿摇床矿带分析过程中边缘定位后的最终结果示意图。
具体实施方式
[0056]
下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。
[0057]
参照图1和图3-6，一种基于mask-rcnn算法的选矿摇床矿带分析模型，包括以下步骤：
[0058]
s1：摇床图像的实时获取：安装并巩固摄像头，对准摇床侧面，通过监控摄像头采集数据；
[0059]
s2：图像处理：对采集的每一帧图像进行压缩和饱和度调整；其中，对于用于训练和验证模型的数据，使用vgg image annotator工具进行人工语义标注；
[0060]
s3：构建基于mask-rcnn算法的语义分割模型，用于获取摇床尾矿带和精矿带的中间区域以及矿槽位置信息：使用训练集训练 mask-rcnn模型，调整学习率和相关超参，获取模型最佳参数文件；使用训练获得的参数文件部署mask-rcnn模型，实现实时帧数据的语义分割，识别并掩码精矿带和尾矿间的中间区域，以及矿槽位置；
[0061]
s4：获取边缘信息，排除背景对检测的干扰：使用sobe l边缘检测和图像二值化方法，突出目标边界线所在位置，去除图像背景对其边界定位干扰；
[0062]
s5：裁剪图像，并进行边界线在摇床边缘的检测：已知图片中摇床边缘的固定位置，设定四个点构建长方形框，要求包含完整摇床边缘信息，然后进行s4后图像的裁剪；通过垂直投影，分别从位置0 和最大位置开始检测连续5个非零点记录其坐标，获取两条边界线与摇床边缘交点的y方向位置信息；根据预先设定的多尺度距离转换公式，根据交点和矿槽的y方向信息可求出分界线在摇床上的实际位置信息；
[0063]
s6：将矿槽位置、两条边界线在摇床边缘的交叉点以及矿槽距离精矿带的距离记录于数据库中；
[0064]
s7：在服务器上配置python3.7环境，移植环境，用实时摄像头采集图像进行调试。
[0065]
进一步的，所述步骤s1中，搭建摇床工作系统，固定摄像头位置使其对准摇床侧面，能够捕捉摇床完整侧边缘信息；对于实时检测数据，每隔3～4秒读取当前帧数据，处理分析完该帧信息后释放摄像机，重新读取新一帧数据；对于用于训练和验证的已知数据，通过设置，每隔15分钟采集矿床实时帧数据，采集一星期数据，存储为jpg 文件，随机抽取其中500张用作训练集和验证集。
[0066]
进一步的，所述步骤s2包括以下步骤：
[0067]
s2-1：对摄像头采集的每一帧图像进行高斯变换，再通过抛弃偶数行和偶数列实现下采样，目标图像大小为原始图像实现高分辨率图像的压缩，减少后续计算复杂度；
[0068]
s2-2：对压缩后图像进行饱和度调整；首先将rgb空间图像转换为hsl空间，用以对饱和度s的上下限进行控制；设置饱和度增量i，范围为-1到1，由此计算适用于rgb那个键的调整系数进行饱和度调整；其中，增量i≥0时，饱和度采用指数型增长方式调整，增量i《0 时，饱和度采用线性减弱方式调整；由于i s存在超出饱和度上下限的可能，因此当i s≥1时，取s补数作为调整依据，当i s《1时，取i补数的倒数作为调整依据；
[0069]
将饱和度调整过的rgb进行校验，小于0值的取0，大于1的取 1；最后，将饱和度调
整完毕的rgb图像输出进行下一步操作；
[0070]
s2-3：对于用于训练和验证模型的数据，在上述操作后还需要使用vgg image annotator工具进行人工语义标注；其中，对s2-2操作的图像进行多边形polygon标注，以获取精矿与尾矿边界线的中间区域以及矿槽头部位置，标注标签分别为mime和bunker。
[0071]
更进一步，参照图2和图4的mask-rcnn模型框架示意图，所述步骤3包括以下步骤：
[0072]
s3-1：对于已知数据集中标注的500张图片，按照8:2的比例随机划分为训练集和验证集；
[0073]
s3-2：使用训练集对基于mask-rcnn算法的语义分割模型进行训练，然后使用验证集对模型性能进行评估；mask-rcnn算法在 faster-rcnn框架的基础上加上了全连接的分割网络，实现分类、回归和分割三重任务；
[0074]
首先，将s2处理后的训练集数据输入到一个预训练好的神经网络cnn中提取特征，其中cnn可分为主干特征提取网络resnet和特征金字塔fpn两部分；该resnet-fpn模块选用resnet101作为主干特征提取网络，自下而上进行简单的特征提取过程；而fpn自上而下进行最近邻上采样，通过横向连接将上采样结果与自下而上生成的特征映射融合；具体来说，对resnet网络输出特征层conv2、conv3、 conv4和conv5分别进行1
×
1卷积操作，输出通道均设置为256通道，然后和上采样的特征映射进行加和操作，在融合之后采用3
×
3 卷积处理特征，消除上采样的混叠效应；上述操作得到的特征金字塔 [p2,p3,p4,p5]；
[0075]
接着，将特征金字塔送入区域建议网络rpn，产生多个区域候选框；rpn是一个轻量神经网络，通过滑动窗口扫描图像，寻找存在目标的区域；rpn为扫描区域anchor生成两个输出，分别是anchor类别(前景或背景)和边框精调；如果有多个anchor互相重叠，将保留拥有最高前景分数的anchor，放弃剩余的，构建区域候选框；
[0076]
相较于faster-rcnn算法模型，mask-rcnn提出用roi align取代roi pooling，解决了roi pooling操作中两次量化造成的区域不匹配问题；roi align取消量化操作，在遍历每一个候选区域时，保持浮点数边界上的图像数值；将候选区域分割成k
×
k个单元，在每个单元中计算四个固定坐标位置，使用双线性内插法计算四个位置的值，然后使用最大池化操作；
[0077]
将roi align模块输出结果输入分类/回归模块和语义分模块中；其中，分类和回归模块经过全连接层后分别通过softmax函数和回归器进行分类和位置调整；语义分割模块是一个卷积网络，它取roi分类器选择的正区域为输入，生成它们的28
×
28低分辨率掩码；
[0078]
通过利用标注的训练集训练mask-rcnn模型，获得模型最佳参数文件，以.log文件格式存储；然后，用该参数文件部署mask-rcnn 模型；最终分类/回归模块获得矿槽位置信息，语义分割模块实现实时帧数据的语义分割，对精矿带和尾矿间的中间区域进行掩码。
[0079]
更进一步，参考图5，步骤4包括以下步骤：
[0080]
s4-1：使用sobel边缘检测获取mask-rcnn模型掩码的边缘信息； mask-rcnn模型对实时摇床帧数据进行数据处理和分析，得到表示精矿带和尾矿带中间区域的掩码；sobel算子对该掩码进行边缘检测，即可获得摇床上精矿带和尾矿带的边界线；其中sobel算子包括两组 3
×
3矩阵，分别为横向和纵向；将其与图像做平面卷积，可得到横向和纵向的亮度差分近似值；如下公式所示，a是原始图像，g
x
和gy是横向及纵向边缘检测后的图像灰度值；
[0081]gx
＝[[-1,0, 1],[-2,0, 2],[-1,0, 1]]
×
a；
[0082]gy
＝[[ 1, 2, 1],[0,0,0],[-1,-2,-1]]
×
a；
[0083]
图像的每个像素通过如下公式得到横纵向结合的边缘检测；
[0084][0085]
s4-2：对sobel边缘检测后的图像进行灰度变换，根据多次调试，设置阈值x＝240，对于灰度值高于240的像素点重置灰度值为255，对于小于240的像素点重置灰度值为0，实现二值化，消除背景对目标边界线识别的干扰。
[0086]
更进一步，所述步骤5包括以下步骤：
[0087]
s5-1：由于摄像机与摇床的位置固定，随时间变化仅有轻微变动，因此我们在训练模型期间依据训练集图像对矿床边缘有个粗略定点，取图像上四个位置，要求包含完整摇床边缘信息，然后进行s4后图像的裁剪；通过定点裁剪，缩小识别范围，减少计算复杂度；
[0088]
s5-2：由于裁剪后的图像上除两条边界线像素值为255外其余均为0，因此对图像做垂直映射，存在白点区域即必存在边界线；本发明对裁剪后图像进行垂直投影，分别从位置0和最大位置开始检测连续5个非零点记录其坐标位置，作为两条边界线与摇床边缘交点的y 方向位置信息；
[0089]
s5-3：工作人员沿着摇床边缘等距离设点5个点，并明确5个点距离摇床尾部的实际距离；在摄像头拍摄的照片中，获取五个点的y 轴位置信息，根据y轴位置信息和实际距离构造分段式摇床多尺度距离转换公式；通过输入上述交点和矿槽的y轴位置，可输出偏差在5 厘米内的距离摇床尾部的实际距离。
[0090]
更进一步，所述步骤6中，将矿槽位置、两条边界线在摇床边缘的交叉点以及矿槽距离精矿带的距离记录于数据库中；
[0091]
最后，在所述步骤7中，在实际应用服务器上配置python3.7环境和相应的安装包，移植模型，通过实时摄像头采集帧数据进行调试和完善。
[0092]
一种基于mask-rcnn算法的选矿摇床矿带分析模型，包括摇床图像采集模块、图像处理模块、mask-rcnn语义分割模块、边缘检测模块、目标定位模块、数据存储模块和系统调试模块。
[0093]
所述摇床图像采集模块，通过固定摇床和摄像头位置，使其能够捕获完整的摇床侧面信息，通过不同需求进行摇床图像采集，具体来说：
[0094]
s1：搭建摇床工作系统，固定摄像头位置使其对准摇床侧面，能够捕捉摇床完整侧边缘信息；对于实时检测数据，每隔3～4秒读取当前帧数据，处理分析完该帧信息后释放摄像机，重新读取新一帧数据；对于用于训练和验证的已知数据，通过设置，每隔15分钟采集矿床实时帧数据，采集一星期数据，存储为jpg文件，随机抽取其中500 张用作训练集和验证集；
[0095]
所述分图像处理模块，对采集的每一帧图像进行压缩和饱和度调整；其中，对于用于训练和验证模型的数据，使用vgg image annotator 工具进行人工语义标注，具体包括：
[0096]
s2-1：对摄像头采集的每一帧图像进行高斯变换，再通过抛弃偶数行和偶数列实现下采样，目标图像大小为原始图像实现高分辨率图像的压缩，减少后续计算复杂度；
[0097]
s2-2：对压缩后图像进行饱和度调整；首先将rgb空间图像转换为hsl空间，用以对饱和度s的上下限进行控制；设置饱和度增量i，范围为-1到1，由此计算适用于rgb那个键的调整系数进行饱和度调整；其中，增量i≥0时，饱和度采用指数型增长方式调整，增量i《0 时，饱和度采用线性减弱方式调整；由于i s存在超出饱和度上下限的可能，因此当i s≥1时，取s补数作为调整依据，当i s《1时，取i补数的倒数作为调整依据；
[0098]
将饱和度调整过的rgb进行校验，小于0值的取0，大于1的取 1；最后，将饱和度调整完毕的rgb图像输出进行下一步操作；
[0099]
s2-3：对于用于训练和验证模型的数据，在上述操作后还需要使用vgg image annotator工具进行人工语义标注；其中，对s2-2操作的图像进行多边形polygon标注，以获取精矿与尾矿边界线的中间区域以及矿槽头部位置，标注标签分别为mime和bunker；
[0100]
所述mask-rcnn语义分割模块，包括训练阶段和实际应用阶段两个部分；训练阶段，运用训练集训练mask-rcnn模型，获取最终参数文件，用验证集验证模型性能；实际应用阶段，输入实时帧数据，检测精矿带与尾矿带的中间区域以及矿槽的位置信息；具体包括：
[0101]
s3-1：对于已知数据集中标注的500张图片，按照8:2的比例随机划分为训练集和验证集；
[0102]
s3-2：使用训练集对基于mask-rcnn算法的语义分割模型进行训练，然后使用验证集对模型性能进行评估；mask-rcnn算法在 faster-rcnn框架的基础上加上了全连接的分割网络，实现分类、回归和分割三重任务；
[0103]
首先，将s2处理后的训练集数据输入到一个预训练好的神经网络cnn中提取特征，其中cnn可分为主干特征提取网络resnet和特征金字塔fpn两部分；该resnet-fpn模块选用resnet101作为主干特征提取网络，自下而上进行简单的特征提取过程；而fpn自上而下进行最近邻上采样，通过横向连接将上采样结果与自下而上生成的特征映射融合；具体来说，对resnet网络输出特征层conv2、conv3、 conv4和conv5分别进行1
×
1卷积操作，输出通道均设置为256通道，然后和上采样的特征映射进行加和操作，在融合之后采用3
×
3 卷积处理特征，消除上采样的混叠效应；上述操作得到的特征金字塔 [p2,p3,p4,p5]；
[0104]
接着，将特征金字塔送入区域建议网络rpn，产生多个区域候选框；rpn是一个轻量神经网络，通过滑动窗口扫描图像，寻找存在目标的区域；rpn为扫描区域anchor生成两个输出，分别是anchor类别(前景或背景)和边框精调；如果有多个anchor互相重叠，将保留拥有最高前景分数的anchor，放弃剩余的，构建区域候选框；
[0105]
相较于faster-rcnn算法模型，mask-rcnn提出用roi align取代roi pooling，解决了roi pooling操作中两次量化造成的区域不匹配问题；roi align取消量化操作，在遍历每一个候选区域时，保持浮点数边界上的图像数值；将候选区域分割成k
×
k个单元，在每个单元中计算四个固定坐标位置，使用双线性内插法计算四个位置的值，然后使用最大池化操作；
[0106]
将roi align模块输出结果输入分类/回归模块和语义分模块中；其中，分类和回归模块经过全连接层后分别通过softmax函数和回归器进行分类和位置调整；语义分割模块是一个卷积网络，它取roi分类器选择的正区域为输入，生成它们的28
×
28低分辨率掩码。
[0107]
通过利用标注的训练集训练mask-rcnn模型，获得模型最佳参数文件，以.log文件
格式存储；然后，用该参数文件部署mask-rcnn 模型；最终分类/回归模块获得矿槽位置信息，语义分割模块实现实时帧数据的语义分割，对精矿带和尾矿间的中间区域进行掩码。
[0108]
所述边缘检测模块，使用sobel边缘检测和图像二值化方法，突出目标边界线所在位置，去除图像背景对其边界定位干扰；具体包括：
[0109]
s4-1：使用sobel边缘检测获取mask-rcnn模型掩码的边缘信息。 mask-rcnn模型对实时摇床帧数据进行数据处理和分析，得到表示精矿带和尾矿带中间区域的掩码。sobel算子对该掩码进行边缘检测，即可获得摇床上精矿带和尾矿带的边界线。其中sobel算子包括两组3
×
3矩阵，分别为横向和纵向。将其与图像做平面卷积，可得到横向和纵向的亮度差分近似值。如下公式所示，a是原始图像，g
x
和gy是横向及纵向边缘检测后的图像灰度值。
[0110]gx
＝[[-1,0, 1],[-2,0, 2],[-1,0, 1]]
×
a；
[0111]gy
＝[[ 1, 2, 1],[0,0,0],[-1,-2,-1]]
×
a；
[0112]
图像的每个像素通过如下公式得到横纵向结合的边缘检测。
[0113][0114]
s4-2：对sobel边缘检测后的图像进行灰度变换，根据多次调试，设置阈值x＝240，对于灰度值高于240的像素点重置灰度值为255，对于小于240的像素点重置灰度值为0，实现二值化，消除背景对目标边界线识别的干扰。
[0115]
所述目标定位模块，如s5所示。裁剪图像，缩小检测范围。通过垂直投影，分别从位置0和最大位置开始检测连续5个非零点记录其坐标，获取两条边界线与摇床边缘交点的y方向位置信息。根据预先设定的多尺度距离转换公式，根据交点和矿槽的y方向信息可求出分界线在摇床上的实际位置信息。
[0116]
所述数据存储模块，如s6所示。将时间信息、矿槽位置、两条边界线在摇床边缘的交叉点以及矿槽距离精矿带的距离记录于命名为mime_sql的数据库中。
[0117]
所述系统调试模块，如s7所示。在实际应用服务器上配置 python3.7环境和相应的安装包，移植模型，通过实时摄像头采集帧数据进行调试和完善。
[0118]
如上述为本发明一种基于mask-rcnn算法的选矿摇床矿带分析模型的实施例介绍，本发明实现快速精确的反馈精矿带和尾矿带分界线的位置信息，以及能够实时计算矿槽与精矿带边界线的实际距离，通过该距离可实现接矿板自动调整位置，提高精矿品位的合格率，加快分离矿物的效率。
[0119]
以上所述实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。