基于语义分割的磁铁矿显微图像分割方法与流程

1.本发明属于矿业工程技术领域，具体来说涉及一种基于语义分割的磁铁矿显微图像分割方法。


背景技术：

2.当前国内外矿物学工作人员普遍通过操作显微镜对矿物的矿石进行分类和鉴别，这种方法原始且工作耗时长，易受到主观因素的干扰。
3.矿物分割是矿石鉴定的基础，因此高精度、低运算量的矿物显微图像分割方法在矿石鉴定中具有重要的意义。


技术实现要素：

4.针对现有矿物显微图像分割方法的不足之处，本发明的目的在于提供一种基于语义分割的磁铁矿显微图像分割方法。
5.本发明是通过以下具体方案来实施的。
6.一种基于语义分割的磁铁矿显微图像分割方法，包括下述实施步骤：
7.获取多张交代残余结构的磁铁矿显微图像；
8.采用语义分割网络将磁铁矿显微图像依据脉石颜色分割成深色区域和浅色区域，传统图像分割方法对矿物颗粒和背景进行分割；
9.在所述的语义分割网络模型中，包括以下实施步骤：
10.网络的整体结构为编码解码结构，该网络结构是根据特征复用结构和编码解码结构提出的一种聚合多个阶段特征的u型网络；
11.策略编码器部分采用了特征复用结构，并加入残差多内核池化以使得不同大小特征图之间也有信息交流，解码器部分采用u型结构逐渐上采样的方法，所述方法具体实施过程包括：
12.将第一个卷积层通道设置为16；
13.设置编码器参数和输出通道数；
14.将第一个卷积核输出通道数缩减为输入的1/4,并将此作为第二个卷积层的输入，由此形成解码器结构；
15.将残差多内核池化引入进网络，具体包括以下步骤：
16.将第一个池化内核设置为2x2结构大小，第二个池化内核设置为3x3结构大小，第三个池化内核设置为5x5结构大小，第四个池化内核设置为6x6结构大小；
17.使用上述四个不同大小的池化内核收集上下文信息以丰富高级语义信息；
18.通过双线性插值获得与原始特征图相同大小的特征并通过1x1卷积将维度缩减为1；
19.将原始特征与上采样的特征图合并通道。
20.通过所述的网络模型，获取磁铁矿显微图像数据集和深色脉石区域数据集；
21.分割脉石区域，将分割出的脉石建立脉石数据集。
22.在所述的分割脉石区域的方法之前，还需对磁铁矿显微图像数据集和深色脉石区域数据集图像进行预处理，具体包括以下步骤：
23.对图像采用采用随机垂直翻转、水平翻转、随机旋转n个90度、在水平方向和垂直方向随机平移，色彩扰动等方法对图像进行增强；
24.将上述处理后的图片分割成16块，每次随机从一张图片中选择4个块替换掉另一张图片的位置，通过图像混合数据实现图像增强。
25.对矿物颗粒进行分割，具体包括以下步骤：
26.采用固定阈值方法可将浅色脉石区域图像中矿物颗粒和脉石矿物分割开来；
27.对深色区域磁铁矿颗粒和脉石采用canny算法对图像进行边缘检测，边缘检测后矿物颗粒区域线条密集，之后采用闭运算联通密集区域，最后分析存在的孔洞大小，将细小的孔洞填充，并进行矿物颗粒分割。
28.将分割图像融合得到最终的分割图；
29.将所有图像数据按比例依次分为训练集和测试集。
30.对实验结果采用dice系数作为评估指标。
31.实验采用pytorch深度学习框架，批处理为8，adam优化器，dice系数作为损失函数。
32.与现有技术比较，本发明具有的有益效果如下：
33.本发明通过采用结合语义分割和传统图像处理的矿相分割方法对交代残余结构的磁铁矿显微图像进行分割，首先网络依据背景颜色分割区域，再采用传统图像处理方法分别针对深色区域和浅色区域的图像特征分割矿物颗粒，用以实现对磁铁矿显微图像分割，可以快速准确地实现对其余种类的矿物显微图像分割，既节省了工作人员对矿物图像标注的时间，提高了工作效率，又提高了矿物显微图像分割的精确度。
附图说明
34.图1为本发明的基于语义分割的磁铁矿显微图像分割方法的流程示意图；
35.图2为本发明实施例中语义分割网络模型示意图；
36.图3为本发明实施例中残差多内核池化模块示意图；
37.图4为本发明实施例中图像混合数据增强方法示意图。
具体实施方式
38.本发明的基于语义分割的磁铁矿显微图像分割方法可有效对磁铁矿显微图像进行分割，也可快速准确地对其余种类的矿物显微图像进行分割。下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
39.如图1所示，基于语义分割的磁铁矿显微图像分割方法，包括以下步骤：
40.为了实现对磁铁矿显微图像的分割，需要获取所述待分割的交代残余结构磁铁矿显微图像，所述矿物显微图像为在显微镜下对所述磁铁矿进行成像所获得的图像。在具体实现中，采集适量所述磁铁矿矿样压片制作成标本，将该标本置于显微镜下观察，通过调节放大倍数使样本便于观察，调节光照度来设置适量的光线以均匀照亮该标本，当观察到清
晰的图像时，使用摄像设备拍摄图像，获得清晰的磁铁矿显微图像。
41.采用语义分割网络将磁铁矿显微图像分割成深色区域和浅色区域，传统图像分割方法对矿物颗粒和背景进行分割，该网络模型如图2所示，网络模型的设置包括以下步骤：
42.网络的整体结构为编码解码结构，该网络结构是根据特征复用结构和编码解码结构提出的一种聚合多个阶段特征的u型网络，并加入了残差多内核池化以使得不同大小特征图之间也有信息交流；
43.在深度卷积神经网络中，往往浅层的特征图尺寸较大，计算量受通道数影响也更加的敏感，因此我们第一个卷积层采用了16通道；
44.编码器参数和输出通道数如表1所示：
[0045][0046][0047]
其中，(n1,n2)分别表示输入通道数和输出通道数，
×
n表示模块数量，/2表示2倍下采样。
[0048]
将第一个卷积核输出通道数缩减为输入的1/4,并将此作为第二个卷积层的输入，这样每个解码器块的输入和输出通道不变的情况下参数量极大的减少；
[0049]
解码器参数和输出通道数如表2所示：
[0050][0051]
其中，*2表示2倍上采样。
[0052]
在网络的末尾引入了残差多内核池化，该模块如图3所示。它主要依靠多个有效的视野来检测不同大小的对象，残差多内核池化具体包括以下步骤：
[0053]
将第一个池化内核设置为2x2结构大小，第二个池化内核设置为3x3结构大小，第三个池化内核设置为5x5结构大小，第四个池化内核设置为6x6结构大小；
[0054]
使用上述四个不同大小的池化内核收集上下文信息以丰富高级语义信息；
[0055]
通过双线性插值获得与原始特征图相同大小的特征并通过1x1卷积将维度缩减为1；
[0056]
将原始特征与上采样的特征图合并通道；
[0057]
该模块引入的参数较少，仅为388个参数，但可以应对图像中对象尺寸的巨大变化，获得的图像数据准确率提升明显。
[0058]
通过所述的网络模型，获取磁铁矿显微图像数据集和深色脉石区域数据集；
[0059]
分割脉石区域，将分割出的脉石建立脉石数据集。
[0060]
在所述的分割脉石区域的方法之前，还需对磁铁矿显微图像数据集和深色脉石区域数据集图像进行图像增强，具体包括以下步骤：
[0061]
对图像采用随机垂直翻转、水平翻转、随机旋转n个90度等方法改变图像中矿石的位置；
[0062]
对图像进行水平方向和垂直方向的随机平移；
[0063]
对图像进行色彩扰动等方法从而实现图像增强；
[0064]
考虑到每一块光薄片中目标矿物往往具有非常接近的纹理和颜色，与自然图像分割中的数据集不同的是，矿相图片中的目标矿物不具有固定的形态，主要是靠颜色进行区分，且与周围的图像信息关联不大，随意裁剪和拼接对图像的语义信息破坏较小，本实施例中将对图像进行裁剪和拼接。
[0065]
首先为了尽可能的组合出大量的数据，将图片平均分割成16块。
[0066]
每次随机从一张图片中选择4个块替换掉另一张图片的位置，拼接得到的图像则为图像混合数据增强图像。
[0067]
对图像中矿物颗粒和脉石矿物分割，具体包括以下步骤：
[0068]
在浅色脉石区域中磁铁矿颗粒和背景比较分明，采用固定阈值方法即可将矿物颗粒和脉石矿物分割开来；
[0069]
深色区域磁铁矿颗粒和脉石颜色区别微小，但是磁铁矿颗粒具有明显的纹理特征，脉石区域纹理比较光滑，采用canny进行边缘检测，边缘检测后矿物颗粒区域线条密集，之后采用闭运算联通密集区域，最后分析存在的孔洞大小，将细小的孔洞填充，并进行矿物颗粒分割。
[0070]
将分割图像融合得到最终的分割图。
[0071]
将所有图像数据按比例依次分为训练集和测试集。
[0072]
将训练集中的所有图像数据输入至预设矿物显微分割模型中，对图像进行训练，并对图像数据进行标注。
[0073]
对实验结果采用dice系数作为评估指标。
[0074]
实验采用pytorch深度学习框架，批处理为8，adam优化器，dice系数作为损失函数，所述损失函数公式一为：
[0075]
dice＝2tp/(fp 2tp fn)
[0076]
其中，tp、fp和fn分别代表真阳性、假阳性和假阴性的数量。
[0077]
将测试集中的所有图像数据输入至预设语义分割网络模型中，以获得所述预设矿物显微分割结果。
[0078]
获取到高质量的目标矿物显微图像后，将所述目标矿相显微图像输入至预设语义分割网络模型中，所述预设语义分割网络模型为训练好的网络模型，具有较高的准确性，用于根据矿物显微图像识别对应的矿相类别。
[0079]
将所述目标矿物显微图像输入至该矿物显微分割模型中，以获得所述预设矿物显微分割结果。
[0080]
为了研究训练集中图片数量对分割效果的影响，分别使用4、16、80张带标签的图片进行训练，可以知道虽然只采用4张带标签图片，依然可以分割出整体轮廓。
[0081]
将4张带标签图片进行数据增强后进行训练即可让该网络完整的分割出目标矿物轮廓。
[0082]
对分割后的深色脉石区域采用canny算子计算纹理进行矿物颗粒分割。
[0083]
对图像的浅色区域直接采用固定阈值分割方法分割，阈值设置为180。
[0084]
将分割后的浅色区域矿物颗粒和深色区域的矿物颗粒组合成完整的分割图，就可以得到矿物显微分割图像。
[0085]
通过分析可以得出：采用少量的标注数据训练出分割精度高的模型对语义分割在矿物显微图像的分割有着重要意义，采用改进的阶段性特征复用结构搭建编码器，采用轻量化的resnet18作为主干，并在编码器末尾添加残差多内核池化结构增强对多种尺寸目标的分割效果，其参数量极大的减少，并且只采用4张图片进行训练即可以分割出完整轮廓。使用该模型可在短时间内完成矿物图像分割，分割精度较高。该方法与传统的矿物分割方法相比，节省了大量工作时间，减少了人为误差，提高了分割结果的准确率，为矿物鉴定提
供了重要依据。
[0086]
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。