结合纹理特征进行决策融合的煤体破坏类型图像识别方法

1.本技术涉及图像识别技术领域，特别是涉及结合纹理特征进行决策融合的煤体破坏类型图像识别方法。


背景技术：

2.为了研究煤体破坏程度与瓦斯涌突出之间的关系，将构造煤进行煤体破坏程度上的定性分类。通常，普遍被研究者接受并广泛采用的是依据煤的破坏程度将构造煤分为非破坏煤、破坏煤、强烈破坏煤、粉碎煤和全粉煤五种类型。不同破坏类型的煤对瓦斯的吸附能力不同，并且物理结构和力学性质相差较大，因此煤的破坏类型判别对构造复杂矿区的煤岩动力灾害防治和瓦斯突出危险性的评估具有重要意义。由于在煤炭开采、运输、存储、利用和加工再利用的整个过程中，煤炭所处的整个环境十分恶劣复杂，如何在这样的环境下对构造煤的破坏类型识别并进行高精度区分，在保障煤矿安全生产、促进资源的合理利用和环境保护方面十分重要。
3.在煤体破坏类型识别方面现今最常用的还是以经验性地宏观物理观察辨识的方法为主，这在日常生产检查中起到了关键作用，但缺少客观与定量化的分类标准。因此这种以人工观察为主的分类方法，具有效率低、准确率不稳定、影响因素复杂繁多等缺点，会带来一定的安全隐患，可靠性不高。
4.因此，在对图像进行机器智能识别分类技术迅速发展的今天，通过研究煤体破坏类型的细粒度图像自动识别，可以很大程度上提高识别效率和准确度，有效预防煤与瓦斯突出事故的发生，保障煤矿生产安全。


技术实现要素：

5.有鉴于此，本发明提供了一种结合纹理特征进行决策融合的煤体破坏类型图像识别方法，旨在通过煤体破坏类型的细粒度图像自动识别，提高井下煤体破坏类型识别效率，增加识别的准确度，进而有效预防煤与瓦斯突出事故的发生，提高煤矿生产安全性。
6.为此，本发明提供了以下技术方案：
7.本发明提供了一种结合纹理特征进行决策融合的煤体破坏类型图像识别方法，所述方法包括：
8.使用高清防爆相机在井下拍摄获取煤体图像，进行图像处理和标记，构建煤体数据集，并根据煤体原图像创建对应的纹理特征图像数据集；
9.构建基于决策融合的分类模型，并基于煤体图像数据集和对应的纹理特征图像数据集对模型进行训练；其中，所述分类模型包括2个结构相同，但参数不同的子分类器；每个子分类器中包括注意力建议子网络和分类子网络两个不同功能的子网络结构；将原始图像和纹理特征图像分别输入到2个分类器中的分类子网络进行学习和训练，将输出特征经过双线性池化后压缩为一个五维向量；同时连接两个分类子网络中的平均池化层，构建自适应学习的三层卷积神经网络作为注意力建议子网络进行学习，得到不同通道权重，将学习
到的权重分别与原图和纹理特征图的特征输出相乘后求和，得到融合分类结果；
10.将待识别的煤体原图和对应的纹理特征图输入训练完成的基于决策融合的分类模型中，得到煤体原图的分类结果。
11.进一步地，所述子分类器根据双线性神经网络b-cnn和resnet-18进行改进构建。
12.进一步地，根据煤体原图像创建对应的纹理特征数据集，包括：
13.根据灰度共生矩阵提取纹理特征的方法，提取五类图像的典型特征参数；
14.对比各个类别在不同特征上图像的差异度，选取差异性最大的特征作为图像的整体特征，创建图像的纹理特征数据集。
15.进一步地，所述典型特征参数包括：mean、variance、contrast、dissimilarity、 homogeneity、asm、entropy和correlation。
16.进一步地，各个类别在不同特征上图像的差异度由结构相似性指标值确定。
17.进一步地，所述差异性最大的特征为mean值。
18.本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述一种结合纹理特征进行决策融合的煤体破坏类型图像识别方法。
19.本发明的优点和积极效果：本发明通过大量采集真实的五种不同类型的井下煤体破坏图像并进行图像预处理，构建了包含非破坏煤、破坏煤、强烈破坏煤、粉碎煤和全粉煤五种类型的破坏煤图像数据集，根据多模态特征融合的思路，基于双线性神经网络b-cnn构建子分类模型并根据深度学习同时构建双线的注意力子模型来实现原图和纹理图分类结果的优化，以此来综合地进行学习和预测。本发明基于深度学习技术构建破坏煤的识别模型，能够将该模型内化于煤矿的实际生产设备当中，对井下破坏煤进行实时识别，达到高效准确的识别效果，具有井下解决实际问题的能力。本发明相比于传统图像识别技术，效率更高，自适应性更强。另一方面，本发明能够解决现今井下识别以人工识别为主，克服人工识别效果不稳定，效率低下等缺点。
20.此外，本发明利用深度学习技术，构建煤体破坏类型的图像识别模型，能够安装于井下便携安全设备，预防煤与瓦斯突出事故，对井下采煤生产过程的自动化和安全化做出贡献，有助于实现对工作质量的全程监控，提高煤矿信息化程度和加快智能化生产、安全生产进程。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1为本发明实施例中一种结合纹理特征进行决策融合的煤体破坏类型图像识别方法的总流程；
23.图2为本发明实施例中预处理后的五类破坏煤图像示例图；
24.图3为本发明实施例中所有图像的纹理特征图像计算流程；
25.图4为本发明实施例中五类图像在八个特征上的差异性表现对比图；
26.图5为本发明实施例中改进b-cnn的子分类器模型；
27.图6为本发明实施例中基于决策融合的分类模型。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.本发明基于采集的各种破坏类型的煤体图像加工的原始数据集coals data，提出了一种结合传统纹理特征的双线性神经网络模型，用于对煤体破坏类型进行识别，其总体流程如图1所示，具体包括以下步骤：
31.s1、使用高清防爆相机在井下拍摄获取煤体图像，进行图像处理和标记，构建煤体数据集，并根据煤体原图像创建对应的纹理特征图像数据集。
32.在具体实施中，由人为携带高清防爆相机在矿井下实地拍摄，得到井下破坏煤图像。拍摄时在不同方位拍摄原始像素为3000
×
4000的图像并尽可能达到清晰度高、无遮挡和特征明显的要求。但由于井下光照恶劣、环境复杂，原始图像仍不可避免地具有光线反射严重、管道、防护网遮挡等问题和自然情况下出现的煤体破坏类型混合和数据样本不均衡等问题，因此，对所有图像进一步加工和调整。在保证图像质量和数量的前提下，分别采用图像切割，图像亮度调整，对比度处理、色彩处理等方式进行图像修正，使用图像切割、翻转、对称等方式进行数据增强和扩充，并人工标记图像类别标签。预处理后的五类破坏煤图像示例如图2所示。
33.根据灰度共生矩阵(glcm，gray-level co-occurrence matrix)提取纹理特征的方法，提取非破坏煤、破坏煤、强烈破坏煤、粉碎煤、全粉煤五类图像的典型特征参数。对比五个类别在不同特征上图像的差异度，选取差异性最大的特征作为图像的整体特征，创建图像的纹理特征数据集。
34.创建图像的纹理特征数据集的主要目的是通过对五类图像的八个纹理特征的计算，得到整体差异性和差异均衡性最大的纹理特征。选取该特征作为所有图像的纹理特征，输出该特征下的所有图像的纹理图像。采用最经典的纹理提取方法之一glcm方法，通过生成灰度共生矩阵，得到图像中灰度值的规律性变化和空间性变化规律并以此来描述图像的纹理特征。学习五类煤体破坏类型图像的典型纹理特征，根据不同结构特征与五类的相关性，找到差异最大的结构特征进行学习，将更容易学习到五类破坏类型的差异性。如图3所
示，该过程具体包括：
35.s11、将煤体原图像数据集中的各幅煤体原图像转化为灰度图；
36.s12、从灰度图数据集中按类型抽取图片；
37.其中，煤体原图像包括五个类型，每个类型抽取n张图片(1-1、 1-2
……
1-n；2-1、2-2
……
2-n；
……
；5-1、5-2
……
5-n)。
38.s13、对抽取出的每个类型的各幅图像求灰度共生矩阵；
39.s14、根据灰度共生矩阵，计算每幅图像的纹理特征参数对应的特征图片；
40.其中，纹理特征参数共8个，分别是mean、variance、contrast、dissimilarity、homogeneity、asm、entropy、correlation。计算得到的图片共5
×n×
8幅。
41.s15、对每类样本的n幅图片的某一特征纹理图与空白图片做对照，求出n个ssim(structural similarity index measurement，结构相似性指标)值，再对其求均值。
42.由此最终可以得到五类样本图片在8个特征值上与空白图像的平均 ssim值，即5
×
8个ssim值。
43.s16、建立折线图，观察8个特征值上五类图片ssim值的差异明显性和离散均衡性，可通过数据在图像上的表现和方差得到结果。
44.s17、选取差异性和均衡性表现最好的一个纹理特征参数作为所有图像的纹理提取特征参数；
45.差异性特征的选取方法为在五类煤体破坏类型图像中，采用随机抽样的方式各抽取n张的图像，分别计算这些图像在以上八种特征值的图像输出。再采用ssim的图像结构评价标准，对每类图像的取样的每种特征图建立一个以空白图像为基准的评价坐标系，如图4，将每类采样图像与空白图像对比，计算其ssim值，然后对同一类的样本图片分别在八个特征值上的ssim 值求平均，最终对比五类图像在八个特征值上的ssim值，将差异性最大的一组特征作为纹理特征的提取特征。本发明实施例中使用mean值作为提取特征。
46.s18、对所有图像的灰度图计算所选取纹理特征参数的对应纹理特征图。
47.s19、构建所有图像的纹理特征数据集。
48.s2、构建基于决策融合的分类模型，并基于煤体原图数据集和煤体原图对应的纹理特征数据集对基于决策融合的分类模型进行训练。
49.考虑煤体图像的破坏性和环境昏暗性，如何从中快速提取显著特征信息是细粒度识别算法的重点之一。在相同的神经网络结构下，提取到的特征维度不变，关键在于神经网络提取到的差异性信息的多少。差异性信息越多，则辨识分类结果准确率越高。决策融合的思想是学习多分支模型特征的重要性和相关性，在图像识别中能够给予不同通道不同的注意力，最优地结合多角度典型特征。
50.本发明实施例中构建的决策融合分类模型可分为2个子分类器，每个子分类器的结构相同，但参数不同。如图5所示，基于双线性神经网络(b-cnn) 和resnet-18构建的两个相同的子网络模型，分别对原图和纹理特征图进行训练获取2个分类器，提取2个层次的特征。
51.如图6所示，每个子网络中可分为注意力建议子网络和分类子网络两个不同功能的子网络结构。将原始图像和纹理特征图像分别输入到改进后的双线性分类子网络中进行学习和训练，输出为五维特征向量。同时左右连接两个分类子网络的平均池化层的输出特
征图，构建2个自适应学习的三层卷积神经网络作为注意力建议子网络，学习上述拼接后的输出特征，输出为2个五维通道权重，将学习到的权重分别与原图和纹理特征图的特征输出相乘后求和，得到原图与纹理图的融合分类结果。
52.s3、将待识别的煤体原图和对应的纹理特征图输入训练好的基于决策融合的分类模型中，得到煤体原图的分类结果。
53.数据流的输入流程如下，首先，将双线性神经网络中最后一层卷积层的特征图输入到平均池化层(avg pooling)，将每个通道的h
×
w个像素压缩为 1个实数，该层输出xc用如下公式表示，左右连接原图与纹理图的输出x
origin
和 x
feature
，尺寸分别为512
×1×
1。
[0054][0055]
则连接后可表示为x
in
，特征图尺寸为1024
×1×
1。
[0056]
x
in
＝x
origin
x
feature
；
[0057]
将x
in
分别送入两个结构相同的注意力建议子网络，通过包含2个全连接层(fc)的卷积神经网络进行训练；最后经过激励层sigmoid层归一化为一组在0—1之间的实数w
origin
和w
feature
输出，代表每个通道的重要。将各通道权重与双线性神经网络的特征图分类输出在对应通道上相乘表示为：
[0058]
f1＝f
origin
×worigin
；
[0059]
f2＝f
feature
×wfeature
；
[0060]
根据以上准则和实验，最终融合特征的分类器输出为：
[0061]fm
＝f1 f2；
[0062]
其中，fm为最终融合识别分类向量，f1、f2分别为原图分类函数输出向量和纹理图分类函数输出向量，w
origin
和w
feature
分别为原图像和纹理图像分配的权重。
[0063]
在煤体的图像识别问题上考虑煤体的破坏性和环境昏暗性，如何从中快速提取显著特征信息是细粒度识别算法的重点之一。因此，本发明采用 resnet-18作为基本网络对在纹理识别领域具有优势的b-cnn模型进行改进，可以在忽略图像像素位置信息影响的同时，增加对图像信息的学习。另一方面，由于在相同的神经网络结构下提取到的特征维度一定，则识别效果的关键是神经网络提取到的差异性信息的数量。差异性信息越多，则辨识分类准确度越高，因此对比不同纹理特征参数上五类图像的结构相似性的差异性，选取方差最大，差异性最大的纹理特征参数作为纹理图的提取特征，构建纹理图像数据集。在实验中，经过纹理的对比，选择mean特征值作为纹理图像特征，对原图缺失信息进行补充和增强。最后，本发明基于多模态特征融合的决策融合方法和纹理特征在煤体图像的强相关性，提出一种基于深度学习算法的模型，构造三层的注意力建议神经网络，自适应地融合原图像与纹理特征图像的分类特征，得到最优的融合分类结果。
[0064]
本发明采集五种破坏煤的井下图像，通过图像处理和图片标记构建了煤体破坏类型数据集，采用深度学习技术构建煤体破坏类型识别模型，在煤体破坏类型的图像识别上实验，识别准确率达到99.52％，与现有技术相比具有明显优势。同时本发明的模型在公开数据集进行实验，在与纹理相关的公共数据集kth-tips数据集、uiuc数据集分别达到98.5％、99.5％的识别准确率，证实了本发明模型在与纹理相关数据集上的泛化能力强，稳定性高等特点。
[0065]
本技术实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的一种结合纹理特征进行决策融合的煤体破坏类型图像识别方法。
[0066]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0067]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0068]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0069]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0070]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。