基于双能射线透射成像的煤和矸石分选方法、装置及系统

1.本发明涉及煤炭识别分选与图像处理技术领域，特别是涉及一种基于双能射线透射成像的煤和矸石分选方法、装置及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.开采出来未经过加工的原煤中含有一定比例的矸石，矸石属于煤炭中的杂质，对煤炭质量有不可忽视的影响。矸石是煤矿生产时产生的废渣，煤炭中矸石的含量过高会影响煤炭燃烧的效果，降低煤炭燃烧的效率，而且矸石燃烧时会产生大量的硫化物气体污染空气。为了提高煤炭燃烧的效果，减少矸石对环境的污染，需要在煤炭燃烧前对煤炭进行煤和矸石分离。
4.煤中矸石的分选是煤炭生产加工过程中的重要环节，也是节约能源、提高煤炭使用价值和减轻环境污染的有效途径。现有技术中，将矸石从煤炭中分选出来的方法主要是采用人工手选、机械分选和射线透射分选法，具体地：
5.人工选矸是由站在皮带机两侧的选矸工通过手选完成矸石的分拣工作，不仅劳动强度大，生产效率低，还经常会出现漏选、错选的情况；并且工作环境的粉尘污染以及连续性的重复动作会对工人的身心健康产生影响。
6.机械方法是利用矸石物理特性的不同来分选，目前广泛采用的重介法、跳汰法等均是利用煤和矸石在水溶液中的比重不同来进行分选；但是该种方法不仅设备庞大、造价高、工艺复杂，而且还会有水源污染等诸多负面影响。
7.透射分选法采用双能γ射线或x射线作为放射源，根据煤和矸石对射线吸收量的不同来识别煤和矸石。利用双能射线识别煤和矸石的过程多采用智能算法优化处理，如模糊神经网络、生态遗传算法等，但是此种基于视觉特征提取的场景分类方法难以取得较好的泛化效果。


技术实现要素：

8.为了解决上述问题，本发明提出了一种基于双能射线透射成像的煤和矸石分选方法、装置及系统，利用双能射线透射分选法映射出煤和矸石高相似度的透射图像，与轻量级卷积神经网络的分选模型相结合，提高分选效率和分选质量，降低分选设备成本。
9.为了实现上述目的，本发明采用如下技术方案：
10.第一方面，本发明提供一种基于双能射线透射成像的煤和矸石分选方法，包括：
11.获取煤样本和矸石样本分别经双能射线透射后的透射图像；
12.对透射图像进行数据量化后得到高低能透射图像；
13.对高低能透射图像经目标分割后得到煤样本图像和矸石样本图像，以此构建训练样本集；
14.根据训练样本集对构建的煤矸分选模型进行训练，对待分选样本采用训练后的煤矸分选模型得到煤和矸石的分选结果。
15.作为可选择的实施方式，对透射图像进行数据量化后得到高低能透射图像的过程包括：将煤样本和矸石样本分别经双能射线透射后，将射线辐射信号转换成数字信号，映射成包含高能级和低能级的透射图像，对透射图像进行左右高低能级的对称分割，并按比例进行复制融合，得到高低能透射图像。
16.作为可选择的实施方式，对高低能透射图像经目标分割之前进行预处理，预处理包括对高低能透射图像进行二值化、双边滤波、泛洪填充、腐蚀膨胀以及形态学优化处理。
17.作为可选择的实施方式，所述泛洪填充处理为填充不连续区域，构建完整且连续的目标区块。
18.作为可选择的实施方式，基于轻量级卷积神经网络构建煤矸分选模型，所述煤矸分选模型在第一个卷积层之后和最后一个卷积层之后引入通道注意力机制和空间注意力机制，并减小降采样过程的输入尺寸，且构建残差级联组。
19.作为可选择的实施方式，所述煤矸分选模型具有移植性，对煤矸分选模型进行格式转换，通过与智能芯片的通信连接，将格式转换后的煤矸分选模型复制移植到智能芯片中。
20.第二方面，本发明提供一种基于双能射线透射成像的煤和矸石分选装置，包括：
21.获取模块，被配置为获取煤样本和矸石样本分别经双能射线透射后的透射图像；
22.量化模块，被配置为对透射图像进行数据量化后得到高低能透射图像；
23.预处理模块，被配置为对高低能透射图像经目标分割后得到煤样本图像和矸石样本图像，以此构建训练样本集；
24.训练及分选模块，被配置为根据训练样本集对构建的煤矸分选模型进行训练，对待分选样本采用训练后的煤矸分选模型得到煤和矸石的分选结果。
25.第三方面，本发明提供一种基于双能射线透射成像的煤和矸石分选系统，包括：检测装置、第二方面所述的煤和矸石分选装置和分拣装置；
26.所述检测装置采用双能射线对煤样本、矸石样本和待分选样本进行透射；
27.所述煤和矸石分选装置用于根据煤样本和矸石样本的透射图像对构建的煤矸分选模型进行训练，并采用训练后的煤矸分选模型对待分选样本进行分选，得到煤和矸石的分选结果；
28.所述分拣装置用于根据分选结果执行煤和矸石的分拣动作。
29.第四方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
30.第五方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
31.与现有技术相比，本发明的有益效果为：
32.本发明提出一种基于双能射线透射成像的煤和矸石分选方法、装置及系统，利用双能射线透射分选法映射出煤和矸石高相似度的透射图像，利用轻量级卷积神经网络模型识别分类，提高分选效率，人工成本较低。
33.本发明通过对经双能射线透射后的透射图像进行多步骤的预处理操作，处理双能射线映射图像的量化和高低能级信息，减少曝光、杂质等因素对样本分割的影响。
34.本发明利用轻量级卷积神经网络模型，可以从大量的数据样本中学习到相应的抽象图像特征，避免复杂图像的特征提取处理过程，具有更低的计算复杂度，缩减参数规模，结构简单，运行速度快。且具有轻量可移植的特点，在保持分类准确率基本不变的前提下，具有较少的计算量和较快的识别速度，并且可以转化应用于在人工智能芯片上。
35.本发明利用双能射线透射分选法和轻量级卷积神经网络模型相结合，并且可应用于人工智能芯片上以快捷高效分拣煤和矸石，提高分选煤炭的质量，降低计算量，降低分选设备成本以及降低煤矿分选的用人成本。
36.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
37.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
38.图1为本发明实施例1提供的煤和矸石分选方法流程图；
39.图2为本发明实施例1提供的双能x射线灰度图像量化与高低能级信息融合过程示意图；
40.图3为本发明实施例1提供的透射图像预处理示意图；
41.图4为本发明实施例1提供的轻量级神经网络模型示意图；
42.图5为本发明实施例3提供的煤和矸石分选系统结构图。
具体实施方式
43.下面结合附图与实施例对本发明做进一步说明。
44.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
45.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
46.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
47.实施例1
48.如图1所示，本实施例提供一种基于双能射线透射成像的煤和矸石分选方法，将双能x射线透射成像与神经网络相结合，构建轻量神经网络煤矸分选模型，在人工智能芯片中应用神经网络，融合嵌入式程序完成矸石的识别与自动分选，可以有效提高分选煤炭的质量以及降低煤矿分选过程的用人成本。具体包括：
49.获取煤样本和矸石样本分别经双能射线透射后的透射图像；
50.对透射图像进行数据量化后得到高低能透射图像；
51.对高低能透射图像经目标分割后得到煤样本图像和矸石样本图像，以此构建训练样本集；
52.根据训练样本集对构建的煤矸分选模型进行训练，对待分选样本采用训练后的煤矸分选模型得到煤和矸石的分选结果。
53.在本实施例中，如图2所示，将煤样本和矸石样本经输送皮带机输送至高低能级光源下进行照射，通过双能x射线源发射射线束透射煤样本和矸石样本，进行连续扫描，由阵列x射线探测器接收x射线辐射信号；将x射线辐射信号转换成数字信号，映射形成包含高能级和低能级的灰度透射图像；
54.灰度透射图像左右对称，且左边为高能级，右边为低能级，故对灰度透射图像进行左右高低能级的对称分割，并按照1:2的比例进行复制融合，得到包含高低能级通道的rgb格式的无损高低能透射图像。
55.在本实施例中，对高低能透射图像进行图像预处理，得到煤样本图像和矸石样本图像，以此构建训练样本集；如图3所示，具体包括：
56.对高低能透射图像进行二值化处理，得到二值化图像，二值化图像呈现出对比明显的黑白效果；
57.利用双边滤波对二值化图像进行去噪处理，减少图像噪声；
58.对去噪后的图像进行泛洪处理，填充不连续区域，构建完整且连续的目标区块；
59.对目标区块进行腐蚀膨胀以及形态学优化处理，防止分割时图像背景对矸石和煤的识别与分离造成干扰；
60.上述处理后的图像已经具有明显的区域特征与边缘特征，进而进行轮廓查找与分割，得到具有高低能级通道的煤样本图像或矸石样本图像及定位轮廓的四角坐标。
61.在本实施例中，构建改进的轻量级卷积神经网络，通过训练样本集对改进的轻量级卷积神经网络进行训练，得到基于轻量级神经网络的煤矸分选模型；本实施例采用mobilenetv2网络构建轻量级卷积神经网络，如图4所示，具体包括：
62.训练样本集是包含高低能级通道的tiff格式图像，随机将每类按9:1的比例分为训练集和测试集，对矸石的图像做标签1，对煤的图像做标签0，训练时图像缩放为尺寸32
×
32；
63.输入训练图像，尺寸变换后的矿石区域切片为32
×
32，第一卷积层的卷积核的尺寸为3
×
3、通道数为32；与mobilenetv2不同，在第一个卷积层之后，加入通道注意力机制和空间注意力机制，能够加快loss收敛，提升预测识别效率；
64.加入mobilenetv2中的倒残差网络模块，倒置的残差块是先对输入特征图进行升维使通道数增加，再用深度可分离卷积在高维特征图上提取特征，最后再降维使通道数和输入特征图一样；输出的feature map作为残差级联组的输入，这个残差级联组总共有3个残差级联层的模块，每个级联层包含若干个倒残差结构，最后对级联输出的feature map进行特征融合，通道合并，传递到下一阶段，输出特征层尺寸为8
×
8；
65.在级联融合的特征层之后加入卷积层，卷积核的尺寸为3
×
3、通道数为1280，在最后一层卷积层后加入通道注意力机制和空间注意力机制；经过平均池化，输出层采用
softmax作为激活函数，最终得到输入图像的分类结果。
66.本实施例的煤矸分选模型相对于mobilenetv2网络，区别在于：
67.(1)降采样的过程；mobilenetv2网络结构输入尺寸是224
×
224
×
3，由于样本数据集的图片尺寸较小，为适应数据集的尺寸，降采样过程进行改变，输入图像大小为32
×
32
×
2，feature map尺寸由32
×
32逐步降为16
×
16、8
×
8、1
×
1。
68.(2)引入注意力机制；在第一个网络层之后和最后一个网络层之后加入通道注意力机制和空间注意力机制。
69.(3)构建残差级联组；级联组包含三个级联层，每个级联层包含不同的倒残差结构，输入特征经过残差级联组级联，各层输出的feature map进行特征融合，通道合并，传递到下一阶段。
70.(4)轻量可移植性；网络模型计算量和参数量均较小，并且可以转换为rknn模型文件，移植到瑞芯微芯片中执行分类识别。
71.在本实施例中，可将煤矸分选模型移植到人工智能芯片上，具体为：
72.(1)在本地pc主机利用改进的轻量级卷积神经网络进行训练，得到煤矸分选模型并保存。
73.(2)对保存的煤矸分选模型进行格式转换，将pth格式转化为onnx格式，进而转换为rknn格式。
74.(3)将人工智能芯片核心板的usb otg连接到pc，并且正确识别到设备，将pc与人工智能芯片进行ntb连接并通信。
75.(4)将rknn模型文件复制移植到人工智能芯片中，将rknn模型运行在人工智能芯片上，识别预测煤和矸石样本的分类。
76.在本实施例中，将待分选样本在传送带上运输，利用高低能级的双能x射线进行射线透射成像，然后经过图像预处理得到待分选样本图像及其定位轮廓的四角坐标；根据待分选样本图像，采用煤矸分选模型进行分类，得到煤和矸石的分类结果。
77.实施例2
78.本实施例提供一种基于双能射线透射成像的煤和矸石分选装置，包括：
79.获取模块，被配置为获取煤样本和矸石样本分别经双能射线透射后的透射图像；
80.量化模块，被配置为对透射图像进行数据量化后得到高低能透射图像；
81.预处理模块，被配置为对高低能透射图像经目标分割后得到煤样本图像和矸石样本图像，以此构建训练样本集；
82.训练及分选模块，被配置为根据训练样本集对构建的煤矸分选模型进行训练，对待分选样本采用训练后的煤矸分选模型得到煤和矸石的分选结果。
83.此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
84.实施例3
85.如图5所示，本实施例提供一种基于双能射线透射成像的煤和矸石分选系统，包括：检测装置、实施例2所述的煤和矸石分选装置和分拣装置；
86.所述检测装置用于采用双能射线对煤样本、矸石样本和待分选样本进行透射；
87.所述煤和矸石分选装置用于对煤样本和矸石样本的透射图像对构建的煤矸分选模型进行训练，并采用训练后的煤矸分选模型对待分选样本进行分选，得到煤和矸石的分选结果；
88.所述分拣装置用于根据分选结果执行煤和矸石的分拣动作。
89.在本实施例中，所述检测装置为搭建的双能x射线试验平台，包括放射源和射线传感器，煤样本和矸石样本经输送皮带机输送至高低能级光源下进行照射，通过双能x射线源发射射线束透射煤样本和矸石样本，进行连续扫描，由阵列x射线传感器接收x射线辐射信号，将x射线辐射信号转换成数字信号，映射形成包含高能级和低能级的灰度透射图像。
90.在本实施例中，所述煤和矸石分选装置对检测装置所检测的被别识物体相应的物理特性数据进行加工处理，并按照预先设定好的模型进行判断。
91.检测装置处理得到煤与矸石的透射图像传送至煤和矸石分选装置，以对透射图像进行预处理、定位坐标和样本数据集进行训练。
92.在本实施例中，在人工智能芯片上移植训练后的煤矸分选模型，将模型文件转换为人工智能芯片可识别文件rknn，分类识别过程由瑞芯微rv1126执行，芯片中的npu能够加速神经网络计算，提高运行识别效率。
93.在本实施例中，根据分选结果和定位坐标向分拣装置发出分选指令，分拣系统由控制仪器、物料斗、机械臂和供电设备等组成用以进行执行分离煤和矸石的分拣动作。
94.在更多实施例中，还提供：
95.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
96.应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
97.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
98.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
99.实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
100.本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
101.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。