一种基于图像识别的选煤机器人及选煤方法与流程

1.本发明涉及煤矿分拣领域，具体涉及一种基于图像识别的选煤机器人及选煤方法。


背景技术：

2.目前大多数选煤厂都采用人工选煤的方式，这样的选煤方式会造成环境的污染，而且选煤效率低下需要有一定的工作经验才能胜任，并且工人的工作条件十分恶劣。人工选煤的方式具有很大的局限性，在经济条件迅速发展的时代机械选矸是必然的趋势。现有的机械选矸技术多采用动态跳筛分选，重介质分选法，x激光射线检测法等，这些煤矸分离技术可以在一定程度上减少人工的使用，但是由于操作方式比较复杂且机械性能不够稳定，并加大了工业排放，进一步恶化工业环境，无法完全的替代人工选煤的工作形式。在机械选矸的基础上发展了配合图像识别进行煤矸石筛选的技术，现有的图像识别选煤技术集中在利用多传感器融合的方式辅助执行，对形状、重量和矿石种类有一定的限制，无法满足对大多数选煤厂都通用的技术，需要针对性的设计，也无法满足选煤机器人设计简单且稳定性高的特点。


技术实现要素：

3.本发明意在提供一种基于图像识别的选煤机器人，针对人工选矸和机械选矸的缺点，利用图像识别和机械臂选矸结合，提高识别准确性，提高捡矸的效率提高经济效益，进一步保障工人的工作环境减少污染排放，满足实时矿石分类，机械抓取的工程需要。
4.为达到上述目的，本发明的基础技术方案如下：一种基于图像识别的选煤机器人，包括：
5.光学图像采集模块，用于对输送带上的煤矸石进行光学图像采集形成光学图像；
6.上位机，对光学图像进行识别并处理后输出坐标数据；
7.plc工控机，根据坐标数据输出动作信号；
8.机械臂，根据动作信号对识别的煤矸石进行抓取选出；
9.交换机，接收光学图像采集模块采集的图像信息并反馈给上位机，接收上位机输出的坐标数据并反馈给plc工控机。
10.本方案的原理及优点是：实际应用时，通过对输送带进行光学图像采集后进行图像识别，用上位机对图像范围内的煤矸石位置进行确定，并通过plc工控机控制机械臂对识别的煤矸石进行准确选取，利用图像识别和机械臂选矸结合，一方面提高捡矸的效率，提高经济效益，另一方面进一步保障工人的工作环境，减少污染排放，满足实时矿石分类、机械抓取的工程需要。
11.进一步，光学图像采集模块包括光源和相机，光源在相机外侧轴向均布有多个。作为优选这样对输送带上输送的煤料进行图像采集时可保障充足的光线，确保图像采集清晰，有利于后续对图像中煤矸石的准确可靠识别。
12.一种基于图像识别的选煤方法，采用上述一种基于图像识别的选煤机器人，其中上位机采用反选边缘的方式对光学图像中的煤矸石图像进行识别分割。这样针对输送带上前景与背景相似的特点，利用纹理特征进行图像分割，能够更好的从黑色的输送带图像中提取处灰度相似的矿石，提高了分拣的鲁棒性。
13.进一步，上位机采用mlp多层感知器对识别的光学图像进行数据处理后输出坐标数据。作为优选用mlp多层感知器作为机器学习框架模型，具有结构简单、易于移植、精度高且即时性强的特点。另一方面对框架里面的超参数的调节比较具有较强的可审查性，对于评价选矸正确率有更好的帮助。
14.进一步，mlp多层感知器以32位阶梯化的灰度绝对直方图和图像识别提取的特征向量为输入数据。作为优选采用32位阶梯化的灰度绝对直方图更方便进行神经网络的学习，正确率和识别速度相对于其他维度更高，这样能够代表煤矿和矸石的灰度特征和纹理特征，是区分矿石种类的可靠依据，进一步增加了机器学习分类识别的正确率。
15.进一步，图像识别提取的特征向量由灰度共生矩阵特征值能量、相关性、同质度和对比度组成。作为优选能量反映图像灰度分布均匀性和纹理厚度，相关性表示空间灰度共生矩阵元素在行或列方向上的相似度，同质度表示图像纹理的局部变化，对比度表示该像素与邻域像素的亮度对比。
16.进一步，反选边缘进行煤矸石图像识别分割的过程包括边缘检测、阈值、形态变换、特征选择、消除干扰和目标分割。作为优选在传统的正向图像分割方法中，所选择的区域包括了大部分的背景和矿石边缘，这对于识别网络分类出来的正确率有极大影响，大大降低了系统的鲁棒性。而本方案采用的反选边缘提取法，基于边缘的分割依赖于边缘检测算子发现的图像边缘，边缘检测算子可以指出图像在灰度、颜色、纹理等方面的不连续位置。将边缘合并到边缘链中，得到感兴趣区域。此外，还考虑了形态变换，提取了整个矿石样本的图像区域，有效提高系统的鲁棒性，保证识别的正确率。
17.进一步，消除干扰的过程通过比例缩小进行。作为优选这样可有利于消除噪声和输送带背景产生的干扰，提高图像分割的鲁棒性。
18.本发明的有益效果如下：
19.(1)采用图像识别、人工智能与机械选矸的组合形式，获得较高的选矸效率，良好的识别正确率和分拣系统适应各种不同工况的能力。
20.(2)通过反选边缘提取法设计，提高了图像识别和定位的高鲁棒性。
21.(3)利用灰度共生矩阵特征值模型，揭示不同矿石纹理特征之间的关系，为神经网络的输入、分类以及优化提供理论指导。
附图说明
22.图1为本发明实施例的结构简图；
23.图2为本发明实施例的系统流程图；
24.图3为本发明实施例中的坐标关系图；
25.图4为本发明实施例中的mlp神经网络模型。
具体实施方式
26.下面通过具体实施方式进一步详细说明：
27.说明书附图中的附图标记包括：计算机1、照明灯2、工业相机3、电机驱动器4、交换机5、plc 6、机械臂7。
28.实施例基本如附图1、图2所示：
29.一种基于图像识别的选煤机器人，包括：
30.光学图像采集模块，用于对输送带上的煤矸石进行光学图像采集形成光学图像，光学图像采集模块包括光源和相机，光源在相机外侧轴向均布有四个；
31.上位机，对采集的光学图像进行图像处理后输出坐标数据，图像处理包括图像预处理、图像分割、边缘检测、特征提取和去噪，采用反选边缘的方式对光学图像中的煤矸石图像进行识别分割，反选边缘进行煤矸石图像识别分割的过程包括边缘检测、阈值、形态变换、特征选择、消除干扰和目标分割；结合图4所示，采用mlp多层感知器对识别的光学图像进行数据处理后输出坐标数据，mlp多层感知器以32位阶梯化的灰度绝对直方图和能量、相关性、同质度、对比度这四个图像识别提取的特征向量为输入数据；
32.plc工控机，根据坐标数据输出动作信号；
33.机械臂，根据动作信号对识别的煤矸石进行抓取选出；
34.交换机，接收光学图像采集模块采集的图像信息并反馈给上位机，接收上位机输出的坐标数据并反馈给plc工控机。
35.一种基于图像识别的选煤方法，采用上述一种基于图像识别的机器人进行，其中图像算法和串行/网络端口通信由计算机1通过交换机5控制。光学图像采集系统由照明灯2和工业相机3组成，工业相机3用于采集光学图像并执行从计算机1传输的图像算法。利用电机驱动器4控制的机械臂7，根据西门子plc 6的坐标数据完成煤矸石的分选过程。输送带速度设定为0.4m/s，西门子plc 6、电机驱动器4、机械臂7组成的整个分拣系统可以研究图像识别的正确性、实时性和鲁棒性。
36.对由plc、电机驱动器和机械臂组成的分拣系统进行坐标系建模：结合图3，工业相机采集图像的像素坐标系(u,v)的坐标原点位于采集图像的左上角，需要将像素坐标系上的图像坐标转换为世界坐标系，世界坐标系的坐标原点(xw,yw,zw)是机械臂参考点的位置，机械臂总是在参考点处开始工作。相机坐标系的坐标原点(xc,yc,zc)是相机镜头光心的位置。因此坐标之间的关系可以表示为：
[0037][0038]
式中，矩阵pi表示相机的内部参数，矩阵pe表示相机的外部参数。
[0039]
建立图像识别mlp神经网络模型:
[0040]
(1)模型构架
[0041]
a)纹理特征向量选取
[0042]
针对煤矿和矸石具有表面光泽不同，纹理沟壑深浅不一等纹理特性，结合灰度共
生矩阵对于纹理验证方面的理论。在输入网络的特征向量中，选取灰度共生矩阵中的4个特征值作为纹理特征向量的代表：
[0043]
1)能量
[0044][0045]
2)相关性
[0046][0047]
3)同质度
[0048][0049]
4)对比度
[0050][0051]
公式(2)反映图像灰度分布均匀性和纹理厚度的能量,公式(3)表示空间灰度共生矩阵元素在行或列方向上的相似度，公式(4)表示图像纹理的局部变化，公式(5)表示该像素与邻域像素的亮度对比。
[0052]
b)神经网络结点建模
[0053]
如图3所示，模型设置了三层的mlp神经网络，针对输入的特征向量需要进行权重的分配设置，非线性激活函数的单元计算。基于神经网络知识，建立各层单元计算如下：
[0054][0055][0056][0057][0058]
公式(9)中采取的softmax激活函数可以用于输出多个互斥类的常见分类问题。
[0059]
c)权重优化以及系统评价
[0060]
整个mlp的模型可以简化为：
[0061]
f(x)＝g(b
(2)
w
(2)
(s(b
(1)
w
(1)
x)))
ꢀꢀꢀ
(10)
[0062]
mlp的所有参数都是各层之间的连接权值和偏移量包括w
(1)
，b
(1)
，w
(2)
，b
(2)
。一般采用bp反向传播算法来训练mpl多层感知器。使用bp反向传播算法就像从错误中学习。当人工神经网络出现错误时，监督者对其进行纠正。对相邻层上mlp节点的连接进行加权。学习的目的是为这些边分配正确的权重：
[0063][0064]
这些权值由输入向量决定了输出向量。在有监督学习中，对训练集进行标注。这意味着对于某些给定的输入，预期的输出(已标注的)是已知的。由公式(11)可知，可以利用输出值和样本值来计算总误差，然后利用反向传播来更新权值和偏差。梯度下降法可用于求解权值优化问题：首先对所有参数进行随机初始化，然后进行迭代训练。梯度和参数会不断计算和更新，直到满足一定的条件，比如误差足够小，迭代次数足够多。上式(11)中η和c
xj
表示学习率和代价函数。这里代价函数是用多项logistic损失：
[0065][0066]
这里yn是一次性编码向量，对第n幅图片的标签进行编码。xn是包含n个图像的批量处理中的向量化。
[0067]
(2)图像分割方案
[0068]
针对本文的工程条件，在传统的正向图像分割方法中，所选择的区域包括了大部分的背景和矿石边缘，这对于识别网络分类出来的正确率有极大影响，大大降低了系统的鲁棒性。所以本发明提出了反选边缘提取法，该法的主要步骤包括边缘检测、阈值、形态变换、特征选择、消除干扰和目标分割。边缘检测采用的是sobel算子，阈值分割是对边缘提取后的图像进行最大类间方差法，对得到了边缘链进行形态学上的膨胀和开运算，得到完整的矿石边缘，通过特征提取的方式去除噪声的干扰，把目标即识别区域提取出来。基于边缘的分割依赖于边缘检测算子发现的图像边缘，边缘检测算子可以指出图像在灰度、颜色、纹理等方面的不连续位置。但是，边缘检测得到的图像结果并不能很好地作为分割结果。因此，必须将边缘合并到边缘链中，才能得到感兴趣区域。此外，还考虑了形态变换，提取了整个矿石样本的图像区域。
[0069]
反选边缘提取法，受到噪声和传动带背景产生的干扰，因此我们进一步提出了比例缩小等去噪的方法，比例缩小具体为在提取了完整的矿石区域之后，进行比例缩小，进一步得到精确的矿石边缘，以排除区域中包含部分背景带来的噪声干扰。在图像预处理中，利用高斯滤波对噪声光点进行平滑处理降噪，在图像分割前后特征提取进行筛选去除较大的粉尘块和皮带纹理带来的影响，最后进行比例缩小去除部分背景造成的干扰，提高了图像分割的鲁棒性。
[0070]
以上所述的仅是本发明的实施例，方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。