一种基于图像视觉与电磁波融合的带式输送机异物识别方法与流程

1.本发明涉及一种识别方法，具体为一种基于图像视觉与电磁波融合的带式输送机异物识别方法。


背景技术：

2.带式输送机是煤炭井下运输的关键设备，但是在运输过程中时常处处有各种不同异物，当非煤异物进入运煤皮带系统容易引发输送带划伤、撕裂等严重事故，不仅会影响煤矿的安全生产，而且会造成十分惨重的经济损失。
3.机器视觉在异物识别中运用广泛，但目前的识别方法存在只能识别出表面异物，对于埋藏在内部的异物无法识别并且无法对识别出的异物进行有效分类。


技术实现要素：

4.本发明的目的在于提供一种基于图像视觉与电磁波融合的带式输送机异物识别方法，能够对埋藏在内部的异物进行识别并且对识别出的异物进行有效分类。
5.为实现上述目的，本发明提供如下技术方案： 一种基于图像视觉与电磁波融合的带式输送机异物识别方法，包括以下步骤：步骤一，通过对工业相机所拍摄的图像进行算法处理判断表面是否存在异物：对采集到的图像进行预处理，获得处理后的图像；建立基于faster r-cnn的异物识别检测模型，获取图片中表面物体的信息；在所述图像处理下，判断表面物体中是否存在异物；步骤二，对带式输送机上物体进行电磁波扫描，根据其反馈的信号进行分析判断内部是否有异物：当表面没有异物时，电磁波进行扫描，获取内部所反馈的信号；当表面有异物时，清理表面异物后在进行电磁波扫描，获取内部所反馈的信号；根据所反馈的信号，判别内部是否存在异物；步骤三，通过算法对异物进行分类判断是否为有用物品或能否进行粉碎的物品：通过获取的表面信息提取出异物图像特征；通过mpl分类器进行快速异物分类；根据分类器所反馈的结果判断异物是否具有价值或是否能进行粉碎；步骤四，输出所识别的结果通过控制器控制机械手完成相应的指示：其包括：上位机、机械抓手和机械抄手；上位机用于发送控制指令，给机械手发布相对应的指令；机械抓手用于抓取异物，机械抄手用于物体翻转，将内部异物翻转到表面。
6.所述步骤一中图像预处理包括：图像中值滤波降噪处理；采用自适应直方图均衡化实现图像增强处理，采用faster r-cnn算法对异物进行识别。
7.所述步骤二中电磁扫描包括：首先发射天线向目标体发射电磁波，由于不同的介质与目标体之间存在电性差异，会导致反射波存在一定的差异，当天线获取到目标体反射回来的电磁波后，可以根据反馈信号的波形和回波时间来对目标体以及内部物体的位置与
特征信息进行解释，从而反馈出各种物体的信息，推断出是否为异物。
8.所述步骤三中mpl分类器为基于神经网络的动态分类器，其步骤包括：1）创建分类器；2）获取各个类别的特征向量；3）将各个类别训练样本的特征向量添加到分类器中；4）训练模型，生成gmc文件；5）获取待分类图像的特征向量；6）通过分类器计算特征向量的类；7）清除分类器。
9.所述图像中值滤波降噪处理的中值滤波是依靠模板来实现的一种非线性滤波方式，其过程为：
①
将模板在图中移动，并使图中某个像素位置与模板中心相重合；
②
获取模板下各对应像素的灰度值；
③
按照灰度值的数值进行从小到大的排列；
④
找出排序后的灰度值的中值；
⑤
将这个中间值赋给对应模板中心位置的像素。
10.图像增强处理方法为使用自适应直方图均衡化实现图像增强；其自适应直方图均衡化首先计算图像的局部直方图，然后通过重新分布亮度的方式来调节图像对比度：采取局部对比度增强法并且为保存图像中的细节部分，提前度原图的细节部分进行了保存；其算法公式为：用表示以为中心的窗邻域均值；用表示对的变换函数。
11.faster r-cnn算法包括：基础特征提取；rpn 网络；目标分类；其中，基础特征提取包括：用于提取图片的特征，输入为整张图片，输出为提取出的特征称为特征图；其中，rpn 网络包括：用于推荐候选区域，输入为上一步获得的特征图，输出 roi 区域的位置得分和类别得分；其中，目标分类包括：将得到的 roi区域的位置得分和类别得分送入fast r-cnn网络，对其进行分类，并将分类结果输出。
12.所述的上位机包括图像处理单元、识别分类单元、电磁波单元、控制单元。
13.与现有技术相比，本发明的有益效果是：1、与传统的识别方法比较，可以准确的识别出表面与内部异物，充分识别出带式
输送机上所有异物；2、本发明识别更加准确，可以给各个异物进行不同种类的分类，是异物分类具体化；3、本发明采用工业相机与电磁波相融合，此两种方式的传输数率都十分的快捷，大大提高了效率；4、本发明上位机可同时控制不同的机械臂完成不同的工作，提高了工作效率。
附图说明
14.图1 为本发明识别方法流程图；图2 为本发明机械结构图；图3 为本发明整体方法流程图；图4 为本发明图像预处理流程图；图5为本发明faster r-cnn流程图；图6为本发明分类器流程图；图7 为本发明电磁波系统框图；图8为本发明上位机系统框图。
15.图中：1、支架，2、工业相机，3、破碎机，4、机械抓手，5、带式输送机，6、伺服电机，7、导轨，8、机械抄手，9、电磁波接发器，10、电磁波源发生器，11、收藏箱。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
17.如图2所示：本发明提供一种基于图像视觉与电磁波融合的带式输送机异物识别方法，其装置包括支架1、工业相机2、破碎机3、机械抓手4、带式输送机5、伺服电机6、导轨7、机械抄手8、电磁波接发器9、电磁波源发生器10、收藏箱11；其中，工业相机2、电磁波接发器9、电磁波源发生器10安装在支架1上对带式输送机5上的物体进行相应监测，带式输送机5由伺服电机6进行驱动，机械抓手4与机械抄手8各安装在带式输送机5两端的导轨7上，通过上位机给出的指令，机械抄手8对带式输送机5上的物体进行翻转，机械抓手4对带式输送机5上的异物进行抓取，放入破碎机3或者收藏箱11中。
18.如图1所示：一种基于图像视觉与电磁波融合的带式输送机异物识别方法，包括以下步骤：步骤一，通过对工业相机2所拍摄的图像进行算法处理判断表面是否存在异物：对采集到的图像进行预处理，获得处理后的图像；建立基于faster r-cnn的异物识别检测模型，获取图片中表面物体的信息；在检测算法处理下，判断表面物体中是否存在异物；如图4所示：所述步骤一中图像预处理包括：图像中值滤波降噪处理；采用自适应直方图均衡化实现图像增强处理，采用faster r-cnn算法对异物进行识别；所述图像中值滤波降噪处理的中值滤波是依靠模板来实现的一种非线性滤波方
式，其过程为：
①
将模板在图中移动，并使图中某个像素位置与模板中心相重合；
②
获取模板下各对应像素的灰度值；
③
按照灰度值的数值进行从小到大的排列；
④
找出排序后的灰度值的中值；
⑤
将这个中间值赋给对应模板中心位置的像素；图像增强处理方法为使用自适应直方图均衡化实现图像增强；其自适应直方图均衡化首先计算图像的局部直方图，然后通过重新分布亮度的方式来调节图像对比度：采取局部对比度增强法并且为保存图像中的细节部分，提前度原图的细节部分进行了保存；其算法公式为：用表示以为中心的窗邻域均值；用表示对的变换函数。
19.如图5所示：faster r-cnn 算法具有良好的在计算速度、计算精度，以及优秀的鲁棒性；faster r-cnn算法包括：基础特征提取；rpn 网络；目标分类；其中，基础特征提取包括：用于提取图片的特征，输入为整张图片，输出为提取出的特征称为特征图；其中，rpn 网络包括：用于推荐候选区域，输入为上一步获得的特征图，输出 roi 区域的位置得分和类别得分；其中，目标分类包括：将得到的 roi区域的位置得分和类别得分送入fast r-cnn网络，对其进行分类，并将分类结果输出；步骤二，对带式输送机上物体进行电磁波扫描，根据其反馈的信号进行分析判断内部是否有异物：当表面没有异物时，电磁波进行扫描，获取内部所反馈的信号；当表面有异物时，清理表面异物后在进行电磁波扫描，获取内部所反馈的信号；根据所反馈的信号，判别内部是否存在异物；如图7所示：电磁波系统包括：主控模块、收发模块、信号处理模块以及供电模块；所述步骤二中电磁扫描包括：首先发射天线向目标体发射电磁波，由于不同的介质与目标体之间存在电性差异，会导致反射波存在一定的差异，当天线获取到目标体反射回来的电磁波后，可以根据反馈信号的波形和回波时间来对目标体以及内部物体的位置与特征信息进行解释，从而反馈出各种物体的信息，推断出是否为异物；步骤三，通过算法对异物进行分类判断是否为有用物品或能否进行粉碎的物品：
如图6所示：通过获取的表面信息提取出异物图像特征；通过mpl分类器进行快速异物分类；根据分类器所反馈的结果判断异物是否具有价值或是否能进行粉碎；所述步骤三中mpl分类器为基于神经网络的动态分类器，其步骤包括：1）创建分类器；2）获取各个类别的特征向量；3）将各个类别训练样本的特征向量添加到分类器中；4）训练模型，生成gmc文件；5）获取待分类图像的特征向量；6）通过分类器计算特征向量的类；7）清除分类器；步骤四，输出所识别的结果通过控制器控制机械手完成相应的指示：其包括：上位机、机械抓手和机械抄手；上位机用于发送控制指令，给机械手发布相对应的指令；机械抓手用于抓取异物，机械抄手用于物体翻转，将内部异物翻转到表面；如图8所示：所述的上位机包括图像处理单元、识别分类单元、电磁波单元、控制单元：图像处理单元包括：接收图像数据、图像预处理、发送图像信息。通过对相机所拍摄的图像进行处理，将处理后的信息传送至识别分类单元。
20.识别分类单元包括：faster r-cnn算法识别信息、mpl分类器分类信息、发送识别分类信息。首先通过faster r-cnn算法识别表面异物，然后用mpl分类器具体分类，最终将分类信息发送至控制单元。
21.电磁波单元包括：发射电磁波信号、接收电磁波反馈信号、发送信号信息。通过发收天线发射电磁波并接收其反馈信号，然后将反馈信号发送至控制单元。
22.控制单元包括：接收信号指令、发送控制指令；通过接收到的信号进行分析，通过分析的结果对机械臂发送相对应的运动指令，最终完成任务。
23.综上所述，本发明整体流程可分为两大步骤，其中第二步骤可以拆分成上述的步骤二、三、四，其有6种情况，如图3所示：第一步骤为：使用工业相机在带式输送机运输时进行拍照，对所拍图像进行图像预处理，使用faster r-cnn算法进行异物识别；第二步骤为：
①
若表面有异物则进行目标分类，同时分辨出异物为有用或不可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入收藏箱11中，之后进行电磁波照射通过分析反馈信号，内部没有异物时则结束；
②
若表面有异物则进行目标分类，同时分辨出异物为无用且可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入破碎机3中，之后进行电磁波照射通过分析反馈信号，内部没有异物时则结束；
③
若表面无异物则进行电磁波照射，通过分析反馈信号，内部没有异物时则结束；
④
若表面无异物则进行电磁波照射，通过分析反馈信号，内部有异物时则通过卡尔曼滤波进行追踪定位，控制机械抄手4进行物体翻转，然后进行步骤一且进行步骤
①
或
②
流程直到结束；
⑤
若表面有异物则进行目标分类，同时分辨出异物为有用或不可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入收藏箱中，之后进行电磁波照射通过分析反馈信号，内部有异物时则进行步骤
④
流程直至结束；
⑥
若表面有异物则进行目标分类，同时分辨出异物为无用且可破碎时，则通过卡尔曼滤波追踪定位，使用机械抓手4将其抓取放入破碎机3中，之后进行电磁波照射通过分析反馈信号，内部有异物时则进行步骤
④
流程直至结束；最终通过此流程完成对异物的识别，实现最大化对异物的识别与清理。
24.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。