一种基于CV算法的刮板输送机部件故障识别方法及装置与流程

一种基于cv算法的刮板输送机部件故障识别方法及装置
技术领域
1.本发明涉及设备维护及计算机视觉领域，尤其涉及一种基于cv算法的刮板输送机部件故障识别方法及装置。


背景技术：

2.刮板输送机是由刮板链牵引，在槽内运送散料的设备。由于刮板输送机的作用不仅是运送煤和物料，并且还是综采工作面唯一的运输设备，所以它对煤矿的安全生产起着至关重要的作用，其中，刮板输送机链条作为实现链轮转动系统运作的主要部件之一，受到自身材料、人为因素和载荷分布不均等因素的影响，极易发生断裂事故，而刮板也会因链条跳链、煤块卡料等因素发生断裂，而刮板或刮板链一旦发生断裂会导致整个采煤工作面呈现停产状态，使整个生产中断，甚至会导致作业人员出现伤亡。通过对其断裂的检测，有利于第一时间发现断裂位置，及时补救，从而降低损失成本。
3.目前检测刮板和链条断裂的方法主要分为霍尔元件检测法以及依靠各类传感器实现的方法、驱动电机电流检测法和张紧液压缸压力检测法、行程开关和接触触头检测法、基于射频识别方法等。其中，霍尔元件检测法以及依靠各类传感器的方法，主要是实现每个传感器数据共享的传输，并且每个数据都能在各个变频器上直接读取。传感器中最关键的为接近开关传感器，当链条通过传输接近某个传感器时，将发生触碰效应。该方法需保证各个传感器等关键部件的数据传输是正确的，并且需要通过手动模式初始化系统。利用驱动电机电流检测法和张紧液压缸压力检测法，主要包括利用功率、利用张力以及测量压力值间接获得张力的实时监测方法。但由于煤矿井下环境恶劣，此类监测方法不能够保证监测的准确性。利用行程开关和接触触头检测法以及基于频射识别的方法，通过接触式定位，将刮板机刮板结构是否断裂的信息与易碎电子标签信息的检测成功与否进行正向对等，放大刮板结构的断裂信息，并反馈给终端用户。但是在采矿的场景下，电子标签可能会由于非刮板断裂而破碎，产生误报。


技术实现要素：

4.为克服相关技术中存在的问题，本发明提供一种基于cv算法的刮板输送机部件故障识别方法及装置，能够解决现有技术中检测精度与效率低、鲁棒性与泛化能力差的问题。
5.根据本发明实施例的第一方面，提供一种基于cv算法的刮板输送机部件故障识别方法，包括：采集刮板输送机的图像；将采集的图像输入预先训练的智能分割模型，得到刮板输送机部件的实例分割结果；根据所述实例分割结果判断所述刮板输送机部件是否存在故障。
6.进一步，所述智能分割模型的训练过程，具体包括：采集刮板输送机部件的图像数据，并对采集的图像数据进行预处理，组成数据集，
构建用于训练神经网络的大数据库；利用处理好的图像数据库构建像素级别的识别刮板输送机部件的智能分割模型，并初始化智能分割模型进行训练；训练完成后，将测试图像输入到所述智能分割模型中，计算测试的平均准确度及预测误差，判断是否满足要求，若满足，则保存所述智能分割模型及权重参数。
7.进一步，所述根据所述分割结果判断所述刮板输送机部件是否存在故障，具体包括：对实例分割提取的像素坐标对应的二维数组值进行遍历；遍历完成后，若图像中未存在断裂的像素点，则表示所述刮板输送机部件未断裂，否则表示存在断裂。
8.进一步，该方法还包括：统计表示断裂像素的连通长度，以识别刮板输送机部件的断裂程度。
9.根据本发明实施例的第二方面，提供一种基于cv算法的刮板输送机部件故障识别装置，包括：图像采集模块，用于采集刮板输送机的图像；实例分割模块，用于将采集的图像输入预先训练的智能分割模型，得到刮板输送机部件的实例分割结果；故障判断模块，用于根据所述实例分割结果判断所述刮板输送机部件是否存在故障。
10.进一步，该装置还包括模型训练模块，具体包括：图像采集及预处理单元，用于采集刮板输送机部件的图像数据，并对采集的图像数据进行预处理，组成数据集，构建用于训练神经网络的大数据库；模型训练单元，用于利用处理好的图像数据库构建像素级别的识别刮板输送机部件的智能分割模型，并初始化智能分割模型进行训练；模型测试及保存单元，用于训练完成后，将测试图像输入到所述智能分割模型中，计算测试的平均准确度及预测误差，判断是否满足要求，若满足，则保存所述智能分割模型及权重参数。
11.进一步，所述故障判断模块，具体包括：像素遍历单元，用于对实例分割提取的像素坐标对应的二维数组值进行遍历；断裂判断单元，用于遍历完成后，若图像中未存在断裂的像素点，则表示所述刮板输送机部件未断裂，否则表示存在断裂。
12.进一步，该装置还包括：断裂程度识别单元，用于统计表示断裂像素的连通长度，以识别刮板输送机部件的断裂程度。
13.根据本发明实施例的第三方面，提供一种终端设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
14.根据本发明实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储
有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
15.本发明的实施例提供的技术方案可以包括以下有益效果：本方案通过现有摄像机实时监控刮板状态，通过基于实例分割算法对刮板输送机部件进行定位识别，再对实例分割结果进行分析，检测是否发生故障，并且可以定位故障位置，实现实时、高效、精准的监测。相对其他传统方法，可以很大程度上提高监测的实时性，提高统计精度，降低人力成本。此外，该方案无需对现有的刮板输送机做硬件改动，降低了改造成本。而相对于依赖各类传感器的方法，本方案仅需保证实时监控设备运行良好，不会过度依赖各类硬件的运行状态，具有识别率高、观测直观、成本低廉等优点。
16.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
17.通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
18.图1是根据本发明一示例性实施例示出的一种基于cv算法的刮板输送机部件故障识别方法的流程示意图。
19.图2是mask r-cnn框架；图3是刮板输送机刮板和链条标注示意图；图4是断裂的刮板或链条二维矩阵示意图；图5是二维矩阵搜索方向示意图；图6是根据本发明一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
20.下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
21.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
22.应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
23.本发明实施例涉及到的硬件设备有摄像机、gpu服务器等，其中摄像可以选择矿场现有网络摄像机，负责图像采集。gpu服务器完成算法推理，放置于井上机房。
24.以下结合附图详细描述本发明实施例的技术方案。
25.图1是根据本发明一示例性实施例示出的一种基于cv算法的刮板输送机部件故障识别方法的流程示意图。
26.参见图1，该方法包括：110、采集刮板输送机的图像；120、将采集的图像输入预先训练的智能分割模型，得到刮板输送机部件的实例分割结果；具体的，该步骤中，以首先通过实例分割（instance segmentation）中的mask r-cnn（图2）算法，结合场景信息，识别出刮板输送机部件，以便后续判断其是否存在故障，本实施例中，以识别刮板输送机上的刮板和链条是否存在断裂为例，首先通过实例分割算法识别刮板输送机上的刮板和链条的像素范围，然后后续即可对提取的像素做分析，根据像素的连通性，确认是否存在断裂。
27.实例分割是一种在像素层面识别目标轮廓的任务。mask r-cnn为faster r-cnn网络的改进，它是一个两阶段的框架，第一个阶段扫描图像并生成提议（proposals，即有可能包含一个目标的区域），第二阶段分类提议并生成边界框和掩码。
28.以识别刮板和链条为例，介绍智能分割模型的训练过程如下：首先采集刮板和链条的图像数据，然后对采集的图像数据进行预处理，组成更加完整的数据集，构建用于训练神经网络的大数据库。然后利用处理好的图像数据库构建像素级别的刮板和链条识别智能分割模型，并初始化智能分割模型进行训练。
29.训练完成后，将测试图像输入到所述智能分割模型中，计算测试的平均准确度及预测误差，判断是否满足要求，若满足，则保存所述智能分割模型及权重参数，输出刮板和链条分割结果。实例分割同样适用于识别其他的目标，例如可以识别皮带断裂等场景，具有广泛的应用能力。模型识别后的结果如图3所示，分别对刮板和链条的像素范围用带有各自标签的识别框进行了标注。
30.130、根据所述实例分割结果判断所述刮板输送机部件是否存在故障。
31.具体的，利用mask r-cnn提取完所需要的像素后，需要对所提取的像素进行分析，判断识别到的刮板和链条是否存在断裂的情况。
32.为了检验识别到的刮板或链条是否断裂，该步骤需要对实例分割提取的像素坐标对应的二维数组值进行遍历。遍历完成后，若图像中未存在断裂的像素点，则表示刮板或链条未断裂；否则表示存在断裂。
33.可选地，在该实施例中，步骤130具体包括：步骤1301、对实例分割提取的像素坐标对应的二维数组值进行遍历；步骤1302、遍历完成后，若图像中未存在断裂的像素点，则表示所述刮板输送机部件未断裂，否则表示存在断裂。
34.本发明实施例示出的一种基于cv算法的刮板输送机部件故障识别方法，相比于现有技术，具有以下优点：相比于霍尔元件检测法和压力传感器检测方法，本方案通过摄像机采集图像，通
过算法分析刮板输送机的刮板和链条是否断裂，不易受到外界干扰，可行性高。
35.相比于驱动电机电流检测法和张紧液压缸压力检测法，本方案可实现部分链条断裂检测，实用性更强。
36.相比于行程开关和接触触头检测法以及基于频射识别法，本方案通过摄像机采集图像，无需对现有的刮板输送机设备做硬件改动，成本低廉，且不易受到损坏，可靠性强。
37.可选地，在该实施例中，如图1所示，该方法还包括：140、统计表示断裂像素的连通长度，以识别刮板输送机部件的断裂程度。
38.具体的，如图4所示，假设表示同一部分（刮板或链条）的数组值是相同的，设为1；其余部分（断裂处）与刮板或链条对应的数组值是不同的，设为0。所有坐标的数组值构成一个二维矩阵，所以需要遍历一个二维矩阵。
39.首先从[0][0]开始，遍历矩阵中的每一个点，判断是否断裂且断裂程度的过程有如下3个步骤：步骤1：若像素对应的值为0，进行步骤2，否则进行步骤3；步骤2：沿着图5所示的搜索方向进行像素连通长度统计，格点上的数字表示为方向，中心像素为图像中心灰色格点，以方向0为例，若该相邻数组值为0（断裂处），则中心像素的延伸长度r1=2；继续沿着方向0的拓展方向0,1,7搜索，若方向7的数组值为0，则r1=3；再继续沿着7的拓展方向0,6,7搜索，若有数组值为0，则r1=4，依次类推。最后获得中心像素8个方向的延伸长度r1~r8，令r=max{r1,r2,
…
r8}，根据r的大小来判断断裂程度。r的值越大，表示断裂程度越严重。
[0040]
步骤3：按照从左至右，从上到下的顺序，扫描下一个像素，并进入步骤1判断该像素对应的数组值是否为0。
[0041]
遍历结束后，若不存在数组值为0的像素，则表示未断裂；否则表示断裂，并且断裂程度由r值的大小来表示。
[0042]
本实施例中，通过识别刮板输送机部件的断裂程度，便于后期运维时针对不同断裂程度进行分级报警和处理。
[0043]
与上述方法实施例相对应地，本发明实施例提供一种基于cv算法的刮板输送机部件故障识别装置，该装置包括：图像采集模块，用于采集刮板输送机的图像；实例分割模块，用于将采集的图像输入预先训练的智能分割模型，得到刮板输送机部件的实例分割结果；故障判断模块，用于根据所述实例分割结果判断所述刮板输送机部件是否存在故障。
[0044]
可选地，在该实施例中，该装置还包括模型训练模块，具体包括：图像采集及预处理单元，用于采集刮板输送机部件的图像数据，并对采集的图像数据进行预处理，组成数据集，构建用于训练神经网络的大数据库；模型训练单元，用于利用处理好的图像数据库构建像素级别的识别刮板输送机部件的智能分割模型，并初始化智能分割模型进行训练；模型测试及保存单元，用于训练完成后，将测试图像输入到所述智能分割模型中，计算测试的平均准确度及预测误差，判断是否满足要求，若满足，则保存所述智能分割模型
及权重参数。
[0045]
可选地，在该实施例中，所述故障判断模块，具体包括：像素遍历单元，用于对实例分割提取的像素坐标对应的二维数组值进行遍历；断裂判断单元，用于遍历完成后，若图像中未存在断裂的像素点，则表示所述刮板输送机部件未断裂，否则表示存在断裂。
[0046]
可选地，在该实施例中，该装置还包括：断裂程度识别单元，用于统计表示断裂像素的连通长度，以识别刮板输送机部件的断裂程度。
[0047]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在上述有关方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
[0048]
图6是根据本发明一示例性实施例示出的一种计算设备的结构示意图。
[0049]
参见图6，计算设备600包括存储器610和处理器620。
[0050]
处理器620可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现场可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0051]
存储器610可以包括各种类型的存储单元，例如系统内存、只读存储器（rom），和永久存储装置。其中，rom可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器610可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（dram，sram，sdram，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器610可以包括可读和/或写的可移除的存储设备，例如激光唱片（cd）、只读数字多功能光盘（例如dvd-rom，双层dvd-rom）、只读蓝光光盘、超密度光盘、闪存卡（例如sd卡、min sd卡、micro-sd卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0052]
存储器610上存储有可执行代码，当可执行代码被处理器620处理时，可以使处理器620执行上文述及的方法中的部分或全部。
[0053]
上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0054]
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计
算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。
[0055]
或者，本发明还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或计算设备、服务器等）的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。
[0056]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
[0057]
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0058]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。