一种运输皮带边缘撕裂的在线检测方法及系统与流程

1.本发明属于皮带检测技术，特别涉及一种运输皮带边缘撕裂的在线检测方法及系统。


背景技术：

2.在工业领域中，皮带运输机是物料运输的主要工具。由于生产需要，皮带运输机通常会高负载的长时间运行。在这个过程中，落料点偏移、皮带与设备间摩擦、皮带跑偏等因素，都可能引发运输皮带的边缘撕裂问题，从而影响生产安全和生产效率。因此，运输皮带撕裂的及时预警是有必要的。
3.目前，主流的皮带撕裂检测方法包括以下几类：1）基于皮带边缘分析的方法。该方法通过提取图像中的皮带整体边缘线进行直线度分析以达到皮带边缘撕裂检测的目的。这类方法思路简洁、速度快，然而在工业现场，易受光照、灰尘、皮带磨纹等干扰，对皮带整体撕边无法有效识别；2）基于机器学习的方法。该类方法基于构建的皮带撕裂图像库，通过迭代训练的方式，获得用于皮带撕裂检测的神经网络等参数模型。这类方法检测精度高、泛化能力较好。但计算资源花费较大，依赖于皮带撕裂图像的大量采集和标注，实施难度较高；3）基于光源辅助的方法。该类方法使用一字激光线等光源照射皮带，通过识别激光线断点或移位进行皮带撕裂检测。这类方法鲁棒性好、精度高，通常安装于皮带机夹层中。但受限于皮带弧度和相机视场角，对于皮带边缘撕裂的检测性能较差，且这种仅分析激光线的方法，无法有效检出撕裂形状及面积。
4.因此，现有技术能够一定程度上解决皮带中间区域的撕裂检测问题，但对于皮带撕裂位置、撕裂形状、撕裂面积等边缘撕裂信息检测，尚无有效的检测方法。


技术实现要素：

5.针对上述问题，一方面本发明提出了一种运输皮带边缘撕裂的在线检测方法，所述检测方法包括以下步骤：获取运输皮带监测图像，并基于所述监测图像中托辊轴线上各相邻像素点间的像素值跳变强度筛选皮带边缘点；基于所述皮带边缘点的时序位置统计边缘基准点，并根据所述皮带边缘点的基准偏移量确定皮带近似边缘线；基于所述托辊轴线和皮带近似边缘线构建皮带背景模型，基于所述皮带背景模型检测皮带边缘撕裂区域。
6.进一步地，所述基于监测图像中托辊轴线上像素值跳变强度筛选皮带边缘点包括以下步骤：预先在监测图像上标注两侧皮带托辊轴线的位置；根据预先标注的托辊轴线遍历获取监测图像对应位置的像素值；
计算所述托辊轴线上各相邻像素点间的像素值跳变强度；沿皮带托辊外侧向内侧方向，将所述像素值跳变强度与预设的边缘强度阈值对比，选取第一个像素值跳变强度大于等于预设边缘强度阈值的像素点作为皮带边缘点。
7.进一步地，所述托辊轴线上各相邻像素点间的像素值跳变强度的计算公式如下：式中，表示像素值跳变强度，表示第j个像素点的像素值，表示第j-1个像素点的像素值，，n表示托辊轴线上像素点的个数。
8.进一步地，所述确定皮带近似边缘线包括以下步骤：通过各皮带边缘点的历史位置计算各皮带边缘基准点；计算各皮带边缘基准点的基准偏移量，根据所述基准偏移量确定有效边缘点，连接皮带同一侧的有效边缘点得到的线段，即为皮带近似边缘线。
9.进一步地，所述皮带边缘基准点的计算公式如下：其中，为第t帧图像中的皮带边缘点，为第t-1帧图像中的皮带边缘点，表示第t-1帧图像的皮带边缘基准点，为更新权重，表示皮带边缘基准点的更新速率。
10.进一步地，所述各皮带边缘基准点的基准偏移量按以下公式计算：其中，表示皮带边缘点的基准偏移量，为第t帧图像中的皮带边缘点，表示第t帧图像的皮带边缘基准点，和分别为皮带边缘点对应的皮带左右两侧边缘基准点，为皮带宽度，为当前皮带边缘点的基准偏移长度。
11.进一步地，根据所述基准偏移量确定有效边缘点的步骤如下：预设皮带边缘点的偏移阈值；根据所述皮带边缘点基准偏移量和偏移阈值的大小关系确定皮带是否发生偏移；当所述皮带边缘点基准偏移量大于等于所述偏移阈值时，所述皮带边缘点即为偏移点，皮带发生偏移，根据皮带边缘点发生偏移的类型确定有效边缘点；当所述皮带边缘点基准偏移量小于所述偏移阈值时，表示所述皮带未发生偏移，此时皮带边缘点即为有效边缘点。
12.进一步地，根据皮带边缘点发生偏移的类型确定有效边缘点包括：当皮带两侧均发生偏移，且偏移方向相同、基准偏移量相近时，表示皮带发生跑偏，此时当前帧皮带边缘点即为有效边缘点；
当各皮带边缘点偏移方向不同和/或基准偏移量不相近时，表示皮带在偏移点对应的托辊处发生撕裂，采用对应的边缘基准点作为有效边缘点。
13.进一步地，基于所述托辊轴线和皮带近似边缘线构建皮带背景模型包括以下步骤：基于所述托辊轴线确定皮带背景区域，基于所述皮带近似边缘线确定皮带撕裂监测区域；基于皮带背景区域构建皮带背景模型，获取对应皮带撕裂监测区域的运动前景。
14.进一步地，基于所述托辊轴线确定皮带背景区域，基于所述皮带近似边缘线确定皮带撕裂监测区域包括以下步骤：将预先标注的托辊轴线的外接矩形区域作为皮带背景区域；连接两侧的皮带近似边缘线获得四边形区域作为皮带掩膜区域；利用透视变换矩阵m将所述皮带掩膜区域映射为标准的矩形区域；在映射后的标准的矩形区域内，分别在皮带左、右两侧选择宽度比例为s的区域作为皮带撕裂监测区域。
15.进一步地，所述基于皮带背景区域构建皮带背景模型，获取对应皮带撕裂监测区域的运动前景包括以下步骤：获取当前帧在皮带背景区域的皮带源图像，利用混合高斯背景建模方法获得皮带背景图像；使用透视变换矩阵m将所述皮带源图像和皮带背景图像映射至皮带撕裂监测区域中；将映射后的皮带源图像和皮带背景图像转换为灰度图；将灰度后的皮带源图像和皮带背景图像进行差分并利用前景阈值二值化后获得对应的运动前景图。
16.进一步地，所述根据皮带背景模型检测皮带边缘撕裂区域包括以下步骤：对所述运动前景图进行连通域分析，筛选出靠近皮带外侧的连通域作为一级皮带撕裂候选区域；在一级皮带撕裂候选区域中，选出面积大于阈值的区域作为二级皮带撕裂候选区域；计算每个二级皮带撕裂候选区域的内部像素方差，保留方差小于预设阈值的候选区域即为皮带边缘撕裂区域；利用透视变换矩阵m的逆矩阵将皮带撕裂监测区域中满足撕裂条件的连通域逆透视变换映射至皮带源图像中，即可获得皮带边缘撕裂区域在当前帧图像中的位置。
17.另一方面本发明还提出了一种运输皮带边缘撕裂的在线检测系统，所述检测系统包括：皮带边缘点筛选模块，用于获取运输皮带监测图像，并基于所述监测图像中托辊轴线上各相邻像素点间的像素值跳变强度筛选皮带边缘点；皮带近似边缘线确定模块，用于基于所述皮带边缘点的时序位置统计边缘基准点，并根据所述皮带边缘点的基准偏移量确定皮带近似边缘线；
在线检测模块，用于基于所述托辊轴线和皮带近似边缘线构建皮带背景模型并基于所述皮带背景模型检测皮带边缘撕裂区域。
18.进一步地，所述皮带边缘点筛选模块还具体用于：预先在监测图像上标注两侧皮带托辊轴线的位置；根据预先标注的托辊轴线遍历获取监测图像对应位置的像素值；计算所述托辊轴线上各相邻像素点间的像素值跳变强度；式中，表示像素值跳变强度，表示第j个像素点的像素值，表示第j-1个像素点的像素值，，n表示托辊轴线上像素点的个数；沿皮带托辊外侧向内侧方向，将所述像素值跳变强度与预设的边缘强度阈值对比，选取第一个像素值跳变强度大于等于预设边缘强度阈值的像素点作为皮带边缘点。
19.进一步地，所述皮带近似边缘线确定模块还用于计算皮带边缘基准点和皮带边缘基准点的基准偏移量；式中，式中，为第t帧图像中的皮带边缘点，为第t-1帧图像中的皮带边缘点，表示第t-1帧图像的皮带边缘基准点，为更新权重，表示皮带边缘基准点的更新速率；和分别为皮带边缘点对应的皮带左右两侧边缘基准点，为皮带宽度，为当前皮带边缘点的基准偏移长度。
20.进一步地，所述在线检测模块具体用于：获取当前帧在皮带背景区域的皮带源图像，利用混合高斯背景建模方法获得皮带背景图像；使用透视变换矩阵m将所述皮带源图像和皮带背景图像映射至皮带撕裂监测区域中；将映射后的皮带源图像和皮带背景图像转换为灰度图；将灰度后的皮带源图像和皮带背景图像进行差分并利用前景阈值二值化后获得对应的运动前景图；对所述运动前景图进行连通域分析，筛选出靠近皮带外侧的连通域作为一级皮带撕裂候选区域；在一级皮带撕裂候选区域中，选出面积大于阈值的区域作为二级皮带撕裂候选区
域；计算每个二级皮带撕裂候选区域的内部像素方差，保留方差小于预设阈值的候选区域即为皮带边缘撕裂区域；利用透视变换矩阵m的逆矩阵将皮带撕裂监测区域中满足撕裂条件的连通域逆透视变换映射至皮带源图像中，即可获得皮带边缘撕裂区域在当前帧图像中的位置。
21.本发明的有益效果：本发明利用图像处理技术结合皮带运行过程中会发生的具体情况，通过筛选皮带边缘点、确定皮带边缘线并最终逐步确定皮带撕裂区域的方法实现了皮带的在线检测，在此基础上能够有效检测出皮带的完整撕裂形状、面积等撕裂区域信息，提升了皮带撕裂报警可靠性、可选性及可视化效果；本发明相比现有技术仅对单帧图像进行皮带撕裂检出和报警，通过统计皮带在时序上的基准边缘点，提升了皮带边缘线定位的稳定性，降低了皮带边缘错定位导致的撕裂误检或漏检；本发明提出了基于背景建模的撕裂前景监测和条件筛选流程，有效降低了皮带磨纹、划痕、变色、物料遮挡等因素对检测精度的干扰。
22.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1示出了本发明实施例中运输皮带边缘撕裂的在线检测方法的流程图；图2示出了本发明实施例中皮带粗选区域获取流程示意图；图3示出了本发明实施例中皮带边缘点偏移量计算示意图；图4示出了本发明实施例中不同情况下皮带撕裂对皮带边缘点位置的示意图；图5示出了本发明实施例中皮带背景区域及皮带撕裂监测区域确定流程示意图；图6示出了本发明实施例中基于背景建模筛选皮带撕裂区域的示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.本发明基于图像处理技术提出了一种运输皮带边缘撕裂在线检测方法，仅通过在线分析皮带监控图像，即可有效的实时监测并定位皮带边缘撕裂区域信息，避免了大量撕裂样本和激光辅助设备的需求，极大地降低了皮带边缘撕裂检测方案的实施难度。本方法
基于时序分析皮带边缘点，定位精度高且抗干扰能力强。同时，采用背景建模及条件筛选定位撕裂区域，能够有效检出撕裂区域位置、形状、面积等关键信息。
27.以下结合具体实施例对上述在线检测方法进行说明，由于皮带左、右两侧的撕裂检测方式相同，本实施例均以皮带左侧的撕裂检测过程为例进行详细说明。
28.本发明提出的一种运输皮带边缘撕裂在线检测方法如图1所示，具体包括以下步骤：s1、获取运输皮带监测图像，基于像素值跳变强度筛选皮带边缘点；其中，所述运输皮带监测图像包括待测皮带区域和皮带两侧托辊。
29.s11、托辊轴线预标注。托辊轴线一般单侧选择两条或者以上，以下结合图2以单侧各标注两条托辊轴线为例进行具体说明。
30.固定相机视角并确定相机监测场景后，预先标注两侧皮带托辊轴线的位置。具体的，如图2所示，在皮带单侧标注两个托辊轴线，分别记作a1b1和a2b2。其中，a1和a2为托辊外侧端点，b1和b2为托辊内侧端点。像素点均以（x，y）的形式表示横纵坐标值。
31.s12、皮带边缘点筛选及皮带近似边缘线确定。
32.首先，如图2所示，根据已标注的托辊轴线，遍历获取图像对应位置的像素值，记作，其中为预标注托辊轴线上像素点的个数；然后，计算托辊轴线各相邻像素点间的像素值跳变强度，计算方式如下：式中，表示像素值跳变强度，表示第j个像素点的像素值，表示第j-1个像素点的像素值，，n表示托辊轴线上像素点的个数。
33.接着，将所述像素值跳变强度沿托辊外侧向内侧方向（即a
→
b方向），逐个与预设的边缘强度阈值对比，选取第一个满足的像素点作为皮带边缘点，记作p；本发明将皮带边缘点的筛选顺序设定为由托辊的外侧到内侧，可以减少误定位的发生，通常由于托辊是光滑没有纹理的，而皮带上有些区域由于与物料摩擦会出现明显的线条状磨纹，这些线条状磨纹与皮带边缘很相似容易对皮带边缘定位造成干扰，而本发明从托辊外侧向内侧的筛选顺序时，第一个边缘点大概率是皮带边缘避免产生错误定位；而反方向极大可能会搜索到皮带磨纹大于阈值，从而产生误定位。
34.通过上述方式，即可确定皮带单侧在两个托辊处的皮带边缘点。
35.s2、基于皮带边缘点时序位置统计边缘基准点，并根据皮带边缘点偏移量确定皮带近似边缘线；运输皮带机在运行过程中，两侧的皮带边缘点会在一定范围内左右偏移，导致这种偏移的原因可能是由于物料重量、体积或落料点的不同产生的皮带跑偏，也可能是发生了皮带边缘撕裂。因此，本发明统计了皮带边缘点在时序上的基准位置，通过分析当前帧皮带边缘点的基准偏移量来确定皮带的有效近似边缘线。
36.步骤s2具体包括以下步骤：s21、基于皮带边缘点时序位置统计边缘基准点，并计算当前帧皮带边缘点的基准偏移量；具体的，皮带各边缘基准点均通过皮带边缘点的历史位置计算获得。设当前帧为第t帧，当前帧使用上述s1中计算，得到的皮带边缘点记作。则其对应的皮带边缘基准点的计算方式如下：其中，为第t帧图像中的皮带边缘点，为第t-1帧图像中的皮带边缘点，表示第t-1帧图像的皮带边缘基准点，为更新权重，表示皮带边缘基准点的更新速率。
37.进一步地，如图3所示，对于当前帧皮带边缘点和对应的皮带边缘基准点，计算皮带边缘点的基准偏移量的方式为：其中，和分别为皮带边缘点对应的皮带左右两侧边缘基准点，为皮带宽度，为当前皮带边缘点的基准偏移长度。
38.s22、根据皮带各边缘点的基准偏移量，分析皮带在托辊处的撕裂情况，确定皮带近似边缘线；获取皮带各边缘点基准偏移量后，通过预设的偏移阈值即可确定当前边缘点偏移是否异常。具体的，当某皮带边缘点满足时，表示该皮带边缘点未发生偏移；当某皮带边缘点满足时，表示皮带发生偏移，此时该皮带边缘点为偏移点，可能由皮带在托辊处的撕裂导致。
39.图4展示了皮带边缘点偏移时，皮带所有可能的状态。当各皮带边缘点均未发生偏移时，表示托辊处未发生皮带撕裂，此时当前帧边缘点即为有效边缘点；当皮带两侧均发生偏移，且偏移方向相同、基准偏移量相近时，表示皮带发生跑偏，此时当前帧边缘点即为有效边缘点；当各皮带边缘点偏移量不满足以上两种情况时，表示皮带在偏移点对应的托辊处发生撕裂，此时偏移点为无效边缘点，采用对应的边缘基准点作为有效边缘点。
40.具体的，所述有效边缘点表示若皮带未发生撕裂，皮带边缘应在托辊标注线处的近似位置，连接皮带同一侧的有效边缘点得到的线段，即为皮带近似边缘线。
41.结合图4对不同情况下皮带撕裂对边缘点位置的影响进行示例性说明，其中，a表示皮带托辊处未撕裂状态时，皮带边缘点的偏移情况；b和c表示皮带单侧撕裂状态下的皮带边缘点偏移情况，此时，单侧撕裂侧的皮带边缘点向外偏移；d表示皮带跑偏未撕裂状态下的皮带边缘点偏移情况，图中，虚线部分为偏移位置，此时，皮带边缘点向皮带跑偏方向
偏移；e表示皮带两侧撕裂状态下的皮带边缘点的偏移情况，此时两侧皮带边缘点均向皮带外侧偏移。上述附图并未详尽皮带的所有情况，仅是示例性举出。
42.s3、构建皮带背景模型，检测皮带边缘撕裂区域。
43.s31、基于预标注信息与皮带近似边缘，确定皮带背景区域及两侧撕裂监测区域；由于皮带机在运输过程中皮带会在一定范围内偏移运动，因此，本发明采用4个预标注的托辊标轴线外接矩形作为皮带背景区域。如图5所示，这种利用外接矩形作为皮带背景区域的方式，在加速背景建模处理速度的同时，保证了皮带背景区域覆盖皮带可能的移位区域。
44.其中，所述皮带背景区域即为4条预标注托辊轴线的外接矩形区域；具体的，所述皮带撕裂检测区域通过皮带近似边缘获取，获取步骤如图5所示：连接皮带两侧的近似边缘获得四边形区域，记作皮带掩膜区域；利用透视变换将形状为不规则四边形的皮带掩膜区域映射为标准的矩形皮带区域，其中，透视变换矩阵记作m，其透视变换逆矩阵记作；在映射后的矩形皮带区域内，分别在皮带左、右两侧选择宽度比例为s的区域作为皮带撕裂监测区域。假设映射后的矩形皮带区域的宽、高分别为w、h，以图像左上角为原点，则左侧皮带撕裂监测区域为，右侧皮带撕裂监测区域为，其中表示左上角顶点为(x,y)，宽、高分别为w、h的矩形区域。
45.s32、基于皮带背景区域，构建背景模型，获取对应皮带撕裂监测区域的运动前景。
46.具体的，本方案的皮带背景通过混合高斯背景建模法获得。设当前帧在皮带背景区域的源图像为i，利用背景建模费获得的皮带背景图像为。则使用上述s31中的透视变换矩阵m，即可将皮带源图像和背景图像映射至皮带撕裂监测区域中，如图6所示，映射后的源图像转换为灰度图，记作和，映射后的灰度背景图像记作和。
47.进一步的，如图6所示，将映射后的源图像和映射后的背景图像进行差分并利用前景阈值二值化，获得对应的运动前景图，记作和。
48.s33、对运动前景进行条件筛选，获取检测出的皮带边缘撕裂区域。
49.具体包括以下步骤：对运动前景图进行连通域分析，筛选出靠近皮带外侧的连通域作为皮带撕裂候选区域。具体的，设连通域为，其中k为连通域个数，k表示当前连通域在k个连通域中的索引，则对于皮带左侧监测区域，满足的连通域即为皮带撕裂候选区域；对于皮带右侧监测区域，满足的连通域即为一级皮带撕裂候选区域。撕裂候选区域记作；进一步的，对于撕裂候选区域，选出面积大于阈值的区域作为二级皮带撕裂候选区域，记作。
50.进一步的，计算每个二级皮带撕裂候选区域的内部像素方差，保留方差小于预设阈值的候选区域即为皮带撕裂区域，记作。
51.利用s31中的透视变换逆矩阵将皮带撕裂监测区域中满足撕裂条件的连通域逆透视变换映射至皮带源图像中，即可获得皮带撕裂区域在当前帧图像中的位置，即完成了皮带撕裂在线检测。
52.另外，除非另外明确指明，附图中的任何标志箭头应当仅被视为示例性的，而并非限制。
53.尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。