一种管线缺陷识别与信息提取方法与流程

1.本发明涉及管线检测技术领域，尤其是一种管线缺陷识别与信息提取方法。


背景技术：

2.本文所述的管线包括但是不限于梁斜拉索，斜拉索是斜拉桥的主要受力构件，对斜拉结构桥梁的结构安全和实用寿命具有直接的重要影响。然而，斜拉索从建成起，就不可避免地受到腐蚀退化、振动疲劳衰减等各种不利因素的作用。其布置于梁体外部，并长期处于高应力状态下，其截面尺寸又小，故斜拉索对腐蚀作用非常敏感，斜拉桥的实用安全性和耐久性在很大程度上取决于斜拉索的抗腐蚀能力。
3.因此，需要对斜拉索进行顶部或不定期的检测，现有技术中已经提出了专利号为“202011492607.8”、名称为“一种桥梁斜拉索缺陷识别方法”的中国发明专利，其包括：对任一表观相机的表观图像进行光照补偿，并采用直方图均衡化处理；采用二维零均值离散高斯函数作为平滑滤波器对光照补偿后的表观图像进行高斯滤波；对平滑处理后的表观图像采用sobel算子进行边缘检测，并对边缘检测后图像进行二值化处理；采用直线提取识别桥梁斜拉索的管道，并剔除任一表观图像中管道两侧背景信息；采用模板匹配算法制作雨线模板，遍历雨线模板，依次旋转雨线模板α角度，并作为滑动窗口在表观图像上滑动，提取获得雨线区域，剔除图像中的雨线；采用图像膨胀处理和连通域提取，获得数个像素块。
4.但是，上述技术存在以下问题：
5.第一，信息提取不全面，轮廓检测不完整；
6.第二，雨线的提取忽略了噪声，且模板选取不完整，忽略了光影的影响；
7.第三，病害的统计不完整，使用膨胀算法使病害的形态发生了偏差；
8.因此，急需要提出一种逻辑简单、检测可靠的管线缺陷识别与信息提取方法。


技术实现要素：

9.针对上述问题，本发明的目的在于提供一种管线缺陷识别与信息提取方法，本发明采用的技术方案如下：
10.一种管线缺陷识别与信息提取方法，包括以下步骤：
11.拍摄管线的图像，并求得沿管线方向的梯度；
12.对图像中的管线进行边缘提取，累加同一相机下任一图像中的边缘直线，并得到管线的边缘轮廓，利用canny边缘检测算法提取得到管线的位置；
13.采用模板匹配算法提取任一图像中的雨线区域；
14.采用sobel算法沿管线的横向方向和总线方向分别求得梯度，对边缘检测的图像进行二值化处理，以提取管线的轮廓；
15.在管线区域内去除雨线区域；
16.对管线区域内的缝隙缺陷区域进行填补，得到闭合轮廓；
17.采用graham扫描算法对闭合轮廓进行凸包检测，并去除噪声点，以得到病害的区
域。
18.优选地，所述图像中管线沿纵向方向布设，并且采用sobel算法求得纵向方向的梯度。
19.进一步地，对图像中的管线进行边缘提取，包括：
20.预设阈值t，并对求得梯度后的图像进行二值化处理，所述t为大于1的自然数；
21.采用霍夫变换检测图像中管线的直线，即设某条直线与x轴的夹角为θ，距离为r
θ
，则直线上的任一点(x0,y0)，都满足：
22.r
θ
＝x0cosθ y0sinθ；
23.所述图像的横向方向为x轴，纵向方向为y轴；
24.预设管线的最小宽度阈值，并提出小于最小宽度阈值的直线；
25.预设直线的斜率阈值，并剔除斜率小于斜率阈值的直线；
26.对直线进行曲线焦点和长度检测，以得到管线的边缘对应的直线。
27.进一步地，所述管线缺陷识别与信息提取方法，还包括：
28.在图像中，将管线的左侧轮廓直线和右侧轮廓直线分别延伸至图像边缘，分别得到数个与图像边缘的交点和
29.分别求得交点和各自的中间的点和
30.连接中间的交点，得到管线的边缘轮廓的直线，左侧轮廓直线表达式为：
[0031][0032][0033]
y
l
＝k0x
l
b0[0034]
其中，表示左侧轮廓与图像上边缘的交点的中间点的纵坐标；表示左侧轮廓与图像下边缘的交点的中间点的纵坐标；表示左侧轮廓与图像上边缘的交点的中间点的横坐标；表示左侧轮廓与图像下边缘的交点的中间点的横坐标；height表示整张图片的高度；threshold表示边缘直线向中间平移的阈值。
[0035]
右侧轮廓直线表达式为：
[0036][0037][0038]
y
r
＝k1x
r
b1[0039]
其中，表示右侧轮廓与图像上边缘的交点的中间点的纵坐标；表示右侧轮廓与图像下边缘的交点的中间点的纵坐标；表示右侧轮廓与图像上边缘的交点的中间点的横坐标；表示右侧轮廓与图像下边缘的交点的中间点的横坐标。
[0040]
更进一步地，采用模板匹配算法提取任一图像中的雨线区域，包括以下步骤：
[0041]
制作雨线模板；
[0042]
采用相关匹配的方法进行匹配，即计算雨线模板和图像之间的乘积，表达式为：
[0043][0044]
其中，设得到的矩阵为r(x,y)，模板图像矩阵为t(x',y')，源图像矩阵为i(x x',y y')。
[0045]
剔除图像中雨线轮廓的噪声区域，并匹配得到最强感应区域，即为雨线区域。
[0046]
更进一步地，对所述雨线区域进行膨胀处理。
[0047]
与现有技术相比，本发明具有以下有益效果：
[0048]
(1)本发明巧妙地对图像进行纵向梯度计算和边缘提取，再进行管线位置的确定；不同的相机机位由于拍摄角度的差异会得到不同外观特征的管线图片，因此，管线的位置在每个机位都是不同的，确定每个机位的管线位置，是病害提取前提条件；
[0049]
(2)本发明的相机沿管线方向拍摄图像，并且管线在图像中呈纵向方向排布；本发明巧妙地进行纵向梯度计算，以提取管线的综合位置；
[0050]
(3)本发明通过灰度差以区分管线边缘与背景区域，并采用霍夫曼算法检测直线，以保证管线的边缘可靠区分；
[0051]
(4)本发明设定管线的最小宽度阈值，不仅保证管线区域切割的完整性，又确保不会被类似特征的异物(胶带、划痕)影响被误认为管线边缘，而造成最终检测的管线范围过窄、许多病害被过滤的问题；
[0052]
(5)本发明的管线的位置由该机位所有的图像共同决定，累加当前机位的所有图片提取到的边缘直线，最终得到的边缘轮廓再次进行canny边缘提取，再次获得边缘直线，其管线轮廓直线查询准确可靠；
[0053]
(6)本发明对任一图像的边缘直线进行延长，并利用上下交点的中间点进行连线，以获得准确可靠的管线的边缘对应的直线；
[0054]
(7)本发明巧妙的构建雨线模板，并进行匹配，得到匹配区域的最强感应区域，即可得到图像中的雨线位置，再进行雨线图片进行膨胀操作，保证雨线区域构建可靠；
[0055]
(8)本发明通过对缝隙进行闭合填补，其可以填补图片中的缝隙缺陷，从而使病害更加完整；
[0056]
综上所述，本发明具有逻辑简单、准确可靠等优点，在管线检测技术领域具有很高的实用价值和推广价值。
附图说明
[0057]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0058]
图1为本发明的相机拍摄的图像。
[0059]
图2为本发明的直线轮廓示意图。
[0060]
图3为本发明的轮廓提取示意图。
[0061]
图4为本发明的管线位置示意图。
[0062]
图5为本发明的雨线示意图。
[0063]
图6为本发明的单独雨线示意图。
[0064]
图7为本发明中膨胀的雨线示意图。
[0065]
图8为本发明中x方向边缘检测示意图。
[0066]
图9为本发明中y方向边缘检测示意图。
[0067]
图10为本发明中结合后的边缘检测示意图。
[0068]
图11为本发明中经二值化处理后的边缘检测示意图。
[0069]
图12为本发明中管线位置示意图。
[0070]
图13为本发明中去除雨线后的管线位置示意图。
[0071]
图14为本发明中闭操作后的病害轮廓示意图。
[0072]
图15为本发明中凸包的示意图。
具体实施方式
[0073]
为使本技术的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0074]
实施例
[0075]
如图1至图15所示，本实施例提供了一种管线缺陷识别与信息提取方法，其包括以下步骤：
[0076]
第一步，确定管线的位置：
[0077]
(1)计算纵向梯度：
[0078]
在管线检测时，爬索机器人携带至少三个相机(环形排布)进行同时检测。不同的相机机位由于拍摄角度的差异会得到不同外观特征的管线图片，所以管线的位置在每个机位都是不同的，确定每个机位的管线位置，是病害提取的前提。
[0079]
如图1所示，管线在图片中的形态表明管线边缘在图中是纵向排布，因此，采用sobel算子计算y(纵向)方向上的梯度，提取管线的综合位置。
[0080]
(2)边缘提取：
[0081]
由于管线边缘与背景区域存在明显的灰度差，所以按照值为100的阈值对梯度图像进行二值化。二值化的图片中包含管线边缘与其他的背景信息、管线中的某些病害等；但是管线边缘是明显的直线，且长度较长，所以需要采用霍夫变换检测图像中管线的直线，检测原理为：设某条直线与x轴的夹角为θ，距离为r
θ
，那么对于直线上的任一点(x0,y0)，都满足：
[0082]
r
θ
＝x0cosθ y0sinθ；
[0083]
管线位置的确定不仅需要保证管线区域切割的完整性，又需要确保不会被类似特征的异物(胶带、划痕)影响被误认为管线边缘，造成最终检测的管线范围过窄，许多病害被过滤。为了解决这个问题，本实施例设置了一个管线的最小宽度，在提取每张图片的边缘线时，把该直线延长至图像两端，若两端的中点距离图像中心差距过小，小于设定的阈值(200)，则该直线被删除。同时，过滤倾斜度过大的直线(如雨线的边缘)，计算每个直线的斜
率，在图像中，如果斜率小于设定的斜率值(1.5)，则被认为是其他物体被去除。
[0084]
在本实施例经过两次直线检测，第一次在每张图片中提取，提取后选择出有效的直线。在提取后的直线合并后的图片中进行二次提取，使用二次提取后的直线进行管线位置的确定。两次直线提取的参数均设置为：最小的曲线焦点为100，最小长度为50，被认为在一条直线上的点的最大距离为10。
[0085]
(3)管线位置确定：
[0086]
管线的位置由该机位所有的图像共同决定，累加当前机位的所有图片提取到的边缘直线，最终得到的边缘轮廓再次进行canny边缘提取，再次获得边缘直线。
[0087]
另外，确定任一图像中的管线位置的方法如下：
[0088]
在图像中，将管线的左侧轮廓直线和右侧轮廓直线分别延伸至图像边缘，分别得到数个与图像边缘的交点和即左侧的直线与上端的交点和下端的交点右侧的直线与上端的交点和下端的交点
[0089]
分别求得交点和各自的中间的点和
[0090]
连接中间的交点，得到管线的边缘轮廓的直线，左侧轮廓直线表达式为：
[0091][0092][0093]
y
l
＝k0x
l
b0[0094]
其中，表示左侧轮廓与图像上边缘的交点的中间点的纵坐标；表示左侧轮廓与图像下边缘的交点的中间点的纵坐标；表示左侧轮廓与图像上边缘的交点的中间点的横坐标；表示左侧轮廓与图像下边缘的交点的中间点的横坐标；height表示整张图片的高度；threshold表示边缘直线向中间平移的阈值。
[0095]
右侧轮廓直线表达式为：
[0096][0097][0098]
y
r
＝k1x
r
b1[0099]
其中，表示右侧轮廓与图像上边缘的交点的中间点的纵坐标；表示右侧轮廓与图像下边缘的交点的中间点的纵坐标；表示右侧轮廓与图像上边缘的交点的中间点的横坐标；表示右侧轮廓与图像下边缘的交点的中间点的横坐标。
[0100]
第二步，雨线提取：
[0101]
采用模板匹配的方法对每张图片提取雨线区域：
[0102]
(1)制作雨线模板，模板为64*64大小的各种不同明暗程度和外观特征的雨线部位图片，共收集雨线模板图片20张；
[0103]
(2)使用模板匹配算法来对原始图片进行每一个模板图片的匹配，匹配使用相关
匹配法，即模板和图像间的乘法操作，其表达式为：
[0104][0105]
其中，设得到的矩阵为r(x,y)，模板图像矩阵为t(x',y')，源图像矩阵为i(x x',y y')。
[0106]
最终得到的r值越大，代表匹配程度越高，算法对每个模板分别进行15度的旋转角度来统计每个旋转角度的匹配结果，最后计算匹配度最高的模板，判断匹配程度是否达到了设定的阈值0.7，如果超过0.7，则认为匹配正确。
[0107]
(3)雨线的检测结果会包含个别噪声，在匹配结果中，根据轮廓的面积进行噪声区域的剔除(面积小于300则为噪声)
[0108]
(4)计算正确匹配区域的最强感应区域，即可得到图像中的雨线位置。但是雨线位置的附近通常由于光影和雨线形状影响，模板匹配得到的雨线并不能完全覆盖原始照片中的全部雨线，所以算法对模板匹配检测到的雨线图片进行膨胀操作，其中膨胀核选用31
×
31大小的椭圆核。
[0109]
第三步，轮廓提取：
[0110]
如图8至图11所示，病害的类型包括腐蚀、裂纹、破损、凹槽、深度划痕、坑洞等，不同种类的病害形状特征也各不相同，算法采用sobel分别在横向核纵向两个不同的方向进行梯度计算，最终将提取结果按照1：1的比例累加，得到总体的边缘检测结果；同时，为了清晰提取轮廓信息，使用值为25的阈值对边缘检测图像进行二值化处理。
[0111]
第四步，病害提取：
[0112]
如图12至图13所示，病害的轮廓信息存在于管线区域内，所以提取病害需要在边缘检测的图片中只提取管线范围内的感应区域，且需要去除掉雨线的区域。
[0113]
第五步，病害统计：
[0114]
(1)闭操作填补缝隙：病害本身存在明暗度、深浅度、明显度不一等问题，所以在图像中表现为不一样的梯度，按照阈值提取梯度图像后会出现病害断开、不完整、部分形状消失等情况，为了在保证病害大小和形状特征不受影响的前提下完善病害的整体信息，算法采用了闭操作，闭操作可以填补图片中的缝隙缺陷，从而使病害更加完整。这里的闭合操作仍旧采用尺寸为31
×
31的圆状核。
[0115]
(2)凸包统计病害大小：对于闭操作后的每个轮廓，都进行凸包的检测，可以有效提取到较大的病害所在的整体区域。每个凸包即代表图片中的一个病害，凸包的面积即可表示为病害的面积大小。
[0116]
(3)噪声消除：一些较小的凸包代表着附近没有其他病害，孤立且面积过小的噪声点，为了提取到完整的病害，计算每个凸包的面积，若面积过小(小于100)，则认为该区域为无效噪声，在最终结果中剔除。
[0117]
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。