基于图像增强技术的隧道衬砌表面缺陷检测方法

摘要: 本发明涉及图像增强,尤其涉及基于图像增强技术的隧道衬砌表面缺陷检测方法。背景技术:1、图像增强技术主要涉及对数字图像中的亮度、对比度、边缘、纹理、色彩、空间结构...
基于图像增强技术的隧道衬砌表面缺陷检测方法

本发明涉及图像增强,尤其涉及基于图像增强技术的隧道衬砌表面缺陷检测方法。

背景技术:

1、图像增强技术主要涉及对数字图像中的亮度、对比度、边缘、纹理、色彩、空间结构及噪声分布进行处理,以改善图像的视觉表现和有效信息表达能力,其处理对象可以来源于可见光成像、红外成像、深度成像及多源传感成像等不同类型的图像信息。

2、现有图像增强处理通常围绕亮度、对比度、边缘、纹理、色彩、空间结构及噪声分布进行独立或局部调整,实际运作中往往侧重单幅图像内部的视觉改善,当可见光图像和深度图像同时参与检测时,不同传感成像视角、局部畸变、像素尺度差异及衬砌曲面形态容易造成纹理位置和深度位置不能严格对应,增强后的边缘可能对应至错误的空间起伏位置,进而影响缺陷边界判断;常规平滑处理在抑制深度噪声时,邻域像素通常按照空间接近程度或像素数值接近程度参与计算,衬砌表面真实裂缝边缘、剥落边缘和孤立跳变噪声之间存在相似的突变表现,容易产生真实边缘被平滑削弱或噪声点被保留的情况,例如凹陷边界附近若存在随机深度跳变,局部平滑可能同时压缩凹陷深度差和噪声幅度,使缺陷轮廓趋于模糊;与此同时,单纯依据亮度、纹理或边缘强度执行增强,面对水渍、施工接缝、附着污物及表面粗糙纹理时,非缺陷区域同样可能产生明显高频响应,容易形成伪缺陷特征,而单纯依据深度起伏判断又容易受到测距噪声、反射异常及局部缺失深度值干扰,导致体积型缺陷的空间范围不连续。因此,需要进行改进。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点,而提出的基于图像增强技术的隧道衬砌表面缺陷检测方法。

2、为了实现上述目的,本发明采用了如下技术方案,基于图像增强技术的隧道衬砌表面缺陷检测方法,包括以下步骤:

3、根据衬砌表面彩色图像与衬砌表面深度图像,提取三维曲率极值点与二维灰度角点;结合预设的相机标定参数建立初始投影映射关系并计算跨模态匹配代价,筛选得到曲率空间控制点集;

4、调用所述曲率空间控制点集构建薄板样条网格变换矩阵,计算每个像素的非刚性位移矢量并执行像素空间重采样坐标映射,得到空间配准深度图;

5、计算所述衬砌表面彩色图像在水平方向与垂直方向的像素梯度模长,区分平坦区域与纹理边缘区域;

6、将所述像素梯度模长结合局部邻域的空间欧氏距离与彩色像素值差异,构建结构引导滤波核权重矩阵;

7、利用所述结构引导滤波核权重矩阵对所述空间配准深度图执行联合双边滤波运算,替换孤立跳变噪声像素的深度数值,得到去噪边缘保持深度图;

8、对所述去噪边缘保持深度图与所述衬砌表面彩色图像执行多尺度高斯降采样及上采样差值运算,构建深度图拉普拉斯金字塔与彩色图像拉普拉斯金字塔;

9、在所述深度图拉普拉斯金字塔的深度高频分量层上设定滑动窗口,计算滑动窗口内的局部深度方差值,将所述局部深度方差值与预设的体积型缺陷判定限值进行比对,提取方差突变区域并输出空间二值标记矩阵,得到缺陷显著性空间掩膜。

10、较佳地,所述方法还包括:

11、在各个金字塔尺度下,计算所述深度高频分量层与所述缺陷显著性空间掩膜的哈达玛积,获取显著深度高频注入特征层;将所述显著深度高频注入特征层叠加融合至对应尺度的所述彩色图像拉普拉斯金字塔的高频细节图层中;

12、对融合后的各尺度图层执行逆向金字塔插值展开与逐层残差相加重构运算,得到衬砌缺损立体融合图像。

13、较佳地,所述曲率空间控制点集的获取步骤为:

14、根据衬砌表面彩色图像和衬砌表面深度图像,按照所述衬砌表面深度图像中各深度像素对应的三维坐标建立局部曲面邻域,计算各三维坐标在不同曲率方向上的曲率变化,比较中心三维坐标的曲率数值和相邻三维坐标的曲率数值,保留局部曲率最大值点及局部曲率最小值点作为三维曲率极值点,对所述衬砌表面彩色图像逐像素计算灰度变化方向和邻域灰度差异,筛选两个灰度变化方向同时发生转折的像素位置作为二维灰度角点,调用预设的相机标定参数,将三维曲率极值点投影至所述衬砌表面彩色图像的二维坐标范围,建立初始投影映射关系,以投影位置为中心提取三维曲率极值点、二维灰度角点对应的局部邻域,将局部邻域中的数值分别进行均值中心化及幅值归一化,逐对计算对应位置数值乘积的累加结果并转换为跨模态匹配代价,按照所述跨模态匹配代价从小到大排列候选对应点,保留满足预设匹配代价限值且三维曲率极值点、二维灰度角点保持一一对应关系的候选对应点,得到曲率空间控制点集。

15、较佳地,所述空间配准深度图的获取步骤为:

16、根据所述曲率空间控制点集,逐项读取每个控制点对应的三维曲率极值点投影坐标和二维灰度角点坐标,计算同一控制点两类坐标在水平方向、垂直方向上的坐标偏移量,按照所述曲率空间控制点集中的控制点排列顺序建立控制点坐标约束关系,计算不同控制点之间的空间距离,依据所述空间距离形成控制点间的非线性形变约束项,同时依据控制点坐标形成平移约束项及坐标变化约束项,将非线性形变约束项、平移约束项、坐标变化约束项按照控制点对应关系写入薄板样条网格变换矩阵,求取使各控制点变换后坐标趋近对应二维灰度角点坐标的变换参数,将所述衬砌表面深度图像中每个像素的坐标依次代入薄板样条网格变换矩阵,分别求取每个像素在水平方向、垂直方向上的坐标改变量,得到每个像素的非刚性位移矢量;

17、根据所述每个像素的非刚性位移矢量,读取所述衬砌表面深度图像中每个像素的原始水平坐标、原始垂直坐标及对应深度数值,将每个像素的水平位移分量叠加至原始水平坐标,将每个像素的垂直位移分量叠加至原始垂直坐标,形成每个深度数值对应的目标重采样坐标,按照所述衬砌表面彩色图像的像素坐标范围检查目标重采样坐标,剔除超出所述衬砌表面彩色图像视场边界的目标重采样坐标,对处于相邻整数像素坐标之间的目标重采样坐标,读取周围有效深度数值,根据目标重采样坐标到相邻像素坐标的空间距离分配深度数值贡献,将重采样后的深度数值逐像素写入所述衬砌表面彩色图像对应的像素位置,使深度像素位置按照所述衬砌表面彩色图像视场完成坐标对齐,得到空间配准深度图。

18、较佳地,所述结构引导滤波核权重矩阵的获取步骤为:

19、根据所述衬砌表面彩色图像,逐像素读取水平方向相邻彩色像素值及垂直方向相邻彩色像素值,分别计算中心像素在水平方向的灰度变化量和垂直方向的灰度变化量,根据两个方向的灰度变化量确定对应像素的像素梯度模长,统计所述衬砌表面彩色图像全部像素的像素梯度模长分布,按照像素梯度模长由小到大进行排序,从排序结果中确定用于区域划分的梯度分界位置,将像素梯度模长小于梯度分界位置对应数值的连续像素划分为平坦区域,将像素梯度模长大于或等于梯度分界位置对应数值的连续像素划分为纹理边缘区域,得到平坦区域与纹理边缘区域;

20、根据所述平坦区域与所述纹理边缘区域,按照每个中心像素设定局部邻域,读取局部邻域内各邻域像素相对于中心像素的水平坐标差及垂直坐标差,根据水平坐标差、垂直坐标差确定局部邻域的空间欧氏距离,同时读取中心像素彩色像素值和各邻域像素彩色像素值,逐通道计算彩色像素值差异,将空间欧氏距离对应的空间接近程度、彩色像素值差异对应的颜色接近程度和中心像素的像素梯度模长共同写入邻域权重位置,对所述纹理边缘区域中跨越纹理边缘的邻域像素降低权重分配,对所述平坦区域中空间欧氏距离最小且彩色像素值差异最小的邻域像素提高权重分配,再对每个局部邻域内全部权重进行归一化排列,得到结构引导滤波核权重矩阵。

21、较佳地,所述去噪边缘保持深度图的获取步骤为:

22、逐像素读取所述空间配准深度图的中心像素深度数值及局部邻域内各邻域像素深度数值,将所述结构引导滤波核权重矩阵中对应邻域位置的权重分配至各邻域像素深度数值,比较中心像素深度数值与局部邻域加权深度数值的偏离程度,识别中心像素深度数值相对于周围连续深度变化发生单点突变且对应彩色像素位置未处于所述纹理边缘区域的像素位置,将识别出的像素位置确定为孤立跳变噪声像素,调用同一局部邻域内经过所述结构引导滤波核权重矩阵加权后的有效深度数值替换孤立跳变噪声像素的深度数值,对所述纹理边缘区域对应位置保留跨边缘权重受限后的深度变化,逐像素完成所述空间配准深度图的深度数值更新,得到去噪边缘保持深度图。

23、较佳地,所述深度图拉普拉斯金字塔与彩色图像拉普拉斯金字塔的获取步骤为:

24、根据所述去噪边缘保持深度图与所述衬砌表面彩色图像,分别按照预设尺度层级对相邻像素进行加权平滑,将每一级平滑结果按对应采样间隔缩减像素尺寸,形成逐级降低空间分辨率的图层,再将下一尺度图层恢复至上一尺度像素尺寸,按照相同像素坐标计算上一尺度图层像素数值和恢复图层像素数值的差值,将各尺度差值图层按照尺度顺序排列,得到深度图拉普拉斯金字塔与彩色图像拉普拉斯金字塔。

25、较佳地,所述缺陷显著性空间掩膜的获取步骤为:

26、按照尺度层级逐层读取所述深度图拉普拉斯金字塔中的差值图层,将反映相邻尺度深度变化的差值图层确定为深度高频分量层,在每个所述深度高频分量层上按照预设窗口尺寸及预设移动间隔逐位置设置滑动窗口,读取滑动窗口覆盖范围内全部深度高频数值,计算全部深度高频数值相对于窗口均值的离散程度,并将计算结果记录至对应滑动窗口中心像素位置,得到局部深度方差值;

27、按照像素坐标逐项调用预设的体积型缺陷判定限值,将每个像素位置的所述局部深度方差值和预设的体积型缺陷判定限值进行比较,将所述局部深度方差值大于或等于预设的体积型缺陷判定限值的像素位置标记为方差突变区域,将所述局部深度方差值小于预设的体积型缺陷判定限值的像素位置标记为非方差突变区域,对方差突变区域赋予缺陷标记值,对非方差突变区域赋予背景标记值,按照原像素坐标排列全部标记值并输出空间二值标记矩阵,得到缺陷显著性空间掩膜。

28、较佳地,所述衬砌缺损立体融合图像的获取步骤为:

29、根据所述彩色图像拉普拉斯金字塔、所述深度图拉普拉斯金字塔以及所述缺陷显著性空间掩膜,按照金字塔尺度编号逐层读取所述彩色图像拉普拉斯金字塔的图层尺寸和所述深度图拉普拉斯金字塔的对应图层尺寸,将所述缺陷显著性空间掩膜按照对应尺度的像素坐标进行位置对应,逐像素读取所述深度图拉普拉斯金字塔中的深度高频分量层数值以及所述缺陷显著性空间掩膜中的空间二值标记值,将同一像素坐标下的深度高频分量层数值和空间二值标记值逐项相乘,使方差突变区域对应的深度高频分量层数值被保留,使非方差突变区域对应的深度高频分量层数值被抑制,按照原像素排列位置写入各金字塔尺度,得到显著深度高频注入特征层;

30、按照相同金字塔尺度编号读取所述彩色图像拉普拉斯金字塔中的高频细节图层,逐像素核对所述显著深度高频注入特征层和对应尺度高频细节图层的像素坐标,将所述显著深度高频注入特征层中保留的深度高频数值叠加至相同像素坐标的高频细节数值,对所述缺陷显著性空间掩膜标记为非方差突变区域的像素位置保持原有高频细节数值,对所述缺陷显著性空间掩膜标记为方差突变区域的像素位置写入叠加后的高频细节数值,按照各金字塔尺度的原始层级顺序保存叠加结果,形成融合后的各尺度图层;

31、根据所述融合后的各尺度图层,从空间分辨率最低的金字塔尺度开始读取融合图层,按照相邻上一金字塔尺度的像素尺寸对当前融合图层执行像素位置扩展,将扩展后产生的非整数像素位置依据相邻有效像素数值进行插值赋值,使扩展结果恢复至上一金字塔尺度的像素尺寸,再读取上一金字塔尺度对应的融合图层,将扩展结果按照相同像素坐标逐项叠加至上一金字塔尺度的残差数值,依照金字塔尺度由低分辨率至高分辨率的顺序重复像素位置扩展、插值赋值及残差叠加,直至恢复至衬砌表面彩色图像的原始像素尺寸,得到衬砌缺损立体融合图像。

32、与现有技术相比,本发明的优点和积极效果在于:

33、本发明中,通过衬砌表面彩色图像和衬砌表面深度图像之间的跨模态对应关系,将三维曲率极值点所反映的空间形变特征同二维灰度角点所反映的纹理突变特征建立位置关联,再依据相机标定参数、跨模态匹配代价和曲率空间控制点集,对深度像素执行非刚性位移校正及重采样,使深度信息能够贴合彩色纹理位置,减少视角差异、局部形变和成像误差造成的空间错配,在此基础上,根据水平像素梯度、垂直像素梯度、局部空间欧氏距离和彩色像素值差异共同确定邻域权重,使平坦区域获得连续深度平滑,使纹理边缘附近的深度变化获得保留,同时针对孤立跳变噪声像素进行深度替换,从而兼顾深度噪声抑制和真实结构边界保护;进一步通过多尺度降采样、上采样差值以及拉普拉斯层级分解,将深度空间变化拆分至不同尺度,在深度高频分量层中利用局部深度方差识别空间突变,再以体积型缺陷判定限值形成缺陷显著性空间掩膜,使裂缝之外的剥落、凹陷、鼓出及掉块等具有明显深度起伏的区域获得针对性突出,并通过缺陷显著性空间掩膜和深度高频分量层的逐像素乘积,仅保留缺陷位置对应的有效深度高频信息,再将显著深度高频注入特征层叠加至彩色图像对应尺度的高频细节图层,经过逐尺度插值展开和残差重构,使颜色纹理、边缘轮廓及空间起伏在同一图像中保持一致表达,进而提升复杂照明、衬砌表面污渍、纹理干扰及深度随机噪声条件下的缺陷显著程度,降低非缺陷纹理被误判为结构缺损的概率,同时增强体积型缺陷边界、范围和立体变化的可辨识性。