一种基于移动窗口的路面点云平滑及裂缝信息处理方法

1.本发明属于路面裂缝类病害检测技术领域，更具体地说，涉及一种基于移动窗口的路面点云平滑及裂缝信息处理方法。


背景技术：

2.沥青路面作为公路工程的重要组成部分，是推动经济发展的重要基础设施，随着使用年限的增长，沥青路面出现了不同形式病害，其中路面裂缝已经成为公路及城市道路的最主要病害。
3.人工走查的判断方式存在工作效率低、劳动强度大、复现性差、人力成本高、精准度低等问题，近年来大量研究利用数字图像处理技术进行沥青路面病害识别，然而，图像信噪比较低，无法精确提取目标信息，应用效果不尽人意，三维点云设备能够获取路表毫米级高程信息，能够避免光照条件、阴影、油污等不利条件的影响，为高效、准确的裂缝检测技术提供了新的研究方向。
4.目前常见的路面三维点云裂缝信息提取主要有以下几种：
5.(1)基于转换为二维灰度图像的裂缝信息提取方法，将点云数据转换为深度数据，进一步转换为灰度图像，通过二维图像的裂缝提取方法提取裂缝信息，该方法较之传统图像处理提高了原始数据的精确度，但无法排除纹理、噪声的干扰；
6.(2)基于数学形态学的裂缝信息提取方法，利用高度差、法向量、梯度、二阶导数等数据，提取符合裂缝数学特征的可能裂缝点，通过形态学方法生成裂缝骨架。由于路面材料、环境、交通量的差异性，该方法无法应用于所有裂缝点云中；
7.(3)基于深度学习与神经网络的裂缝信息提取方法，利用了神经网络的相关技术，依据裂缝特点及点云特点搭建网络。但是该方法需要进行像素级别的人工标记实现训练，需要一定的时间与人力成本。
8.在现有方法下，裂缝识别精度低、识别智能化程度低等问题依然存在。


技术实现要素：

9.为了解决上述技术问题至少之一，根据本发明的一方面，提供了一种基于移动窗口的路面点云平滑及裂缝信息处理方法，包括如下步骤：
10.s10、采集目标区域原始三维点云数据，并对采集的数据进行分块处理，得到路面深度矩阵，并应用邻域均值-方差阈值去除离散点；
11.s20、根据步骤s10处理后的路面深度矩阵，采用移动窗口得到的各窗口中位数拟合路面真实曲面，对低于路面曲面的路面深度矩阵点云构建潜在裂缝点云集合；
12.s30、基于潜在裂缝点云集合，利用道路纵向和道路横向上的深度纵向和横向映射，得到真实裂缝区域，确定裂缝起终点位置信息及其最大深度。
13.根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s10具体包括：
14.s11、将间距不等离散点云集ω按设定分辨率s转换为路面深度矩阵z；
15.ω＝{p1,p2,
…
pn}，pi＝{xi,yi,zi}∈r3；
[0016][0017]
其中，横坐标x＝{x1,x2…
,xi,
…
,xm}，x1《x2《
…
《xi《
…
《xm，x
i 1-xi＝s，纵坐标y＝{y1,y2,
…
,yj,
…
,yn}，y1《y2《
…
《yj《
…
《yn，y
j 1-yj＝s，
[0018]
s12、将步骤s11的路面深度矩阵z沿x方向与y方向切片，构建n个k
×
k大小，分辨率s的路面深度矩阵，其中n为分块后路面深度矩阵总数量，n＝(m//k)
×
(n//k)；
[0019]
s13、对n个k
×
k大小，分辨率s的路面深度矩阵应用邻域均值-方差阈值，对每一个点的邻域进行一个统计分析，计算它到所有临近点的平均距离，将平均距离在标准范围之外的点云从数据中去除，得到处理后的路面深度矩阵z
′
。
[0020]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s20具体包括：
[0021]
s21、根据处理后的任一路面深度矩阵z
′
，选择一个面积大于裂缝区域的移动窗口k
′×k′
，取每个窗口的深度中位数认为其位为未破损真实路面深度；
[0022]
s22、重复步骤s21，直到所有处理后的路面深度矩阵z
′
值均被遍历，将所有的点通过三次样条插值法，拟合得到一个平滑的路面曲面γ，并计算出路面真实深度矩阵z
″
；
[0023]
s23、用处理后路面深度矩阵z
′
的深度值减去路面真实深度矩阵z
″
的深度值，得到点云相对于路面曲面的深度，从而构建潜在裂缝点云集合q。
[0024]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s30具体包括：
[0025]
s31、将步骤s23生成的点集q向xoz平面映射深度值，得到离散点集d
x
＝{d
x1
,d
x2
,
…
,d
xm
}；将步骤s23生成的点集q向yoz平面映射深度值，得到离散点集dy＝{d
y1
,d
y2
,
…
,d
yn
}；
[0026]
s32、针对离散点集d
x
和dy，构建外接矩形t＝{(x,y)|x
min
≤x≤x
max
,y
min
≤y≤y
max
}，获得其对应的顶点位置信息(x
min
,x
max
,y
min
,y
max
)；
[0027]
s33、根据外接矩形t＝{(x,y)|x
min
≤x≤x
max
,y
min
≤y≤y
max
}，提取该区域中最大深度值d
max
，即最大深度z
min
。
[0028]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s10中，若三维点云数据分块得到的路面深度矩阵数据缺失超过20％，认为采集有误，对该分块结果进行删除。
[0029]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s20中，2d≤k
′
≤k/20，d为设定分辨率下正常裂缝宽度。
[0030]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s30中，针对离散点集d
x
和dy，当z
x
从0值变为正值、从正值变为0，认为该裂缝对应的起终横坐标为x
min
、x
max
，当zy从0值变为正值、从正值变为0，认为该裂缝对应的起终纵坐标为y
min
、y
max
。
[0031]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，所述步骤s30中，离散点集d
x
和dy连续0值长度超过0.05m时认为裂缝自然中断，存在多条线性裂缝。
[0032]
根据本发明实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，可选地，对于多条线性裂缝情况，对各条裂缝按照步骤s32与步骤s33提取裂缝外接矩形参数与最大深度。
[0033]
根据本发明的另一方面，提供了一种计算机可读存储介质，该程序被处理器执行时实现本发明的基于移动窗口的路面点云平滑及裂缝信息处理方法中的步骤。
[0034]
有益效果
[0035]
相比于现有技术，本发明至少具备如下有益效果：
[0036]
本发明的基于移动窗口的路面点云平滑及裂缝信息处理方法，通过移动窗口法拟合路面真实曲面，可用于路面裂缝位置及形态信息的快速识别，也可用于多条交叉路面线性裂缝的破坏程度计算，科学合理、易于实现，其推广应用对路面点云信息应用及裂缝快速判定具有极其重要的意义，极大提高了三维点云裂缝识别算法的性能与效率。
附图说明
[0037]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
[0038]
图1示出了本发明的基于移动窗口的路面点云平滑及裂缝信息处理方法流程图；
[0039]
图2示出了本发明实施例1中移动窗口示意图；
[0040]
图3示出了本发明实施例2中去除离散点后的分块点云数据之一；
[0041]
图4示出了本发明实施例2中的移动窗口深度中位数拟合的路面曲面；
[0042]
图5示出了本发明实施例2中的提取的潜在裂缝点集；
[0043]
图6示出了本发明实施例2中的道路横向深度投影；
[0044]
图7示出了本发明实施例2中的道路纵向深度投影；
[0045]
图8示出了对比例中道路纵向深度投影；
[0046]
图9示出了对比例中道路横向深度投影。
具体实施方式
[0047]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
[0048]
除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
[0049]
为减少对路面纹理干扰，提高裂缝提取方法的应用范围，本发明基于移动窗口法对路面曲面进行拟合，结合深度映射，获取裂缝点云位置及形态信息，实现路面裂缝信息精准识别，具有快速、智能、高效的技术优势，可以广泛应用于路面裂缝类病害检测技术领域。
[0050]
实施例1
[0051]
本实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，如图1所示，包括
如下步骤。
[0052]
s10、采集目标区域原始三维点云数据，并对采集的数据进行分块处理，得到路面深度矩阵，并应用邻域均值-方差阈值去除离散点，具体包括：
[0053]
s11、将间距不等离散点云集ω按设定分辨率s转换为路面深度矩阵z；
[0054]
ω＝{p1,p2,
…
pn}，pi＝{xi,yi,zi}∈r3；
[0055][0056]
其中，横坐标x＝{x1,x2…
,xi,
…
,xm}，x1《x2《
…
《xi《
…
《xm，x
i 1-xi＝s，纵坐标y＝{y1,y2,
…
,yj,
…
,yn}，y1《y2《
…
《yj《
…
《yn，y
j 1-yj＝s，
[0057]
r3为三维空间上有理数集合，m为图像行数，n为图像列数；
[0058]
s12、将步骤s11的路面深度矩阵z沿x方向与y方向切片，构建n个k
×
k大小，分辨率s的路面深度矩阵，其中n为分块后路面深度矩阵总数量，n＝(m//k)
×
(n//k)；
[0059]
s13、对x个k
×
k大小，分辨率s的路面深度矩阵应用邻域均值-方差阈值，对每一个点的邻域进行一个统计分析，计算它到所有临近点的平均距离，将平均距离在标准范围之外的点云从数据中去除，得到处理后的路面深度矩阵z
′
。
[0060]
本实施例所述的标准范围含义如下：假设每一个点到所有临近点的平均距离是一个高斯分布，其形状由均值ε和标准差σ决定，标准范围定义为[ε-σ,ε σ]，平均距离在标准范围之外的点，即为离群点，离群点多为异常数据，需要剔除，避免影响处理结果准确性。
[0061]
进一步地，设备在进行原始三维点云数据采集时可能存在数据丢失情况，若三维点云数据分块得到的路面深度矩阵数据缺失超过20％，认为采集有误，对该分块结果进行删除。
[0062]
s20、根据步骤s10处理后的路面深度矩阵，采用移动窗口得到的各窗口中位数拟合路面真实曲面，对低于路面曲面的路面深度矩阵点云构建潜在裂缝点云集合，具体包括：
[0063]
s21、根据处理后的任一路面深度矩阵z
′
，选择一个面积大于裂缝区域的移动窗口k
′×k′
，取每个窗口的深度中位数认为其位为未破损真实路面深度；
[0064]
移动窗口大小2d≤k
′
≤k/20，若将窗口大小k
′
设置得太大，则拟合路面曲面丧失部分纹理细节，反之则会有更多裂缝点误判为真实路面；
[0065]
d为设定分辨率下正常裂缝宽度；
[0066]
如图2所示，黑色的为路面正常点云深度，灰色为裂缝点，k
′
最小值的选取为设定分辨率下正常裂缝宽度的两倍，如分辨率s＝1mm时，裂缝宽度为5mm，即5个像素点宽度，因此k
′
最小值为10；此外，在分辨率s＝10mm时，裂缝宽度为5mm，即0.5个像素点宽度，但k
′
取1、2时取中位数容易导致误差，因此k
′
最小不能小于3；k
′
最大值取k/20，保证该点云内拟合正常平面的点数充足，不会损失路面受车辙等影响的局部路面深度变化。
[0067]
s22、重复步骤s21，直到所有处理后的路面深度矩阵z
′
值均被遍历，将所有的点通过三次样条插值法，拟合得到一个平滑的路面曲面г，并计算出路面真实深度矩阵z
″
；
[0068]
s23、用处理后路面深度矩阵z
′
的深度值减去路面真实深度矩阵z
″
的深度值，得到点云相对于路面曲面的深度，从而构建潜在裂缝点云集合q。
[0069]
本实施例的步骤s20中利用深度中位数拟合路面是因为裂缝点较正常路面点数少，所以各移动窗口的深度中位值可以认为是正常路面点的深度，利用中位数拟合出的路面曲面，则认为是无裂缝情况下的道路点云深度，最后对比原点云数据和拟合的路面曲面，低于拟合原点云深度的，认为是潜在裂缝点集合。
[0070]
s30、基于潜在裂缝点云集合，利用道路纵向和道路横向上的深度纵向和横向映射，得到真实裂缝区域，确定裂缝起终点位置信息及其最大深度，具体包括：
[0071]
s31、将步骤s23生成的点集q向xoz平面映射深度值，得到离散点集d
x
＝{d
x1
,d
x2
,
…
,d
xm
}；将步骤s23生成的点集q向yoz平面映射深度值，得到离散点集dy＝{d
y1
,d
y2
,
…
,d
yn
}；
[0072]
s32、针对离散点集d
x
和dy，构建外接矩形t＝{(x,y)|x
min
≤x≤x
max
,y
min
≤y≤y
max
}，获得其对应的顶点位置信息(x
min
,x
max
,y
min
,y
max
)；
[0073]
s33、根据外接矩形t＝{(x,y)|x
min
≤x≤x
max
,y
min
≤y≤y
max
}，提取该区域中最大深度值d
max
，即最大深度z
min
。
[0074]
进一步地，针对离散点集d
x
和dy，当z
x
从0值变为正值、从正值变为0，认为该裂缝对应的起终横坐标为x
min
、x
max
，当zy从0值变为正值、从正值变为0，认为该裂缝对应的起终纵坐标为y
min
、y
max
；离散点集d
x
和dy连续0值长度超过0.05m时认为裂缝自然中断，存在多条线性裂缝；对于多条线性裂缝情况，对各条裂缝按照步骤s32与步骤s33提取裂缝外接矩形参数与最大深度。
[0075]
实施例2
[0076]
本实施例的基于移动窗口的路面点云平滑及裂缝信息处理方法，具体如下：
[0077]
对采集得到的原始点云数据，将间距不等离散点云集ω＝{p1,p2,
…
pn}，pi＝{xi,yi,zi}∈r3按设定分辨率s＝1mm计算深度均值，实现路面深度矩阵z的转换：
[0078][0079]
其中横坐标x＝{x1,x2…
,xi,
…
,xm}，x1《x2《
…
《xi《
…
《xm，x
i 1-xi＝s，纵坐标y＝{y1,y2,
…
,yj,
…
,yn}，y1《y2《
…
《yj《
…
《yn，y
j 1-yj＝s，
[0080]
考虑到已有设备精度和裂缝提取所需精度，建议s＝1mm～10mm，本实施例中s＝1mm。
[0081]
对所得路面深度矩阵z沿x方向与y方向分块，构建n个k
×
k大小、分辨率s的路面深度矩阵，其中n为分块后路面深度矩阵总数量，n＝(m//k)
×
(n//k)，为保证深度矩阵处理效率，建议k≤2048，本实施例中k＝600。
[0082]
取其中一个分块结果进行进一步的说明。
[0083]
如图3所示，采用邻域均值-方差阈值，去除该k
×
k大小、分辨率s的路面深度矩阵分块数据的离散点，得到路面深度矩阵分块z
′
。
[0084]
如图4所示，根据处理后得到的路面深度矩阵分块z
′
，通过移动窗口法拟合路面真实平面г，如图5所示，得到低于路面平面的点云构建潜在裂缝点云集合q，其中k
′
＝15；
[0085]
将生成的裂缝点云集合q，利用道路纵向、道路横向方向上的深度映射，如图6所
示，向xoz平面投影，得到离散点集d
x
＝{d
x1
,d
x2
,
…
,d
xm
}，m为裂缝长度对应的离散点数量；如图7所示，向yoz平面投影，得到离散点集dy＝{d
y1
,d
y2
,
…
,d
yn
}，n为裂缝宽度对应的离散点数量。
[0086]
针对离散点集d
x
和dy，当z
x
从0值变为正值、从正值变为0，认为该裂缝对应的起终横坐标为x
min
、x
max
，当zy从0值变为正值、从正值变为0，认为该裂缝对应的起终纵坐标为y
min
、y
max
，构建外接矩形t＝{(x,y)|x
min
≤x≤x
max
,y
min
≤y≤y
max
}，得到真实裂缝区域，并获得其对应的顶点位置信息(376,541,0,600)。
[0087]
根据外接矩形t＝{(x,y)|x
min
≤x≤x
max
,y
min
≤y≤y
max
}，通过获取该区域中最大深度值d
max
，确定裂缝最大深度z
min
＝7.422mm。
[0088]
对比例
[0089]
对比例与实施例2采用的方法步骤s10与步骤s30相同，区别在于对比例步骤s20采用中国专利公开号cn113256805a，一种基于三维点云重构的路面线性裂缝信息快速计算方法，中公开的步骤2来构建潜在线性裂缝点云集合，通过对比例的方法，得到道路纵向深度投影如图8所示，道路横向深度投影如图9所示，图8计算了道路纵向上最大深度的变化，在300pixel与400pixel之间，路面点云深度出现明显下降，图9展现了裂缝在道路横向上的变化，在50pixel与150pixel之间，道路点云深度较整体线形趋势出现凹陷，但点云深度受周围地表高度变化影响，因此，只能结合点云深度变化趋势来分析裂缝具体的位置；而实施例2得出的图6和图7相比对比例的图8和图9，移动窗口处理前的原始点云最大深度不仅包含裂缝的影响，还包含路面坡度倾斜的影响，移动窗口处理是针对存在坡度、凹陷、隆起的路面点云数据的一种必要手段，移动窗口处理后，裂缝对深度的影响更加显著，如图7中400-500像素之间为裂缝所在位置，且道路横向均出现深度波动，证明该线性裂缝贯穿道路横向，点云深度的变化范围也缩小到8mm，更加符合实际情况。
[0090]
实施例3
[0091]
本实施例的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1的基于移动窗口的路面点云平滑及裂缝信息处理方法中的步骤。
[0092]
本实施例的计算机可读存储介质可以是终端的内部存储单元，例如终端的硬盘或内存；本实施例的计算机可读存储介质也可以是所述终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等；进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。
[0093]
本实施例的计算机可读存储介质用于存储计算机程序以及终端所需的其他程序和数据，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0094]
实施例4
[0095]
本实施例的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的基于移动窗口的路面点云平滑及裂缝信息处理方法中的步骤。
[0096]
本实施例中，处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等；存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据，存储
器的一部分还可以包括非易失性随机存取存储器，例如，存储器还可以存储设备类型的信息。
[0097]
本领域内的技术人员应明白，实施例公开的内容可提供为方法、系统、或计算机程序产品。因此，本方案可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本方案可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0098]
本方案是参照根据本方案实施例的方法、和计算机程序产品的流程图和/或方框图来描述的，应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合；可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0099]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0100]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0101]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
[0102]
本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。