基于三维数字全息的路面病害图像融合的数据处理方法与流程

1.本发明涉及路面养护数据处理领域，具体涉及一种基于三维数字全息的路面病害图像融合的数据处理方法。


背景技术：

2.自20世纪70年代第一台路面快速检测系统诞生以来，国内外许多学者和研究人员就开始致力于路面病害图像处理和自动识别的研究。这种方法一般都是针对检测设备所采集的路面二维图像，先做图像增强等预处理工作，再通过阈值等多种方法分割提取目标特征，最后识别分类。图像分析的方法能够对分割出的病害目标做出具体的定量分析，但是由于路面病害图像数据作为一种非线性检测目标，其图像分析方法主要面临以下几个挑战：背景复杂多变、斑点噪声强、目标信噪比低、目标与背景之间对比度低、目标像素的空间连续性差。虽然研究者提出了很多不同的处理方法，一直没有一个通用的有效方法自动化识别各种路面病害(裂缝类和变形类)，目前基本上以人工识别病害图像为主，人工费用昂贵，且效率很低。三维激光检测技术生成的三维点云数据量巨大，难以做到智能识别。现有的深度学习网络在训练时候，由于病害数据量和精度问题，很难通过多数据融合来做到统一。
3.因此，如何结合新技术解决路面病害图像质量、精度以及自动识别问题，建立多尺寸病害数据库已成为一个急需解决的技术问题。


技术实现要素：

4.针对上述问题，本发明旨在提供一种基于三维数字全息的路面病害图像融合的数据处理方法。
5.为实现该技术目的，本发明的方案是：基于三维数字全息的路面病害图像融合的数据处理方法，具体步骤如下：
6.s1、通过三维数字全息车载采集设备中的激光干涉仪生成数字干涉条纹图像并投射到路面上，并用至少两台工业相机对路面进行采集得到原始图，按照工业相机采集有效范围对原始图进行裁剪得到原始全息图；
7.s2、用计算机模拟光学衍射过程来实现路面的全息再现和处理还原重建，得到带有路面深度数据的三维全息病害图；
8.s3、采用傅里叶多级矩阵变换和傅里叶多级矩阵逆变换对原始全息图去除干涉条纹信息，从而得到二维病害图；
9.s4、将同一张原始全息图生成的三维全息病害图和二维病害图进行同源数据融合生成融合病害图；
10.s5、采用最小二乘拟合法对至少两台工业相机得到的三维全息病害图和二维病害图分别进行多尺寸融合，得到多尺寸的路面数据集；对第一步生成的小尺寸路面数据进行降噪处理，截去各边边缘噪音。
11.s6：多尺寸的路面数据集进行数据融合，生成三维全息病害数据库、二维病害数据
库和融合病害数据库，代入搭建的神经网络模型训练，获得融合模型，采用指定数据对融合模型进行测试模拟校正，获得最终训练模型。
12.作为优选，步骤s2中，所述原始全息图包含路面带有数字干涉条纹的光强信息和光波的相位信息，根据光强和电磁方程的关系，采用傅里叶快速变换进行三维重建得到相位差，计算连续的相位差变化还原路面原始全息图的整体深度信息，即得到带有路面深度数据的三维全息病害图；
13.具体数字全息三维还原过程为：
14.s21、原始全息图中任意像素点(x，y)电磁能量方程为：
15.e(x，y)＝a(x，y)exp(iφ(x，y))
16.其中φ(x，y)为任意像素点(x，y)相位信息，a(x，y)为任意像素点(x，y)的光强信息；
17.s22、原始全息图任意像素点(x，y)的光强方程为：
18.i(x，y)＝a(x，y)2＝i(x，y)＝|e(x，y)|2＝e(x，y)e(x，y)
*
；
19.s23、菲涅尔数字衍射变换公式：
[0020][0021][0022]
其中：γ(ξ，β)为原始全息图的光强和相位，λ为光源的波长，i表示复数，d为激光干涉仪到相机光圈平面的垂直距离，ρ为相机光圈衍射到激光干涉仪平面上的衍射距离；
[0023]
s24、傅里叶变换等价于菲涅尔变化，通过公式转换获得原始全息图任意像素点(x，y)三维全息相位信息，通过连续的傅里叶变化得到原始全息图整体的相位差，即原始全息图所有像素点的深度信息，从而三维还原得到路面的三维全息病害图：
[0024]
i(x，y)＝|γ(ξ，β)|2[0025][0026]
作为优选，步骤s3中，获取原始全息图本身的路面信息，原始全息图中任意像素点(x，y)光强a(x，y)的傅里叶多级公式：
[0027][0028]
根据傅里叶多级公式，删除其中的傅里叶零级和一级a0 a1(x，y)1数据，然后进行傅里叶多级逆变换就得到消除干涉条纹信息的原始全息图中任意像素点(x，y)二维像素；
[0029]
通过对原始全息图所有像素点进行傅里叶多级矩阵变换和傅里叶多级矩阵逆变换，消除数字干涉条纹获得路面二维病害图。
[0030]
作为优选，步骤s4中，将同一张原始全息图生成的三维全息病害图和二维病害图进行像素级别的数据融合；
[0031]
具体数据融合过程如下：原始全息图的图像本身表示为矩阵数据，三维全息病害图生成矩阵a，二维病害图生成矩阵b，矩阵在最优化准则下能表示为一个低秩矩阵和稀疏矩阵的叠加，通过分别对矩阵a和矩阵b相加得到矩阵c，对矩阵c进行增广拉格朗日乘子法
求解低秩矩阵e稀疏矩阵f，对e和f分别叠加转换生成图形，最终得到融合病害图。
[0032]
作为优选，在步骤s5中，对不同工业相机获取的三维全息病害图、二维病害图和融合病害图进行拼接缝合获得路面图；
[0033]
采用最小二乘法求得需要拼接的路面图的最优拟合平面ax by cz d＝0，以其中一个工业相机的拟合平面为基准，旋转另一个工业相机的路面图，使得左右两侧路面图完全处于同一个基准面，进行无缝拼接，生成左右拼接病害图；
[0034]
同理将不同的两台工业相机的左右拼接病害图的前后拼接，以拟合平面的空间数据求得两个平面空间的偏差角度，并选取前面一个左右拼接图作为基准面，将需要拼接的图像进行三维空间旋转，最终将需要拼接的三维数据矩阵进行空间对接，达到无缝拼接，前后拼接即可生成多尺寸路面图。
[0035]
作为优选，在步骤s6中，把不同尺寸的三维全息病害图和二维病害图分别进行特征工程；
[0036]
首先标注部分数据，然后通过归一化和二值化对数据进行预处理，生成三维全息病害图数据库、二维病害图数据库、三维全息图和融合病害数据库，对三个数据库进行数据分割，生成对应的三个训练集、验证集和测试集，分别代入搭建好的神经网络模型进行迭代训练得到三个训练模型，分别通过训练模型加权表决融合和平均化融合方式得到的两种融合模型，导入融合模型，对三个测试集进行测试，选取符合要求的结果模型导出作为的训练模型。
[0037]
本发明的有益效果，本技术的采用数字全息车载检测设备提供了大尺度路面检测快速技术，根据采集的原始全息图分别通过重建得到三维病害图和去干涉条纹后得到二维病害图，通过最小二乘法，左右和前后病害图拼接形成多尺寸病害数据库，二维和三维病害图数据的结合不仅大大提高了数据精度，而且提高了图像质量，病害检测类型覆盖了路面各种病害(裂缝类和变形类等)，能够方便设备自动识别路面病害。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1为本技术的流程图；
[0040]
图2为本技术中单工业相机采集的路面原始全息图(2*1米)；
[0041]
图3为本技术中单工业相机还原的三维全息病害图(2*1米)；
[0042]
图4为本技术中单工业相机去条纹的二维病害图(2*1米)；
[0043]
图5为本技术中单工业相机融合病害图(2*1米)；
[0044]
图6为本技术中左右工业相机三维全息病害图多尺寸拼接图(4*1米)；
[0045]
图7为本技术中左右工业相机融合病害图多尺寸拼接图(4*1米)；
[0046]
图8为本技术中左右工业相机去条纹的二维病害图多尺寸拼接图(4*1米)；
[0047]
图9为本技术中左右工业相机三维全息病害图拼接图(4*10米)；
[0048]
图10为本技术中左右工业相机三维全息数据拼接展示图(4*10米)；
[0049]
图11为本技术中左右工业相机三维点云数据拼接展示图(4*10米)；
[0050]
图12为本技术中病害识别结果展示。
具体实施方式
[0051]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图1-12，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
为了更好的说明本发明的工作过程，下面先对本发明执行实施的原理进行解释说明。
[0053]
二维图像拼接容易受到环境光和拍摄路面特征影响，图像拼接缝明显，而且拼接后图像亮度不均；另外二维图像没有深度信息，很难判断路面的变形类病害：坑槽、沉陷、拥包等。三维点云拼接常用的方法：依赖外部特征点辅助信息的拼接方法和依赖多次测量重叠数据的拼接方法，但都不适用于路面病害，路面病害检测需要车载设备快速检测；另外，点云数据很难做到大范围拼接，一般只能通过稀疏点云数据来显示，但这样就会大大降低数据精度和质量。二维图像和三维数据的融合由于数据不同源，数据基本上只做了简单的数据叠加或特征融合，但路面本身很难有参考特征，即使有病害路面，特征提取就是要解决的问题。
[0054]
因此为了解决二维和三维数据的同源问题，提高路面病害采集图像质量、精度、降低数据量和自动识别问题，为路面病害自动识别建立多尺度的病害数据库和多模型融合是本发明的主要目的。
[0055]
实施例一：
[0056]
步骤一：为了保证采集单车道宽度数据(3.75米)，通过激光干涉仪生成数字干涉条纹图像并投射到路面上(覆盖宽度4.2米)，并用至少两台工业相机对路面进行采集得到原始图，按照两台工业相机采集有效范围对原始图进行裁剪得到原始全息图，图2为左右单相机分别采集的路面原始全息图(2*1米)。
[0057]
步骤二：为了获取高精度三维信息，用计算机模拟光学衍射过程来实现路面的全息再现和处理对原始全息图还原重建。参考图3，左右单相机还原的三维全息病害图(2*1米)。原始全息图包含路面带有数字干涉条纹的光强信息和光波的相位信息，根据光强和电磁方程的关系，采用傅里叶快速变换进行三维重建得到相位差，计算连续的相位差变化还原路面原始全息图的整体深度信息，即得到带有路面深度数据的三维全息病害图。具体数字全息三维还原过程为：
[0058]
原始全息图中任意像素点(x，y)电磁能量方程为：
[0059]
e(x，y)＝a(x，y)exp(iφ(x，y))
[0060]
其中φ(x，y)为任意像素点(x，y)相位信息，a(x，y)为任意像素点(x，y)的光强信息；
[0061]
原始全息图任意像素点(x，y)的光强方程为：
[0062]
i(x，y)＝a(x，y)2＝i(x，y)＝|e(x，y)|2＝e(x，y)e(x，y)
*
；
[0063]
菲涅尔数字衍射变换公式：
[0064][0065][0066]
其中：γ(ξ，β)为原始全息图的光强和相位，λ为光源的波长，i表示复数，d为激光干涉仪到相机光圈平面的垂直距离，ρ为相机光圈衍射到激光干涉仪平面上的衍射距离；
[0067]
傅里叶变换等价于菲涅尔变化，通过公式转换获得原始全息图任意像素点(x，y)三维全息相位信息，通过连续的傅里叶变化得到原始全息图整体的相位差，即原始全息图所有像素点的深度信息，从而三维还原得到路面的三维全息病害图：
[0068]
i(x，y)＝|γ(ξ，β)|2[0069][0070]
步骤三：原始全息图本身含有路面信息，去除干涉条纹即可得到路面病害的同源二维病害图，参考图4：左右单相机分别去条纹的二维病害图。
[0071]
原始全息图中任意像素点(x，y)光强a(x，y)的傅里叶多级公式：
[0072][0073]
删除傅里叶零级和一级a0 a1(x，y)1数据，然后进行傅里叶多级逆变换就得到消除干涉条纹信息的原始全息图中任意像素点(x，y)二维像素；通过对原始全息图所有像素点进行傅里叶多级矩阵变换和傅里叶多级矩阵逆变换，消除数字干涉条纹获得路面二维病害图。
[0074]
步骤四：三维全息病害图含有深度信息，可以分析路面的变形类病害；二维病害图具有路面纹理特征，可以分析路面的裂缝类病害。但两者信息各有缺失，为了提取更详细的病害特征，就需要对三维全息病害图和二维病害图这两种同源数据进行进行像素级别的矩阵数据融合。因此，我们首先对三维全息病害图生成矩阵a，对二维病害图生成矩阵b，而矩阵在最优化准则下可以表示为一个低秩矩阵和稀疏矩阵的叠加，通过分别对矩阵a和矩阵b相加得到矩阵c，对矩阵c进行增广拉格朗日乘子法求解低秩矩阵e稀疏矩阵f，对e和f分别叠加转换生成图形，最终得到融合病害图，结果参考图5。
[0075]
步骤五：由于有些路面病害覆盖范围比较大，超过了单幅相机有效拍摄范围，为了识别更大的病害，需要对不同相机拍摄的照片进行左右和前后拼接生成更大尺寸的拼接病害图。由于三维数字全息车载采集设备对不同工业相机采用同步拍摄方式，首先对第一步生成的小尺寸路面原始全息图数据进行降噪处理，截去各边边缘噪音，其次采用最小二乘法求得需要拼接的路面图的进行最优拟合平面ax by cz d＝0，以其中一个工业相机的拟合平面为基准，旋转另一个工业相机的路面图，使得左右两侧路面图完全处于同一个基准面，进行无缝拼接，生成左右拼接病害图(结果参考图6图左右工业相机三维全息病害图多尺寸拼接图(4*1米)、7左右工业相机融合病害图多尺寸拼接图(4*1米)、图8左右工业相机去条纹的二维病害图多尺寸拼接图(4*1米))；同理将不同的两台工业相机的左右拼接病害图的前后拼接，以拟合平面的空间数据求得两个平面空间的偏差角度，并选取前面一个左右拼接图作为基准面，将需要拼接的图像进行三维空间旋转，最终将需要拼接的三维数据
矩阵进行空间对接，达到无缝拼接，前后拼接即可生成多尺寸路面图(结果参考图9左右相机三维全息病害图拼接图(4*10米))。得到多尺寸的路面数据集。另外，为了演示方便，可以对三维全息图和三维拼接图进行三维展示图，参考图10和图11。
[0076]
步骤六：建立多尺寸的路面病害数据集，不同尺寸的病害数据库分别进行特征工程。首先标注部分数据，然后通过归一化和二值化对数据进行预处理，生成三维全息病害图数据库、二维病害图数据库、三维全息图和融合病害数据库，对三个数据库进行数据分割，生成对应的三个训练集、验证集和测试集，分别代入搭建好的神经网络模型进行多次迭代训练得到三个训练模型，分别通过训练模型加权表决融合和平均化融合方式得到的两种融合模型，导入融合模型，对三个测试集进行测试，选取符合要求的结果模型导出作为的训练模型。
[0077]
为了验证多尺度病害训练结果的有效性和真实性，我们根据已有的训练数据进行了特征提取和模型融合，导出训练模型，我们对不同尺度的测试病害图进行了测试。参考图12病害识别结果展示，在不同尺度的测试病害图上(12a：左相机三维全息图(2*1米)、12b：左相机融合病害图(2*1米)、12c：左右相机三维全息病害图多尺寸拼接图(4*1米)和12d：左右相机融合病害图多尺寸拼接图(4*1米))，因此裂缝(位于左相机拍摄有效范围)都很好的进行了识别。
[0078]
以上所述，仅为本发明的较佳实施例，并不用以限制本发明，凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同替换和改进，均应包含在本发明技术方案的保护范围之内。