一种基于稀疏特征的两阶段智能道路裂缝定位系统

1.本技术涉及深度学习技术领域，尤其涉及一种基于稀疏特征的两阶段智能道路裂缝定位系统。


背景技术：

2.基于计算机视觉的道路裂纹检测技术在生活和工程中都具有重要的作用，道路裂纹往往是一些路面病害的最初表现，因此，需要尽早发现问题并加以处理。传统的人工检查既耗时又费力，检测结果不一定准确，甚至可能威胁到检查员的生命安全。因此利用计算机视觉及时检测路面缺陷并尽快养护成为一个热门话题。
3.过去几年中，许多学者对以数字图像处理为主的道路裂纹识别进行了深入的研究，数字图像处理裂纹主要是人工识别特征，然而随着道路里程的快速增长，人工制作特征过程耗时耗力，且该方法鲁棒性不高，检测结果不够精确，难以做到全自动识别。近年来，深度学习发展迅速，相关算法不断突破；许多学者将深度学习应用于道路裂纹检测，并取得了一定的进展，但是在检测速度和精度上仍有很大的改进空间。因此需要一个高精度的自动化检测系统来检测道路裂纹，及时发现病害并进行道路养护，避免安全隐患。


技术实现要素：

4.有鉴于此，本技术的目的在于提出一种基于稀疏特征的两阶段智能道路裂缝定位系统，本技术能够针对性的解决现有的问题。
5.基于上述目的，本技术提出了一种基于稀疏特征的两阶段智能道路裂缝定位系统，包括：
6.第一阶段的数据采集模块、数据分析与预处理模块、第二阶段的模型训练模块、裂纹智能检测模块；
7.所述数据采集模块对道路进行拍摄，采集有裂纹的图片，组成裂纹数据集；
8.所述数据分析与预处理模块先分析裂纹数据集，再选择稀疏特征预处理方法处理所述裂纹数据集；
9.所述模型训练模块使用faster r-cnn网络训练，所述faster r-cnn网络包括特征提取模块、区域候选网络模块、兴趣域池化模块和回归分类模块，用数据采集模块和数据分析与预处理模块处理好的裂纹数据集进行训练；
10.所述裂纹智能检测模块使用训练好的faster r-cnn网络对道路进行检测。
11.进一步地，所述数据采集模块包括拍摄子模块、控制和数据采集子模块；所述的拍摄子模块包括道路情况拍摄仪器并辅以摄像机；所述控制和数据采集子模块，将来自拍摄子模块的原始数据储存到控制台的磁盘矩阵中。
12.进一步地，所述数据分析与预处理模块包括四种算法，其中算法一用于浅裂缝、多裂缝，图片轻微模糊数据集；算法二用于浅裂缝、多条裂缝、有与裂纹相似的目标数据集；算法三用于裂缝走向多样、多条裂缝、有与裂纹相似的目标数据集；算法四用于裂缝走向多
样、多条裂缝、图片轻微模糊数据集。
13.进一步地，所述算法一是一种线性平滑滤波技术，消除高斯噪声，该算法使用一个服从二维高斯分布的采样框来处理图像，确定其邻域内的加权平均像素值，并用其替代采样框中心像素的像素值；所述算法二是一种非线性平滑滤波技术，该算法使用一个滑动的采样框，将采样框内的像素按像素值大小进行排序，取中值，并用该中值替代采样框中心像素的像素值；所述算法三是一种非线性平滑滤波技术，利用二维高斯函数，该算法同时考虑了像素的空域和值域，先根据像素值对像素点邻域内的像素进行分类，再给该像素点所属的类别相对较高的权重，然后进行邻域加权求和，得到最终结果；所述算法四先将数据集图像灰度化，再统计裂纹部分与背景部分的阈值，根据数学统计的原理选择一个能突出裂纹部分的最佳分割阈值，该算法将小于或等于最佳分割阈值的部分即裂纹部分的像素值取零，将大于最佳阈值的部分即背景部分的像素值保留。
14.进一步地，所述模型训练模块使用基于imagenet的骨干进行预训练，在训练中使用sgd优化器、批量标准化、训练热身、联合训练来优化效果；所述sgd优化器即随机梯度下降，一次随机优化某一条训练数据上的损失函数，使参数更新速度加快；所述批量标准化，对每个卷积核的输入做归一化，用在网络的中间层；所述训练热身即刚开始的学习率设置为低，保证网络良好的收敛性，然后逐渐增大到设置的学习率，最后再慢慢变小；所述联合训练即将rpn和r-cnn的损失进行权重加和，简化训练流程。
15.进一步地，所述模型训练模块的特征提取模块，使用深度残差网络和特征金字塔网络作为faster r-cnn特征提取部分，将特征提取后5张不同大小的特征图送到下一网络中。
16.进一步地，所述模型训练模块的区域候选网络模块，使用5个相同的区域候选网络得到5个特征图，然后利用这些特征图生成区域建议，区域候选网络生成不同大小的锚框，来获得指定数量的区域建议特征图。
17.进一步地，所述模型训练模块的兴趣域池化模块，用于收集区域候选网络生成的区域建议，并从特征图中提取出来，生成区域建议特征图，送入全连接层继续做分类和回归。
18.进一步地，所述模型训练模块的回归分类模块，利用所述区域建议特征图计算出具体类别，同时再做一次边界框回归，获得检测框最终的精确位置。
19.进一步地，所述裂纹智能检测模块，对目标路段采集到的图片进行检测，裂纹所在的位置用矩形框定位。
20.总的来说，本技术的优势及给用户带来的体验在于：
21.1.本技术所提供的基于稀疏特征的两阶段智能道路裂缝定位系统，采用一体化设计，集数据采集、数据分析与预处理、模型训练、结果评估、裂纹智能检测于一体，可以大大节约人工成本和时间成本。
22.2.本技术所提供的基于稀疏特征的两阶段智能道路裂缝定位系统本技术的模型采用faster r-cnn，可以在只有150 张数据集的情况下达到良好的检测效果，且与目前流行的yolov3等都进行了对比，faster r-cnn都有更好的效果。本技术在训练中使用sgd优化器、批量标准化、训练热身等方法来优化效果，还使用了预训练和联合训练方法来加快训练速度。
23.3.本技术所提供的基于稀疏特征的两阶段智能道路裂缝定位系统的优势在于加入了数据分析与预处理模块，针对不同类型的裂纹可以选择不同的稀疏特征预处理方法。经过测试，与使用没有预处理的数据集相比，模型均能有更好的检测效果。
24.4.本技术所提供的基于稀疏特征的两阶段智能道路裂缝定位系统已经对多种不同情况的裂纹图片进行了测试，都有良好的检测效果。针对一些情况复杂的裂纹，如：有分叉的裂纹、有阳光干扰的裂纹、较浅的裂纹等也均能很好的完成检测任务，准确率可以达到98％左右。在检测后的图片中可以清晰地看到裂纹所在的位置，它会生成一个矩形框将裂纹框出来。
附图说明
25.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
26.图1为本技术所述的基于稀疏特征的两阶段智能道路裂缝定位系统的结构原理图；
27.图2为本技术所述的faster r-cnn网络结构图。
28.图3为本技术所述的数据分析与预处理算法一原理流程图。
29.图4为本技术所述的数据分析与预处理算法二原理流程图。
30.图5为本技术所述的数据分析与预处理算法三原理流程图。
31.图6为本技术所述的数据分析与预处理算法四原理流程图。
32.图7为本技术所述的道路裂纹检测结果示意图。
33.图8为本技术所述的损失分析折线图。
34.图9为本技术所述的准确率折线图。
35.图10为本技术所述的p-r曲线图。
具体实施方式
36.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
37.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
38.如图1和图2所示，本技术所揭示的基于稀疏特征的两阶段智能道路裂缝定位系统，包括数据采集模块、数据分析与预处理模块、模型训练模块、裂纹智能检测模块，其特征在于：所述数据采集模块对道路进行拍摄，采集有裂纹的图片；所述数据分析与预处理模块先分析数据集，再选择合适的稀疏特征预处理方法；所述模型训练模块使用faster r-cnn网络训练，包括特征提取模块、区域候选网络模块、兴趣域池化模块和回归分类模块，用数据采集模块和数据分析与预处理模块处理好的数据集进行训练；裂纹智能检测模块使用模型对道路进行检测且该模型能轻松应对多种复杂的道路情况。
39.所述数据采集模块包括拍摄子模块、控制和数据采集子模块；所述的拍摄子模块
包括道路情况拍摄仪器并辅以摄像机；所述控制和数据采集子模块，来自拍摄子模块的原始数据自动储存到控制台的磁盘矩阵中。
40.所述数据分析与预处理模块，所述数据分析模块需初步分析裂纹数据集；所述预处理模块有四种算法，均基于稀疏特征的思想，其中算法一适合用于浅裂缝、多裂缝，图片轻微模糊等数据集；算法二适合用于浅裂缝、多条裂缝、有与裂纹相似的其他目标等数据集；算法三适合用于裂缝走向多样、多条裂缝、有与裂纹相似的其他目标等数据集；算法四适合用于裂缝走向多样、多条裂缝、图片轻微模糊等数据集。
41.如图3所示，所述预处理模块中的算法一是一种线性平滑滤波技术，可以消除高斯噪声，该算法使用一个服从二维高斯分布的采样框来处理图像，确定其邻域内的加权平均像素值，并用其替代采样框中心像素的像素值，二维高斯公式如下：
[0042][0043]
其中是一个常数，(x，y)是采样框中任意一点的坐标，(x0，y0)是采样框中心点的坐标，σ是标准差。
[0044]
如图4所示，所述预处理模块中的算法二是一种非线性平滑滤波技术，针对消除椒盐噪声非常有效，该算法使用一个滑动的采样框，将采样框内的像素按像素值大小进行排序，取中值，并用该中值替代采样框中心像素的像素值。
[0045]
如图5所示，所述预处理模块中的算法三是一种非线性平滑滤波技术，本质上与算法一相同，都利用了二维高斯函数，但是可以解决算法一出现的边缘模糊问题，该算法同时考虑了像素的空域和值域，先根据像素值对像素点领域内的像素进行分类，再给该点所属的类别相对较高的权重，然后进行邻域加权求和，得到最终结果，计算公式如公式(2)-(5)所示：
[0046][0047][0048][0049][0050]
其中，iq是输入图像，i
p
是处理后的图像，是空间域核，是图像像素域核，w
p
是归一化权重之和，q是输入像素点，p是中心像素点，m和n是输入像素的横坐标和纵坐标，i和j是中心像素点的坐标。
[0051]
如图6所示，所述预处理模块中的算法四先将数据集图像灰度化，再统计裂纹部分与背景部分的阈值，根据数学统计的原理选择一个能突出裂纹部分的最佳分割阈值，一般情况下裂纹与背景相比颜色更深，所以裂纹部分的像素值应小于最佳阈值，背景部分则相反，该算法会将小于或等于最佳阈值的部分即裂纹部分的像素值取零，将大于最佳阈值的
部分即背景部分的像素值保留，计算公式如公式(6)所示：
[0052][0053]
其中，src(x，y)是原图像中的任意一像素点坐标，t是选定的最佳阈值，dst(x，y)是处理后图像的点坐标。
[0054]
所述模型训练模块运用faster r-cnn已有的道路裂纹图片进行训练，faster r-cnn主要包括四个部分：特征提取网络、区域候选网络(rpn)、兴趣域池化(roi pooling)和回归分类。使用基于imagenet的骨干进行预训练，在训练中使用sgd优化器即随机梯度下降，一次随机优化某一条训练数据上的损失函数，可以使参数更新速度加快；批量标准化，对每个卷积核的输入做归一化，用在网络的中间层；训练热身即刚开始的学习率设置得很低，保证网络良好的收敛性，然后逐渐增大到设置的学习率，最后再慢慢变小；联合训练即将rpn和r-cnn的loss进行权重加和，可以简化训练流程等方法来优化效果。
[0055]
所述模型训练模块的特征提取子模块，使用resnet和fpn作为faster r-cnn特征提取部分，特征提取器将特征提取后5张不同大小的特征图送到下一网络中。
[0056]
所述模型训练模块的区域候选网络(rpn)子模块，5个相同的rpns得到5个特征图，然后利用这些特征图生成区域建议，rpn生成不同大小的锚框，来获得指定数量的区域建议特征图。
[0057]
所述模型训练模块的兴趣域池化(roi pooling)模块，用于收集rpn生成的建议，并从特征图中提取出来，生成区域建议特征图，送入全连接层继续做分类和回归。
[0058]
所述模型训练模块的分类回归模块，利用区域建议特征图计算出具体类别，同时再做一次边界框回归，获得检测框最终的精确位置。
[0059]
所述裂纹智能检测模块，使用上一模块训练的到的模型可以对目标路段采集到的图片快速检测，裂纹所在的位置会精准的用矩形框定位，该模型可以对任意路段进行检测且可以轻松应对各种复杂的裂纹情况，因为该模型具有很好的泛化性。
[0060]
具体的，本技术所述的基于深度学习的道路裂纹检测系统的方法包括以下内容。
[0061]
1.对目标道路进行拍摄采集道路图片
[0062]
利用道路情况拍摄仪对道路有裂纹的路段进行拍摄采集，得到包含道路裂纹的图片，存储于移动设备的磁盘矩阵中。
[0063]
2.道路裂纹数据集的分析与预处理
[0064]
数据分析部分需初步分析裂纹数据集中的裂纹类型，选择较为合适的稀疏特征预处理方法，本技术共有四种预处理算法，均基于稀疏特征的思想，其中算法1适合用于浅裂缝、多裂缝，图片轻微模糊等数据集；算法2适合用于浅裂缝、多条裂缝、有与裂纹相似的其他目标等数据集；算法3适合用于裂缝走向多样、多条裂缝、有与裂纹相似的其他目标等数据集；算法4适合用于裂缝走向多样、多条裂缝、图片轻微模糊等数据集。
[0065]
3.模型训练
[0066]
本技术训练检测模型只需150 张裂纹图片，使用faster r-cnn进行训练，具体流程如图2所示，其中主要包括四个部分：特征提取、区域候选网络、兴趣域池化和分类回归。首先使用基于imagenet的骨干进行预训练，在训练中使用sgd优化器、批量标准化、训练热身等方法来优化效果。(1)特征提取，使用resnet和fpn作为faster r-cnn特征提取器，特征
提取器将特征提取后5张不同大小的特征图送到下一网络中。(2)区域候选网络(rpn)，5个相同的rpns得到5个特征图，然后利用这些特征图生成区域建议，rpn生成不同大小的锚框，来获得指定数量的区域建议特征图。(3)兴趣域池化(roi pooling)，用于收集rpn生成的区域建议，并从特征图中提取出来，生成区域建议特征图，送入全连接层继续做分类和回归。(4)分类回归，用区域建议特征图计算出具体类别，同时再做一次边界框回归，获得检测框最终的精确位置。
[0067]
4.模型优化
[0068]
根据上述模型构建原理可以初步得到检测模型，分析模型的性能，使用裂纹图片测试结果、生成损失分析折线图(如图8所示)、准确率折线图(如图9所示)、p-r曲线(如图10所示)、map(如表1所示)等评价指标，根据分析结果调整参数，优化模型。
[0069]
5.裂纹智能检测
[0070]
本技术已验证上述道路裂纹检测模型的实用性和泛化性，针对多种复杂的裂纹情况都能很好的完成检测任务。现在要进行裂纹检测任务只需将采集到的目标道路图片输入到模型中，就能立刻得到检测完成的图片，在检测完成的图片中可以清晰地看到裂纹所在的位置，它会生成一个矩形框将裂纹框出来(如图7所示)。由于本技术的道路裂纹检测模型有很好的泛化性，适用任何道路的检测。
[0071]
表1为使用未处理数据集与四种预处理方法的训练结果对比，其中map(mean average precision，平均精度)是衡量检测精度的指标，它的计算方法是iou＝0.5到iou＝0.95，每隔0.05个iou计算一次ap，然后求平均值。ap75是iou＝0.75时的ap值，ap50是iou＝0.5时的ap值。ap值越大说明模型性能越好。
[0072]
表1原方法与四种稀疏特征预处理结果对比
[0073][0074]
需要说明的是：
[0075]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0076]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0077]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保
护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0078]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0079]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0080]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0081]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0082]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。