一种路面缺陷检测方法、系统、设备及存储介质

1.本发明属于计算机视觉和图像处理技术领域，特别涉及一种路面缺陷检测方法、系统、设备及存储介质。


背景技术：

2.在实际生活中，路面存在缺陷的情况非常普遍，缺陷形成原因非常复杂；现有技术中尚未有普适性比较强的自动检测仪器可以使用，常用的检测手段依然是人工检测；而人工检测的手段效率低、稳定性不高，检测过程中易存在漏检的情况。
3.目前，基于深度学习的缺陷检测算法已经开始在越来越多的工业检测场景中应用；但是，在将缺陷检测算法应用到路面缺陷检测中时，由于路面图像采集会受到天气、光照、路面上异物等自然因素的干扰，即使在同一路段采集的图像之间也会存在较大的差异，最终导致训练的缺陷检测算法精度难以满足要求的精度；目前也有采取的措施增加训练样本，与此同时随着训练样本的增加又会带来训练样本标注成本过高的问题。


技术实现要素：

4.针对现有技术中存在的技术问题，本发明提供了一种路面缺陷检测方法、系统、设备及存储介质，以解决现有的缺陷检测方法精度较低，训练样本标注成本较高的技术问题。
5.为达到上述目的，本发明采用的技术方案为：
6.本发明提供了一种路面缺陷检测方法，包括以下步骤：
7.获取若干历史路面图像数据，构建预训练样本；
8.构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络；
9.基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；
10.在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本；
11.利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；
12.将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
13.进一步的，所述路面检测模型的骨干网络，用于对路面图像进行特征提取，得到中间特征图；
14.所述路面检测模型的分类器网络，用于对所述中间特征图进行分类、目标检测处理，得到图像检测结果。
15.进一步的，所述路面检测模型的骨干网络为残差网络；所述优化后的自监督学习算法为引入重构图像分支神经网络的moco算法；所述moco算法的骨干网络与所述路面检测模型的骨干网络相同。
16.进一步的，基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型的过程，具体如下：
17.利用所述moco算法的骨干网络，对预训练样本进行特征提取，得到中间特征图；
18.利用重构图像分支神经网络，对中间特征图进行图像重构处理，得到重构图像；
19.计算预训练样本与重构图像之间的重构图像损失，得到第一损失；
20.利用所述moco算法的特征提取分支神经网络，对中间特征图进行特征提取处理，得到若干特征向量；所述若干特征向量与若干历史路面图像数据一一对应；
21.计算若干特征向量相互之间的对比损失，得到第二损失；
22.利用所述第一损失与所述第二损失，得到综合损失；
23.利用所述综合损失函数，通过反向传播的方式，更新所述moco算法的骨干网络的模型参数；
24.判断综合损失是否收敛或训练迭代次数达到预设迭代次数，若是，则输出更新后的moco算法的骨干网络的模型参数；若否，则返回继续训练迭代；
25.将所述更新后的moco算法的骨干网络的模型参数带入至路面检测模型中的骨干网络，即得到预训练后路面检测模型。
26.进一步的，所述综合损失采用所述第一损失与所述第二损失加权求和得到。
27.进一步的，所述路面检测模型的分类器网络包括分类单元及目标检测单元；其中，分类单位为二分类器模型，目标检测单元为基于faster rcnn算法或yolo算法的目标缺陷检测模型。
28.进一步的，利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型的过程，具体过程如下：
29.将微调训练样本，输入至预训练后路面检测模型的骨干网络中，得到中间特征图；
30.将所述中间特征图，输入至预训练后路面检测模型中的分类器网络中，输出微调训练样本的预测分类概率；
31.根据所述微调训练样本的预测分类概率与微调训练样本的缺陷标注，计算得到所述微调训练样本的预测分类概率与微调训练样本的缺陷标注的交叉熵损失，并将所述微调训练样本的预测分类概率与微调训练样本的缺陷标注的交叉熵损失作为微调模型的训练损失函数；
32.根据所述微调模型的训练损失函数，通过反向传播算法，对所述预训练后路面检测模型中的骨干网络和分类器网络的参数进行调整，以使微调模型的训练损失函数的训练损失值达到预设收敛条件，输出得到所述训练后的路面缺陷检测模型。
33.本发明还提供了一种路面缺陷检测系统，包括：
34.数据模块，用于获取若干历史路面图像数据，构建预训练样本；
35.建模模块，用于构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络；
36.预训练模块，用于基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；
37.微调样本模块，用于在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本；
38.微调训练模块，用于利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；
39.预测输出模块，用于将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
40.本发明还提供了一种路面缺陷检测设备，包括：
41.存储器，用于存储计算机程序；
42.处理器，用于执行所述计算机程序时实现所述的路面缺陷检测方法的步骤。
43.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的路面缺陷检测方法的步骤。
44.与现有技术相比，本发明的有益效果为：
45.本发明提供的一种路面缺陷检测方法及系统，通过预训练样本，基于优化后的自监督学习算法，对路面检测模型的骨干网络进行预训练；利用微调训练样本对预训练后路面检测模型中的骨干网络和分类器网络进行参数微调，得到训练后端路面缺陷检测模型，进而用于缺陷检测；通过对骨干网络的预训练，之后利用较少的微调训练样本进行二次微调训练，能够在保证模型收敛性的前提下，保持较高的检测精度，大大降低了训练数据的标注成本。
46.进一步的，采用引入重构图像分支神经网络的moco算法对路面检测模型，增强了所述moco算法的骨干网络输出的中间特征图对形状特征的表达，有效提高了检测结果的精度。
附图说明
47.图1为实施例所述的路面缺陷检测方法的流程图；
48.图2为实施例中的缺陷检测模型的预训练过程的流程图；
49.图3为实施例中的缺陷检测模型的微调训练过程的流程图；
50.图4为实施例中的缺陷检测系统的结构框图。
具体实施方式
51.为了使本发明所解决的技术问题，技术方案及有益效果更加清楚明白，以下具体实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
52.本发明提供了一种路面缺陷检测方法，包括以下步骤：
53.步骤1、获取若干历史路面图像，构建预训练样本。
54.步骤2、构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络。
55.所述路面检测模型的骨干网络，用于对路面图像进行特征提取，得到中间特征图；需要说明的是，基于何种模型或算法，对路面图像进行特征提取，以得到中间特征图，在本发明中不做限定；优选的，所述路面检测模型的骨干网络为残差网络。
56.所述路面检测模型的分类器网络，用于对所述中间特征图进行分类、目标检测处理，得到图像检测结果；优选的，所述路面检测模型的分类器网络包括分类单元及目标检测单元；其中，分类单位为二分类器模型，目标检测单元为基于faster rcnn算法或yolo算法
的目标缺陷检测模型。
57.步骤3、基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；其中，所述优化后的自监督学习算法为引入重构图像分支神经网络的moco算法；所述moco算法的骨干网络与所述路面检测模型的骨干网络相同；具体过程如下：
58.步骤31、利用所述moco算法的骨干网络，对预训练样本进行特征提取，得到中间特征图。
59.步骤32、利用重构图像分支神经网络，对中间特征图进行图像重构处理，得到重构图像。
60.步骤33、计算预训练样本与重构图像之间的重构图像损失，得到第一损失；其中，第一损失为：
61.loss
rec
＝f(ai,a
p
)
62.其中，loss
rec
为第一损失，即预训练样本与重构图像之间的重构图像损失；f(ai,a
p
)为预训练样本与重构图像之间误差值；ai为预训练样本；a
p
为重构图像。
63.步骤34、利用moco算法的特征提取分支神经网络，对中间特征图进行特征提取处理，得到若干特征向量；其中，所述若干特征向量与若干历史路面图像数据一一对应。
64.步骤35、利用moco算法的对比损失函数，计算若干特征向量相互之间的对比损失，得到第二损失。
65.步骤36、利用所述第一损失与所述第二损失，得到综合损失；其中，所述综合损失采用所述第一损失与所述第二损失加权求和得到；所述综合损失为：
66.loss
total
＝w1*loss
rec
w2*loss
moco
67.其中，loss
moco
为第二损失；w1为第一损失的权重；w2为第二损失的权重。
68.步骤37、利用所述综合损失函数，通过反向传播的方式，更新所述moco算法的骨干网络的模型参数。
69.步骤38、判断综合损失是否收敛或训练迭代次数达到预设迭代次数，若是，则输出更新后的moco算法的骨干网络的模型参数；若否，则返回继续训练迭代。
70.步骤39、将所述更新后的moco算法的骨干网络的模型参数带入至路面检测模型中的骨干网络，即得到预训练后路面检测模型。
71.步骤4、在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本。
72.步骤5、利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；其中，微调训练的过程，具体如下：
73.步骤51、将微调训练样本，输入至预训练后路面检测模型的骨干网络中，得到中间特征图。
74.步骤52、将所述中间特征图，输入至预训练后路面检测模型中的分类器网络中，输出微调训练样本的预测分类概率。
75.步骤53、根据所述微调训练样本的预测分类概率与微调训练样本的缺陷标注，计算得到所述微调训练样本的预测分类概率与微调训练样本的缺陷标注的交叉熵损失，并将所述微调训练样本的预测分类概率与微调训练样本的缺陷标注的交叉熵损失作为微调模
型的训练损失函数。
76.步骤54、根据所述微调模型的训练损失函数，通过反向传播算法，对所述预训练后路面检测模型中的骨干网络和分类器网络的参数进行调整，以使微调模型的训练损失函数的训练损失值达到预设收敛条件，输出得到所述训练后的路面缺陷检测模型。
77.步骤6、将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
78.本发明还提供了一种路面缺陷检测系统，包括数据模块、建模模块、预训练模块、微调样本模块、微调训练模块及预测输出模块。
79.数据模块，用于获取若干历史路面图像数据，构建预训练样本；建模模块，用于构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络；预训练模块，用于基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；微调样本模块，用于在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本；微调训练模块，用于利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；预测输出模块，用于将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
80.本发明还提供了一种路面缺陷检测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现路面缺陷检测方法的步骤。
81.所述处理器执行所述计算机程序时实现上述路面缺陷检测方法的步骤，例如：获取若干历史路面图像数据，构建预训练样本；构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络；基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本；利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
82.或者，所述处理器执行所述计算机程序时实现上述系统中各模块的功能，例如：数据模块，用于获取若干历史路面图像数据，构建预训练样本；建模模块，用于构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络；预训练模块，用于基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；微调样本模块，用于在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本；微调训练模块，用于利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；预测输出模块，用于将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
83.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成预设功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序在所述路面缺陷检测设备中的执行过程。例如，所述计算机程序可以被分
割成数据模块、建模模块、预训练模块、微调样本模块、微调训练模块及预测输出模块，各模块具体功能如下：数据模块，用于获取若干历史路面图像数据，构建预训练样本；建模模块，用于构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络；预训练模块，用于基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型；微调样本模块，用于在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本；微调训练模块，用于利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络的参数进行微调处理，得到训练后的路面缺陷检测模型；预测输出模块，用于将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得到所述的路面缺陷检测结果。
84.所述路面缺陷检测设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述路面缺陷检测设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，上述仅仅是路面缺陷检测设备的示例，并不构成对路面缺陷检测设备的限定，可以包括比上述更多的部件，或者组合某些部件，或者不同的部件，例如所述路面缺陷检测设备还可以包括输入输出设备、网络接入设备、总线等。
85.所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，所述处理器是所述路面缺陷检测设备的控制中心，利用各种接口和线路连接整个路面缺陷检测设备的各个部分。
86.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述路面缺陷检测设备的各种功能。
87.所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
88.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种路面缺陷检测方法的步骤。
89.所述路面缺陷检测系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
90.基于这样的理解，本发明实现上述路面缺陷检测方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述路面缺陷检测方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
91.所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、电载波信号、电信信号以及软件分发介质等。
92.需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
93.本发明所述的路面缺陷检测方法、系统、设备及介质，通过收集大量历史路面图像数据作为预训练样本；在预训练样本上，使用优化后的自监督学习算法对路面缺陷检测模型的骨干网络进行预训练；在预训练样本中随机选取少量样本并进行标注，得到训练样本；在路面缺陷检测模型上使用训练样本进行微调，得到最终的路面缺陷检测模型；将待检测图像输入路面缺陷检测模型，得到缺陷检测结果；本发明所述的检测方法，能够有效减小训练路面缺陷检测模型的所需的数据量；同时，提高检测的精度。
94.实施例
95.如附图1所示，本实施例提供了一种路面缺陷检测方法，包括以下步骤：
96.步骤1、获取若干历史路面图像数据，构建预训练样本。本实施例中，所述预训练样本仅在对路面检测模型中的骨干网络进行预训练过程中使用；其中，预训练过程，无需对历史路面图像数据进行缺陷标注。
97.步骤2、构建路面检测模型；其中，所述路面检测模型包括骨干网络及分类器网络。
98.本实施例中，所述路面检测模型的骨干网络，用于对路面图像进行特征提取，得到中间特征图；所述路面检测模型的骨干网络为残差网络；所述路面检测模型的分类器网络，用于对所述中间特征图进行分类、目标检测处理，得到图像检测结果；优选的，所述路面检测模型的分类器网络包括分类单元及目标检测单元；其中，分类单位为二分类器模型，目标检测单元为基于faster rcnn算法或yolo算法的目标缺陷检测模型。
99.步骤3、基于优化后的自监督学习算法，利用预训练样本，对路面检测模型中的骨干网络进行预训练，得到预训练后路面检测模型。
100.自监督学习算法主要是利用辅助认为从大量无监督数据中挖掘自身的监督信息，再通过所述自身的监督信息，对神经网络进行训练，从而学习到对下游任务有价值的特征；本实施例中，所述优化后的自监督学习算法为基于对比学习的自监督学习算法，其通过构建正样本(positive)和负样本(negative)；然后通过度量正样本与负样本的距离来实现自监督学习；其中，所述优化后的自监督学习算法的核心思想是：样本和正样本之间的距离远远大于样本和负样本之间的距离。
101.本实施例中，所述优化后的自监督学习算法为引入重构图像分支神经网络的moco算法，即momentum contrast for unsupervised visual representation learning算法；所述moco算法的骨干网络与所述路面检测模型的骨干网络相同，均为残差网络(residual network，resnet)；其中，预训练过程采用联合训练的策略；训练过程同时优化重构图像损失和对比损失。
102.如附图2所示，具体过程如下：
103.步骤31、利用所述moco算法的骨干网络，对预训练样本进行特征提取，得到中间特
征图。
104.步骤32、利用重构图像分支神经网络，对中间特征图进行图像重构处理，得到重构图像。
105.本实施例中，为了提高预训练后的骨干网络对路面缺陷特征的表达，采用优化的moco算法作为预训练阶段的自监督学习算法；其优化内容主要体现为：在所述moco算法的骨干网络后增加图像重构分支神经网络；所述图像重构分支神经网络的输入为中间特征图，输出为重构图像；优选的，重构图像分支神经网络包括卷积层、转置卷积层及双线性插值。
106.在路面缺陷检测场景中，其场景图像中的缺陷主要表现为表面裂缝等，并且非缺陷区域的纹理特征相对单一，且场景图像上大多为非缺陷的区域；另外，缺陷本身特点较为突出；根据目标缺陷的形状特征就可以确定缺陷类型，不存在目标缺陷之间的空间关系和复杂的语义信息；因此，本实施例中，通过在moco算法添加重构图像分支神经网络的分支，其目的是增强其骨干网络输出的中间特征图对形状特征的表达。
107.需要说明的是：纹理特征是一种全局特征，描述了样本图像或样本图像区域所对应目标的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，样本图像的轮廓特征主要针对物体的外边界，而样本图像的区域特征则关系到整个形状区域；空间关系特征是指样本图像中多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接或邻接关系、交叠或重叠关系，以及包含或包容关系等。
108.步骤33、以输入的样本图像为标签，计算预训练样本与重构图像之间的重构图像损失，得到第一损失；其中，第一损失为：
109.loss
rec
＝f(ai,a
p
)
110.其中，loss
rec
为第一损失，即预训练样本与重构图像之间的重构图像损失；f(ai,a
p
)为预训练样本与重构图像之间误差值；ai为预训练样本；a
p
为重构图像。
111.本实施例中，预训练样本与重构图像之间误差值f(ai,a
p
)为均方误差mse或结构相似性(ssim)。
112.步骤34、利用所述moco算法的特征提取分支神经网络，对中间特征图进行特征提取处理，得到若干特征向量；其中，所述若干特征向量与若干历史路面图像数据一一对应。
113.步骤35、利用所述moco算法的对比损失函数，计算若干特征向量相互之间的对比损失，得到第二损失；本实施例中，所述对比损失函数为原始moco算法中采用的损失函数，并通过优化对比损失进行特征学习。
114.步骤36、利用所述第一损失与所述第二损失，得到综合损失；其中，所述综合损失为将所述第一损失与所述第二损失加权后的和；所述综合损失为超参，在不同应用场景或数据集下需要搜索最适合的值；所述综合损失的计算公式，具体如下：
115.loss
total
＝w1*loss
rec
w2*loss
moco
116.其中，loss
moco
为第二损失；w1为第一损失的权重；w2为第二损失的权重。其中
117.步骤37、利用所述综合损失函数，通过反向传播的方式，更新所述moco算法的骨干网络的模型参数；
118.步骤38、判断综合损失是否收敛或训练迭代次数达到预设迭代次数，若是，则输出更新后的moco算法的骨干网络的模型参数；若否，则返回继续训练迭代。
119.步骤39、将所述更新后的moco算法的骨干网络的模型参数带入至路面检测模型中的骨干网络，即得到预训练后路面检测模型。
120.步骤4、在预训练样本中，随机获取部分样本数据，并对所述部分样本数据进行缺陷标注，得到微调训练样本。本实施例中，微调训练样本为在预训练样本中选取少量样本数据进行缺陷标注；需要说明的是，此处的“少量”是一个相对值，含义是此处的样本数据的数据量远远小于训练一个随机初始化的缺陷检测模型所需的数据量。
121.本实施例中，根据实际需求定义具体的缺陷检测任务，并对所述部分样本数据进行标注；需要说明的是，路面缺陷检测的场景包括但不限于公路路面、桥梁、隧道等场景的表面缺陷检测；这里缺陷检测任务包括但不限于分类、目标缺陷检测；其中，分类是将不同类型缺陷的图像分为不同类别，目标缺陷检测是用矩形框表示图像中的缺陷以及缺陷类型。例如，当实际需求仅需要知道图像中是否存在缺陷时，而并不需要知道缺陷在图像中的位置和缺陷类别时，此时可以把当前需求定义为一个二分类的任务。
122.步骤5、利用微调训练样本，对预训练后路面检测模型中的骨干网络和分类器网络进行参数微调，得到训练后的路面缺陷检测模型。
123.如附图3所示，微调训练的过程，具体如下：
124.步骤51、将微调训练样本，输入至预训练后路面检测模型的骨干网络中，得到中间特征图。
125.步骤52、将所述中间特征图，输入至预训练后路面检测模型中的分类器网络中，输出微调训练样本的预测分类概率。
126.步骤53、根据所述微调训练样本的预测分类概率与微调训练样本的缺陷标注，计算得到所述微调训练样本的预测分类概率与微调训练样本的缺陷标注的交叉熵损失，并将所述微调训练样本的预测分类概率与微调训练样本的缺陷标注的交叉熵损失作为微调模型的训练损失函数。
127.步骤54、根据所述微调模型的训练损失函数，通过反向传播算法，对所述预训练后路面检测模型中的骨干网络和分类器网络的参数进行调整，以使微调模型的训练损失函数的训练损失值达到预设收敛条件，输出得到所述训练后的路面缺陷检测模型。
128.在本实施例中，在预训练好的骨干网络后添加分类器网络，即得到路面缺陷检测模型；其中，分类器网络是一种神经网络模型，其网络结构包括由一层或者多层linear层和一个softmax层；骨干网络连接分类器经过在训练样本上微调后即可作为公路表面缺陷分类的模型；由于骨干网络经过了预训练，因此，通过训练样本进行微调就可收敛。
129.本实施例中，假设当前为二分类任务时，采用在预训练后的骨干网络后加一个二分类器；假设当前为目标缺陷检测任务时，可以选择faster rcnn或者yolo等目标检测算法，并将在预训练后的骨干网络的参数作为目标检测算法中骨干网络的初始化参数。
130.在对缺陷检测算法的骨干网络赋值后，使用已标注的训练样本在缺陷检测模型上进行微调，由于该模型的骨干网络经过了预训练，所以在训练样本较少的情况下，该模型依旧可以收敛并可以保持较高的精度。本技术实施例在缺陷检测模型微调阶段所需的训练数据量较小，因此可以节省大量的标注成本，解决了路面缺陷检测中标注成本高，实际项目难以落地的问题。
131.步骤6、将待检测路面图像输入至训练后的路面缺陷检测模型中，输出结果，即得
到所述的路面缺陷检测结果。
132.本实施例提供的一种路面缺陷检测系统、设备及计算机可读存储介质中相关部分的说明可以参见本实施例所述的一种路面缺陷检测方法中对应部分的详细说明，在此不再赘述。
133.本发明中的路面缺陷检测包括但不限于公路路面缺陷检测，类似的场景有桥梁、房屋等建筑混凝土表面的缺陷检测；在上述场景下采集图像时容易受到天气、光照等自然环境因素的影响，而导致采集到的图像质量难以保持稳定；受图像质量因素影响，并且实际应用场景对路面缺陷检测的精度要求比较高，要求缺陷检测算法必须保证较高检测精度的同时还必须具有较好的泛化能力；本发明中，在不改变现有检测算法上提高检测精度和泛化能力通常采取的一个措施是增加训练样本，通过对骨干网络的预训练，之后利用较少的微调训练样本进行二次微调训练，能够在保证模型收敛性的前提下，保持较高的检测精度，大大降低了训练数据的标注成本。
134.上述实施例仅仅是能够实现本发明技术方案的实施方式之一，本发明所要求保护的范围并不仅仅受本实施例的限制，还包括在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。