基于改进RT-DETR的轻量化道路缺陷检测方法

本发明涉及目标检测，尤其涉及一种基于改进rt-detr的轻量化道路缺陷检测方法。

背景技术：

1、道路表面在车辆反复荷载、自然环境侵蚀等多重因素作用下，会逐渐产生裂缝、坑槽等各类缺陷。若未能及时检测与处置，微小缺陷会快速扩展为结构性损坏，大幅提升道路养护成本，甚至威胁行车安全。

2、基于深度学习的道路缺陷检测方法凭借较强的特征自主学习能力，已成为当前主流技术路线，主要分为基于卷积神经网络cnn的方法和基于transformer的方法两类。基于cnn（convolutional neural network，卷积神经网络）的方法（如yolo系列）通过卷积核的局部感受野提取特征，在实时性方面具有优势，但难以有效建模细长裂缝等缺陷的长程空间依赖关系。基于transformer的方法通过自注意力机制建模全局依赖，在检测精度上具有优势，其中rt-detr（real-time detection transformer，实时检测变换器）通过精简设计实现了实时检测。为充分发挥其在道路缺陷检测中的优势，近年来围绕rt-detr结构改进的道路缺陷检测方法不断被提出。

3、然而，rt-detr在道路缺陷检测场景中仍存在以下不足：其一，其尺度内特征交互模块aifi（attention-based intra-scale feature interaction，基于注意力的尺度内特征交互模块）中的softmax自注意力计算开销较大；其二，现有线性注意力虽然将计算复杂度降至o(n)，但通过非负核函数近似softmax会丢失负值交互信息，导致注意力分布趋于平滑，降低模型对微小缺陷的判别能力；其三，其骨干网络（如resnet）参数量较大、感受野受限；其四，模型参数量与计算量偏大，不利于车载或无人机等端侧部署。

4、针对rt-detr存在的上述不足，现有技术已提出多种基于rt-detr的改进方案，但仍难以解决上述问题。

5、例如，cn119784759a公开的一种基于rt-detr改进的轻量化道路损伤检测方法，将rt-detr的主干网络改为由多尺度边缘信息增强模块构成，并将混合编码器改为由aifi与多分支空洞卷积金字塔网络模块构成，以增强多尺度与边缘信息；然而，该方案仍保留基于softmax自注意力的aifi处理深层特征，注意力计算开销大的问题并未解决，其引入的多分支空洞卷积金字塔、转置卷积上采样与多路空洞卷积等结构叠加密集，使参数量与计算量进一步上升，与其轻量化诉求相悖，且其边缘增强主要面向局部边缘纹理，对细长裂缝等缺陷的长程空间依赖仍依赖高开销的自注意力建模。

6、又如，cn121837726a公开的一种基于改进rt-detr的复杂天气下道路缺陷检测方法，以基于统计特征自注意力的尺度内特征交互模块替代aifi中的多头自注意力，并设计频域调制多尺度交叉融合网络，结合多气象数据增强提升复杂天气下的检测鲁棒性；然而，该方案所采用的统计特征自注意力仍属注意力机制变体，需多组低秩投影矩阵并计算隶属度与二阶统计量，结构复杂度较高，其改进重点在于复杂天气鲁棒性，对模型参数量与计算量未作系统压缩，且统计特征自注意力侧重全局结构刻画，对微小缺陷局部响应的聚焦能力有限。

7、再如，cn119251225b公开的一种基于改进rt-detr的公路路面裂缝检测方法，构建由高频注意力头与低频注意力头构成的高低频注意力模块替换aifi，并以迭代特征融合模块替换多尺度特征融合模块，以提升复杂路面环境下裂缝特征提取能力；然而，该方案的高低频注意力模块仍基于softmax多头点积注意力，各注意力头均需执行点积注意力计算，注意力计算开销较大的问题依然存在，其检测目标主要面向中尺度与大尺度裂缝，对微小缺陷的判别能力不足，且未对模型整体的参数量与计算量进行系统性优化。

8、再如，cn119887641a公开的一种基于改进rt-detr的轻量化公路路面缺陷检测方法，利用轻量化模块rgcspelan重构resnet18主干网络，引入高效加性注意力模块eaa改进aifi的多头自注意力，并以特征金字塔cgrfpn作为跨尺度特征融合模块，以降低计算开销；然而，该方案的eaa加性注意力通过全局查询对键进行元素加权生成全局上下文，注意力分布趋于平滑，对微小缺陷等弱响应特征的判别能力不足，其轻量化主要依赖卷积结构重构与加性注意力实现，未在保留正负特征交互信息的前提下获得线性复杂度的注意力计算，其cgrfpn侧重水平与垂直方向的轴向上下文建模，对任意方向分布的细长裂缝的长程依赖建模存在局限。

9、综上，现有道路缺陷检测方法难以同时满足高精度捕捉小目标和细长缺陷、轻量化易部署的双重需求，尤其缺乏一种既能在保留正负特征交互的同时将注意力计算复杂度降至线性、又能系统性压缩模型参数量与计算量的改进方案。

技术实现思路

1、本发明所要解决的技术问题是，提供一种基于改进rt-detr的轻量化道路缺陷检测方法，解决现有道路缺陷检测方法难以同时满足高精度捕捉小目标和细长缺陷、轻量化易部署的双重需求。在此基础上，还需解决rt-detr的尺度内特征交互模块计算开销大、线性注意力丢失负值交互、骨干网络参数量大且感受野受限、整体模型不利于端侧部署等具体问题。

2、为解决上述技术问题，本发明采用的技术方案为：

3、提供一种基于改进rt-detr的轻量化道路缺陷检测方法，该方法先获取包含道路缺陷的图像数据集，并按比例将其划分为训练集、验证集和测试集；随后构建改进的rt-detr模型，该模型从三个维度进行改进：在混合编码器中，以极性感知频率调制pafm模块替代原有的尺度内特征交互模块aifi，使注意力计算在保留查询键之间正负特征交互的同时，能够通过频率调制前馈网络对特征进行频域自适应增强；以csp-ssd轻量化骨干网络替代rt-detr原有的骨干网络，将基于隐状态混合器的状态空间对偶机制与跨阶段特征融合架构相结合；在多尺度特征融合阶段引入移位卷积特征提取scfe（shift-conv featureextraction，移位卷积特征提取）模块，利用移位卷积在不引入额外参数的前提下扩展感受野。此后，利用训练集和验证集对上述改进的rt-detr模型进行训练，最后将待检测道路图像输入训练好的模型，即可输出道路缺陷的类别和位置信息。

4、在一种实施方式中，pafm模块包括极性感知线性注意力单元和频率调制前馈网络单元。极性感知线性注意力单元将查询向量与键向量按元素分解为正分量和负分量，对同符号分量之间的交互与反符号分量之间的交互分别计算，从而完整保留正负特征交互；在此基础上，该单元沿通道维度对值向量进行切分，以分别处理两类交互对应的值向量，将两类交互的计算结果拼接后，经可学习的极性感知系数矩阵进行缩放。为模拟softmax注意力的锐度特性，该单元还引入通道级可学习指数的幂函数，对查询向量或键向量的特征值进行变换，其中指数的取值范围为，为大于0的缩放因子，各通道可独立学习最优指数。作为优选，缩放因子α的取值为4。频率调制前馈网络单元在标准前馈神经网络之后嵌入频域调制分支，采用基于块的快速傅里叶变换将标准前馈神经网络的输出特征转换到频域，通过可学习权重在频域逐元素相乘，以自适应地抑制或增强各频率分量，再经快速傅里叶逆变换将特征反变换回空间域并重塑，得到频率调制后的特征。

5、在另一种实施方式中，csp-ssd轻量化骨干网络以hsm-ssd模块为核心构建efficientvim基础模块，该基础模块融合轻量级卷积与状态空间对偶机制，其中轻量级卷积用于捕获局部纹理与边缘细节，hsm-ssd模块用于建模长程空间依赖；结合cspnet（crossstage partial network，跨阶段局部网络）跨阶段特征复用思想，堆叠多组efficientvim基础模块，各阶段逐级完成空间下采样与通道扩维，形成多尺度层次化特征体系。其中，hsm-ssd模块先通过加权线性组合生成全局隐状态，再由隐状态混合器对全局隐状态进行通道混合与非线性变换，最后经投影矩阵映射回原始特征空间，得到输出特征。

6、在另一种实施方式中，scfe模块采用移位卷积对输入特征进行感受野扩展：将输入特征的通道均分为五组，分别进行左移、右移、上移、下移和恒等变换，将各通道的特征沿对应方向移位一个像素，移位后通过1×1点卷积实现跨通道融合。scfe模块进一步采用双分支结构，其中恒等残差分支通过1×1卷积调整通道维度，以保留原始特征的局部细节信息；特征提取分支由至少一个特征提取单元构成，每个特征提取单元依次包括第一移位卷积、激活函数和第二移位卷积，第一移位卷积将通道维度扩展，经激活函数引入非线性后，由第二移位卷积将通道维度压缩回原维度；两分支的输出相加，得到scfe模块的输出特征。

7、本发明提供的基于改进rt-detr的轻量化道路缺陷检测方法，有如下有益效果：

8、1、本发明从特征交互质量、骨干轻量化效率、长程感受野覆盖三个核心维度对rt-detr模型进行系统性改进，实现检测精度与模型轻量化的协同提升；能够同时满足道路缺陷检测中高精度捕捉小目标和细长缺陷、轻量化易部署的双重需求。经测试，集成pafm、csp-ssd和scfe的完整模型较基线rt-detr的准确率提升2.0个百分点，召回率提升1.7个百分点，map50提升2.1个百分点，map50:95提升2.6个百分点。

9、2、本发明通过极性感知线性注意力将查询键特征分解为正分量和负分量，分离计算同符号与反符号交互，完整保留正负特征交互信息；能够恢复传统线性注意力因非负核近似而丢失的负值交互信息，避免特征信息丢失，从而提升模型对微小缺陷的判别能力。经测试，在rdd2022数据集上，单独引入pafm模块在不增加计算开销的前提下，准确率提升2.1个百分点，map50提升1.1个百分点，map50:95提升1.5个百分点。

10、3、本发明通过沿通道维度切分值向量并分别处理两类交互对应的值向量，再经可学习的极性感知系数矩阵对拼接结果进行缩放；能够在不引入额外参数开销的前提下准确重建查询与键之间的依赖关系，兼顾注意力计算的轻量性与特征表达的准确性。

11、4、本发明通过引入通道级可学习指数的幂函数模拟softmax注意力的锐度特性；能够克服线性注意力分布过于均匀的问题，在保持线性复杂度的同时使各通道自适应地聚焦微小目标特征，为后续检测中的微小目标聚焦提供基础。

12、5、本发明通过频率调制前馈网络在标准前馈神经网络之后嵌入频域调制分支，以基于块的快速傅里叶变换将特征转换到频域，并经可学习权重在频域进行逐元素相乘；能够增强模型对细微裂缝、坑槽边缘等高频细节的捕捉能力，同时抑制路面纹理、光照变化等干扰。

13、6、本发明以csp-ssd轻量化骨干网络替换原始骨干网络，将基于隐状态混合器的状态空间对偶机制嵌入跨阶段特征融合架构，并结合跨阶段特征复用思想降低参数冗余；能够大幅压缩模型参数量与计算量，同时强化长程空间依赖与细粒度特征的保留能力。经测试，在pafm模块的基础上加入csp-ssd模块后，模型参数量由20.1m降至14.6m，减少约27.4%，计算量由57.2gflops降至48.2gflops，同时召回率提升至70.2%，f1分数提升至76.0%。

14、7、本发明通过hsm-ssd模块的压缩-增强-重建结构，以加权线性组合生成全局隐状态，经隐状态混合器进行通道混合与非线性变换后映射回原始特征空间；能够以o(nd2+lnd)的计算复杂度实现全局上下文建模，相比传统自注意力机制的o(l2d)计算复杂度大幅降低计算负担，有利于实时检测。

15、8、本发明通过移位卷积特征提取scfe模块，将输入特征的通道均分为五组，分别沿左、右、上、下和恒等方向移位一个像素，再经1×1点卷积实现跨通道融合；能够以无额外参数开销的方式扩展感受野，充分捕捉细长裂缝、不规则坑槽等长程分布缺陷的多方向空间关联，提升对其的语义感知与定位精度。

16、9、本发明通过scfe模块的双分支结构，以恒等残差分支保留原始特征的局部细节信息，以特征提取分支通过通道扩展-非线性激活-通道压缩的结构丰富特征表达；能够兼顾局部细节与长程关联，在扩展感受野的同时避免特征退化。

17、10、本发明通过将道路缺陷图像数据集划分为训练集、验证集和测试集，使模型训练、参数调优与性能评估相互独立；能够保证模型评估结果的可信度，并提高模型在道路缺陷检测任务上的泛化能力。

18、11、本发明整体采用轻量化设计，通过csp-ssd轻量化骨干网络与无参数开销移位卷积的协同作用，在保持高检测精度的同时降低模型参数量与计算量；有利于车载或无人机等端侧设备的部署。经测试，完整模型较基线rt-detr参数量减少27.1%，计算量降低17.2%。

19、12、本发明将控制通道级可学习指数的取值范围设置为，使模型取得最优综合性能。经测试，当时模型准确率达到83.6%，map75与map50︰95分别达到53.1%与49.1%，均为全组最高，f1分数为75.4%，在较高交并比阈值下具有定位精度优势，契合道路缺陷精准检测需求。