基于对比反馈蒸馏与时序自蒸馏的目标检测方法
本发明涉及计算机视觉,具体是一种适用于车联网等的基于对比反馈蒸馏与时序自蒸馏的目标检测方法。
背景技术:
1、车辆在行驶过程中通过目标检测实时获取交通对象(如邻居车辆、行人等)的精确位置才能做出可靠、安全的行驶决策。尽管现有的目标检测算法在通用场景下已取得显著进展,但在对实时性与精确性有高要求的自动驾驶车辆仍然面临着以下挑战:
2、(1)特征表征的纹理偏见与几何信息缺失。传统神经网络在自动驾驶感知中存在根深蒂固的纹理偏见,即模型倾向于依赖局部低频纹理信号而非全局几何轮廓。车辆在高速运动下导致的边缘模糊或光照剧烈的隧道出口等异常路况下,纹理信息的失效将导致定位精度的断崖式下跌[1]。为此,研究者提出形状偏置诱导策略。honig[2]等通过纹理随机化迫使网络学习目标的3d流形结构。hs-fpn[3]利用高通滤波器提取高频梯度信息,强化对微小目标的捕捉能力。此外,针对检测头中分类任务的平移不变性与定位任务的空间位置敏感性之间的梯度冲突,dmod[4]与dth[5]等通过物理解耦与功能对齐来缓解多任务间的特征干扰。然而,现有方法大多依赖增加网络分支等静态解耦手段,既带来额外的计算开销,又未消除共享特征层因优化目标不一致引发的深层特征纠缠,从而制约驾驶决策的安全性。
3、(2)知识蒸馏感知盲目性引起分类与定位冲突。知识蒸馏是实现车载检测模型轻量化的可靠路径,但传统的分治模式因缺乏高层反馈而引起蒸馏盲目性[6]。静态蒸馏掩码难以识别学生的能力边界,所以学生只能盲目且全盘地接收来自教师的混合特征,导致在同一个共享特征空间内分类要求的平移不变性与定位要求的像素级等变性被迫争夺梯度资源。acam-kd[7]通过师生跨注意力特征融合模块实现蒸馏掩码的动态更新,使学生能按自身学习进度自适应关注关键特征。ld[8]将边界框转化为概率分布来实现对目标边缘模糊性的知识迁移。dsamd[9]利用尺度感知特征强化前景区域的表征。然而,现有方法虽避免蒸馏盲目性,仍存在分类和定位间的干扰。分类任务对位置变化不敏感与定位任务对位置变化须精准响应之间的矛盾,严重降低检测模型的可靠性和鲁棒性。
4、(3)静态教师模型的能力天花板限制。车路协同感知体系中,高性能教师模型常被视为车载学生模型的唯一知识源。然而,交通流的非平稳特性使教师的静态先验知识难以覆盖突发异常,导致学生遭遇能力天花板[10]。此外,基站与车载传感器间的视角差异引发严重的域偏移。为突破模仿瓶颈,bml[11]允许学生将实时感知的细粒度局部特征反馈给教师,以实现师生共同优化。maven-t[12]引入强化学习,利用环境反馈修正教师知识来实现学生对教师的超越。然而,这些方法过度依赖边缘端的持续反馈,导致车载模型在知识获取上始终处于被动接收状态,并且感知上限也受限于教师先验知识,对未知数据难以维持鲁棒性。
技术实现思路
1、为了应对上述挑战,本发明提出一种基于对比反馈蒸馏与时序自蒸馏的目标检测方法,旨在实现高精度、低时延的场景自适应检测。
2、本发明的目标检测方法,由检测终端部署的目标检测模型,以采集到图像为输入,输出检测结果。
3、本发明采用知识蒸馏方式训练目标检测模型;在知识蒸馏过程中,部署在检测终端的目标检测模型作为学生模型,相应的教师模型部署在云端或边缘端;
4、知识蒸馏过程包括:
5、(一)对比反馈蒸馏cfd的外部引导;在对比反馈蒸馏框架下,在教师模型的知识传授给学生模型的同时,学生模型将定位反馈信号传给教师模型;
6、(二)时序自蒸馏tsd的内生进化:在时序自蒸馏框架下,学生模型融合自身演化的时序经验进行自蒸馏;
7、(三)联合训练对比反馈蒸馏与时序自蒸馏。
8、目标检测模型是改进的yolov8模型,改进包括:
9、1)构建方向感知主干o-repblock模块,用于显式注入先验的方向与形状信息;
10、2)利用任务特异性解耦检测头da-head消除分类与定位之间的内在冲突。
11、3)设计重参数化等效映射用于支持知识蒸馏。
12、本方法用在车联网中,则学生模型是车载目标检测模型。
13、本发明的主要贡献包括:
14、提出融合非对称方向场与高频边缘先验的o-repblock(orientation-awarerepblock)模块,并协同物理隔离的任务特异性解耦检测头da-head(decoupledasymmetric head),在不增加推理成本的前提下显著增强检测系统对异构目标(如交通目标)几何轮廓的捕捉精度。
15、设计以学生模型实时交并比(intersection over union, iou)为高层语义反馈的特征和响应机制、以动态调整特征权重,并协同响应层语义流与几何流的解耦对齐策略,有效克服特征模仿的盲目性、分类和定位任务间的冲突。
16、构建基于分布对齐的时序自蒸馏机制,利用演化时序教师模型实现感知知识从外部引导向学生模型内生进化的平滑过渡,有效破解静态教师模型的性能上限并显著增强模型在遮挡环境下的感知鲁棒性。
1.一种基于对比反馈蒸馏与时序自蒸馏的目标检测方法,由检测终端部署的目标检测模型,以采集到图像为输入,输出检测结果;其特征是采用知识蒸馏方式训练目标检测模型;在知识蒸馏过程中,部署在检测终端的目标检测模型作为学生模型,相应的教师模型部署在云端或边缘端;
2.根据权利要求1所述的基于对比反馈蒸馏与时序自蒸馏的目标检测方法,其特征是目标检测模型是改进的yolov8模型,改进包括:
3.根据权利要求2所述的基于对比反馈蒸馏与时序自蒸馏的目标检测方法,其特征是改进1)中,在yolov8主干网络嵌入o-repblock模块来强化训练期对高频边缘几何特征的提取;用o-repblock替换yolov8主干网络的c2f模块;
4.根据权利要求2所述的基于对比反馈蒸馏与时序自蒸馏的目标检测方法,其特征是改进2)中,在yolov8检测头嵌入da-head模块来消除内在梯度冲突;
5.根据权利要求1~4任一所述的基于对比反馈蒸馏与时序自蒸馏的目标检测方法,其特征是目标检测模型是改进的yolov8模型,改进方法包括:设计重参数化等效映射用于支持知识蒸馏,具体为:
6.根据权利要求1所述的基于对比反馈蒸馏与时序自蒸馏的目标检测方法,其特征是在车联网中,学生模型作为车载模型。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com