一种无监督域适应的铁路入侵目标检测模型训练方法及系统

摘要: 本发明涉及铁路安全检测,特别涉及一种无监督域适应的铁路入侵目标检测模型训练方法及系统。背景技术:1、随着我国高速铁路和城市轨道交通的快速发展,列车运行速度高、调...
一种无监督域适应的铁路入侵目标检测模型训练方法及系统

本发明涉及铁路安全检测,特别涉及一种无监督域适应的铁路入侵目标检测模型训练方法及系统。

背景技术:

1、随着我国高速铁路和城市轨道交通的快速发展,列车运行速度高、调度密度大、安全冗余要求严的特点日益凸显,轨道区域及周边环境一旦出现行人、落石、遗留物、入侵车辆等异物,极易引发列车迫停、脱轨等重大安全事故。

2、目标检测是计算机视觉异物检测的核心环节,而实际铁路部署场景中,不同线路、不同时段、不同气象条件下的图像特征差异显著,针对每一个新部署场景重新采集并标注足量样本的成本极高,导致训练好的模型在跨场景应用时出现严重的性能下降,泛化能力不足。

3、因此,域自适应(unsupervised domain adaptation, uda)目标检测技术应运而生,该类技术仅需利用有标注的源域数据和无标注的目标域数据进行训练,即可提升模型在目标域的适应能力。其中,面向detr系列检测器的datr算法是当前主流的跨域目标检测方案,其核心思路是通过transformer检测器提取图像特征和目标查询特征,分别从数据集整体分布层面和类别原型特征层面缩小源域与目标域的差异:数据集级对齐用于缓解两个域在整体图像风格、背景、天气、光照等方面的分布差异;原型对齐则将同一类别的目标特征聚合成类别原型,推动源域与目标域中相同类别的原型趋近,以增强跨域类别一致性。

4、尽管datr算法在一定程度上提升了跨域检测性能,但其仍存在局限性:datr仅在原始真实图像特征空间中进行源域与目标域的全局对齐,而铁路场景中存在大量天气变化、光照波动、背景结构(如道砟、轨枕、防护网)差异带来的域特有外观信息,这些信息会混杂在真实图像特征中,导致全局对齐过程将无关的场景外观差异纳入学习,难以有效分离可迁移的结构语义信息,无法解决场景级外观偏差问题,在雾天、夜间、雨雪等极端场景下检测精度下降明显。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种无监督域适应的铁路入侵目标检测模型训练方法及系统。本发明能够在无目标域标注条件下,能够同时抑制场景级外观偏差、降低噪声,且充分利用跨域共享结构语义信息、提升跨域铁路入侵目标检测鲁棒性。

2、本说明书采用下述技术方案:

3、本说明书提供了一种无监督域适应的铁路入侵目标检测模型训练方法,具体包括:

4、获取带有类别标注信息的源域图像,以及不带标注信息的目标域图像。

5、构建师生检测模型,所述师生检测模型包括学生检测分支与通过指数移动平均更新的教师检测分支,所述学生检测分支包括基于transformer的检测器骨干网络与编码器、串联于解码器输出侧的局部实例一致性处理单元,以及并联于所述编码器输出侧的真实特征空间判别器与虚拟特征空间判别器;所述局部实例一致性处理单元包括原型聚合层、单向特征匹配层与双向映射重构层。

6、将所述源域图像及目标域图像作为输入,以所述类别标注信息作为训练标签,针对师生检测模型进行迭代训练直至收敛,得到训练后的师生检测模型。

7、在所述迭代训练过程中,所述学生检测分支通过骨干网络与编码器,针对源域及目标域图像进行编码特征提取,并经解码器输出目标查询特征;将所述编码特征分别输入真实特征空间判别器,进行第一域对抗训练,同时将编码特征映射至虚拟潜在空间后,输入虚拟特征空间判别器进行第二域对抗训练,根据所述第一域和第二域对抗训练结果,构建全局对齐约束;将所述目标查询特征输入局部实例一致性处理单元,通过原型聚合层获得源域与目标域类别原型,并通过单向特征匹配层及双向映射重构层,分别执行单步对比对抗及两步循环一致性约束,以构建局部对齐约束;基于检测损失、全局对齐约束及局部对齐约束更新学生检测分支的参数,并通过指数移动平均更新教师检测分支的参数。

8、进一步地,所述目标域图像至少包括由天气、光照或背景结构变化引起的域特有外观特征;所述类别标注信息包括异物类别以及对应的边界框位置;所述异物类别至少包括行人、落石及车辆。

9、进一步地,所述基于transformer的检测器骨干网络为预训练的dino检测器骨干网络;所述解码器采用混合查询选择机制,由编码器输出,选择候选位置并结合图像内容与空间位置信息初始化解码器输入查询;所述骨干网络采用resnet或swin transformer。

10、进一步地,所述将编码特征映射至虚拟潜在空间的方法具体包括:

11、计算所述编码特征的域不变均值与域不变标准差;针对所述预测域不变均值与域不变标准差,采用重参数化操作,得到虚拟潜在特征;

12、;

13、其中,为表示噪声的高斯随机变量,为逐元素相乘,为正态分布,为单位矩阵。

14、进一步地,所述单步对比对抗具体为:

15、以同类别的源域类别原型、目标域类别原型与全局语义锚点作为正样本对,以不同类别原型作为负样本对构建类别感知对比损失,增强同类别跨域实例特征的一致性。

16、引入原型级域判别器对源域类别原型与目标域类别原型进行域对抗训练,使源域与目标域类别原型在保持类别判别性的同时削弱域差异,以减少铁路小目标与道砟、轨枕、阴影背景之间的错误匹配。

17、进一步地,所述两步循环一致性约束具体为:

18、构建源域至目标域的第一映射网络与目标域至源域的第二映射网络;基于源域与目标域均存在类别原型的同一类别所构成的有效类别集合,计算语义一致性损失与循环重构一致性损失;所述语义一致性损失约束映射后的类别原型与对侧同类别原型在语义空间中一致,循环重构一致性损失约束经双向映射重构后的类别原型与原始类别原型一致,以校验源域与目标域实例匹配的可靠性,缓解伪标签误差累积。

19、进一步地,所述全局对齐约束由真实空间域对抗损失与虚拟空间域对抗损失加权求和得到;所述局部对齐约束由单步一致性损失与两步循环一致性损失加权求和得到。

20、本说明书提供了一种无监督域适应的铁路入侵目标检测模型训练系统,具体包括:

21、图像获取模块,用于获取带有类别标注信息的源域图像,以及不带标注信息的目标域图像。

22、模型构建模块,用于构建师生检测模型,所述师生检测模型包括学生检测分支与通过指数移动平均更新的教师检测分支,所述学生检测分支包括基于transformer的检测器骨干网络与编码器、串联于解码器输出侧的局部实例一致性处理单元,以及并联于所述编码器输出侧的真实特征空间判别器与虚拟特征空间判别器;所述局部实例一致性处理单元包括原型聚合层、单向特征匹配层与双向映射重构层。

23、模型训练模块,用于将所述源域图像及目标域图像作为输入,以所述类别标注信息作为训练标签,针对师生检测模型进行迭代训练直至收敛,得到训练后的师生检测模型。

24、本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。

25、本说明书提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的方法。

26、本发明的有益效果在于:与现有技术相比,本发明通过在编码器输出侧并联设置真实特征空间判别器与虚拟特征空间判别器,将编码特征分别输入两者执行第一域对抗训练与第二域对抗训练,其中虚拟潜在空间的引入能够将天气、光照及背景结构变化引起的域特有外观信息从特征表示中分离,从而在抑制场景级外观偏差的同时,充分保留跨域共享的结构语义信息;通过将目标查询特征输入包含原型聚合层、单向特征匹配层与双向映射重构层的局部实例一致性处理单元,利用原型聚合层获得源域与目标域类别原型,结合单向特征匹配层执行的单步对比对抗,能够增强同类别跨域实例特征的一致性,减少铁路小目标与道砟、轨枕及阴影背景之间的错误匹配,而两步循环一致性约束则构建了源域至目标域及目标域至源域的双向映射闭环,能够在有效类别集合上校验实例匹配的可靠性,显著降低由伪标签噪声引发的误检与漏检,从而在无需目标域标注的条件下,实现了全局场景对齐与局部实例对齐的深度耦合,大幅提升了跨域铁路入侵目标检测的鲁棒性。