用于自动巡检机器人的低光目标检测方法及系统
本发明涉及目标检测,尤其涉及用于自动巡检机器人的低光目标检测方法及系统。
背景技术:
1、在矿业工程与计算机视觉交叉领域中,自动巡检机器人在尾矿库排洪隧洞等极端低光环境(照度小于5lux)下执行目标检测任务时,面临图像对比度低、细节丢失、噪声干扰严重等严峻挑战。传统图像增强方法(如直方图均衡化、retinex理论)往往无法适配后续目标检测任务的需求,容易产生过增强或细节失真;而现有的低光目标检测方法通常将增强模块与检测模块分离开来,缺乏端到端的协同优化,导致在复杂低光场景下检测精度低、实时性差,难以满足巡检机器人对小型障碍物(如石块、淤积物)及渗漏区域的精确识别需求。
2、针对上述问题,知识蒸馏技术被引入低光视觉任务,以期通过教师模型向学生模型迁移标准光照域下的检测知识。然而,现有蒸馏方法仍存在明显缺陷:一方面,它们大多聚焦于分类任务或图像复原任务,未能针对目标检测任务中不同层级特征(浅层边缘纹理、中层目标结构、深层语义信息)的差异性进行适配约束;另一方面,教师模型与学生模型在标准光照域与低光增强域之间存在显著的特征分布偏移,直接应用传统蒸馏策略难以实现有效的知识迁移。因此,亟需一种能够实现增强与检测协同优化、且具备层级感知能力的知识蒸馏方法,以弥补上述技术缺口,提升自动巡检机器人在低光复杂环境中的目标检测能力。
技术实现思路
1、本发明的目的在于提供用于自动巡检机器人的低光目标检测方法及系统,旨在解决现有低光目标检测方法中增强模块与检测模块分离、缺乏端到端协同优化,且传统知识蒸馏策略无法适配目标检测多层级特征差异及跨光照域特征分布偏移,导致极端低光环境下检测精度低、实时性差的问题。
2、第一方面,本发明提供一种用于自动巡检机器人的低光目标检测方法,所述方法包括:
3、构建轻量级自适应增强网络,并将小于第一预设阈值包含自动巡检机器人的目标光照图像和标准光照图像分别输入至轻量级自适应增强网络进行增强,得到与目标光照图像对应的第一增强图像,与标准光照图像对应的第二增强图像;
4、将第二增强图像输入至教师模型,第一增强图像输入至学生模型,所述教师模型为标准光照下预训练的yolov5x检测器,所述学生模型为所述轻量级自适应增强网络与轻量化yolov5检测器构成的端到端融合模型,以提取增强图像分别在教师模型和学生模型的浅层特征、中层特征、深层特征;
5、对所述浅层特征、中层特征、深层特征分别进行层级差异化处理,并引入跨层级特征金字塔一致性约束,以约束浅层、中层、深层特征在目标区域的响应一致性;
6、根据教师模型和学生模型在相同层级的特征计算得到层级蒸馏损失,并对各个层级的层级蒸馏损失进行加权融合,并与所述跨层级特征金字塔一致性约束相加,得到总蒸馏损失;
7、将所述总蒸馏损失与学生模型的yolo原生检测损失进行加权融合,得到联合优化损失函数,并根据所述联合优化损失函数对所述学生模型进行端到端训练,得到训练后的目标检测模型。
8、第二方面,本发明提供一种用于自动巡检机器人的低光目标检测系统,所述系统包括:
9、图像增强模块,用于构建轻量级自适应增强网络,并将小于第一预设阈值包含自动巡检机器人的目标光照图像和标准光照图像分别输入至轻量级自适应增强网络进行增强,得到与目标光照图像对应的第一增强图像,与标准光照图像对应的第二增强图像;
10、特征提取模块,用于将第二增强图像输入至教师模型,第一增强图像输入至学生模型,所述教师模型为标准光照下预训练的yolov5x检测器,所述学生模型为所述轻量级自适应增强网络与轻量化yolov5检测器构成的端到端融合模型,以提取增强图像分别在教师模型和学生模型的浅层特征、中层特征、深层特征;
11、特征约束模块,用于对所述浅层特征、中层特征、深层特征分别进行层级差异化处理,并引入跨层级特征金字塔一致性约束,以约束浅层、中层、深层特征在目标区域的响应一致性;
12、损失融合模块,用于根据教师模型和学生模型在相同层级的特征计算得到层级蒸馏损失,并对各个层级的层级蒸馏损失进行加权融合,并与所述跨层级特征金字塔一致性约束相加,得到总蒸馏损失;
13、模型训练模块,用于将所述总蒸馏损失与学生模型的yolo原生检测损失进行加权融合,得到联合优化损失函数,并根据所述联合优化损失函数对所述学生模型进行端到端训练,得到训练后的目标检测模型。
14、第三方面,本发明提供一种存储介质,所述存储介质存储一个或多个程序,该程序被处理器执行时实现上述的用于自动巡检机器人的低光目标检测方法。
15、第四方面,本发明提供一种电子设备,所述电子设备包括存储器和处理器,其中:
16、所述存储器用于存放计算机程序;
17、所述处理器用于执行存储器上所存放的计算机程序时,实现上述的用于自动巡检机器人的低光目标检测方法。
18、与现有技术相比,本发明具有如下优点:
19、针对传统方法中增强模块与检测模块分离导致的优化目标冲突,本发明将轻量级自适应增强网络与轻量化yolov5检测器级联为端到端融合模型,使增强模块不再追求人眼视觉美观而是直接以“提升检测精度”为优化导向,从根源上实现了增强任务与检测任务的协同适配。针对教师模型(标准光照域)与学生模型(低光增强域)之间显著的特征分布偏移,本发明提出的检测器感知型知识蒸馏并非简单模仿教师输出,而是根据检测任务中不同层级特征的语义属性进行差异化对齐:浅层特征采用边缘纹理注意力掩码引导,使模型聚焦目标轮廓细节;中层特征采用空间-通道双注意力加权,强化目标结构与上下文关联;深层特征采用类别感知通道权重对齐,保持高级语义判别性。同时引入跨层级特征金字塔一致性约束,强制浅层、中层、深层特征在目标区域内的响应保持语义连贯,从根本上避免了多尺度特征割裂导致的检测不一致问题。上述方案从而共同实现了从“像素级特征模仿”到“语义级检测知识迁移”的原理性跨越,为自动巡检机器人在极端低光环境下的高可靠感知提供了系统的技术解决方案。
1.一种用于自动巡检机器人的低光目标检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的用于自动巡检机器人的低光目标检测方法,其特征在于,所述构建轻量级自适应增强网络,并将小于第一预设阈值包含自动巡检机器人的目标光照图像输入至轻量级自适应增强网络进行增强,得到增强图像的步骤包括:
3.根据权利要求1所述的用于自动巡检机器人的低光目标检测方法,其特征在于,所述将第二增强图像输入至教师模型,第一增强图像输入至学生模型,所述教师模型为标准光照下预训练的yolov5x检测器,所述学生模型为所述轻量级自适应增强网络与轻量化yolov5检测器构成的端到端融合模型,以提取增强图像分别在教师模型和学生模型的浅层特征、中层特征、深层特征的步骤包括:
4.根据权利要求1所述的用于自动巡检机器人的低光目标检测方法,其特征在于,所述对所述浅层特征、中层特征、深层特征分别进行层级差异化处理,并引入跨层级特征金字塔一致性约束,以约束浅层、中层、深层特征在目标区域的响应一致性的步骤包括:
5.根据权利要求1所述的用于自动巡检机器人的低光目标检测方法,其特征在于,所述根据教师模型和学生模型在相同层级的特征计算得到层级蒸馏损失,并对各个层级的层级蒸馏损失进行加权融合,并与所述跨层级特征金字塔一致性约束相加,得到总蒸馏损失的步骤包括:
6.所述将所述总蒸馏损失与学生模型的yolo原生检测损失进行加权融合,得到联合优化损失函数,并根据所述联合优化损失函数对所述学生模型进行端到端训练,得到训练后的目标检测模型的步骤包括:
7.一种用于自动巡检机器人的低光目标检测系统,其特征在于,所述系统包括:
8.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1-6任一项所述的用于自动巡检机器人的低光目标检测方法。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,其中:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com