一种基于多模态信号融合的路面病害检测方法和系统
本发明涉及道路工程检测,具体涉及一种基于多模态信号融合的路面病害检测方法和系统。
背景技术:
1、在道路养护与运营管理过程中,沥青路面病害检测是确定养护方案、控制养护成本与保障行车安全的重要基础工作。现有技术中,病害检测多依赖人工巡检或单一传感器/单一模态的检测方式,例如仅采用路面视觉图像进行裂缝与坑槽识别,或仅采用地质雷达(gpr)进行内部结构探测,或仅采用三维激光点云用于路面形态测量。
2、但是,上述单一来源数据的检测方式存在如下问题:
3、(1)视觉图像检测易受光照、阴影、雨雪、路面污染等影响,且难以识别路面内部隐蔽病害;
4、(2)gpr能反映内部结构变化,但对表面细微裂缝等纹理型病害表达不足,且易受噪声与环境干扰;
5、(3)点云可量化路面形态与坑槽深度,但对病害类型语义表达有限,且数据对齐与融合难度较大;
6、(4)不同路面场景(干燥/潮湿、不同材料、不同施工质量)导致的域偏移问题会显著降低深度学习模型在真实道路中的泛化能力;
7、(5)真实工程中标注成本高,病害样本分布存在小样本与类别不均衡,导致模型易偏向大类病害,检测精度不稳定。
8、因此,需要一种能够在复杂天气与多工况条件下,融合视觉、点云与gpr等多源信号,实现对路表及内部病害高精度、实时识别,并可输出病害尺寸参数与道路状况指数(pci)的检测方法及系统,且在多模态融合和损失函数设计上针对不同病害类型与pci评定进行专门优化。
技术实现思路
1、针对现有方法的不足以及实际应用的需求,一方面,本发明提供一种基于多模态信号融合的路面病害检测方法,包括以下步骤:
2、获取道路路面的多源检测信号;对所述多源检测信号进行预处理与时空对齐;对预处理与对齐后的多源检测信号分别进行特征提取;对提取的多源特征进行双阶段融合,获得综合特征;基于所述综合特征输出病害检测结果并计算道路状况指数。
3、可选地,所述多源检测信号包括视觉图像信号、三维激光点云信号及地质雷达电磁信号。
4、可选地,对预处理与对齐后的多源检测信号分别进行特征提取,包括以下步骤:
5、将视觉图像信号输入残差深度子领域自适应网络,采用resnet-50作为骨干网络提取视觉特征;将gpr电磁信号输入一维卷积网络与双向长短期记忆网络bi-lstm构成的网络提取gpr特征;将三维激光点云信号输入pointnet++网络提取点云特征;所述残差深度子领域自适应网络在resnet-50的全连接层之前嵌入子领域自适应层,并通过域间分布对齐损失函数最小化源域数据集与目标域数据集的特征分布差异,以提升模型泛化能力;所述残差深度子领域自适应网络嵌入有伴生目标函数,所述伴生目标函数为中心损失函数,以使同类病害特征向中心聚集并提升特征区分度。
6、可选地,所述对提取的多源特征进行双阶段融合,包括以下步骤:
7、第一阶段融合:将所述多源特征进行拼接,为各模态特征分配权重后进行加权求和,得到初级融合向量;第二阶段融合:将所述初级融合向量输入语义级融合网络,通过注意力机制或跨尺度特征融合,在统一语义空间进行映射,得到所述综合特征。
8、可选地,在进行权重分配时,参考当前样本的病害类别信息或道路工况信息中的至少一种。
9、可选地,在训练阶段,采用混合损失函数进行优化;所述混合损失函数至少包括用于优化病害区域分割的焦点tversky损失。
10、可选地,所述混合损失函数还包括模态权重引导损失,用于引导网络在不同病害类型样本下调整不同模态特征的权重分配。
11、可选地,所述混合损失函数还包括多模态几何一致性损失,用于约束基于不同模态信号预测的同一病害的空间位置及尺寸参数的一致性。
12、可选地,所述混合损失函数还包括道路状况指数约束损失,用于约束预测道路状况指数与目标道路状况指数之间的偏差。
13、第二方面,本发明还提供了一种基于多模态信号融合的路面病害检测系统,包括:数据采集模块,用于同步获取道路路面的多源检测信号;数据预处理与对齐模块,与所述数据采集模块通信连接,用于对所述多源检测信号进行预处理与时空对齐;多源特征提取模块,与所述数据预处理与对齐模块通信连接,用于对预处理与对齐后的多源检测信号分别进行特征提取;多模态特征融合模块,与所述多源特征提取模块通信连接,用于对提取的多源特征进行融合,获得综合特征;病害检测与评估输出模块,与所述多模态特征融合模块通信连接,用于基于所述综合特征输出病害检测结果并计算道路状况指数。本发明的一种基于多模态信号融合的路面病害检测系统,结构紧凑、性能稳定,能够稳定地执行本发明提供的一种基于多模态信号融合的路面病害检测方法,进一步提升本发明整体适用性和实际应用能力。
14、本发明通过同步采集并融合道路路面的多源检测信号,综合利用了视觉图像信号对表面纹理的感知能力、地质雷达电磁信号对内部结构异常的探测能力以及三维激光点云信号对空间形态的量化能力,从而能够同时检测路面表面病害与内部病害,克服了单一传感器检测范围局限的缺陷,显著提高了检测的全面性与准确性。通过数据预处理与对齐模块对多源检测信号进行时空同步对齐,确保了后续特征提取与融合所基于的数据在时间和空间上的一致对应,为解决多源数据融合困难的问题奠定了基础,提升了融合的精确度与可靠性。
15、进一步地,采用针对不同信号特性设计的网络分别提取特征,例如针对视觉图像的残差网络、针对地质雷达时序信号的卷积网络与长短期记忆网络、以及针对三维点云的分层采样网络,能够更充分地挖掘各类信号中蕴含的病害信息,为后续融合提供了高质量的特征基础。采用双阶段融合架构,首先在特征级通过自适应权重分配实现初步融合,可以根据不同病害类型或道路工况动态调整各模态特征的贡献度,然后在语义级通过如注意力机制等方法实现更深层次的关联与映射,该过程能够有效整合互补信息并抑制冗余或噪声干扰,从而生成鲁棒性更强的综合特征,解决了环境干扰导致的检测稳定性差的问题。
16、更进一步地,引入的混合损失训练子模块,通过包含focaltverskyloss在内的总损失函数对模型进行端到端优化。focaltverskyloss能够有效聚焦于小面积或难检测的病害样本,提升了对细小裂缝等目标的检测精度。模态权重引导损失能够引导自适应权重分配模块学习符合不同病害类型先验知识的权重分配策略,使得融合过程更具针对性。多模态几何一致性损失则约束了不同模态对同一病害预测的空间参数的一致性,提高了病害尺寸和位置估计的准确性,从而为后续精确计算道路状况指数提供了可靠输入。道路状况指数约束损失将病害检测结果与最终工程评定指标直接关联,通过反向传播优化整个检测网络,不仅在单个病害识别上准确,在整体路况评估层面也更符合工程规范要求,最终实现了高精度、高鲁棒性的路面病害检测与路况量化评估。
1.一种基于多模态信号融合的路面病害检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述基于多模态信号融合的路面病害检测方法,其特征在于,所述多源检测信号包括视觉图像信号、三维激光点云信号及地质雷达电磁信号。
3.根据权利要求1所述基于多模态信号融合的路面病害检测方法,其特征在于,对预处理与对齐后的多源检测信号分别进行特征提取,包括以下步骤:
4.根据权利要求1所述基于多模态信号融合的路面病害检测方法,其特征在于,所述对提取的多源特征进行双阶段融合,包括以下步骤:
5.根据权利要求4所述基于多模态信号融合的路面病害检测方法,其特征在于,在进行权重分配时,参考当前样本的病害类别信息或道路工况信息中的至少一种。
6.根据权利要求1所述基于多模态信号融合的路面病害检测方法,其特征在于,在训练阶段,采用混合损失函数进行优化;所述混合损失函数至少包括用于优化病害区域分割的焦点tversky损失。
7.根据权利要求6所述基于多模态信号融合的路面病害检测方法,其特征在于,所述混合损失函数还包括模态权重引导损失,用于引导网络在不同病害类型样本下调整不同模态特征的权重分配。
8.根据权利要求6所述基于多模态信号融合的路面病害检测方法,其特征在于,所述混合损失函数还包括多模态几何一致性损失,用于约束基于不同模态信号预测的同一病害的空间位置及尺寸参数的一致性。
9.根据权利要求6所述基于多模态信号融合的路面病害检测方法,其特征在于,所述混合损失函数还包括道路状况指数约束损失,用于约束预测道路状况指数与目标道路状况指数之间的偏差。
10.一种基于多模态信号融合的路面病害检测系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com