一种融合AI路面监测方法及系统与流程

本发明涉及智慧交通与基础设施健康监测，更具体的说是涉及一种融合ai路面监测方法及系统。

背景技术：

1、路面病害（包括裂缝、坑槽、车辙、沉降等）的早期发现与及时处置，是保障公路行车安全、延长路面使用寿命的关键环节。随着公路交通量持续增长、重载车辆比例上升以及极端气候事件频发，路面病害的监测需求日益迫切。当前路面病害监测主要依赖以下几种技术方案：

2、人工巡检方案效率低下，依赖个人经验，主观误差大，且存在作业安全隐患，无法满足大规模路网的常态化监测需求。纯视觉监测方案设备成本低，但受光照影响严重，夜间或强逆光下立体匹配失效；在积水、新沥青等弱纹理路面难以提取有效特征点，深度计算失败，且无法精确量化坑槽深度、沉降量等三维尺寸参数。激光雷达监测方案中，高线数雷达（64线及以上）精度高但成本高昂、功耗大，须接市电，无法在无电网覆盖的偏远路段部署；低线数雷达（16线及以下）成本与功耗可控，但点云极端稀疏，对毫米级路面病害难以有效捕捉。移动巡检方案属于周期性抽检，无法实现7×24小时定点监测，对暴雨塌陷等突发性病害无法实时捕捉，往往错过最佳处置窗口。多传感器融合方案多采用简单的特征拼接方式，主要面向高线数雷达设计，当雷达降至16线时融合效果急剧下降，稀疏点云不仅无法弥补视觉缺陷，反而会将雷达噪声引入视觉特征；且现有方案多部署于车载平台，功耗与算力约束宽松，无法适配太阳能供电的边缘计算场景。

3、综上所述，现有路面监测技术在成本、精度、实时性和部署灵活性之间难以取得平衡：纯视觉方案成本低但受光照影响大；高线数雷达精度高但成本与功耗难以接受；低线数雷达功耗适中但点云稀疏无法独立完成高精度监测；移动巡检无法实现全天候实时监测；现有融合算法未能解决低线数雷达与视觉的有效融合问题。因此，亟需一种兼具低成本、低功耗、全天候实时监测能力且能在稀疏点云条件下实现高精度路面三维重建的路面监测技术方案。

技术实现思路

1、有鉴于此，本发明提供了一种融合ai路面监测方法及系统，以解决背景技术中的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、一方面，本发明公开了一种融合ai路面监测方法，包括以下步骤：

4、s1：通过部署于路侧立杆的双目视觉相机采集路面纹理图像，同步获取左相机rgb图像与右相机灰度图像；

5、s2：通过部署于同一立杆的低线数激光雷达采集路面稀疏点云数据，获取包含xyz坐标、反射强度与时间戳的点云信息；

6、s3：通过气象传感器或第三方气象api获取当前环境的光照度、雨量、温度与湿度参数；

7、s4：执行基于高程梯度约束的跨模态融合算法，对双目视觉数据与雷达点云数据进行异构融合，识别路面病害并计算其物理尺寸参数；其中，跨模态融合算法利用稀疏雷达点云中高程梯度显著的点作为锚点，生成空间注意力掩膜，引导视觉特征与雷达几何特征的跨模态加权融合。

8、本发明使16线稀疏雷达点云中有限的高程突变信息被精准提取并作为跨模态融合的引导信号，解决了低线数雷达点云极端稀疏条件下难以与视觉有效融合的技术难题，同时实现了系统对潜在病害区域的差异化关注，在保证全局感知能力的基础上将有限的计算资源聚焦于高价值区域，兼具视觉的稠密纹理感知优势与雷达的精确几何测量优势。

9、优选的，在上述的一种融合ai路面监测方法中，所述s4包括：

10、s41：对所述雷达点云进行地面分割与预处理，去除非地面点云与噪声点，得到地面点云集合；s42：基于所述地面点云集合，计算每个地面点的高程梯度值，将高程梯度值大于自适应阈值的点标记为潜在形变锚点，并结合雷达反射强度特征排除虚警点，输出潜在形变锚点集合；s43：基于所述潜在形变锚点集合，将其投影至图像平面并生成空间注意力掩膜；s44：利用双目立体匹配算法计算稠密视差图，并转换为初始深度图；s45：以所述空间注意力掩膜作为引导图，对所述初始深度图执行引导滤波优化，得到优化后的深度图；s46：构建双分支编码器提取特征，其中视觉分支以所述左相机rgb图像为输入，输出视觉纹理特征；雷达分支以所述优化后的深度图为输入，输出雷达几何特征；s47：根据所述空间注意力掩膜，对所述视觉纹理特征与所述雷达几何特征进行加权融合，得到融合特征；s48：基于所述融合特征识别路面病害，并在识别出的病害区域内提取对应于所述优化后的深度图的三维点集，计算病害物理尺寸参数。

11、通过跨模态融合识别病害步骤，使稀疏点云中的高程突变信息逐步转化为稠密优化深度图并进一步转化为规则几何特征张量，为低线数雷达在边缘计算设备上的高效利用提供了可行的技术路径；引导滤波优化在高梯度区域保留深度突变细节并在平坦区域进行去噪平滑，同时解决了双目视觉在弱纹理区域深度估计不可靠的问题和低线数雷达无法独立建模的问题；双分支编码器设计使视觉与雷达各自在其擅长领域进行特征提取，避免了跨模态特征在浅层强行融合带来的信息损失；病害识别与量化共用同一优化深度图数据源，确保了识别位置与量化数据之间的空间一致性。

12、优选的，在上述的一种融合ai路面监测方法中，所述s42中高梯度梯度值的计算公式为：

13、

14、其中，为第个地面点，为反射强度，为以为中心、半径r内的邻域点集，为该邻域内的点数；点与的水平距离。

15、优选的，在上述的一种融合ai路面监测方法中，所述自适应阈值，计算公式为：

16、

17、其中：

18、

19、

20、为根据气象条件动态调整的敏感系数，为点局部邻域内高程梯度的均值；为点局部邻域内高程梯度的标准差；

21、所述敏感系数的调整方式为：

22、

23、其中为基准敏感系数，为气象调节函数，在雨雪天气自动增大值以降低虚警率。

24、优选的，在上述的一种融合ai路面监测方法中，所述s43中空间注意力掩膜的计算公式为：

25、

26、其中，为高程梯度场在图像平面的投影，为温度系数，用于控制注意力分布的锐度；为图像平面像素坐标；为s型激活函数；所述空间注意力掩膜在高程梯度大的区域赋予高权重以引导所述引导滤波操作在该区域保留所述初始深度图的突变细节，在平坦区域赋予低权重以引导所述引导滤波操作在该区域对所述初始深度图进行平滑去噪。

27、优选的，在上述的一种融合ai路面监测方法中，还包括：构造多模态置信度图，评估中各像素的深度估计可靠程度，并将置信度低于预设阈值的像素标记为视觉失效区，利用所述雷达点云对所述视觉失效区进行深度插值修复，得到修复后的初始深度图；

28、具体地，计算公式如下：

29、

30、其中，为左相机图像的纹理梯度幅值，为所述雷达点云投影至图像平面后的反射强度均值，为防分母为零的极小正数，为最大反射强度值；

31、所述根据当前环境光照度动态调整：当大于强光照阈值时取高值以信任视觉纹理，当小于弱光照阈值时取低值以信任雷达反射强度；

32、对于低于预设阈值的像素，利用所述雷达点云通过反距离加权插值替换所述初始深度图中对应像素的深度值，完成视觉失效区的深度修复。

33、优选的，在上述的一种融合ai路面监测方法中，所述步骤s45中，利用雷达点云生成的高梯度掩膜对所述初始深度图进行引导滤波优化，具体为：

34、；

35、其中，为初始深度图，为由所述潜在形变锚点经双线性插值生成的高程梯度掩膜，为引导滤波操作。

36、优选的，在上述的一种融合ai路面监测方法中，所述步骤s46中加权融合的计算公式为：

37、

38、其中为视觉纹理特征，为雷达几何特征，为空间注意力掩膜，为逐元素乘积，为交叉注意力项，为融合权重系数；所述融合权重系数根据当前环境光照度和云点密度动态调节：

39、

40、其中，为基准融合权重，为sigmoid函数，为当前环境光照度，为参考光照度，为当前点云密度，为参考云点密度，、为调节系数。

41、优选的，在上述的一种融合ai路面监测方法中，所述步骤s47中计算病害物理尺寸参数的具体方式为：

42、对于检测出的病害区域，提取其对应的三维点集，采用ransac算法拟合路面基准平面：

43、

44、其中，为平面法向量，，为截距；为三维空间中的任意点；

45、病害深度定义为区域内所有点到所述基准平面的有符号距离的最大值：

46、

47、病害体积通过积分计算：

48、

49、其中，病害区域内第个点的三维坐标，为该点对应的实际路面投影面积。

50、优选的，在上述的一种融合ai路面监测方法中，所述低线数激光雷达为非重复扫描激光雷达，所述方法还包括扫描频率自适应调度步骤：

51、在常规监测模式下，控制所述激光雷达以第一采样频率工作，获取第一点云密度；

52、当检测到的落在形变锚点区域面积占比超过预设阈值，或气象传感器检测到暴雨过后预设时间内，控制所述激光雷达切换至第二采样频率工作，获取第二点云密度，所述第二采样频率低于所述第一采样频率，所述第二点云密度高于所述第一点云密度；

53、完成精细扫描后，控制所述激光雷达切换回所述第一采样频率。

54、另一方面，本发明公开了一种融合ai路面监测系统，包括：

55、感知模块，包含双目视觉相机、低线数激光雷达、气象传感器与gnss定位模块；

56、供电模块，包含太阳能板、磷酸铁锂电池组与mppt太阳能控制器；

57、计算模块，包含路侧边缘计算盒子，用于运行上述的融合ai路面监测方法；

58、通信模块，包含4g通信模组，用于将结构化结果数据上传至云端管理平台；

59、安装支架，所有设备集成安装于同一立杆上。

60、经由上述的技术方案可知，与现有技术相比，本发明公开提供了融合ai路面监测方法及系统，通过高程梯度锚点提取、空间注意力掩膜生成、引导滤波深度优化、双分支跨模态融合、单帧局部平面量化五环节因果闭环的核心技术架构，系统性地解决了低线数雷达与视觉融合精度差、纯视觉方案受光照与弱纹理制约、移动巡检无法全天候实时监测、以及现有时序对比方案受立杆形变干扰等多项技术难题，使稀疏雷达点云中有限的高程突变信息得以精准提取并逐级转化为稠密优化深度图与规则几何特征张量，以雷达锚点引导视觉关注关键区域的路径实现了稀疏感知与稠密感知的优势互补；同时通过全链路低功耗设计与双模自适应调度，配合太阳能供电与储能系统实现无市电环境下的长期不间断运行，系统总成本大幅降低且无需铺设市电与光纤，可大规模灵活部署于高速公路边坡、桥梁伸缩缝、乡村道路等传统方案难以覆盖的场景；边缘计算架构配合多模态置信度评估与动态融合权重调节，使系统在全天候条件下保持稳定检测性能并仅上报极小数据量的结构化结果；单帧局部基准面拟合的量化方法彻底规避了跨帧配准难题，确保了病害评估的长期稳定性与工程可信度。本发明在精度、鲁棒性、功耗、成本与部署灵活性五个维度上同时取得实质性进步，为路面养护从“被动维修”向“主动预警”的模式转变提供了完整可行的技术支撑。