一种道路巡检图像中路面病害实时检测识别方法与流程

本发明涉及道路智能巡检与图像目标检测，具体为一种道路巡检图像中路面病害实时检测识别方法。

背景技术：

1、道路路面长期承受车辆荷载、自然风化与雨水侵蚀作用，会持续产生裂缝、坑槽、沉陷、龟裂等各类结构性病害，路面病害若无法及时排查处置，会持续扩大损伤范围，降低道路通行舒适度，严重时诱发车辆安全事故，因此常态化路面巡检成为道路交通运维体系中的核心工作环节，现阶段智能巡检技术逐步替代人工徒步巡查，依托车载图像采集设备完成路面全域画面采集，再借助图像识别算法自动定位路面损伤区域，行业内主流识别方案多依托单帧图像完成病害特征提取与判定，部分方案会搭配定位传感设备同步采集地理坐标信息，结合空间位置完成病害归档，路面巡检作业通常伴随载体持续移动，采集图像存在帧间透视偏移、画面重叠变化等问题，户外场景还存在落叶、积水反光、瞬时阴影、散落砂石等多种临时干扰元素，各类动态干扰与图像畸变会直接影响识别算法输出结果，行业持续探索依托多帧时序图像协同分析的检测方案，以此提升复杂户外场景下路面病害识别的综合性能。

2、现有路面病害图像检测技术存在多重难以规避的短板，多数传统识别方案高度依赖gps、惯性测量单元等外部定位传感设备，整套巡检设备硬件构成复杂，设备采购、调试与后期维护成本偏高，定位传感部件易受隧道、高架遮挡出现信号丢失，中断识别流程，传统算法仅对单帧图像开展特征分析，缺少多帧时序像素关联分析逻辑，无法区分长期留存的真实病害与短时出现的临时干扰物，极易产生大量虚警检测框，大幅增加后期人工复核工作量，常规图像校正手段未统一处理连续多帧图像的透视偏移，帧间像素坐标错位会造成同一病害区域跨帧特征割裂，难以完整提取病害时序变化特征，传统网络模型未区分病害与干扰目标的识别链路，各类像素区域混合运算造成特征混淆，缺少统一量化评分体系与分级标注机制，识别输出数据维度单一，无法直观区分病害置信等级，高速巡检工况下识别准确率与实时性难以同步兼顾。

技术实现思路

1、本发明的目的就是为了弥补现有技术的不足，提供了一种道路巡检图像中路面病害实时检测识别方法，整体流程仅依托路面图像像素信息开展运算，无需接入各类定位传感设备，方案先构建滑动时序图像池采集连续路面画面，借助路面标线特征求解单应矩阵校正帧间图像偏移，建立二维时序像素关联特征矩阵，通过灰度边缘耦合波动算法提取像素时序特征，采用双分支时序卷积网络并行识别路面病害与各类干扰区域，结合多指标指数稳态融合算法生成区域稳态评分，依靠连续多帧留存条件过滤短时虚警，再通过置信度连续映射标注算法生成分级轮廓标注，最终输出包含多维度量化信息的图像识别数据包，本发明依靠时序像素关联逻辑抑制户外环境干扰，降低硬件配置成本，提升移动巡检场景下病害识别准确度与实时性，适用于各类道路车载智能巡检场景。

2、本发明为解决上述技术问题，提供如下技术方案：一种道路巡检图像中路面病害实时检测识别方法，该方法的具体步骤为：

3、s1、采用固定帧率图像采集设备持续采集路面图像，搭建存储8帧连续图像的滑动时序图像池，通过载体配置的速度调控单元实时修正行驶速度，以调控相邻帧路面重叠像素占比不低于65%，采集数据仅包含图像像素信息，不接入定位传感类外部数据；

4、所述s1中，载体行驶速度为20km/h，载体配置速度调控单元，速度调控单元持续修正载体行驶速度，滑动时序图像池识别路口、道路变宽对应的图像内容后延长图像索引留存时长；滑动时序图像池执行像素压缩操作时对图像纹理数据编码，像素灰度数值保持原始精度且不做数值舍入，滑动时序图像池输出的图像组完整传输至s2，图像组内部不存在像素数据丢失、图像时序顺序错乱的情况；

5、s2、提取图像池内路面固定标线特征点，剔除误匹配特征点后求解全局单应矩阵，依托所述单应矩阵校正全部图像像素坐标，生成时序对齐像素数据集；

6、s3、基于所述时序对齐像素数据集搭建二维时序像素关联特征矩阵，在所述关联特征矩阵中填充像素梯度、边缘连续性、灰度方差特征参数，采用灰度边缘耦合波动算法计算各像素的时序特征量化值；

7、s4、将所述时序像素关联特征矩阵输入双分支时序卷积网络，所述双分支时序卷积网络用于并行识别病害区域与路面干扰区域，生成病害候选检测框；针对识别所得的病害连通像素区域提取三类时序指标，运行多指标指数稳态融合算法计算时序稳态融合评分；

8、s5、将病害在时序图像池中连续出现不少于5帧作为真实病害的判定阈值条件，过滤短时干扰区域，对满足所述判定阈值的病害区域调取所述时序稳态融合评分，运行置信度连续映射标注算法，根据所述时序稳态融合评分计算匹配的轮廓线条并完成图像标注，整合标注信息生成图像识别数据包；

9、所述s5中，图像识别数据包按照时序稳态融合评分数值从高至低完成排序存储，时序稳态融合评分数值低于0.5的图像识别数据包划分独立存储分区；图像识别数据包存储像素层面识别参数，图像识别数据包不包含路段定位数值；图像识别数据包完整留存复合特征数据集原始像素运算数值、时序稳态融合评分原始数值。

10、进一步地，所述s1中，图像采集设备为垂直朝向路面布置的可见光工业相机，图像采集设备的帧率取值范围为25fps至30fps，图像采集设备输出图像的分辨率为1920×1080或者2560×1440，图像采集设备工作时载体匀速行驶，载体行驶速度的调节区间对应相邻帧路面重叠像素占比处于65%至78%；滑动时序图像池采用环形内存缓存架构，滑动时序图像池执行先进先出更新逻辑，图像采集设备每输出一帧全新路面图像，滑动时序图像池移除内部存储时间最早的图像，滑动时序图像池划分像素存储分区与时间索引分区，像素存储分区完整留存图像原始像素数值，时间索引分区记录图像采集时间戳，滑动时序图像池配置无损像素压缩模块，像素数据在传输至s2前完成无损还原。

11、更进一步地，所述s2中，选取车道实线边缘拐点、斑马线直角轮廓角点、路面导向箭头边界拐点作为路面固定标线特征点，在路面标线可识别的路段，单帧图像提取的有效特征点数量不少于30组，对相邻帧特征点进行双向匹配并剔除存在像素坐标偏移的误匹配特征点；利用留存的有效匹配特征点求解得到全局单应矩阵，利用全局单应矩阵对时序图像池内全部8帧图像进行透视变换校正，校正处理消除图像横向与纵向的像素坐标偏移；校正后得到的时序对齐像素数据集按照路面空间坐标完成排序，剔除图像边缘非路面像素，将数据集内灰度数值统一规整至0至255区间，并生成记录图像内部像素相对坐标的像素空间索引表。

12、更进一步地，所述s2中，时序对齐像素数据集剔除图像边缘无关像素，仅保留画面中部行车道路面对应的有效像素；时序对齐像素数据集配置有像素空间索引表，像素空间索引表记录图像内部像素的横向坐标与纵向坐标，像素空间索引表不设置路段里程参数与地理经纬度参数；完成标准化处理的时序对齐像素数据集采用固定文件格式完成封装，封装后的数据集文件作为s3运算环节的唯一输入数据源。

13、更进一步地，所述s3中，二维时序像素关联特征矩阵的行对应独立路面像素坐标，二维时序像素关联特征矩阵的列按照图像采集时间排序对应滑动时序图像池内8帧图像；像素梯度参数通过sobel算子分别计算像素横向灰度梯度、纵向灰度梯度后求取均值得到，边缘连续性参数为像素八邻域内边缘像素数量与八邻域全部像素数量的比值，灰度方差参数为单个像素对应8帧时序灰度数值的离散方差；二维时序像素关联特征矩阵过滤梯度数值低于固定梯度阈值的纯色路面像素，二维时序像素关联特征矩阵内全部特征数值采用单精度浮点格式存储。

14、更进一步地，所述s3中，灰度边缘耦合波动算法的数学表达式为：

15、

16、其中：为第p个路面像素的时序波动增强特征，t为时序窗口总帧数且固定取值8，代表像素p在第t帧图像内的灰度数值，代表像素p对应8帧时序灰度数值的平均值，代表像素p在第t帧图像内的边缘连续性占比，所述边缘连续性占比取值区间为0至1；所述二维时序像素关联特征矩阵内留存的全部像素行代入灰度边缘耦合波动算法完成运算，所有像素运算生成的数值汇总形成复合特征数据集，复合特征数据集按照路面像素坐标升序完成排列。

17、更进一步地，所述s4中，双分支时序卷积网络的数据输入通道切断gps、惯性测量单元的数据传输通路，双分支时序卷积网络设置两条独立并行运算链路，第一条运算链路是真实病害识别链路，第二条运算链路是虚警干扰识别链路；真实病害识别链路划分四类病害识别类别，四类病害识别类别分别为裂缝、坑槽、沉陷、龟裂，真实病害识别链路统计病害连通像素区域连续出现异常特征的总帧数；虚警干扰识别链路划分四类干扰识别类别，四类干扰识别类别分别为落叶、积水反光、散落砂石、瞬时阴影，虚警干扰识别链路识别对应像素区域后屏蔽对应像素区域的检测框。

18、更进一步地，所述s4中，多指标指数稳态融合算法的数学表达式为：

19、

20、其中：s为病害连通区域时序稳态融合评分，为病害连通区域内部全部像素的平均值，为第p个路面像素的时序波动增强特征；为滑动时序图像池内全部8帧图像的全部像素的全局最大值，且当时，令取值为0，避免除零异常；为8帧时序窗口内区域边缘连续性达标的总帧数；为8帧时序窗口内区域灰度波动符合平稳标准的总帧数，所述平稳标准为灰度波动幅度低于固定平稳阈值；、、为指数权重系数且满足，指数权重系数固定取值、、，t固定取值8。

21、更进一步地，所述s4中，双分支时序卷积网络离线训练阶段使用的样本包含标注病害类别、时序存续帧数的路面图像，样本不包含地理定位标签，真实病害识别链路仅接收时序波动幅度低于固定稳定阈值、边缘连续性参数高于固定完整阈值的像素矩阵，虚警干扰识别链路仅接收时序波动幅度高于固定稳定阈值、边缘连续性参数低于固定完整阈值的像素矩阵。

22、更进一步地，所述s5中，置信度连续映射标注算法的数学表达式为：

23、

24、其中：为病害边界视觉置信度映射值，s为时序稳态融合评分且取值区间为0至1，、为可视化校准固定常数，可视化校准常数取值、；对计算所得的进行数值截断处理，限定的取值下限为0、上限为1，截断后重新映射至三段数值区间，对应实线轮廓，对应虚线轮廓，对应点线轮廓，点线轮廓对应的像素区域附加文本标识待复核；连续识别为病害的帧数为1帧、2帧、3帧、4帧的像素区域直接删除对应检测框数据，仅连续识别帧数达到5帧及以上的像素区域输入置信度连续映射标注算法参与运算；图像识别数据包包含分级轮廓矢量、病害像素坐标、病害分类类型、病害像素总面积、时序稳态融合评分、病害连续存续帧数六类数据。

25、与现有技术相比，该道路巡检图像中路面病害实时检测识别方法具备如下有益效果：

26、一、本发明通过搭建固定容量的滑动时序图像池并依托路面标线特征完成多帧图像时序对齐处理，全程不接入定位传感类外部数据，摆脱巡检设备对gps、惯性测量单元等定位硬件的依赖，降低整套巡检识别系统的硬件部署成本与设备故障概率，依托单应矩阵完成多帧图像透视校正消除像素偏移，构建统一二维时序像素关联特征矩阵提取多维度像素时序特征，借助灰度边缘耦合波动算法量化像素长期灰度变化规律，能够区分路面静态损伤与瞬时出现的画面异动，依靠时序维度连续多帧判定规则过滤短时干扰源，从时序变化规律层面抑制落叶、瞬时阴影等虚警目标，大幅降低病害识别误检率，同时整套图像采集、校正、特征提取流程基于纯像素信息运算，数据链路简洁，可适配车载轻量化硬件实现路面病害实时在线检测，保障巡检作业过程中识别输出的实时性。

27、二、本发明通过设置双分支并行时序卷积网络拆分病害识别与干扰识别两条独立运算链路，对不同特征属性的像素区域分流处理，针对性区分各类真实路面病害与多种路面干扰物，提升模型对不同目标特征的提取适配能力，采用多指标指数稳态融合算法整合区域时序多维度特征得到统一稳态评分，结合置信度连续映射标注算法根据评分自动生成差异化病害轮廓标识，实现病害边界可视化分级标注，区分高置信度病害与需要人工复核的疑似区域，识别输出的图像识别数据包整合多维度病害量化信息并分层存储管理，无需绑定地理定位数据即可完成病害完整量化记录，既缩减数据存储体量，又简化后续病害台账整理流程，整套识别逻辑依靠时序像素特征完成全域判定，提升复杂光照、高速行驶巡检场景下病害识别结果的稳定可靠程度。

28、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。