一种基于时序关联与可信度融合的排水管道巡检数据处理方法及系统与流程

本发明属于电数字数据处理，具体涉及一种基于时序关联与可信度融合的排水管道巡检数据处理方法及系统。

背景技术：

1、随着城市排水管网数字化管理水平不断提高，排水管道巡检过程中通常采用管道检测机器人、摄像设备等采集管道内部图像或视频数据，并在巡检过程中记录管道编号、检测位置、运行距离、时间信息以及其他维护相关字符信息。上述巡检记录中的字符数据能够为管网资产管理、故障分析、维护决策提供数据依据，因此，需要对巡检过程中形成的数据进行处理，将其中承载的业务信息转换为能够按照巡检时间关系进行关联和使用的巡检数据，以提高巡检数据整理和管理效率。

2、现有技术中，对于图像或视频中的字符读取通常采用传统图像处理算法或基于深度学习的字符识别模型实现。传统方法通常通过边缘检测、字符区域提取、模板匹配等方式读取图像中的字符内容，但其识别效果容易受到采集环境影响。在排水管道巡检场景中，由于管道内部存在光照不足、环境湿度较高、水雾遮挡、管壁纹理干扰以及设备运动导致的图像变化等情况，导致图形字符与背景之间的区分度降低，使字符区域难以准确定位，进而影响字符数据读取的准确性。同时，现有基于深度学习的方法通常依赖大量人工标注样本进行训练，而排水管道巡检记录具有场景特殊、字符分布不固定、图像质量变化较大的特点，导致通用字符识别模型在实际应用过程中存在适应性不足的问题。此外，现有图形字符读取方法通常针对单张图像进行处理，缺少对连续巡检记录中多个图像帧之间字符信息的关联分析。当视频采集过程中部分图像帧存在字符模糊、遮挡或者识别结果波动时，容易出现字符读取结果不完整、不连续或者错误的问题，难以满足排水管道巡检记录中字符数据连续读取的需求。

3、因此，亟需对现有技术进行改进，以解决排水管道巡检记录中图形字符数据读取过程中存在的字符区域难以准确识别、复杂环境适应性不足以及连续记录数据读取稳定性较差的问题。

技术实现思路

1、本发明的目的在于克服现有技术之不足，提供一种基于时序关联与可信度融合的排水管道巡检数据处理方法及系统，以解决排水管道巡检记录中图形字符数据读取过程中存在的字符区域难以准确识别、复杂环境适应性不足以及连续记录数据读取稳定性较差的问题。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种基于时序关联与可信度融合的排水管道巡检数据处理方法，包括如下步骤：

4、s100：获取排水管道巡检记录中的无字符背景图像并执行数据增广处理，结合包含业务属性字符的语料集合，采用自适应对比度渲染策略构建针对排水管道巡检记录图形字符数据的专用检测数据集与专用识别数据集；

5、s200：设定训练超参数，利用所述专用检测数据集训练基于可微分二值化算法的字符检测模型，并利用所述专用识别数据集训练单视觉字符识别模型，分别获得最优字符检测模型与最优字符识别模型；

6、s300：按照预设时间轴对输入的排水管道巡检视频记录执行按秒分段处理，并分配多个处理线程并行对各秒内的图像数据执行间隔采样，获取由抽取的图形数据帧与秒级时间标签构成的关联集合；

7、s400：针对所述关联集合中的各图形数据帧，定位其中的字符预设区域并计算所述字符预设区域相对于相邻背景区域的局部对比度权重，结合字符边缘几何特征进行字符可读取性评估，剔除字符可读取性评估分数低于预设阈值的图形数据帧，获得有效图形数据帧序列；

8、s500：利用所述最优字符检测模型与所述最优字符识别模型对所述有效图形数据帧序列执行逐帧检测与读取，生成包含字符区域位置、字符内容及置信度的秒级巡检候选数据集合；

9、s600：对所述秒级巡检候选数据集合执行基于空间交并比的同类区域判定聚合，并结合排水管道巡检记录参数的时序逻辑特征进行可信度优选与时序修正，输出排水管道巡检数据处理结果。

10、优选地，所述步骤s100中自适应对比度渲染策略具体包括：统计所述无字符背景图像中字符预设写入区域的灰度分布特征值；若所述灰度分布特征值高于预设亮度阈值，则为待渲染字符赋予第一颜色，并为所述待渲染字符增加反色高对比度边缘包络线；若所述灰度分布特征值低于或等于所述预设亮度阈值，则为待渲染字符赋予与所述第一颜色形成对比的第二颜色。

11、进一步地，所述步骤s100中执行数据增广处理具体包括：对所述无字符背景图像执行包括随机水平翻转、随机旋转、随机缩放、随机裁剪、色彩空间变换以及添加高斯噪声中的至少一种操作，以获得背景图像集合；向所述背景图像集合中随机注入模拟排水管道巡检环境的灰白水雾遮蔽噪声及镜头溅水掩膜，以增强字符识别模型在字符与背景颜色相近场景下的特征提取能力。

12、优选地，所述步骤s200包括：给定包括学习率、批大小及训练轮数在内的超参数，将所述专用检测数据集输入所述字符检测模型进行训练，通过前向传播、误差计算及反向更新直至定位损失函数收敛，获得所述最优字符检测模型；利用所述专用识别数据集训练所述单视觉字符识别模型，通过提取字符图像的局部特征与全局拓扑结构特征，获得能够将字符图形数据映射为字符序列及置信度的所述最优字符识别模型。

13、进一步地，所述步骤s300具体为：为每一个处理线程指定负责处理的视频秒数区间，各处理线程在其负责的秒数区间内按照预设频率进行图形数据帧抽取，并将抽取的图形数据与其对应的秒级时间标签进行关联存储。

14、优选地，所述步骤s400中进行字符可读取性评估的具体步骤包括：将图形数据帧转化为灰度图，利用双阈值边缘检测算子获取原始边缘图，并采用横向卷积核对所述原始边缘图执行形态学闭运算处理；对处理后的边缘图执行连通域分析，计算各区域的面积、宽度、高度及宽高比，并筛选出字符候选区域；计算所述字符候选区域与相邻背景区域的平均灰度差值以获得局部对比度权重，并结合所述字符候选区域的数量及宽度总和，通过加权计算获得所述图形数据帧的字符可读取性评估分数。

15、进一步地，所述步骤s500具体包括：依次取出所述有效图形数据帧序列中的图形数据帧，利用所述最优字符检测模型推理得到字符区域位置集合，并根据所述字符区域位置集合从图形数据帧原图中裁剪得到字符图像集合；利用所述最优字符识别模型对所述字符图像集合执行推理读取，得到各字符图像对应的字符内容及置信度，组合生成由所述字符区域位置、所述字符内容及置信度构成的巡检数据处理结果，直至完成对该秒内所有有效图形数据帧的处理。

16、进一步地，所述步骤s600中执行同类区域判定聚合及最优结果选取具体包括：计算同一秒时间内不同有效图形数据帧所得字符区域之间的交并比，若所述交并比大于预设交并比阈值，则将对应的字符区域判定为同类区域并归入同一同类区域集合；在每个同类区域集合中，首先筛选出字符长度最长的关联数据组集合，并从所述关联数据组集合中选取平均置信度最高的结果作为该秒对应的关联数据组集合。

17、进一步地，所述步骤s600中进行最优结果修正具体包括：提取相邻秒级时间段对应的关联数据组集合中的数值字符信息，判定所述数值字符信息是否符合排水管道巡检记录中关于运行距离或时间的单调递增逻辑；若当前秒的数值字符信息违背所述单调递增逻辑，则根据时序上下文的数值变化趋势对当前秒的关联数据组集合进行逻辑修正。

18、第二方面，本发明还提供一种基于时序关联与可信度融合的排水管道巡检数据处理系统，包括：

19、数据集构建模块，用于根据字符预设区域的背景灰度分布特征及仿真环境噪声，构建针对排水管道巡检记录图形字符数据的专用检测数据集与专用识别数据集；

20、模型训练模块，用于利用所述专用数据集训练并获得最优字符检测模型与最优字符识别模型；

21、多线程采样模块，用于对排水管道巡检视频记录执行按秒分段的并行采样，以获取由图形数据帧与秒级时间标签构成的关联集合；

22、局部权重评估模块，用于结合字符预设区域的局部对比度权重与边缘几何特征对字符可读取性进行评估，并剔除评估分数低于预设阈值的图形数据帧以获得有效图形数据帧序列；

23、检测识别处理模块，用于对所述有效图形数据帧序列执行逐帧检测、裁剪及字符读取以生成巡检候选数据集合；

24、时序聚合修正模块，用于按秒执行同类区域判定，并结合巡检记录参数的时序单调递增逻辑输出最终的排水管道巡检数据处理结果。

25、本发明公开的一种基于时序关联与可信度融合的排水管道巡检数据处理方法及系统，通过针对排水管道巡检记录中的图形字符数据构建专用检测数据集和专用识别数据集，并结合字符预设区域的背景灰度分布特征对待渲染字符进行自适应处理，使训练样本能够更好地反映排水管道巡检环境下字符数据与背景之间的差异特征；同时，通过在背景图像中加入与排水管道巡检环境相对应的干扰因素，能够提高字符检测模型及字符识别模型对不同巡检图像条件的适应能力，从而提升图形字符数据读取的稳定性。

26、在图形字符数据读取过程中，本发明并非仅依据整个图形数据帧的整体清晰程度确定其是否适于进行字符读取，而是针对字符预设区域与相邻背景区域之间的局部灰度差异以及字符边缘的几何特征，对图形数据帧中字符信息的可读取程度进行评估，并根据评估结果筛选有效图形数据帧。由此能够减少由于管道内部光照、水雾、管壁纹理以及采集设备运动等因素造成的无效图形数据帧对后续字符检测和读取结果的影响，提高字符区域定位及字符内容读取的准确性。

27、此外，本发明对同一秒级时间段内不同有效图形数据帧所得的字符读取结果进行空间位置关联和聚合，并根据字符长度及置信度选取相应的关联数据组集合，在此基础上结合排水管道巡检记录中运行距离或时间等参数在连续记录过程中的时序变化关系对读取结果进行校验和修正。通过上述处理，能够降低单个图形数据帧中字符模糊、局部遮挡或瞬时读取错误对最终结果造成的影响，使连续排水管道巡检记录中的图形字符数据具有较好的完整性和连续性，提高排水管道巡检记录中图形字符数据自动读取的可靠性。