一种交通运输公共数据资源的数据质量评估方法及系统与流程

摘要: 本技术涉及交通运输公共数据资源的数据质量评估领域,具体而言,涉及一种交通运输公共数据资源的数据质量评估方法及系统。背景技术:1、随着交通运输领域对数字信息的依赖...
一种交通运输公共数据资源的数据质量评估方法及系统与流程

本技术涉及交通运输公共数据资源的数据质量评估领域,具体而言,涉及一种交通运输公共数据资源的数据质量评估方法及系统。

背景技术:

1、随着交通运输领域对数字信息的依赖日益加深,海量的交通公共数据,如路况、车辆位置、天气情况等,已成为支撑智慧交通系统的关键。这些数据被广泛应用于交通态势研判、自动驾驶测试以及智能调度等重要场景,因此数据的质量直接关系到这些应用系统的可靠性和安全性。然而,在数据收集和汇总过程中,由于设备差异、网络不稳定性或系统间不兼容等原因,常常出现数据丢失、时间序列错乱,甚至数据内容与实际情况或常理不符的问题。如果这些低质量数据被直接使用,将严重误导交通预测和自动驾驶的判断,甚至可能导致错误的决策。

2、目前,对交通数据的质量管理大多仍依赖人工检查或简单的数值范围判断,难以有效处理大规模、实时更新的数据。现有方法在面对多源异构数据融合时,往往缺乏灵活性和深度分析能力。传统的固定规则难以覆盖交通业务中各种复杂的动态变化,容易遗漏一些不明显的异常。例如,在一个城市交通管理中心,其核心运行的交通运输公共数据资源的数据质量评估系统,其“数据一致性校验的逻辑流程”最初是为城市内部单一交通管理部门设计,主要针对同源同构数据进行校验。该流程能够识别单一数据源内部的矛盾,如车流量异常高峰与极低平均速度同时出现。

3、然而,随着城市智慧交通战略的推进,系统开始融合来自公共交通、环境监测、道路建设等不同部门的跨领域数据。这些新引入的数据源在数据模型、时间粒度、地理空间参照标准上与原有交通数据存在显著差异。现有的“数据一致性校验的逻辑流程”主要基于简单的数值范围判断、枚举值匹配或单源时间序列的内部校验,无法有效理解和处理这些新型数据源之间复杂的语义关联和跨域一致性。例如,它可能能够判断一个车速值是否在合理范围内,但却无法理解公交车延误与特定路段空气质量下降之间可能存在的间接关联。

4、在系统实际运行中,这种对跨领域数据间因果关系的理解缺失导致频繁的误判。例如,当某条主干道因拥堵导致车速低于阈值且公交车到站时间延误时,现有系统会孤立地将公交延误判定为“质量异常”,而忽略了外部交通状况的直接影响。又如,当快速路因事故封闭导致交通流量骤降时,系统可能将流量数据标记为“缺失”或“异常”,而非理解为由外部事件导致的正常状态。这种错误的判定导致系统向数据提供方频繁发送无效警报,占用了大量人力进行重复验证,并使得各部门对评估结果的可靠性产生怀疑,影响了数据共享的积极性。

5、此外,由于大量的无效或低效校验任务被反复执行,且每次校验都需要加载和比对来自多个源头、具有不同格式和语义的异构数据,导致服务器中央处理器资源长期处于高利用率状态,拖慢了整体评估效率,使得数据质量评估结果的产出延迟。真正的、深层次的数据质量问题更难以被及时发现和处理,因为它们被淹没在大量的误报之中。运营人员尝试通过调整局部参数来缓解问题,但这些调整往往治标不治本,甚至可能引入新的误判,因为它们没有触及问题的核心——即系统缺乏对多源异构数据间复杂因果关系和语义关联的智能理解能力。

6、针对上述问题,现有技术亟需改进。

技术实现思路

1、本技术公开了一种交通运输公共数据资源的数据质量评估方法及系统,旨在解决现有交通数据质量评估方法在面对多源异构数据融合时,缺乏灵活性和深度分析能力,难以有效处理大规模、实时更新的数据,导致误判频繁、评估效率低下,且难以发现深层次数据质量问题,以及对多源异构数据间复杂因果关系和语义关联的智能理解能力不足的问题。

2、本技术的技术方案如下:

3、第一方面,本技术公开了一种交通运输公共数据资源的数据质量评估方法,具体包括:

4、获取交通运输公共数据资源中的数据,该数据来自多个数据源头;

5、建立多维度质量评价指标体系,依据该多维度质量评价指标体系对获取的数据执行质量检查,得到符合预设要求的可用数据;

6、对可用数据进行行为分析,识别出数据行为偏离常规模式的潜在异常;

7、采用预设的机器学习模型对潜在异常进行异常模式识别,得到异常模式分类结果;

8、依据预设的关联规则,对潜在异常,从预设关联的异构数据源获取关联的异构数据,对关联的异构数据进行模式对齐、实体解析、时空归一化处理,生成与潜在异常对应的关联证据集,依据关联证据集进行证据聚合分析与因果推理,判断潜在异常是否可由外部情境因素进行因果性解释;

9、依据关联分析的结果,将潜在异常判定为数据质量问题或由外部情境因素导致的波动;

10、对判定为数据质量问题的数据,生成包含解决措施的处理建议,并触发对应的数据修复机制;

11、对评估过程进行实时监控,对多维度质量评价指标体系、处理建议进行动态优化。

12、第二方面,本技术还公开了一种交通运输公共数据资源的数据质量评估系统,具体包括:

13、数据获取模块,用于获取交通运输公共数据资源中的数据,该数据来自多个数据源头;

14、质量检查模块,用于建立多维度质量评价指标体系,依据该多维度质量评价指标体系对获取的数据执行质量检查,得到符合预设要求的可用数据;

15、异常识别模块,用于对可用数据进行行为分析,识别出数据行为偏离常规模式的潜在异常;

16、模式分类模块,用于采用预设的机器学习模型对潜在异常进行异常模式识别,得到异常模式分类结果;

17、关联分析模块,用于依据预设的关联规则,对潜在异常,从预设关联的异构数据源获取关联的异构数据,对关联的异构数据进行模式对齐、实体解析、时空归一化处理,生成与潜在异常对应的关联证据集,依据关联证据集进行证据聚合分析与因果推理,判断潜在异常是否可由外部情境因素进行因果性解释;

18、异常判定模块,用于依据关联分析的结果,将潜在异常判定为数据质量问题或由外部情境因素导致的波动;

19、建议修复模块,用于对判定为数据质量问题的数据,生成包含解决措施的处理建议,并触发对应的数据修复机制;

20、监控优化模块,用于对评估过程进行实时监控,对多维度质量评价指标体系、机器学习模型、处理建议进行动态优化。

21、本技术公开的一种交通运输公共数据资源的数据质量评估方法及系统,通过获取多源头数据,建立多维度质量评价指标体系进行初步质量检查,得到可用数据。在此基础上,对可用数据进行行为分析以识别潜在异常,并利用机器学习模型对异常进行模式分类。关键在于,本方法引入了基于预设关联规则的异构数据关联分析和因果推理机制,能够从预设关联的异构数据源获取关联证据集,并对这些证据进行模式对齐、实体解析、时空归一化处理,进而进行证据聚合分析与因果推理,判断潜在异常是否可由外部情境因素进行因果性解释。这一机制有效解决了现有技术中对多源异构数据间复杂因果关系和语义关联理解不足的问题,避免了将外部情境导致的波动误判为数据质量问题。通过区分数据质量问题和外部情境波动,本方法能够对真正的数据质量问题生成包含解决措施的处理建议并触发对应的数据修复机制,从而避免了现有系统中频繁发送无效警报、占用大量人力进行重复验证的问题,提升了数据共享的积极性。

22、此外,对评估过程的实时监控和对评价指标体系、处理建议的动态优化,进一步提高了评估的准确率,降低了误报率和漏报率,克服了现有方法难以有效处理大规模、实时更新数据的局限性,并解决了服务器资源高利用率、评估效率低下的问题,使得深层次的数据质量问题能够被及时发现和处理。