基于多协议解析与异常检测的车联网数据质量评估系统及方法与流程

本发明涉及车联网大数据质量治理与人工智能应用，尤其涉及基于多协议解析与异常检测的车联网数据质量评估系统及方法。

背景技术：

1、随着车联网技术的快速发展，新能源汽车、重型柴油车、道路运输车辆等通过车载终端实时上传车辆运行数据至政府监管平台和企业数据平台。目前主要涉及三类核心协议：gb/t32960、gb18352.6、jt/t 808。这些协议规定了车辆应上传的数据项、传输频率、数据格式等规范要求。

2、然而，在实际数据接入过程中，由于车载终端硬件故障、通信网络不稳定、协议实现不规范等原因，数据质量问题频发，严重影响监管效能和数据分析价值。例如，cn118860832a专利提出了一种面向车联网的数据质量评价方法，分别从终端激活率、数据完整率、数据准确率等维度对车联网数据进行质量评价。但存在以下局限：主要关注数据完整性和准确性，未覆盖唯一性、及时性、有效性、一致性等维度；采用固定阈值规则检测异常，无法根据数据特征动态调整，缺乏ai/机器学习能力；未考虑多协议统一解析与核查。又如，cn121636484a专利提出了一种车联网数据质量检测系统，通过质量检测规则对车联网数据进行检测，确定数据是高质量还是无效数据。但存在以下不足：异常检测规则固定，无法根据不同协议的数据特征动态调整；未建立异常类型与异常维度的映射关系，难以定位数据质量问题的根本原因；缺乏综合评分算法，无法量化评估整体数据质量水平；未引入ai/机器学习技术进行智能异常检测与根因分析。

3、现有技术还存在以下共性问题：1)多协议支持能力不足：现有方案通常仅针对单一协议进行数据质量核查，无法同时支持gb/t32960、gb18352.6、jt/t 808等多种协议的统一解析与核查，导致车企需要部署多套系统分别处理不同协议的数据。2)核查维度不全面：现有方案主要关注数据完整性和准确性，未建立覆盖完整性、唯一性、及时性、有效性、准确性、一致性的六维度核查体系，难以全面评估数据质量。3)异常检测依赖固定规则：现有方案采用固定阈值规则检测异常，无法根据数据分布特征动态调整检测阈值，对复杂异常模式（如数据跳变、数据不一致）的检测能力不足，缺乏基于机器学习的智能异常检测能力。4)缺乏根因分析能力：现有方案通常仅输出异常数据统计，未建立异常类型与根本原因的关联分析机制，无法自动定位数据质量问题的根本原因（如传感器故障、通信异常、协议配置错误等）。5)缺乏综合评分与趋势预测机制：现有方案通常仅统计异常数据数量，未建立基于异常类型、异常维度、异常严重程度的综合评分算法，也未引入时间序列预测技术对数据质量趋势进行预测，无法实现数据质量的主动治理。

技术实现思路

1、本发明的目的在于提供基于多协议解析与异常检测的车联网数据质量评估系统及方法，支持多协议统一解析、基于机器学习对车联网数据质量进行六维度数据质量核查、智能异常检测与根因分析，尤其适用于新能源汽车监控、排放监管、道路运输管理等场景的数据质量治理与整改指导。

2、本发明采用的技术方案是：

3、基于多协议解析与异常检测的车联网数据质量评估方法，包括：

4、接收来自车联网终端的符合至少两种不同通信协议的车辆运行数据报文；通过多协议解析引擎对车辆运行数据报文进行协议识别，并调用对应的协议适配器将不同通信协议的数据报文转换为统一的标准化数据记录，再从标准化数据记录提取多维协议特征；标准化数据记录至少包括车辆标识、数据项编码、数据值、上报时间戳及协议类型；

5、基于预设的数据质量核查模型对标准化数据记录进行质量核查得到六维度数据质量的核查结果；六维度包括完整性、唯一性、及时性、有效性、准确性和一致性；核查模型包括规则核查层、异常检测层和时序预测；

6、根据六维度的核查结果识别标准化数据记录中的异常数据并记录异常类型，并利用决策树模型分析得到异常数据的异常根因；

7、采用层次分析法ahp与熵权法组合赋权算法，依据各维度异常数据的离散程度动态调整六个维度的权重后计算综合数据质量评分；

8、基于异常类型和异常根因，利用预先构建的异常-原因-措施知识图谱进行图推理生成按优先级排序的整改建议。

9、进一步地，在一些实施中，至少两种不同通信协议包括gb/t 32960协议、gb18352.6协议和jt/t 808协议；标准化数据记录包括统一格式的车辆标识、数据项编码、数据值、上报时间戳和协议类型。

10、进一步地，在一些实施中，将不同通信协议的数据报文转换为统一的标准化数据记录的实现包括：将各协议报文的时间戳统一转换为iso8601格式的标准时间；建立不同协议间相同含义数据项的数据项映射关系，将不同协议的同类数据项归一为统一数据项编码；以及将不同协议的数据值单位统一为预设的标准单位。

11、进一步地，在一些实施中，基于预设的数据质量核查模型对标准化数据记录进行质量核查得到六维度数据质量的核查结果；数据质量核查模型包括规则核查层、异常检测层和时序预测层；

12、规则核查层为每个数据质量维度建立并维护核查规则库（规则库采用json格式存储，支持动态加载与热更新），基于预设的核查规则库对数据报文的完整性、唯一性和及时性维度进行规则核查；

13、异常检测层采用基于历史正常数据训练得到的孤立森林模型对输入的多维协议特征的有效性维度和准确性维度进行无监督异常检测；具体地，异常检测层利用经训练的孤立森林异常检测模型对从标准化数据记录提取的多维协议特征进行异常检测，检测超出规则库阈值的多维复杂异常；孤立森林异常检测模型的异常检测的自适应阈值根据历史异常评分分布动态调整，以适应不同协议类型和不同车型的数据特征差异。

14、时序预测层采用长短期记忆网络模型，根据所述标准化数据记录的历史上报频率、历史异常数量、网络状态指标和终端状态指标，预测未来时间窗口内的数据中断概率和数据延迟概率。

15、综合规则核查、无监督异常检测及预测概率生成完整性、唯一性、及时性、有效性、准确性、一致性六个维度的核查结果。

16、进一步地，在一些实施中，多维协议特征包括提取以下至少一类特征：时序特征、统计特征、关联特征和协议基础特征；时序特征包括数据上报间隔、上报周期稳定性和时间戳连续性；统计特征包括数据值的均值、标准差、最大值、最小值和分位数；关联特征包括同一车辆不同数据项之间的相关性；协议基础特征包括协议类型编码、数据项覆盖率及上报频率达标率。

17、进一步地，在一些实施中，异常类型至少包括数据缺失、数据中断、未传输、数据重复、数据延迟、数据无效、数据跳变和数据不一致。

18、进一步地，在一些实施中，方法还包括：采用dbscan密度聚类算法对检测到的异常数据进行时空聚类分析，按车辆类型、协议类型、数据项类型、时间段中的至少一项进行聚类，得到异常数据的聚集模式；以及采用基于历史异常数据与异常根因标注训练得到的决策树模型，根据异常类型、车辆类型、协议类型、时间段、网络状态和终端状态中的至少一项特征，定位各异常数据的异常根因，异常根因至少包括传感器故障、通信网络异常、协议配置错误、终端硬件故障和数据解析逻辑错误。

19、进一步地，在一些实施中，ahp与熵权法相结合的组合赋权算法，具体包括：

20、根据专家打分构建判断矩阵，计算得到各数据质量维度的ahp主观权重；

21、基于各维度异常数据的离散程度计算信息熵，确定各维度的熵权法客观权重；

22、基于ahp主观权重和熵权法客观权重计算得到最终综合权重，计算公式为：综合权重=α×ahp主观权重+(1-α)×熵权法客观权重；其中，α为预设的调节系数。

23、根据每个维度下各异常类型的扣分系数与异常数量计算得到对应的维度得分，累加各个维度得分得到综合质量评分，，i为数据质量维度索引；进一步地，在一些实施中，将计算得到的综合质量评分按预设区间划分为优秀、良好、合格、较差和不合格中的任一等级。

24、进一步地，在一些实施中，异常-原因-措施知识图谱的实体类型至少包括异常类型、根因类型、整改措施、协议类型和车辆类型，关系类型至少包括异常-导致-根因、根因-对应-措施和措施-适用于-协议；

25、图推理生成整改建议的实现包括：以识图谱中的实体（异常类型和异常根因）关系路径进行图推理，遍历异常-原因-措施知识图谱中的关系，输出与检测到的异常类型、协议类型和车辆类型相匹配的整改措施；在一些实施中，整改措施按优先级排序，基于由异常数量、异常严重程度和影响范围加权计算得到的整改优先级分值。

26、进一步地，在一些实施中，方法包括运用时间序列预测模型对综合数据质量评分的历史序列进行拟合，预测未来时间段的数据质量评分趋势，并在所预测的评分低于预警阈值时发出预警。进一步地，在一些实施中，时间序列预测模型为自回归积分滑动平均模型arima或prophet模型。

27、进一步地，本发明还公开了一种基于多协议解析与智能异常检测的车联网数据质量评估系统，包括：

28、多协议解析单元，用于获取至少两种协议的车辆数据报文，通过与协议对应的适配器进行解析生成标准化数据记录，并提取包括时序特征、统计特征、关联特征和协议特征的多维协议特征；

29、六维度核查单元，用于基于规则核查层、异常检测层和时序预测层的三层核查架构，对标准化数据记录进行完整性、唯一性、及时性、有效性、准确性和一致性六个维度的质量核查；

30、核查层基于预设规则库执行基础规则核查；异常检测层采用基于历史正常数据训练得到的孤立森林模型对输入的多维协议特征的有效性维度和准确性维度进行无监督异常检测；时序预测层采用长短期记忆网络模型，根据所述标准化数据记录的历史上报频率、历史异常数量、网络状态指标和终端状态指标，预测未来时间窗口内的数据中断概率和数据延迟概率；

31、异常分类与根因分析单元，用于根据六维度的核查结果识别标准化数据记录中的异常数据并记录异常类型，并利用决策树模型分析得到异常数据的异常根因；

32、动态评分单元，用于采用层次分析法ahp与熵权法组合赋权算法，依据各维度异常数据的离散程度动态调整六个维度的权重后计算综合数据质量评分；

33、智能建议生成单元，内建异常-原因-措施知识图谱，用于根据接收到的异常类型和异常根因，利用预先构建的异常-原因-措施知识图谱进行图推理生成按优先级排序的整改建议；

34、趋势预测与预警单元，用于利用时间序列预测模型对综合数据质量评分进行趋势预测，并在预测结果满足预警条件时发出预警。

35、进一步地，在一些实施中，多种预定义的异常类型包括数据缺失、数据中断、未传输、数据重复、数据延迟、数据无效、数据跳变和数据不一致；异常根因包括传感器故障、通信网络异常、协议配置错误、终端硬件故障和数据解析逻辑错误；动态评分单元用于根据专家打分构建判断矩阵，计算得到各数据质量维度的ahp主观权重；基于各维度异常数据的离散程度计算信息熵，确定各维度的熵权法客观权重；基于ahp主观权重和熵权法客观权重计算最终权重，计算公式为：综合权重=α×ahp主观权重+(1-α)×熵权法客观权重，α为预设调节系数。

36、本发明采用以上技术方案，与现有技术相比，具有如下有益效果：

37、（1）本发明通过协议适配器模式支持gb/t32960、gb18352.6、jt/t 808三种协议的统一解析，提取时序特征、统计特征、关联特征、协议特征为ai模型提供输入，实现时间戳统一、数据项映射、单位统一，为后续ai模型提供高质量输入，系统部署成本降低约60%。

38、（2）本发明构建规则核查层（基础层）、异常检测层（孤立森林算法）和时序预测层（lstm模型）的三层核查架构，引入孤立森林检测复杂异常、lstm预测数据质量趋势覆盖完整性、唯一性、及时性、有效性、准确性、一致性六维度，异常检测准确率提升约35%。

39、（3）本发明实现八类异常检测算法，采用dbscan密度聚类发现异常时空聚集模式，基于决策树算法自动定位异常根本原因（传感器故障/通信异常/协议配置错误等），整改效率提升约50%。

40、（4）本发明采用ahp主观赋权与熵权法客观赋权相结合的动态评分模型，其中根据数据特征自动调整各个维度权重，实现权重动态自适应调整，评分结果更加客观准确。

41、（5）本发明通过构建异常-原因-措施的三元组知识图谱，基于图推理引擎自动生成整改建议；采用arima/prophet时间序列模型预测数据质量未来走势，实现主动治理，减少人工分析工作量约70%。