一种基于汽车行业大数据平台的数据质量筛查方法及系统与流程
本发明属于大数据处理与数据质量管控,更具体地,涉及一种基于汽车行业大数据平台的数据质量筛查方法及系统。
背景技术:
1、随着智能网联汽车技术的快速发展,车辆通过t-box(车载终端)实时上报海量运行数据,包括车辆行驶状态、动力电池充放电数据、整车控制器报文等,构成了汽车行业大数据平台的核心数据资产。这些数据不仅支撑着车辆远程监控、故障诊断、ota升级等核心业务,也是车企进行产品迭代、质量改进和售后服务的重要依据。因此,对海量车联网数据进行高效、准确的质量筛查,及时发现并修复数据质量问题,已成为汽车行业大数据治理的关键环节。
2、目前,数据质量筛查领域已存在多种技术方案。例如,公开号为cn113806343a的发明专利公开了一种车联网数据质量的评估方法和系统,根据用户输入的评估指令从数据源获取目标车联网数据,并根据多个预设评估指标对结构化数据进行评估。公开号为cn113176986a的发明专利公开了一种车联网数据质量确定方法,通过确定数据筛选条件和多个质量评价指标的权重来评估数据质量。此外,还存在基于spark离线计算框架的数据质量评估方法,通过自定义划分数据集、指定多层级的质量计算规则来实现定制化的数据质量评估。面向车联网领域,也有方案分别从终端激活质量、数据验签质量、数据传输质量、终端采集质量和长期离线五个维度对车辆排放远程监控数据进行评价。在规则引擎方面,已有基于动态规则的数据质量检查方法,通过解析规则信息生成质量检查脚本来实现数据质量检查。
3、然而,上述现有技术方案多为面向通用行业或车联网通用场景的数据质量评估方法,在应用于汽车行业大数据平台的多车型、多数据源、多项目并行管控场景时,存在以下不足:
4、(一)缺乏车型维度的精细化筛查能力。现有技术方案通常以数据表或数据集为粒度进行质量评估,未将“车型”作为数据质量校验的核心维度。在实际业务中,不同车型(如不同品牌、不同代际)的数据结构、字段定义、取值范围存在显著差异,且同一车企内部通常存在多个研发或量产项目并行推进,各项目的数据标准、报文协议不尽相同。现有方案无法支持按“车型—数据层—项目”的多级颗粒度进行精准筛查,导致筛查结果混杂,难以快速定位到具体车型或项目的质量问题。
5、(二)缺乏面向汽车核心业务数据的专属稽查规则。汽车行业的核心业务数据具有鲜明的行业特征,例如动力电池的充电过程数据、车辆运行的soc(剩余电量)和odo(总里程)时序数据等,其质量问题的表现形式(如充电过程完全丢失、跨天充电段未合并、soc跳变等)具有行业特殊性。现有技术方案通常采用通用的数据质量评估指标,缺乏针对汽车充电过程、电池运行参数等核心业务场景的专属稽查逻辑,难以有效识别汽车行业特有的数据质量问题。
6、(三)调度灵活性不足。现有技术方案多采用单一维度的任务调度方式,难以适应多车型、多数据层、多项目的复杂稽查场景。当需要新增或删除某一车型或项目的稽查任务时,通常需要修改调度配置甚至底层代码,操作复杂、扩展性差,无法实现“新增项目仅需创建子任务、无需修改总调度”的灵活扩展。
7、(四)异常结果呈现单一,缺乏可视化分析。现有技术方案通常仅输出异常数据清单或质量评分结果,缺乏按车辆vin码、车型、项目号等维度进行下钻分析的可视化报表。业务人员难以从海量异常数据中快速定位问题根因,也无法直观地掌握不同维度下的数据质量趋势。
8、(五)规则固化,缺乏动态迭代机制。现有技术方案中的质量稽查规则多为硬编码或静态配置,规则更新需要修改代码或重新部署系统。当业务参数发生变化时,无法实现规则的动态调整和热更新,更缺乏“筛查—分析—优化—再筛查”的闭环迭代机制。
9、因此,亟需一种能够适配汽车行业多车型、多数据源、多项目并行管控场景的数据质量筛查方案,以解决现有技术中缺乏车型维度精细化筛查能力、缺少面向汽车核心业务数据的专属稽查规则、调度灵活性不足、异常结果呈现单一且规则固化缺乏动态迭代机制的技术问题。
技术实现思路
1、本发明的目的是提出一种基于汽车行业大数据平台的数据质量筛查方法及系统,解决现有数据质量筛查方法缺乏车型维度精细化筛查能力、缺少面向汽车核心业务数据的专属稽查规则、调度灵活性不足、异常结果呈现单一且规则固化缺乏动态迭代机制的技术问题;实现汽车行业多车型、多数据源、多项目并行场景下数据质量的高效、精准、可持续筛查。
2、为实现上述目的,第一方面,本发明提出了一种基于汽车行业大数据平台的数据质量筛查方法,包括:
3、从汽车行业大数据平台的至少两个数据层获取多源异构数仓数据;
4、对所述多源异构数仓数据进行预处理,所述预处理至少包括数据净化和时序拼接;
5、按照车型维度、数仓层维度和项目维度建立分类存储规则,将预处理后的所述多源异构数仓数据分区存储至对应的存储位置;
6、构建规则库,所述规则库中的各条规则与车型维度和/或项目维度动态绑定,所述规则库包含完整性规则、有效性规则、自定义业务规则;
7、基于分层联动调度架构触发筛查任务;
8、响应于所述筛查任务,根据各条规则绑定的车型维度和/或项目维度,对分类存储后的数据中与所述维度匹配的部分执行定向筛查,识别异常数据,并对识别出的异常数据按预设的多个维度进行标记并存储;
9、对所述异常数据进行统计分析,生成可视化展示报表;
10、基于可视化展示结果进行异常根因分析,根据分析结果对所述规则库中的阈值参数和/或规则条目进行动态优化,并验证优化效果,形成数据质量管控闭环。
11、可选地,所述从汽车行业大数据平台的至少两个数据层获取多源异构数仓数据包括:
12、从所述大数据平台的操作数据存储层拉取车辆终端上报的原始报文数据,所述原始报文数据至少包括车辆唯一标识、车型编码、运行状态参数和时间信息;
13、从所述大数据平台的数据集市层拉取经预处理后的业务聚合数据,所述业务聚合数据至少包括车辆唯一标识、业务事件起始时间、业务事件结束时间和业务特征参数;
14、通过车辆唯一标识与时间信息的关联,将所述原始报文数据与所述业务聚合数据进行跨层融合;
15、通过直连数仓引擎的方式接入所述大数据平台,采用批量离线拉取方式进行数据传输,并在传输过程中对数据执行校验,以校验数据传输的完整性。
16、可选地,所述对所述多源异构数仓数据进行预处理包括:
17、对所述多源异构数仓数据执行数据净化,剔除报文乱码、时间戳异常和重复上报的冗余数据;
18、对跨天截断的充电时序数据进行临时拼接,修复因数据分层同步导致的数据断层。
19、可选地,所述按照车型维度、数仓层维度和项目维度建立分类存储规则,将预处理后的所述多源异构数仓数据分区存储至对应的存储位置包括:
20、按车型维度建立多个车型数据分区,不同车型的多源异构数仓数据独立存储至对应的所述车型数据分区;
21、按数仓层维度在每一所述车型数据分区下建立多个数仓层数据分区,所述数仓层数据分区包括原始报文数据分区和业务聚合数据分区;
22、按项目维度在每一所述数仓层数据分区下建立多个项目数据子分区,不同项目的多源异构数仓数据独立存储至对应的项目子分区;
23、采用数据仓库分区表对所述多源异构数仓数据进行分区存储,并以日期、车型和项目号作为分区键;
24、采用列式存储格式存储所述数据仓库分区表中的数据。
25、可选地,所述构建规则库包括:
26、为每条规则配置规则标识、规则类型、适用车型、适用项目号、校验字段、阈值参数、判定逻辑、执行优先级和启用状态属性;
27、将配置后的各条规则存储至关系数据库规则配置表,并通过缓存数据库对所述关系数据库规则配置表中的规则数据进行热缓存;
28、设定所述规则库中规则的执行优先级,其中完整性规则的执行优先级高于有效性规则,有效性规则的执行优先级高于自定义业务规则;
29、所述规则库支持规则的新增、禁用、启用、阈值调整、适用车型或适用项目号的绑定或解绑,并记录规则变更日志,支持历史版本回溯与回滚。
30、可选地,所述基于分层联动调度架构触发筛查任务包括:
31、按车型维度配置车型级总调度任务;
32、在所述车型级总调度任务下,为每一数仓层分别配置多个稽查子任务,各所述稽查子任务独立封装校验逻辑,与所属车型级总调度任务之间为依赖关联且互不侵入;
33、响应于预设定时条件的满足或数据同步完成事件的触发,启动所述稽查子任务的执行;
34、其中,所述稽查子任务至少包括完整性校验子任务、有效性校验子任务和自定义业务校验子任务;当所述完整性校验子任务执行成功后,触发所述有效性校验子任务执行,当所述有效性校验子任务执行成功后,触发所述自定义业务校验子任务执行。
35、可选地,所述响应于所述筛查任务,根据各条规则绑定的车型维度和/或项目维度,对分类存储后的数据中与所述维度匹配的部分执行定向筛查,识别异常数据,并对识别出的异常数据按预设的多个维度进行标记并存储包括:
36、解析当前筛查任务所调用的规则条目,提取所述规则条目绑定的车型维度和/或项目维度标识;
37、基于所述标识,依据所述分类存储规则定位并加载对应的车型数据分区、数仓层数据分区和项目数据子分区,获取目标数据;
38、将所述目标数据与所述规则库中的规则进行逻辑比对运算,筛选出未通过规则校验的异常数据记录;
39、将所述异常数据记录按照预设的多个维度生成异常元数据标签,所述多个维度至少包括:稽查类型、异常触发原因、异常发生时间、关联车型及关联项目号;
40、将所述异常数据记录、所述异常元数据标签、触发异常的原始数据快照、规则判定依据及执行子任务标识进行关联,统一写入至数据质量稽查结果专用表中。
41、可选地,所述对所述异常数据进行统计分析,生成可视化展示报表包括:
42、基于所述数据质量稽查结果专用表中的异常元数据标签,按照预设的分析维度对异常数据进行分组聚合,计算各维度下的异常频次、异常占比及异常趋势指标,所述预设的分析维度至少包括车型维度、项目维度、数仓层维度、稽查类型维度和时间维度;
43、根据统计分析结果的数据特征确定对应的可视化图表类型,并将统计指标映射至图表元素进行渲染;
44、将渲染后的图表组合生成数据质量可视化展示报表;
45、在所述报表中配置数据下钻交互功能,以通过点击所述异常统计图表,穿透查看至对应维度的异常明细数据及原始数据快照。
46、可选地,所述基于可视化展示结果进行异常根因分析,根据分析结果对所述规则库中的阈值参数和/或规则条目进行动态优化,并验证优化效果,形成数据质量管控闭环包括:
47、基于所述可视化展示报表中的异常频次与分布趋势,结合所述数据质量稽查结果专用表中的异常元数据标签及原始数据快照,追溯并定位导致异常数据的业务逻辑缺陷或规则阈值设置偏差;
48、根据异常根因定位结果,对所述规则库执行更新操作:若判定为阈值设置不合理,则调整对应规则的阈值参数;若判定为出现新型业务异常,则创建新的汽车业务专属规则条目并绑定对应的车型维度和/或项目维度;
49、将更新后的规则库部署至测试环境,采用历史异常数据回刷与实时新数据稽查相结合的双重方式,验证优化后的规则库是否准确识别异常且误报率降至预设标准以下;
50、在验证通过后,将优化后的规则库热更新并正式应用于所述分层联动调度架构的后续筛查任务中,完成数据质量管控闭环。
51、第二方面,本发明提出了一种基于汽车行业大数据平台的数据质量筛查系统,包括:
52、数据接入模块,用于从汽车行业大数据平台的至少两个数据层获取多源异构数仓数据;
53、数据预处理模块,用于对所述多源异构数仓数据进行预处理,所述预处理至少包括数据净化和时序拼接;
54、数据存储模块,用于按照车型维度、数仓层维度和项目维度建立分类存储规则,将预处理后的所述多源异构数仓数据分区存储至对应的存储位置;
55、规则库模块,用于存储和管理规则库,所述规则库中的各条规则与车型维度和/或项目维度动态绑定,所述规则库包含完整性规则、有效性规则和自定义业务规则;
56、任务调度模块,用于基于分层联动调度架构触发筛查任务;
57、筛查执行模块,用于响应于所述筛查任务,根据各条规则绑定的车型维度和/或项目维度,对分类存储后的数据中与所述维度匹配的部分执行定向筛查,识别异常数据;
58、异常标记存储模块,用于对识别出的异常数据按预设的多个维度进行标记并存储;
59、统计分析模块,用于对所述异常数据进行统计分析,生成可视化展示报表;
60、闭环优化模块,用于基于可视化展示结果进行异常根因分析,根据分析结果对所述规则库中的阈值参数和/或规则条目进行动态优化,并验证优化效果,形成数据质量管控闭环。
61、本发明的有益效果在于:通过从汽车行业大数据平台的至少两个数据层获取多源异构数仓数据,并对所述多源异构数仓数据进行包括数据净化和时序拼接的预处理,保证了后续质量稽查所依赖数据源的完整性、准确性和时序连续性;通过按照车型维度、数仓层维度和项目维度建立分类存储规则,将预处理后的所述多源异构数仓数据分区存储至对应的存储位置,实现了多车型、多数据层、多项目维度下的数据物理隔离与逻辑隔离,为后续精准定向筛查提供了高效的存储基底;通过构建与车型维度和/或项目维度动态绑定的规则库,并设定完整性规则、有效性规则和自定义业务规则的三层规则体系,实现了规则与业务维度的灵活适配及规则层级的合理划分,有效减少了无效计算开销;通过基于分层联动调度架构触发筛查任务,并根据各条规则绑定的车型维度和/或项目维度,对分类存储后的数据中与所述维度匹配的部分执行定向筛查,实现了多车型、多数据层、多项目场景下稽查任务的解耦调度、按需触发和资源高效利用;通过对识别出的异常数据按预设的多个维度进行标记并存储,实现了异常数据的精准定位、全链路追溯与多维度统计分析;通过对所述异常数据进行统计分析并生成可视化展示报表,使业务人员能够直观掌握各维度下的数据质量态势并快速定位问题根因;通过基于可视化展示结果进行异常根因分析,并根据分析结果对所述规则库中的阈值参数和/或规则条目进行动态优化并验证优化效果,形成了筛查—分析—优化—再筛查的持续闭环迭代机制,实现了规则库的自适应演进和数据质量的可持续提升。因此,本发明能够在汽车行业多车型、多数据源、多项目并行管控场景下,实现数据质量的高效、精准、可持续筛查。
62、本发明的系统具有其它的特性和优点,这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的,或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述,这些附图和具体实施方式共同用于解释本发明的特定原理。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com