一种数据校验方法、装置、电子设备及存储介质与流程
本发明涉及数据处理,具体涉及一种数据校验方法、装置、电子设备及存储介质。
背景技术:
1、随着能源、制造等产业的数字化转型不断深入,业务填报数据已成为企业生产经营决策的重要基础。数据质量作为数据治理体系的核心环节,其校验的准确性和全面性直接影响着后续的数据分析、生产调度及经营考核。
2、目前,数据质量校验系统在进行业务数据校验时,大多采用传统固定阈值校验方式,即由业务人员或系统管理员根据历史经验为每个指标人工设定静态的上下限阈值,数据校验系统将填报的指标值与预设的固定上下限阈值进行比对,超出阈值范围的即判定为异常数据。
3、显然,由于这种固定阈值校验方式仅支持单条规则独立校验,各规则的校验结果互不关联,无法实现多规则的叠加联动,也无法覆盖产业数据中广泛存在的指标间关联关系、计划目标偏差、时序波动特征等多类质量校验场景。
4、因此,当业务数据的异常表现为多个维度下的复合型偏差时,该方式往往无法有效识别,从而导致了较高的漏检率,严重影响了数据质量校验的全面性和准确性。
技术实现思路
1、本发明提供了一种数据校验方法、装置、电子设备及存储介质,以解决相关技术中规则维度单一导致数据质量校验的准确性较低的技术问题。
2、第一方面,本发明提供了一种数据校验方法,方法包括:获取目标业务数据,目标业务数据包括指标标识和指标值;根据指标标识检索预设数据库,获取目标业务数据对应的校验配置信息,校验配置信息包括至少一个目标校验规则对应的规则标识,预设数据库中存储有不同指标标识与校验规则标识之间的映射关系;根据校验配置信息,调用至少一个目标校验规则对指标值进行校验,得到各目标校验规则分别对应的校验子结果;若任一校验子结果为不通过,则判定目标业务数据的校验结果为异常数据,并输出异常提示信息。
3、本发明提供的数据校验方法中,通过预设数据库中存储的指标标识与校验规则标识之间的映射关系,实现了对不同业务指标按需配置不同校验规则组合,并通过校验子结果对指标值进行校验,实现了多规则并行校验与联动判定,从而提升了数据质量校验的全面性和准确性,解决了现有技术中规则维度单一、不存在多规则叠加联动逻辑的技术问题。
4、在一些实施方式中,目标校验规则包括时序校验规则,调用至少一个目标校验规则对指标值进行校验,得到各目标校验规则分别对应的校验子结果,包括:获取目标业务数据对应的目标指标,以及目标指标对应的基准预期参数和标准差参数;根据基准预期参数和标准差参数,确定目标指标对应的校验区间;若指标值属于校验区间,则确定时序校验规则对应的校验子结果为校验通过;若指标值不属于校验区间,则确定时序校验规则对应的校验子结果为校验不通过。
5、本发明实施例提供的数据校验方法中,通过基于历史时序数据确定的基准预期参数和标准差参数构建动态校验区间,使校验阈值能够随近期业务数据的变化而自适应调整,解决了现有技术中时序校验模型静态化导致阈值无法跟随近期数据动态自适应调整、易产生误报与漏报的技术问题。
6、在一些实施方式中,根据基准预期参数和标准差参数,确定目标指标对应的校验区间,包括:获取目标指标对应的历史时序数据集和初始平滑系数;基于初始平滑系数和多个历史数据值,确定第t时刻的第一基准预期值和第一动态标准差;基于第一基准预期值和第一动态标准差,确定第t时刻对应的第一动态校验区间;将第一动态校验区间,确定为目标指标的校验区间。
7、本发明实施例提供的数据校验方法中,使校验区间的确定是基于历史数据分布规律动态计算得出的,解决了现有技术中平滑系数人工设定后全程不可调整、校验区间依赖人工经验设定的技术问题,提升了时序校验模型的客观性和数据适应性。
8、在一些实施方式中,方法还包括:获取第t+1时刻的第一历史数据值;若第一历史数据值未处于第一动态校验区间,则获取第一历史数据值相对于第一动态校验区间的偏离方向;基于偏离方向修正初始平滑系数,得到目标平滑系数;基于目标平滑系数和第t+1时刻之前的多个第二历史数据值,确定第t+1时刻的第二基准预期值和第二动态标准差;基于第二基准预期值和第二动态标准差,确定第t+1时刻对应的第二动态校验区间;利用第二动态校验区间更新目标指标的校验区间。
9、本发明实施例提供的数据校验方法中,可根据数据偏离程度自动调整权重分配,使其在业务平稳时保持稳定、在业务突变时快速响应,解决了现有技术中平滑系数无法依据数据偏离程度自适应优化、历史数据与近期数据权重分配无法动态修正的技术问题。
10、在一些实施方式中,目标校验规则还包括逻辑一致性校验、目标完成率校验、固定阈值校验和空值逾期校验中至少一种;调用至少一个目标校验规则对指标值进行校验,得到各目标校验规则分别对应的校验子结果,包括:将目标业务数据对应的关联指标值与预设业务数据区间进行对比,若关联指标值超出预设业务数据区间,则确定逻辑一致性校验规则对应的校验子结果为不通过;获取目标业务数据对应的计划值,并确定指标值与计划值之间的比值;若比值小于第一预设阈值或大于第二预设阈值,则确定目标完成率校验规则对应的校验子结果为不通过;将指标值与预设固定上限值进行对比,若指标值大于固定上限值,则确定固定阈值校验规则对应的校验子结果为不通过;或,将指标值与预设固定下限值进行对比,若指标值小于固定下限值,则确定固定阈值校验规则对应的校验子结果为不通过;将当前时刻与目标业务数据的上报周期进行对比,若当前时刻超过上报周期且指标值为空,则确定空值逾期校验规则对应的校验子结果为不通过。
11、本发明实施例提供的数据校验方法中,通过四类规则与时序校验规则的并行组合,大幅扩展了数据质量校验的业务场景覆盖范围,进一步降低了数据异常漏检率。
12、在一些实施方式中,方法还包括:若所有校验子结果均通过,则判定目标业务数据通过校验;将目标业务数据及其校验结果进行关联,生成校验数据,并将校验数据存储至目标数据库。
13、本发明实施例提供的数据校验方法中,使校验记录(包括通过和不通过两种状态)与业务数据永久关联留存,为后续的数据质量审计、异常追溯和质量复盘分析提供了完整的原始数据基础,解决了现有技术中无异常原因留存机制的技术问题。
14、在一些实施方式中,方法还包括:响应于自然语言查询请求,将自然语言查询请求解析为结构化查询语句;从目标数据库中检索结构化查询语句对应的校验数据;将校验数据确定为自然语言查询请求对应的查询结果,并对查询结果进行输出显示。
15、本发明实施例提供的数据校验方法中,通过自然语言交互方式查询不同报告期、不同单位、不同指标的异常详情,降低了数据治理的技术门槛,提升了数据质量管理的效率和用户体验,解决了现有技术中无法多维度量化复盘对比数据质量的技术问题。
16、第二方面,本发明提供了一种数据校验装置,包括:第一获取模块,用于获取目标业务数据,目标业务数据包括指标标识和指标值;第二获取模块,用于根据指标标识检索预设数据库,获取目标业务数据对应的校验配置信息,校验配置信息包括至少一个目标校验规则对应的规则标识,预设数据库中存储有不同指标标识与校验规则标识之间的映射关系;校验模块,用于根据校验配置信息,调用至少一个目标校验规则对指标值进行校验,得到各目标校验规则分别对应的校验子结果;输出模块,用于若任一校验子结果为不通过,则判定目标业务数据的校验结果为异常数据,并输出异常提示信息。
17、第三方面,本发明提供了一种电子设备,包括:存储器和处理器,上述存储器和上述处理器之间互相通信连接,上述存储器中存储有计算机指令,上述处理器通过执行上述计算机指令,从而执行上述第一方面或其对应的任一实施方式的数据校验方法。
18、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,上述计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的数据校验方法。
19、第五方面,本发明提供了一种计算机程序产品,包括计算机指令,上述计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的数据校验方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com