数据入库校验方法、系统、存储介质及计算机产品与流程
本发明涉及计算机应用,更为具体而言,涉及一种数据入库校验方法、系统、存储介质及计算机产品。
背景技术:
1、在银行、消费金融等金融机构的贷款批处理系统中,需要对海量贷款合同批量计算罚息利率、罚息上浮比例等衍生指标。其中,典型计算逻辑如,罚息上浮比例可以通过公式“(罚息利率-基准利率)/基准利率*100”计算得到,该计算结果通常持久化至关系型数据库的decimal(m, d)类型字段,并且,其物理存储上限固定,例如,decimal(12,8)字段的最大可表示值为9999.99999999。然而,现有批量数值计算与入库校验机制存在如下技术缺陷:技术存在显著缺陷:
2、(1)数值校验机制被动滞后:仅依赖数据库在sql执行阶段抛出data truncation:out of range value(数据截断:数值超出取值范围)等异常进行拦截,此时批量作业已中断,需人工定位异常记录,运维成本高;
3、(2)缺乏上下文感知能力:校验逻辑与数据库字段的精度定义脱节,无法将业务计算语义与底层存储约束联动,导致“输入参数合法,但计算结果非法”的隐蔽性数据异常。
4、因此,亟需一种前置化、动态化、自适应的数值范围校验方案,能够在计算执行前或持久化前,融合数据库元数据与业务公式结构,智能预判并处置潜在溢出风险,保障批量作业的稳定性与数据可靠性。
技术实现思路
1、为解决上述现有技术存在的问题或至少部分问题,本发明实施方式提供了一种数据入库校验方法、系统、存储介质、设备和计算机程序产品,结合数据库字段精度信息构建字段数值范围信息表,对计算表达式进行风险分级管控;采用静态值域前置预判与实际运算二次校验相结合的双重校验模式,在数据入库前识别数值溢出风险,无需等待数据库写入时报错,有效防止批量计算任务中断。
2、根据本发明的第一方面,本发明实施方式提供一种数据入库校验方法,其包括:读取目标数据库中的待写入字段的精度定义信息,并根据所述精度定义信息计算所述待写入字段的数值范围;根据所述待写入字段和数值范围生成库表字段范围信息表;读取携带业务流水号和业务计算公式的表达式的请求报文,根据所述请求报文计算所述表达式的综合风险评分,并根据所述综合风险评分判断是否拦截所述表达式;对于未被拦截的表达式,通过静态值域推导所述表达式的理论计算结果值域;将所述理论计算结果值域与所述库表字段范围信息表中对应的目标入库字段的数值范围进行前置比对,当所述理论计算结果值域超出数值范围时,则判定所述表达式存在溢出风险,并将所述溢出风险保存至异常记录表中;将所述未被拦截的表达式预编译为字节码对象,执行所述字节码对象并代入所述请求报文内的业务参数得到实际计算结果;根据所述库表字段范围信息表对实际计算结果进行校验,当所述实际计算结果超出所述库表字段范围信息表中对应的目标入库字段的数值范围时,则判定校验结果为不通过,并将所述校验结果保存至所述异常记录表中;当所述实际计算结果处于所述库表字段范围信息表中对应的目标入库字段的数值范围内时,则判定校验结果为通过,并将所述实际计算结果写入目标入库字段;根据所述异常记录表生成数据质量报告,并基于所述数据质量报告对所述表达式或所述目标数据库中的待写入字段的精度进行优化。
3、根据本发明上述实施方式,一方面通过自动从数据库元数据获取字段精度定义信息,实时计算待写入字段的数值范围作为校验边界,无需硬编码校验阈值,能够自适应不同表结构与环境变更,消除配置错误风险;另一方面,通过在计算完成前或持久化前进行校验,结合表达式结构分析,提前拦截可能溢出的结果,避免数据库报错和作业失败,显著提升批处理成功率与系统稳定性。同时,通过聚合历史异常记录并生成数据质量报告,反向推动上游数据录入规则或业务公式优化,构建异常治理闭环,实现了持续治理。
4、在本发明的一些实施方式中,所述根据所述请求报文计算所述表达式的综合风险评分包括:根据所述表达式的长度与多级长度阈值之间的关系获取第一风险评分;根据所述请求报文命中的敏感词所对应的风险等级获取第二风险评分;根据所述表达式的括号嵌套深度与多级深度阈值之间的关系获取第三风险评分;根据所述表达式的连续运算符密度与多级密度阈值之间的关系获取第四风险评分;根据所述表达式的函数调用次数与多级调用次数阈值之间的关系获取第五风险评分;对所述第一风险评分、第二风险评分、第三风险评分、第四风险评分和第五风险评分进行融合计算,得到所述综合风险评分。
5、在本发明的一些实施方式中,通过定时任务获取数据库配置表中状态为有效的数据库配置信息,并基于所述配置信息建立jdbc数据库连接,传入所述目标数据库名称执行元数据查询sql,读取待写入数据表的待写入字段元信息,其中,所述元信息包括所述精度定义信息。
6、在本发明的一些实施方式中,所述精度定义信息包括数值类型总精度和数值类型小数标度,所述元信息还包括:表名、字段名称、完整字段类型。
7、在本发明的一些实施方式中,根据所述综合风险评分判断是否拦截所述表达式包括:当所述综合风险评分落入低风险分值范围时,判定放行所述表达式,不进行拦截;当所述综合风险评分落入中等风险分值范围时,将所述表达式置于隔离沙箱内执行,同时开启执行超时限制、内存上限限制及操作权限隔离;当所述综合风险评分落入高风险分值范围时,判定拦截所述表达式。
8、根据本发明上述实施方式,依据综合风险评分对表达式实行分级管控,针对不同风险等级采取差异化处置策略,能够兼顾业务处理性能与系统安全,在不影响正常批量计算任务运转的基础上,提前防范数值溢出、恶意表达式、异常计算引发的任务中断、数据错乱问题,提升批量指标计算场景的稳定性与数据安全性。
9、在本发明的一些实施方式中,根据所述异常记录表生成数据质量报告包括:通过定时任务读取所述异常记录表中的异常数据,并按照异常类型、异常原因对异常记录进行聚合统计,得到各类异常的发生频次;根据所述各类异常的发生频次自动生成结构化的所述数据质量报告,并通过邮件推送至相关人员。
10、根据本发明上述实施方式,通过定时任务自动读取异常记录,自动生成结构化数据质量报告并邮件推送,能够使运维人员及时感知高频数据异常,辅助持续优化业务计算逻辑,有效降低批量计算场景的数据运维成本。
11、根据本发明的第二方面,本发明实施方式提供一种数据入库校验系统,包括:元数据获取模块,用于读取目标数据库中的待写入字段的精度定义信息,并根据所述精度定义信息计算所述待写入字段的数值范围;根据所述待写入字段和数值范围生成库表字段范围信息表;风险预判模块,用于读取携带业务流水号和业务计算公式的表达式的请求报文,根据所述请求报文计算所述表达式的综合风险评分,并根据所述综合风险评分判断是否拦截所述表达式;阈值传播分析模块,用于对于未被拦截的表达式,通过静态值域推导所述表达式的理论计算结果值域;将所述理论计算结果值域与所述库表字段范围信息表中对应的目标入库字段的数值范围进行前置比对,当所述理论计算结果值域超出数值范围时,则判定所述表达式存在溢出风险,并将所述溢出风险保存至异常记录表中;解析计算模块,用于将所述未被拦截的表达式预编译为字节码对象,执行所述字节码对象并代入所述请求报文内的业务参数得到实际计算结果;根据所述库表字段范围信息表对实际计算结果进行校验,当所述实际计算结果超出所述库表字段范围信息表中对应的目标入库字段的数值范围时,则判定校验结果为不通过,并将所述校验结果保存至所述异常记录表中;当所述实际计算结果处于所述库表字段范围信息表中对应的目标入库字段的数值范围内时,则判定校验结果为通过,并将所述实际计算结果写入目标入库字段;报告模块,用于根据所述异常记录表生成数据质量报告,并基于所述数据质量报告对所述表达式或所述目标数据库中的待写入字段的精度进行优化。
12、根据本发明上述实施方式,一方面通过自动从数据库元数据获取字段精度定义信息,实时计算待写入字段的数值范围作为校验边界,无需硬编码校验阈值,能够自适应不同表结构与环境变更,消除配置错误风险;另一方面,通过在计算完成前或持久化前进行校验,结合表达式结构分析,提前拦截可能溢出的结果,避免数据库报错和作业失败,显著提升批处理成功率与系统稳定性。同时,通过聚合历史异常记录并生成数据质量报告,反向推动上游数据录入规则或业务公式优化,构建异常治理闭环,实现了持续治理。
13、在本发明的一些实施方式中,所述根据所述请求报文计算所述表达式的综合风险评分包括:根据所述表达式的长度与多级长度阈值之间的关系获取第一风险评分;根据所述请求报文命中的敏感词所对应的风险等级获取第二风险评分;根据所述表达式的括号嵌套深度与多级深度阈值之间的关系获取第三风险评分;根据所述表达式的连续运算符密度与多级密度阈值之间的关系获取第四风险评分;根据所述表达式的函数调用次数与多级调用次数阈值之间的关系获取第五风险评分;对所述第一风险评分、第二风险评分、第三风险评分、第四风险评分和第五风险评分进行融合计算,得到所述综合风险评分。
14、在本发明的一些实施方式中,所述元数据获取模块通过定时任务获取数据库配置表中状态为有效的数据库配置信息,并基于所述配置信息建立jdbc数据库连接,传入所述目标数据库名称执行元数据查询sql,读取待写入数据表的待写入字段元信息,所述元信息包括所述精度定义信息。
15、在本发明的一些实施方式中,所述精度定义信息包括数值类型总精度和数值类型小数标度,所述元信息还包括:表名、字段名称、完整字段类型。
16、在本发明的一些实施方式中,根据所述综合风险评分判断是否拦截所述表达式包括:当所述综合风险评分落入低风险分值范围时,判定放行所述表达式,不进行拦截;当所述综合风险评分落入中等风险分值范围时,将所述表达式置于隔离沙箱内执行,同时开启执行超时限制、内存上限限制及操作权限隔离;当所述综合风险评分落入高风险分值范围时,判定拦截所述表达式。
17、根据本发明上述实施方式,依据综合风险评分对表达式实行分级管控,针对不同风险等级采取差异化处置策略,能够兼顾业务处理性能与系统安全,在不影响正常批量计算任务运转的基础上,提前防范数值溢出、恶意表达式、异常计算引发的任务中断、数据错乱问题,提升批量指标计算场景的稳定性与数据安全性。
18、在本发明的一些实施方式中,根据所述异常记录表生成数据质量报告包括:通过定时任务读取所述异常记录表中的异常数据,并按照异常类型、异常原因对异常记录进行聚合统计,得到各类异常的发生频次;根据所述各类异常的发生频次自动生成结构化的所述数据质量报告,并通过邮件推送至相关人员。
19、根据本发明上述实施方式,通过定时任务自动读取异常记录,自动生成结构化数据质量报告并邮件推送,能够使运维人员及时感知高频数据异常,辅助持续优化业务计算逻辑,有效降低批量计算场景的数据运维成本。
20、根据本发明的第三方面,本发明实施方式提供一种计算机可读存储介质,其上存储有计算机可读指令,所述计算机可读指令被处理器执行时,使得计算机执行如下操作:所述操作包括如上任意一种实施方式所述数据入库校验方法所包含的步骤。
21、根据本发明的第四方面,本发明实施方式提供一种包括存储器和处理器的计算机设备,所述存储器用于存储一条或多条计算机可读指令,其中,所述一条或多条计算机可读指令被所述处理器执行时能够实现如上任意一种实施方式所述的数据入库校验方法。
22、根据本发明的第五方面,本发明实施方式提供一种包括计算机程序的计算机程序产品,所述计算机程序被处理器执行时实现如上任意一种实施方式所述的数据入库校验方法。
23、由上述可知,本发明实施方式提供的数据入库校验方法、系统、存储介质、设备和计算机程序产品,一方面通过自动从数据库元数据获取字段精度定义信息,实时计算待写入字段的数值范围作为校验边界,无需硬编码校验阈值,能够自适应不同表结构与环境变更,消除配置错误风险;另一方面,通过在计算完成前或持久化前进行校验,结合表达式结构分析,提前拦截可能溢出的结果,避免数据库报错和作业失败,显著提升批处理成功率与系统稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com