数据质量的校验方法、装置、设备及存储介质与流程

本技术涉及数据质量管理的，尤其涉及一种数据质量的校验方法、装置、设备及存储介质。

背景技术：

1、随着企业数字化转型的深入推进，数据已成为核心生产要素，其质量直接关系到业务决策的准确性、监管合规的有效性以及系统运行的稳定性。尤其在金融、电信、政务等领域，数据质量问题可能引发业务中断、监管处罚乃至系统性风险，数据质量监控的重要性日益凸显。

2、目前，数据质量监控主要采用规则校验方式，即由开发人员预先编写校验逻辑，对数据的完整性、准确性等进行逐项检查。这种基于静态规则的监控模式在数据量可控、业务逻辑相对稳定的场景下能够发挥一定作用。同时，现有监控系统多采用事后告警机制，即在校验发现数据异常后触发告警并通知人工介入处理。然而，随着业务系统日趋复杂、数据量级指数增长以及监管要求持续更新，上述监控方式在实际应用中面临明显局限：一方面，规则依赖人工开发和维护，调整周期长，难以灵活响应业务变化；另一方面，校验规则多为预先设定的固定阈值，一旦业务波动或数据分布发生变化，极易产生漏报或误报；此外，事后告警机制使得数据质量问题的发现滞后于实际发生时刻，问题修复成本随之升高。

3、因此，如何提高数据质量监控过程中校验的准确性和灵活性，是目前亟需解决的一个问题。

技术实现思路

1、本技术的主要目的在于提供一种数据质量的校验方法、装置、设备及存储介质，旨在解决如何提高数据质量监控过程中校验的准确性和灵活性的技术问题。

2、为实现上述目的，本技术提出一种数据质量的方法，所述方法包括：

3、获取目标数据的多模态特征；

4、根据预设趋势预测模型对所述多模态特征进行数据质量分析，得到数据质量的趋势预测结果；

5、根据所述趋势预测结果确定预警类型，所述预警类型包括波动预警、峰值预警和长期趋势预警中的至少一种；

6、根据所述预警类型对配置化校验规则中的校验参数进行调整，得到调整后的校验规则；

7、根据调整后的校验规则对所述目标数据进行质量校验，得到校验结果。

8、在一实施例中，所述多模态特征包括业务行为特征、时序波动特征和监管政策特征，所述获取目标数据的多模态特征的步骤包括：

9、获取目标数据，并从所述目标数据的数据血缘、业务元数据以及历史数据质量记录中提取业务行为特征，所述业务行为特征包括数据源复杂度、跨系统关联密度、监管字段标记以及枚举字段的信息熵值；

10、根据预设时间窗口对所述目标数据的历史质量指标进行趋势分解，得到各时间窗口的时序波动特征，所述时序波动特征包括周期自相关系数、频域特征、移动平均值以及同环比增长率；

11、对所述目标数据中的监管政策文本进行文本向量化处理，得到监管政策特征，所述监管政策特征包括监管制度变更向量、经济指标偏离度向量和内部业务战略标签向量。

12、在一实施例中，所述根据预设趋势预测模型对所述多模态特征进行数据质量分析，得到数据质量的趋势预测结果的步骤包括：

13、将所述多模态特征中的业务行为特征、时序波动特征以及监管政策特征进行对齐，得到联合特征矩阵；

14、将所述联合特征矩阵输入预设趋势预测模型，通过所述预设趋势预测模型的第一长短期记忆网络层和第二长短期记忆网络层依次进行前向传播处理，得到归一化的异常数预测值，所述第一长短期记忆网络层的时间步大于所述第二长短期记忆网络层的时间步；

15、对所述异常数预测值进行反归一化处理，得到数据质量的趋势预测结果。

16、在一实施例中，所述根据所述趋势预测结果确定预警类型的步骤包括：

17、根据所述趋势预测结果中的质量指标预测值与预设的真实值，确定趋势预测的偏差值；

18、在所述偏差值大于预设波动预警阈值时，确定预警类型为波动预警；

19、在所述趋势预测结果中的最大值大于预设峰值预警阈值时，确定预警类型为峰值预警；

20、在连续预设个时间窗口内，所述偏差值均大于预设长期趋势预警阈值时，确定预警类型为长期趋势预警。

21、在一实施例中，所述根据所述预警类型对配置化校验规则中的校验参数进行调整，得到调整后的校验规则的步骤包括：

22、在所述预警类型为波动预警时，提高配置化校验规则中校验参数的告警阈值和执行优先级，得到调整后的校验规则；

23、在所述预警类型为峰值预警时，根据配置化校验规则中对应字段的监管类型对校验参数的告警阈值和执行优先级进行调整，得到调整后的校验规则；

24、在所述预警类型为长期趋势预警时，获取所述配置化校验规则的历史校验结果序列，并根据所述历史校验结果序列更新配置化校验规则中校验参数的告警阈值，得到调整后的校验规则。

25、在一实施例中，所述在所述预警类型为峰值预警时，根据配置化校验规则中对应字段的监管类型对校验参数的告警阈值和执行优先级进行调整，得到调整后的校验规则的步骤包括：

26、在所述预警类型为峰值预警时，根据配置化校验规则中对应字段的监管标记确定所述对应字段的监管类型；

27、在所述对应字段的监管类型为核心监管字段时，保持所述配置化校验规则中对应字段的告警阈值；

28、在所述对应字段的监管类型为非核心监管字段时，提高所述配置化校验规则中对应字段的告警阈值。

29、在一实施例中，所述根据调整后的校验规则对所述目标数据进行质量校验，得到校验结果的步骤包括：

30、根据调整后的校验规则中的适用数据域从所述目标数据中确定待校验数据；

31、根据调整后的校验规则中的校验逻辑和校验参数构建约束条件；

32、在所述待校验数据满足所述约束条件时，确定校验结果为质量正常；

33、在所述待校验数据不满足所述约束条件时，确定校验结果为质量异常。

34、此外，为实现上述目的，本技术还提出一种数据质量的校验装置，所述装置包括：

35、特征提取模块，用于获取目标数据的多模态特征；

36、趋势预测模块，用于根据预设趋势预测模型对所述多模态特征进行数据质量分析，得到数据质量的趋势预测结果；

37、预警识别模块，用于根据所述趋势预测结果确定预警类型，所述预警类型包括波动预警、峰值预警和长期趋势预警中的至少一种；

38、参数调整模块，用于根据所述预警类型对配置化校验规则中的校验参数进行调整，得到调整后的校验规则；

39、质量校验模块，用于根据调整后的校验规则对所述目标数据进行质量校验，得到校验结果。

40、此外，为实现上述目的，本技术还提出一种数据质量的校验设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的数据质量的校验方法的步骤。

41、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据质量的校验方法的步骤。

42、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据质量的校验方法的步骤。

43、本技术提供了一种数据质量的校验方法，本技术的方法包括：获取目标数据的多模态特征；根据预设趋势预测模型对所述多模态特征进行数据质量分析，得到数据质量的趋势预测结果；根据所述趋势预测结果确定预警类型，所述预警类型包括波动预警、峰值预警和长期趋势预警中的至少一种；根据所述预警类型对配置化校验规则中的校验参数进行调整，得到调整后的校验规则；根据调整后的校验规则对所述目标数据进行质量校验，得到校验结果。综上可知，本技术通过多模态特征融合提升趋势预测精度，并根据差异化预警类型动态调整校验规则，实现了校验规则的自适应动态调整，降低了漏报与误报风险，提高了数据质量校验的准确性和灵活性。