数据资产预评估的质量快速校验与动态补充方法及系统与流程

本发明涉及数字资产管理，具体而言，涉及一种数据资产预评估的质量快速校验与动态补充方法及系统。

背景技术：

1、由于数据提供方在登记阶段通常仅提供完整数据集中的少量样本数据，第三方评估系统实际上只能基于有限的局部数据进行质量判断。例如，样本数据中未出现缺失值，并不能准确反映完整数据集中对应字段的缺失情况；样本数据中未出现重复主键，也不能准确反映完整数据集的唯一性。对于数据规模较大的数据资产，样本数据的数量与完整数据集的数量差异越大，基于样本获得的质量指标越难以直接反映完整数据集的实际质量状况。现有技术在发现样本评估结果不足时，通常通过扩大样本规模或者重新获取更多数据后进行再次评估，但缺少根据当前评估结果确定具体不足的质量维度，并针对所述质量维度获取相应补充信息的处理机制，使得有限样本条件下获得的质量评估结果仍可能存在较大的不确定性，同时增加数据提供方与评估系统之间的数据交互量。因此，现有数据资产预评估技术在仅获取有限样本数据的情况下，无法根据质量评估过程中形成的评估结果可靠程度，针对评估信息不足的质量维度动态获取相匹配的补充信息，从而难以在有限数据交互条件下获得可靠的数据资产质量预评估结果。

2、因此，有必要设计一种数据资产预评估的质量快速校验与动态补充方法及系统用以解决当前技术中存在的问题。

技术实现思路

1、鉴于此，本发明提出了一种数据资产预评估的质量快速校验与动态补充方法及系统，旨在解决现有数据资产预评估技术在仅获取有限样本数据的情况下，无法根据质量评估过程中形成的评估结果可靠程度，针对评估信息不足的质量维度动态获取相匹配的补充信息，从而难以在有限数据交互条件下获得可靠的数据资产质量预评估结果的问题。

2、一个方面，本发明提出了一种数据资产预评估的质量快速校验与动态补充方法，包括：

3、获取数据资产登记包，解析生成样本数据对象和元数据对象；

4、对所述样本数据对象和元数据对象进行全质量维度校验，生成初始质量简档；

5、基于最低可靠性阈值对所述初始质量简档进行筛查，根据筛查的结果生成缺失维度清单；

6、根据所述缺失维度清单判断是否输出预评估报告；

7、当判定不输出预评估报告时，根据所述缺失维度清单，从维度-补数策略映射表中匹配补充请求模板，并进行去重归并，生成补充指令包；并将所述补充指令包发送至数据提供方；

8、接收数据提供方返回的补充数据报文，对所述补充数据报文进行合规性校验，将通过所述合规性校验的所述补充数据报文与所述样本数据对象和元数据对象进行信息融合更新，生成评估数据集；

9、基于所述评估数据集重复执行全质量维度校验、筛查及判断，直至输出所述预评估报告。

10、进一步的，解析生成样本数据对象和元数据对象时，包括：

11、所述数据资产登记包包括样本数据子集和元数据描述文件；将所述样本数据子集进行二维表形式转化，生成样本数据对象，将所述元数据描述文件进行声明项提取，生成元数据对象。

12、进一步的，对所述样本数据对象和元数据对象进行全质量维度校验时，包括：

13、遍历所述样本数据对象，统计空值或无意义占位符出现的频次，确定各字段的缺失率；根据所述元数据对象的格式约束，匹配样本字段值的合规比例，得到规范性得分；根据所述元数据对象的主键字段组合，在所述样本数据对象行间进行哈希比对，识别重复键值，输出重复率；基于所述样本数据对象的时间戳和所述元数据对象的更新周期和当前时间，确定数据新鲜度评分。

14、进一步的，对所述样本数据对象和元数据对象进行全质量维度校验时，还包括：

15、在进行所述全质量维度校验同时，评估每一质量维度的可靠性等级。

16、进一步的，基于最低可靠性阈值对所述初始质量简档进行筛查，根据筛查的结果生成缺失维度清单时，包括：

17、将各质量维度的所述可靠性等级与所述最低可靠性阈值进行比对，将所述可靠性等级小于所述最低可靠性阈值的质量维度确定为缺失质量维度，并根据所述缺失质量维度的评估指标确定缺失原因编码；基于所述缺失质量维度和缺失原因编码，生成所述缺失维度清单。

18、进一步的，根据所述缺失维度清单判断是否输出预评估报告时，包括：

19、判断所述缺失维度清单是否存在关键质量维度；当所述缺失维度清单不存在所述关键质量维度时，判定输出预评估报告；否，判定不输出所述预评估报告。

20、进一步的，根据所述缺失维度清单，从维度-补数策略映射表中匹配补充请求模板，并进行去重归并，生成补充指令包，包括：

21、根据所述缺失质量维度和缺失原因编码，在所述维度-补数策略映射表中匹配补数策略和补充请求模板；对匹配得到的若干补充请求模板进行重复请求项识别和请求项归并，生成补充指令包；所述补充指令包包括目标质量维度、补充数据类型及补充数据要求。

22、进一步的，生成评估数据集时，包括：

23、对所述补充数据报文中的数据类型、数据字段、统计项及数据格式进行匹配校验，判断所述补充数据报文是否与所述补充指令包中的补充数据要求匹配；当判定匹配时，根据所述补充数据报文进行信息融合；将全量统计信息关联至对应的质量维度，并将分层统计信息与所述样本数据对象进行融合，生成所述评估数据集。

24、进一步的，直至输出所述预评估报告时，包括：

25、根据所述评估数据集重新进行全质量维度校验和筛查，生成更新的缺失维度清单；当所述更新的缺失维度清单不存在所述关键质量维度时，输出预评估报告；

26、或，所述补充指令包的生成次数达到最大生成次数时，停止动态补充，并基于当前质量简档，生成所述预评估报告。

27、与现有技术相比，本发明的有益效果在于：在预评估流程中加入了缺失维度自动识别以及最小必要信息的动态补充循环，使得评估能够主动跨越初始信息的边界，通过精准提问的方式从数据提供方处合法、轻量地获取那些能够有效印证数据全面质量的关键统计特征或代表性样本。最终生成的预评估报告中，每个质量维度的评分都伴随着高度可靠的置信支撑，消除了因单一样本巧合或刻意挑选而造成的极端误判。在几乎不增加数据提供方负担和隐私泄露风险的前提下，提升了预评估结果的全面性、客观性和可信度。

28、另一方面，本技术还提供了一种数据资产预评估的质量快速校验与动态补充系统，用于应用上述数据资产预评估的质量快速校验与动态补充方法，包括：

29、登记信息接收模块，被配置为获取数据资产登记包，解析生成样本数据对象和元数据对象；

30、初始质量校验模块，被配置为对所述样本数据对象和元数据对象进行全质量维度校验，生成初始质量简档；

31、缺失维度识别模块，被配置为基于最低可靠性阈值对所述初始质量简档进行筛查，根据筛查的结果生成缺失维度清单；

32、迭代评估控制模块，被配置为根据所述缺失维度清单判断是否输出预评估报告；

33、补充策略与请求生成模块，被配置为当判定不输出预评估报告时，根据所述缺失维度清单，从维度-补数策略映射表中匹配补充请求模板，并进行去重归并，生成补充指令包；并将所述补充指令包发送至数据提供方；

34、补充数据接收与融合模块，被配置为接收数据提供方返回的补充数据报文，对所述补充数据报文进行合规性校验，将通过所述合规性校验的所述补充数据报文与所述样本数据对象和元数据对象进行信息融合更新，生成评估数据集；

35、所述迭代评估控制模块，还被配置为基于所述评估数据集重复执行全质量维度校验、筛查及判断，直至输出所述预评估报告。

36、可以理解的是，上述数据资产预评估的质量快速校验与动态补充方法及系统具备相同的有益效果，在此不再赘述。