一种企业级数据资产质量评估与优化方法与流程

本技术属于数据资产管理，具体涉及一种企业级数据资产质量评估与优化方法。

背景技术：

1、随着企业数字化系统的持续建设，业务数据库、数据仓库、湖仓平台、日志系统、数据服务接口以及第三方数据源中的数据不断汇聚至数据中台或数字资产管理平台。数据资产在跨系统流转、加工、共享和复用过程中，其完整性、准确性、一致性、时效性、安全合规性等质量状态会直接影响后续数据分析、业务处理、风险识别以及数据资产运营。

2、现有的数据质量评估方式通常通过元数据采集、数据剖析、规则校验、主数据比对、血缘分析、权限审计等手段，对数据表、字段或数据集进行质量检查，并根据预先设置的质量规则输出质量报告或问题清单。在部分系统中，还会通过专家打分、层次分析法或固定权重模板，对不同质量指标赋予权重，从而形成表级或数据集级的数据质量评分。

3、但是，在企业级数据资产场景中，数据对象往往具有字段、表、数据集、资产目录等多级层次，并且同一数据质量问题可能沿数据血缘链路影响多个下游资产。现有评估方式通常更侧重单表、单库或单一数据集的质量检测，异构质量证据之间缺少统一的指标编码、层级对象标识和计算口径，导致字段级质量问题难以稳定传导至资产目录级质量结论。同时，固定权重难以适配不同业务场景、资产重要度、使用频率以及历史问题状态的变化，使同一质量问题在不同资产场景下的影响程度难以被准确表达。

技术实现思路

1、本技术提供了一种企业级数据资产质量评估与优化方法，以解决上述提出的问题。

2、本技术所采用的技术方案为：

3、本技术实施例提供一种企业级数据资产质量评估与优化方法，应用于企业级数据资产质量评估与优化系统，所述企业级数据资产质量评估与优化系统位于数字资产管理平台，并与元数据采集组件、数据剖析组件、业务规则组件、血缘解析组件、安全审计组件及治理任务组件通信连接，所述方法包括：

4、获取目标数据资产对应的指标配置数据、层级对象映射数据和场景状态数据，所述指标配置数据包括指标定义、指标阈值、数据来源映射和质量规则，所述层级对象映射数据用于表征字段、表、数据集和资产目录之间的归属关系及血缘影响关系；

5、根据所述数据来源映射采集所述目标数据资产对应的多源质量证据，并基于所述质量规则对所述多源质量证据进行校验，得到与所述指标定义对应的原始质量指标值，所述多源质量证据包括元数据、数据剖析结果、业务规则校验结果、血缘解析结果和安全审计结果中的至少一种；

6、根据所述指标定义和所述层级对象映射数据，将所述原始质量指标值关联至对应的字段、表、数据集或资产目录层级对象，并按照所述指标阈值对所述原始质量指标值进行标准化换算，得到质量标准分；

7、基于所述指标配置数据和所述场景状态数据，确定当前评估周期内各指标对应的动态权重向量，所述场景状态数据用于表征业务场景、资产重要度、使用频率和历史问题发生率中的至少一种；

8、基于所述质量标准分、所述动态权重向量和所述层级对象映射数据，按照字段、表、数据集至资产目录的层级顺序进行逐级聚合，得到所述目标数据资产对应的资产目录质量得分和质量等级；

9、根据所述资产目录质量得分、所述质量等级以及逐级聚合过程中确定的低分指标和血缘影响范围，生成治理任务，并在所述治理任务完成后触发复测，将复测结果回写为下一评估周期的动态权重计算输入。

10、本技术实施例还提供了一种企业级数据资产质量评估与优化系统，包括：

11、配置获取单元，用于获取目标数据资产对应的指标配置数据、层级对象映射数据和场景状态数据，所述指标配置数据包括指标定义、指标阈值、数据来源映射和质量规则，所述层级对象映射数据用于表征字段、表、数据集和资产目录之间的归属关系及血缘影响关系；

12、证据处理单元，用于根据所述数据来源映射采集所述目标数据资产对应的多源质量证据，并基于所述质量规则对所述多源质量证据进行校验，得到与所述指标定义对应的原始质量指标值，所述多源质量证据包括元数据、数据剖析结果、业务规则校验结果、血缘解析结果和安全审计结果中的至少一种；

13、标准化处理单元，用于根据所述指标定义和所述层级对象映射数据，将所述原始质量指标值关联至对应的字段、表、数据集或资产目录层级对象，并按照所述指标阈值对所述原始质量指标值进行标准化换算，得到质量标准分；

14、权重计算单元，用于基于所述指标配置数据和所述场景状态数据，确定当前评估周期内各指标对应的动态权重向量，所述场景状态数据用于表征业务场景、资产重要度、使用频率和历史问题发生率中的至少一种；

15、层级聚合单元，用于基于所述质量标准分、所述动态权重向量和所述层级对象映射数据，按照字段、表、数据集至资产目录的层级顺序进行逐级聚合，得到所述目标数据资产对应的资产目录质量得分和质量等级；

16、治理反馈单元，用于根据所述资产目录质量得分、所述质量等级以及逐级聚合过程中确定的低分指标和血缘影响范围，生成治理任务，并在所述治理任务完成后触发复测，将复测结果回写为下一评估周期的动态权重计算输入。

17、由于采用了上述技术方案，本技术所取得的有益效果为：

18、本技术通过获取目标数据资产对应的指标配置数据、层级对象映射数据和场景状态数据，并根据数据来源映射采集多源质量证据，使元数据、数据剖析结果、业务规则校验结果、血缘解析结果和安全审计结果能够按照统一指标定义进入后续计算流程，从而避免不同来源质量证据因口径不一致而无法统一评估。

19、本技术通过将原始质量指标值关联至字段、表、数据集或资产目录层级对象，并按照指标阈值进行标准化换算，可以将不同量纲、不同取值范围的质量证据转换为统一的质量标准分，使字段级、表级、数据集级和资产目录级对象之间具备可计算、可复算的质量传导基础。

20、本技术通过基于指标配置数据和场景状态数据确定动态权重向量，使业务场景、资产重要度、使用频率和历史问题发生率中的至少一种能够参与权重计算，从而使同一质量指标在不同业务场景和不同资产状态下具有不同的计算影响程度，避免仅采用固定权重导致质量评分与实际风险不匹配。

21、本技术通过基于质量标准分、动态权重向量和层级对象映射数据，按照字段、表、数据集至资产目录的层级顺序进行逐级聚合，可以使字段级缺失、错误、延迟、血缘缺口或权限违规等问题按照对象归属关系和血缘影响关系传导至上层资产目录，从而得到能够反映多级资产对象质量状态的资产目录质量得分和质量等级。

22、本技术通过在多源质量证据采集过程中按照指标编号、适用层级、数据来源和质量规则进行并行取数及规则匹配，可以使不同组件产生的质量证据被映射至相同的指标口径和层级对象，减少多源质量证据之间的错配。

23、本技术通过对数据源不可用、指标分母为零或指标计算所需字段缺失的情况设置不可计算指标、治理阻断指标、数据补录任务或采集修复任务，可以避免异常指标被直接记为零分或被错误参与聚合计算，从而提高质量评估过程的稳定性和可解释性。

24、本技术通过字段级质量得分、表级质量得分、数据集级质量得分和资产目录质量得分的逐级聚合，并结合字段重要度、表重要度、数据集重要度和资产价值系数，可以使不同层级对象在资产质量评分中的贡献程度与其实际影响范围相匹配。

25、本技术通过根据低分指标、异常记录、证据样本和血缘影响范围生成治理任务，并在治理任务完成后触发复测，将复测结果回写为下一评估周期的动态权重计算输入，可以形成质量评估、治理处理、复测验证和权重反馈的闭环，使后续评估能够利用历史治理效果和问题复发状态进行动态修正。