数据质量评估方法、装置、电子设备和存储介质与流程

本公开实施例涉及计算机，尤其涉及数据质量评估方法、装置、电子设备、存储介质。

背景技术：

1、在多层级数据质量评估场景中，评估过程通常输出涵盖多级指标及其评估值的结果，以支撑对数据短板的识别与后续优化决策。相关技术中，为实现对评估指标的处理，通常采用基于固定阈值的规则筛选方式判断指标是否达标，或利用语义评估模型对候选指标进行排序筛选，以生成待优化的指标推荐序列。

2、然而，现有规则筛选方法多依赖固定阈值或单一维度加权，难以综合反映指标重要性与缺陷程度的关联关系，亦难以适配动态变化的指标权重体系，导致候选集构建片面，增加了下游优化处理中的冗余计算开销；而纯语义模型排序存在输出结果波动大、服务异常时缺乏失效兜底的问题，在模型调用失败或返回异常时易造成评估流程中断及计算资源的浪费，影响了数据质量评估的可靠性与处理效率。

技术实现思路

1、本公开实施例提供一种数据质量评估方法、装置、电子设备、计算机可读存储介质，以至少部分地解决相关技术中存在的上述问题。

2、根据本公开的其中一方面，提供一种数据质量评估方法，包括：获取数据集的质量评估信息，质量评估信息包含上级指标及隶属于上级指标的下级指标的评估值；基于各下级指标对应的重要程度指示值和缺陷程度指示值，对各下级指标进行优先程度计算，得到各下级指标对应的优先程度值；根据优先程度值对下级指标进行筛选，得到候选指标集合；调用语义评估模型对候选指标集合进行优先级复核，得到并输出排序结果。

3、根据本公开的其中一方面，提供一种数据质量评估装置，包括：获取模块，用于获取数据集的质量评估信息，质量评估信息包含上级指标及隶属于上级指标的下级指标的评估值；计算模块，用于基于各下级指标对应的重要程度指示值和缺陷程度指示值，对各下级指标进行优先程度计算，得到各下级指标对应的优先程度值；筛选模块，用于根据优先程度值对下级指标进行筛选，得到候选指标集合；输出模块，用于调用语义评估模型对候选指标集合进行优先级复核，得到并输出排序结果。

4、根据本公开的其中一方面，提供一种电子设备，包括处理器和存储器，存储器中存储有计算机程序，处理器执行计算机程序时实现以上任一方法。

5、根据本公开的其中一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上任一方法。

6、本公开其中一实施例提供一种数据质量评估方法，包括：获取数据集的质量评估信息，质量评估信息包含上级指标及隶属于上级指标的下级指标的评估值；基于各下级指标对应的重要程度指示值和缺陷程度指示值，对各下级指标进行优先程度计算，得到各下级指标对应的优先程度值；根据优先程度值对下级指标进行筛选，得到候选指标集合；调用语义评估模型对候选指标集合进行优先级复核，得到并输出排序结果。这样，结合指标重要性与缺陷程度的量化排序，并通过语义评估模型进行优先级复核，兼顾了可解释性与语义适应性，有助于提升数据质量短板识别的准确性，并提高了系统的鲁棒性；同时，通过规则筛选与语义评估的结合处理，有助于降低因排序失效或冗余评估导致的计算资源消耗。

1.一种数据质量评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于各下级指标对应的重要程度指示值和缺陷程度指示值对各下级指标进行优先程度计算，包括：

3.根据权利要求2所述的方法，其特征在于，所述从配置的权重信息中确定对应的目标权重集，包括：

4.根据权利要求2所述的方法，其特征在于，所述对所述重要程度指示值和所述缺陷程度指示值进行融合处理，包括：

5.根据权利要求2所述的方法，其特征在于，所述对所述重要程度指示值和所述缺陷程度指示值进行融合处理，包括：

6.根据权利要求1所述的方法，其特征在于，所述调用语义评估模型对所述候选指标集合进行优先级复核，包括：

7.根据权利要求6所述的方法，其特征在于，在得到所述语义评估模型输出的复核结果之后，还包括：

8.根据权利要求7所述的方法，其特征在于，所述对所述复核结果进行格式解析，包括：

9.根据权利要求1至8任一项所述的方法，其特征在于，所述获取数据集的质量评估信息之后，还包括：

10.根据权利要求7所述的方法，其特征在于，在得到所述语义评估模型输出的复核结果之后，且输出所述排序结果之前，还包括：