一种大数据资产的质量评分方法、装置、设备及存储介质与流程
本发明涉及大数据资产质量评估,尤其涉及一种大数据资产的质量评分方法、装置、设备及存储介质。
背景技术:
1、大数据资产治理是企业数据管理领域的核心课题,数据质量评分是衡量数据资产可用性的核心指标,直接影响治理策略的有效性。现有技术主要沿两条路径实现:一是依赖预定义的质量规则和固定权重,由管理员预先设定各维度权重,按规则检测后加权求和;二是基于历史数据统计特征构建固定权重矩阵,在后续评分中保持权重不变,对所有数据资产采用统一配置。两类方案均通过完整性、准确性、一致性、时效性、唯一性等五个检测维度的量化评估,经加权计算得出综合评分。
2、然而,上述方案存在显著局限。首先,权重参数部署后即被固定,当数据源业务逻辑变更或数据分布发生漂移时,静态权重无法反映各维度在新场景下的实际重要程度,导致评分准确率下降。其次,大规模数据资产场景下,数据源众多、特征各异,依赖专业人员持续监控并手动更新权重,效率低下、成本极高,且难以保证调整的及时性和准确性。
3、更为关键的是,现有评分结果仅作为独立评估输出,未形成反向驱动评分模型优化的反馈闭环,治理效果无法作为信号提升评分准确性,导致评而不治、治而不优。因此,亟需一种能够动态适配数据分布变化、自动优化权重配置的数据质量评分方案。
技术实现思路
1、本发明提供了一种大数据资产的质量评分方法、装置、设备及存储介质,以实现评分权重的动态自适应调整,使权重参数始终与当前数据分布保持匹配,无需专业人员持续监控和手动调整,降低大规模数据资产治理的运维成本。
2、根据本发明的一方面,提供了一种大数据资产的质量评分方法。该方法包括:
3、获取待进行质量评分的原始数据,并根据所述原始数据构建数据画像,其中,所述数据画像包括分布特征向量和独立业务属性,所述分布特征向量包括数据量级特征、数据类型分布特征、更新频率特征和schema结构特征共同构成的特征向量,所述独立业务属性包括数据血缘信息、数据敏感等级信息和数据使用热度信息;
4、采用欧几里得距离作为相似度度量,分别计算距离所述分布特征向量与基准库中各样本向量之间的欧几里得距离,并根据所述分布特征向量与基准库中最接近样本的欧几里得距离,确定是否存在数据漂移;
5、在确定存在数据漂移的情况下,采用带遗忘因子的梯度下降算法对所述原始数据五个检测维度的权重进行增量式更新,获得各检测维度对应的更新权重;
6、基于所述检测维度的原始评分值和各检测维度的更新权重进行加权计算,确定所述原始数据的综合质量评分。
7、根据本发明的另一方面,提供了一种大数据资产的质量评分装置。该装置包括:
8、原始数据获取模块,用于获取待进行质量评分的原始数据,并根据所述原始数据构建数据画像,其中,所述数据画像包括分布特征向量和独立业务属性,所述分布特征向量包括数据量级特征、数据类型分布特征、更新频率特征和schema结构特征共同构成的特征向量,所述独立业务属性包括数据血缘信息、数据敏感等级信息和数据使用热度信息;
9、数据漂移检测模块,用于采用欧几里得距离作为相似度度量,分别计算距离所述分布特征向量与基准库中各样本向量之间的欧几里得距离,并根据所述分布特征向量与基准库中最接近样本的欧几里得距离,确定是否存在数据漂移;
10、检测权重更新模块,用于在确定存在数据漂移的情况下,采用带遗忘因子的梯度下降算法对所述原始数据五个检测维度的权重进行增量式更新,获得各检测维度对应的更新权重;
11、综合质量评分模块,用于基于所述检测维度的原始评分值和各检测维度的更新权重进行加权计算,确定所述原始数据的综合质量评分。
12、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
13、至少一个处理器;以及
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的大数据资产的质量评分方法。
16、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的大数据资产的质量评分方法。
17、本发明实施例的技术方案,通过获取待进行质量评分的原始数据,并根据所述原始数据构建数据画像。采用欧几里得距离作为相似度度量,分别计算距离所述分布特征向量与基准库中各样本向量之间的欧几里得距离,并根据所述分布特征向量与基准库中最接近样本的欧几里得距离,确定是否存在数据漂移,使评分权重能够根据数据分布的实时变化自动调整。在确定存在数据漂移的情况下,采用带遗忘因子的梯度下降算法对所述原始数据五个检测维度的权重进行增量式更新,获得各检测维度对应的更新权重,使权重参数始终与当前数据分布保持匹配,相比静态权重方案在数据动态变化场景下评分准确率显著提升。基于所述检测维度的原始评分值和各检测维度的更新权重进行加权计算,确定所述原始数据的综合质量评分,能够自主完成评分模型的持续优化,无需专业人员持续监控和手动调整,降低大规模数据资产治理的运维成本。
18、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种大数据资产的质量评分方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述分布特征向量与基准库中最接近样本的欧几里得距离,确定是否存在数据漂移,包括:
3.根据权利要求1所述的方法,其特征在于,所述采用带遗忘因子的梯度下降算法对所述原始数据五个检测维度的权重进行增量式更新,获得各检测维度对应的更新权重,包括:
4.根据权利要求3所述的方法,其特征在于,所述损失函数,如下所示:
5.根据权利要求3所述的方法,其特征在于,所述基于权重更新公式和均方误差,对该权重沿梯度下降方向进行微调,获得各检测维度对应的更新权重,包括:
6.根据权利要求3所述的方法,其特征在于,所述权重更新公式,如下所示:
7.根据权利要求1所述的方法,其特征在于,在确定所述原始数据的综合质量评分之后,还包括:
8.一种大数据资产的质量评分装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的大数据资产的质量评分方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com