业务元数据约束规则漂移修正方法及装置与流程
本技术涉及数据治理,具体而言,涉及一种业务元数据约束规则漂移修正方法及装置。
背景技术:
1、在金融、制造及电商等数据密集型行业的实际运营中,业务规则随政策调整、产品迭代或市场环境变化而频繁演进,导致预定义的元数据约束规则(如字段类型、值域范围、枚举列表等)与实际产生的数据分布逐渐偏离,这种现象被称为“业务元数据约束规则漂移”。针对这类漂移问题,现有技术方案主要采取以下几种修正策略:
2、一、人工定期巡检与手动更新,即数据治理专家通过抽样分析或日志审查,发现规则失效后手动修改元数据库。但由于这种方法响应滞后,从发现漂移到完成修复的平均周期较长,在此期间产生的数据质量误报率较高,严重影响业务决策的准确性。
3、二、基于固定阈值的动态调整,例如当某字段数值超出预设安全范围一定比例时,自动扩大该范围的边界。但由于这种方法缺乏自适应能力,无法区分正常的业务波动与真正的规则漂移,极易产生误报或漏报;同时,阈值设定依赖专家经验,难以量化规则当前的有效性。
4、三、单点规则优化,即针对检测到的单一异常元数据约束规则进行孤立修正,而不考虑其他关联元数据约束规则或全局数据分布。但由于这种方法割裂了元数据约束规则与业务数据分布的全局关联,导致修正后的元数据约束规则可能与其他元数据约束规则冲突,因此其无法从根本上解决系统性漂移问题。
5、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本技术实施例提供了一种业务元数据约束规则漂移修正方法及装置,以至少解决相关方法在修正业务元数据约束规则存在响应滞后、误报率高且缺乏全局协同的技术问题。
2、根据本技术实施例的一个方面,提供了一种业务元数据约束规则漂移修正方法,包括:获取目标业务在预设时间段内的多条业务数据,以及每条业务数据内多个业务字段的元数据约束规则;依据元数据约束规则和多条业务数据确定各个业务字段的真实数据分布特征向量和基准数据分布特征向量,并依据真实数据分布特征向量和基准数据分布特征向量确定每个业务字段的元数据约束规则对应的约束置信度;在目标业务字段的目标元数据约束规则的约束置信度低于预设阈值的情况下,依据目标业务字段的真实数据分布特征向量对目标业务字段的目标元数据约束规则进行修正。
3、根据本技术实施例的另一方面,还提供了一种业务元数据约束规则漂移修正装置,包括:获取模块,用于获取目标业务在预设时间段内的多条业务数据,以及每条业务数据内多个业务字段的元数据约束规则;确定模块,用于依据元数据约束规则和多条业务数据确定各个业务字段的真实数据分布特征向量和基准数据分布特征向量,并依据真实数据分布特征向量和基准数据分布特征向量确定每个业务字段的元数据约束规则对应的约束置信度;修正模块,用于在目标业务字段的目标元数据约束规则的约束置信度低于预设阈值的情况下,依据目标业务字段的真实数据分布特征向量对目标业务字段的目标元数据约束规则进行修正。
4、在一个示例性实施例中,元数据约束规则至少包括:值域;上述装置还用于依据元数据约束规则和多条业务数据,通过如下方法确定各个业务字段的真实数据分布特征向量和基准数据分布特征向量,包括:对于每个业务字段,将当前业务字段的值域划分为多个离散区间;统计包含当前业务字段的多条目标业务数据落在每个离散区间内的数据量,并结合多条目标业务数据的总数据量确定每个离散区间的真实数据出现概率,汇总多个离散区间的真实数据出现概率,得到当前业务字段的真实数据分布特征向量;依据当前业务字段的值域和当前业务字段的元数据约束规则对应的预设理论分布类型确定各个离散区间的理论数据出现概率,汇总多个离散区间的理论数据出现概率,得到当前业务字段的基准数据分布特征向量。
5、在一个示例性实施例中,上述装置还用于通过如下方法将当前业务字段的值域划分为多个离散区间,包括:对当前业务字段的值域内的各个数值按照从小到大的顺序进行排序,确定排序结果内处于第25%位置的第一数值和处于第75%位置的第二数值;确定第二数值和第一数值的差值,并结合包含当前业务字段的多条目标业务数据的总条数确定划分区间宽度;按照划分区间宽度对当前业务字段的值域进行划分,得到多个离散区间。
6、在一个示例性实施例中,上述装置还用于依据真实数据分布特征向量和基准数据分布特征向量,通过如下方法确定每个业务字段的元数据约束规则对应的约束置信度,包括:对于每个业务字段,确定当前业务字段的真实数据分布特征向量和基准分布特征之间的分布差异度,并依据分布差异度、预设的差异度下降控制因子和预设的可调漂移阈值,确定当前业务字段的元数据约束规则对应的约束置信度。
7、在一个示例性实施例中,上述装置还用于依据目标业务字段的真实数据分布特征向量,通过如下方法对目标业务字段的目标元数据约束规则进行修正,包括:在预设的数据血缘图内确定包含目标业务字段对应的目标图节点以及目标图节点的多阶邻居节点的目标子图,其中,数据血缘图内的多个图节点的类型包括以下至少之一:业务、业务字段、元数据约束规则、业务数据表,数据血缘图内的多条有向边的类型包括以下至少之一:数据流向边、约束依赖边、数据影响边;对目标业务字段的真实数据分布特征向量和目标子图分别进行编码,并对所得的两个编码结果进行融合,得到联合表征向量;对联合表征向量进行解码,得到新元数据约束规则。
8、在一个示例性实施例中,上述装置还用于通过如下方法对目标业务字段的真实数据分布特征向量和目标子图分别进行编码,并对所得的两个编码结果进行融合,得到联合表征向量,包括:基于多层感知机处理目标业务字段的真实数据分布特征向量,得到第一表征向量;基于图神经网络处理目标子图,得到第二表征向量;将第一表征向量和第二表征向量映射至同一向量空间内,并基于注意力融合网络处理映射后的第一表征向量和映射后的第二表征向量,得到对应的注意力权重,并利用注意力权重对映射后的第一表征向量和映射后的第二表征向量进行加权融合,得到联合表征向量。
9、在一个示例性实施例中,上述装置还用于通过如下方法对联合表征向量进行解码,得到新元数据约束规则,包括:将联合表征向量映射至目标业务字段对应的元数据约束空间内,得到新元数据约束规则,其中,新元数据约束规则包括以下至少之一:值域上下限、空值率、枚举值概率分布向量。
10、根据本技术实施例的另一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机可读的存储介质为被处理器执行时执行上述任一项方法实施例中的步骤。
11、根据本技术实施例的另一方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述任一项方法实施例中的步骤。
12、根据本技术实施例的另一方面,还提供了一种电子设备,包括:存储器和处理器,上述存储器中存储有计算机程序,上述处理器被配置为通过计算机程序执行上述任一项方法实施例中的步骤。
13、在本技术实施例中,基于目标业务在预设时间段内的多条业务数据以及每条业务数据内多个业务字段分别对应的元数据约束规则,确定各个业务字段的真实数据分布特征向量和基准数据分布特征向量,以此来计算业务字段对应的元数据约束规则的约束置信度,在某个业务字段的元数据约束规则的约束置信度低于预设阈值时,依据真实分布对规则进行修正的技术手段,实现了漂移检测响应时间从小时级降至分钟级、大大降低了数据质量误报率和规则维护人力成本的技术效果,达到了解决业务规则漂移导致的元数据过时与质量误判的目的,进而解决了相关方法在修正业务元数据约束规则存在响应滞后、误报率高且缺乏全局协同的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com