多源数据归并异常的检测方法与流程
本发明涉及数量质量检测,具体地涉及一种多源数据归并异常的检测方法。
背景技术:
1、随着企业信息化建设的不断深入,各类业务数据广泛分布于多个异构数据源中。在实际业务场景中,同一实体对象在不同系统中往往以不同的标识字段进行记录,但各数据源的数据质量参差不齐、更新频率不一、标识录入存在误差、字段格式缺乏统一标准。为了支撑跨系统的业务协同与数据分析,企业通常需要将来自多源的数据进行关联、匹配与归并,最终形成统一、可行的主数据供下游业务使用。
2、现有技术中,针对多源异构数据的融合与管理,常见的方法主要包括基于关键字或字段的简单匹配与对齐,或依赖人工设定的映射规则库进行实体和关系映射。这类方法在面对数据源数量有限、数据质量较高且标识字段规整的场景时能够在一定程度上实现数据整合目标。但是,随着数据源种类不断增多、数据结构日趋复杂以及数据更新日益频繁,上述传统方法具有诸多局限性。
3、例如,当多个数据源同时参与归并时,不同来源之间的标识映射关系可能形成多层间接关联,仅凭简单的字段比对无法准确判断多条记录是否真正指向同一实体,也无法识别归并过程中是否存在因标识解析异常或关联规则不严谨而导致的错误归并。特别是当数据归并结果出现异常时,由于缺乏可追溯的关联路径信息,治理人员无法快速回溯该实体在归并过程中经过了哪些映射节点、涉及了哪些数据源、受到哪些关联规则的影响,导致异常修复效率低下,错误数据容易在业务系统中扩散,进而影响下游数据分析、业务决策的准确性。
技术实现思路
1、本发明的目的之一在于提供一种多源数据归并异常的检测方法,以解决现有技术中在多源数据归并过程中,当归并结果出现异常时,无法快速定位异常来源,导致错误数据持续扩散的技术问题。
2、为了实现上述发明目的之一,本发明提供一种多源数据归并异常的检测方法,包括:获取来自至少两个不同数据源的数据集合,提取各所述数据集合中指向同一目标主体的数据元素;判断提取的所述数据元素在不同数据集合之间的归并关系是否满足预设的检测规则,以确定所述归并关系是否存在归并异常;若所述归并关系存在归并异常,则获取与所述归并异常对应的至少两个端点元素,所述端点元素为参与所述归并异常的数据元素,根据所述端点元素在不同数据集合之间的关联路径,确定所述关联路径上的至少一个中间关联节点,分别计算所述端点元素与所述至少一个中间关联节点的关联偏离度;基于所述关联偏离度,从各所述中间关联节点中确定导致所述归并关系异常的目标异常位置。
3、在一个示例性实施例中,所述分别计算所述端点元素与所述至少一个中间关联节点的关联偏离度,包括:获取所述端点元素与所述中间关联节点之间的交叠因子和路径深度;其中,所述交叠因子表征所述端点元素与所述中间关联节点之间的重叠程度,所述路径深度表征所述关联路径的长度;根据所述交叠因子和所述路径深度确定所述关联偏离度,其中,所述关联偏离度与所述交叠因子呈负相关,与所述路径深度呈正相关。
4、在一个示例性实施例中,所述端点元素包括第一端点元素和第二端点元素,所述中间关联节点位于所述第一端点元素与所述第二端点元素之间的关联路径上;所述基于所述关联偏离度,从各所述中间关联节点中确定导致所述归并关系异常的目标异常位置,包括:分别计算所述第一端点元素与所述中间关联节点,以及所述第二端点元素与所述中间关联节点的关联偏离度,确定对应的第一关联偏离度和第二关联偏离度;比较所述第一关联偏离度和所述第二关联偏离度的大小;根据比较结果,将关联偏离度较大的一方所对应的端点元素与所述中间关联节点之间的关联关系,确定为导致所述归并关系异常的目标异常位置。
5、在一个示例性实施例中,在所述确定为导致所述归并关系异常的目标异常位置之后,所述方法还包括:根据所述比较结果,将关联偏离度较大的端点元素作为异常端点元素,并将所述异常端点元素在其对应数据源中与所述中间关联节点建立关联的原始字段,确定为导致所述归并关系异常的异常字段。
6、在一个示例性实施例中,在所述根据所述端点元素在不同数据集合之间的关联路径,确定所述关联路径上的至少一个中间关联节点之前,所述方法还包括:以所述端点元素为起点,基于各数据集合之间的归并关系反向逐级回溯,构建所述端点元素与各中间关联节点的点集合,并构建各节点之间的边集合;根据所述点集合和所述边集合,生成所述端点元素之间的关联路径。
7、在一个示例性实施例中,所述判断不同数据集合之间的归并关系是否满足预设的检测规则,包括:根据所述目标主体的统一标识,将所述不同数据集合中指向同一目标主体的数据元素进行归并,生成统一主体集合;获取所述统一主体集合所包含的各数据元素分别对应的数据源以及可信等级;基于所述数据源以及可信等级确定所述归并关系是否满足所述预设的检测规则;其中,所述预设的检测规则包括互斥规则、覆盖度规则和归并规则中的至少一种,所述互斥规则用于判定所述归并关系是否存在高可信数据源之间的冲突,所述覆盖度规则用于判定所述归并关系是否存在低可信数据导致的覆盖度异常,所述归并规则用于判定所述归并关系是否属于合法归并。
8、在一个示例性实施例中,所述预设的检测规则包括互斥规则;所述基于所述数据源以及可信等级确定所述归并关系是否满足所述预设的检测规则,包括:统计所述统一主体集合中,可信等级为高可信等级的数据源数量;当所述数据源数量大于等于第一预设阈值时,判定所述归并关系存在互斥异常。
9、在一个示例性实施例中,所述预设的检测规则包括覆盖度规则;所述基于所述数据源以及可信等级确定所述归并关系是否满足所述预设的检测规则,包括:获取所述统一主体集合所关联的各数据源之间的交叠特征,所述交叠特征包括交叉率、独立占比、重叠强度和对应的时序覆盖偏差中的至少一种;将所述交叠特征与所述交叠特征对应的预设阈值进行比较;当所述交叉率、所述独立占比、所述重叠强度和所述时序覆盖偏差中的至少一项满足对应的异常触发条件时,判定所述归并关系存在覆盖度异常。
10、在一个示例性实施例中,所述统一主体集合所关联的数据集合包括第一数据集合和第二数据集合;所述交叉率为:所述第一数据源与所述第二数据源中共同存在的数据元素数量,与所述第一数据源和所述第二数据源中所有不重复数据元素总数量的比值;所述独立占比包括第一独立占比和第二独立占比,所述第一独立占比为:所述第一数据源与所述第二数据源中共同存在的数据元素数量,与所述第一数据源中数据元素总数量的比值,所述第一独立占比用于表示所述第一数据源被所述第二数据源覆盖的比例;所述第二独立占比为:所述第一数据源与所述第二数据源中共同存在的数据元素数量,与所述第二数据源中数据元素总数量的比值,所述第二独立占比用于表示所述第二数据源被所述第一数据源覆盖的比例;所述重叠强度为:所述交叉率与可信系数的乘积,其中,所述可信系数基于所述统一主体集合所关联的数据源的可信等级确定;所述时序覆盖偏差包括所述交叉率对应的时序覆盖偏差,所述独立占比对应的时序覆盖偏差和所述重叠强度对应的时序覆盖偏差,各时序覆盖偏差均以对应的历史平均值为基准,确定当前值相对于所述历史平均值的波动程度。
11、在一个示例性实施例中,所述预设的检测规则包括归并规则;所述基于所述数据源以及可信等级确定所述归并关系是否满足所述预设的检测规则,包括:获取预设的合法归并白名单,所述合法归并白名单包含允许归并的数据源组合信息;获取所述统一主体集合所对应的数据源组合信息;当所述数据源组合信息与所述合法归并白名单中的允许组合不匹配时,则判定所述归并关系存在合法归并异常。
12、与现有技术相比,本发明实施例具有如下至少一种有益效果:
13、本发明采用多源数据归并异常的检测方法,通过预设的检测规则对归并关系进行自动化校验,能够在海量数据中快速筛选出存在归并异常的记录,无需人工逐条核查,降低人力成本。同时,当异常被检出后,进一步获取参与异常归并的端点元素,并沿其在各数据集合之间的关联路径进行回溯,通过计算端点元素与路径上中间关联节点之间的关联偏离度,量化各节点在异常归并中的影响程度,最终基于偏离度的比较结果锁定导致异常的目标异常位置,实现了从“异常发现”到“根因定位”的完整链路,使得数据管理人员能够直接获得明确的异常来源位置和路径信息,缩短问题定位周期。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com