基于知识图谱的自适应标准化数据质量管理更新系统的制作方法
本发明涉及计算机数据处理,尤其涉及基于知识图谱的自适应标准化数据质量管理更新系统。
背景技术:
1、数据质量管理是确保信息系统中的数据准确、一致、完整和及时的关键过程,是大数据、人工智能等技术领域有效应用的基础,通过一系列技术手段,对数据从采集、存储、处理到应用的整个生命周期进行监控、评估与修复,并且基于知识图谱的数据管理技术,通过将数据组织成具有丰富语义关系的图状网络,为理解和利用数据提供了新的视角,广泛应用于数据集成、智能问答等场景;
2、现有技术中,高度依赖静态规则使得系统缺乏灵活性和适应性,当数据源的特性或业务需求发生变化时,需要人工进行大量的规则维护工作,更新周期长且容易出错,数据对齐过程与质量检测过程通常是分离的、单向的,检测出的质量问题无法有效地反馈以优化知识图谱的结构或对齐策略,导致错误可能在系统中长期存在甚至被放大,形成了信息孤岛与更新滞后的效应。
技术实现思路
1、本发明实施例提供基于知识图谱的自适应标准化数据质量管理更新系统,用以保证数据高精度和适应性。
2、为达到上述目的,本发明采用如下技术方案:
3、第一方面,提供基于知识图谱的自适应标准化数据质量管理更新系统,该系统包括:
4、初始图谱构建模块:用于获取多源异构数据并基于领域本体进行语义对齐,构建初始知识图谱;
5、双曲空间映射模块:用于将所述初始知识图谱的节点通过曲率分配器映射至双曲几何空间,以生成具有语义层次结构的双曲语义镜像空间;
6、双重阈值生成模块:用于计算所述双曲语义镜像空间中节点的位置变化以得到局部曲率变化率,并结合从所述初始知识图谱核心数据中提取的固定统计基准,生成稳定锚点阈值与自适应弹性阈值;
7、动态参数调整模块:用于通过矛盾协调器联动所述稳定锚点阈值与所述自适应弹性阈值,并接收后续的清洗结果反馈信号,以调整所述曲率分配器的分配参数,输出动态调整后的双曲语义镜像空间
8、进一步的,所述系统还包括嵌入优化模块,用于:
9、获取所述双曲语义镜像空间中每个节点的邻居节点集合,并利用双向信息流机制沿中心到边缘的正向流和边缘到中心的反向流同时传递节点特征,以更新每个节点的嵌入位置,输出具有强化聚簇与边界分布的优化后的双曲语义镜像空间。
10、进一步的,所述动态参数调整模块中的矛盾协调器具体用于:
11、接收所述清洗结果反馈信号并判断其为假阳性反馈或假阴性反馈;
12、若为假阳性反馈,则下调与异常节点关联的曲率分配参数并将该节点向所述双曲语义镜像空间的中心区域牵引;
13、若为假阴性反馈,则上调与正常节点关联的曲率分配参数并将该节点向所述双曲语义镜像空间的边缘区域推离。
14、进一步的,所述系统还包括清洗策略生成模块,用于:
15、获取被标记为异常节点的轨迹历史;
16、对所述轨迹历史进行时序因果分析,以识别导致该节点异常的根因类型;
17、根据所述根因类型从标准化策略库中匹配并组合生成适配的清洗策略,并计算该清洗策略的执行优先级,输出携带执行优先级的清洗策略。
18、进一步的,所述系统还包括自进化模块,用于:
19、执行所述清洗策略并收集清洗结果反馈信号;
20、将所述清洗结果反馈信号输入至内部对抗式自进化机制,通过第一裁判员生成模拟错误数据和第二裁判员评估清洗结果的博弈过程,迭代优化所述曲率分配器的曲率分布参数与所述矛盾协调器的联动系数,输出进化后的双曲语义镜像空间与检测参数。
21、进一步的,所述自进化模块具体用于:
22、获取所述第一裁判员生成的模拟错误数据并注入所述进化后的双曲语义镜像空间;
23、触发所述稳定锚点阈值与所述自适应弹性阈值的重新计算,并比对检测结果与所述模拟错误数据的真实标签以生成偏差信号;
24、利用所述偏差信号调整所述第一裁判员的生成策略与所述第二裁判员的评估权重,直至所述偏差信号收敛。
25、进一步的,所述系统还包括阈值修正模块,用于:
26、获取所述双曲语义镜像空间中所有节点的局部密度与离群程度;
27、将所述局部密度与所述离群程度输入至所述矛盾协调器,以动态修正所述稳定锚点阈值与所述自适应弹性阈值之间的比例系数κ。
28、进一步的,所述清洗策略生成模块具体用于:
29、判断所述根因类型是否为语义对齐错误;
30、若是,则从所述标准化策略库中调取术语映射规则与同义词合并规则,并基于所述双曲语义镜像空间中的语义相似度计算生成推荐引用文献;
31、若否,则从所述标准化策略库中调取数据替换规则与格式转换规则。
32、进一步的,所述系统还包括分区检测模块,用于:
33、获取用于划分所述双曲语义镜像空间区域的曲率阈值,以界定中心区域与边缘区域;
34、对所述中心区域的节点集合应用所述固定统计基准进行异常检测,同时对所述边缘区域的节点集合应用所述自适应弹性阈值进行异常检测;
35、将两个检测结果通过所述矛盾协调器融合,并根据融合结果中的异常分布更新所述曲率阈值。
36、第二方面,基于知识图谱的自适应标准化数据质量管理更新方法,包括:
37、获取多源异构数据并基于领域本体进行语义对齐,构建初始知识图谱;
38、将所述初始知识图谱的节点通过曲率分配器映射至双曲几何空间,以生成具有语义层次结构的双曲语义镜像空间;
39、计算所述双曲语义镜像空间中节点的位置变化以得到局部曲率变化率,并结合从所述初始知识图谱核心数据中提取的固定统计基准,生成稳定锚点阈值与自适应弹性阈值;
40、通过矛盾协调器联动所述稳定锚点阈值与所述自适应弹性阈值,并接收后续的清洗结果反馈信号,以调整所述曲率分配器的分配参数,输出动态调整后的双曲语义镜像空间。
41、第三方面,提供了一种电子设备,包括:处理器和存储器;该存储器用于存储计算机程序,当该处理器执行该计算机程序时,以使该电子设备执行第一方面所述的基于知识图谱的自适应标准化数据质量管理更新系统。
42、在一种可能的设计方案中,第三方面所述的电子设备还可以包括收发器。该收发器可以为收发电路或接口电路。该收发器可以用于第三方面所述的电子设备与其他电子设备通信。
43、在本发明实施例中,第三方面所述的电子设备可以为终端,或者可设置于该终端中的芯片(系统)或其他部件或组件,或者包含该终端的系统。
44、第四方面,提供一种计算机可读存储介质,包括:计算机程序或指令;当该计算机程序或指令在计算机上运行时,使得该计算机执行第一方面所述的基于知识图谱的自适应标准化数据质量管理更新系统。
45、综上,上述方法及系统具有如下技术效果:
46、本发明通过将知识图谱映射至双曲几何空间,利用其独特的几何特性来分离稳定核心数据与动态异常数据,并结合稳定锚点阈值与自适应弹性阈值的联动机制,解决传统方法在检测精度与环境适应性之间的固有矛盾,并且根据轨迹历史的根因诊断方法,能够回溯异常数据在语义空间中的演化路径,从而精准识别导致错误并进行诊断,系统在进行运行时能够从策略库中生成具有高度针对性的清洗策略并赋予执行优先级,使数据修复过程从被动的规则匹配转变为主动的、可解释的智能诊断与修复,显著提高了清洗的有效性和效率,通过虚拟的攻击方与评估方的持续博弈,驱动整个数据质量管理模型进行自主学习与迭代优化,闭环式的自我进化能力使系统能够主动发现并弥补自身的检测短板,持续提升对新型或隐藏错误的识别能力,确保系统性能的长期鲁棒性与先进性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com