基于树形拓扑结构与语义融合的多源组织合并方法及系统与流程
本公开涉及多源异构组织匹配合并,具体涉及基于树形拓扑结构与语义融合的多源组织合并方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
2、目前,多源异构组织数据的匹配合并,现有研究包括基于人工规则主导的组织节点匹配方案,其核心特征是基于人工提前配置的规则,人工逐一对不同数据源的部门节点进行比对,判定是否为同一实际部门,部分场景可辅助简单文本匹配工具,但仍需人工最终确认,人工核对所有节点匹配结果,手动调整组织树的层级关系、父子归属,手动拼接形成合并后的组织树,拼接完成后还需人工逐节点校验,确保无层级错乱、归属冲突。
3、但是,上述目前企业解决多源组织架构对齐问题的主流方式仍然存在以下局限性:
4、(1)全流程人工操作,面对海量组织节点(如上千个部门、多套数据源),需投入大量人力与时间,匹配合并周期长,无法快速响应企业组织架构更新需求;
5、(2)需长期配备专职人员维护规则、梳理对应关系,新增部门、新增业务系统时,需手动迭代规则,且易出现规则遗漏、冲突,后续维护成本持续增加;
6、(3)节点匹配完全依赖人工判断,易因人工疏忽、经验不足出现误判,且无法自动识别未纳入规则的部门简称、别称,导致漏配;
7、(4)匹配后需人工手动调整层级、拼接树结构,易出现层级错乱、父子归属冲突,合并结果无法直接落地使用,需二次人工校验调整;
8、(5)人工规则仅适配特定场景,新增组织架构、新增数据源时,需重新手动配置所有规则,无法自适应多源异构的复杂场景。
技术实现思路
1、本公开为了解决上述问题,提出了基于树形拓扑结构与语义融合的多源组织合并方法及系统,通过结构-语义融合向量化结合层级约束联合匹配机制,自动识别部门简称、别称、文字表述差异,依靠特征向量的语义泛化能力,自动适配多源组织树层级不一致、节点增减、局部拓扑偏移等复杂异构场景,新增组织架构、新增数据源时可自动适配,无需重新配置。
2、根据一些实施例,本公开采用如下技术方案:
3、基于树形拓扑结构与语义融合的多源组织合并方法,包括:
4、获取多源异构组织拓扑数据,并对其进行预处理;
5、基于预处理后的多源异构组织拓扑数据,定义数据节点实体构建双向关联关系数据库,补全根节点到当前节点的完整路径,输出得到标准化树形拓扑结构;
6、提取树形拓扑结构中每个节点的核心特征并拼接为融合特征文本,将融合特征文本进行向量编码并归一化为融合特征向量;
7、基于融合特征向量执行跨数据源全量节点向量相似度比对、拓扑层级约束校验以及双阈值智能分级匹配过程,生成结构化跨源节点匹配映射关系表;
8、根据跨源节点匹配映射关系表,以根节点为唯一遍历起点,采用自顶向下递归拓扑合并算法自顶向下、逐层递归地进行组织拓扑合并,得到跨源组织拓扑结构并输出。
9、作为一种实施例,所述获取多源异构组织拓扑数据,并对其进行预处理,包括:
10、自动获取多源异构组织拓扑数据,数据类型支持excel、json、数据库表、xml多种常见格式;
11、通过预设算法执行预处理过程,具体为识别文件类型、自动定位和识别关键字段、自动跳过无关行、说明行、空白页以及汇总行,自动去除部门名称中的特殊符号、自动处理名称中的简写、缩写和繁体字、自动剔除冗余的修饰词、自动删除乱码、空值和不可见字符串以及自动修正全角半角不统一问题,并按照组织节点全路径进行去重,并进行数据补全和校验。
12、作为一种实施例,所述基于预处理后的多源异构组织拓扑数据,定义数据节点实体构建双向关联关系数据库,补全根节点到当前节点的完整路径,输出得到标准化树形拓扑结构,包括:
13、基于预处理后的多源异构组织拓扑数据,定义统一的组织节点实体;
14、提取各数据源节点的核心信息,包括名称、父节点、属性、是否为根节点以及是否为孤立节点;
15、以根节点为起点,补充每个节点的父子双向关联关系,为每个节点绘制标准化的树形拓扑结构,生成全局唯一标识,补全根节点到当前节点的完整路径。
16、作为一种实施例,所述提取树形拓扑结构中每个节点的核心特征并拼接为融合特征文本,将融合特征文本进行向量编码并归一化为融合特征向量,包括:
17、提取树形拓扑结构中每个节点的三类核心特征,包括拓扑结构特征、业务语义特征以及局部子树特征;
18、使用英文逗号作为单类特征内部多字段的分隔符,对单类的多个核心特征内部多字段进行拼接融合;
19、将拼接融合后的单类核心特征拼接成固定语序的融合特征文本;
20、将融合特征文本输入至孪生语义编码模型进行全局语义编码,同步捕捉文本中隐藏的层级结构语义、路径位置语义、部门业务语义以及子树分支结构语义,全局聚合生成能够表征整条特征文本全局信息的稠密语义向量;
21、将稠密语义向量归一化处理后得到融合特征向量。
22、作为一种实施例,所述基于融合特征向量执行跨数据源全量节点向量相似度比对、拓扑层级约束校验以及双阈值智能分级匹配过程,生成结构化跨源节点匹配映射关系表,包括:
23、完成所有节点融合特征向量生成后,批量计算所有跨源节点向量余弦相似度,获得初始得分;
24、根据双阈值规则完成初次三级预分类;
25、遍历所有预匹配节点对,校验父节点匹配前置条件;
26、对层级不一致节点,执行层级衰减修正,更新最终相似度;
27、二次校正匹配分类结果,剔除拓扑冲突的错误匹配对;
28、生成结构化全局节点匹配映射关系表,记录源节点 id、目标节点 id、最终相似度、匹配等级、层级差以及校验状态。
29、作为一种实施例,所述根据跨源节点匹配映射关系表,以根节点为唯一遍历起点,采用自顶向下递归拓扑合并算法自顶向下、逐层递归地进行组织拓扑合并,得到跨源组织拓扑结构并输出,包括:
30、采用深度优先以及层级优先的递归遍历策略,自动定位双数据源根节点,根据匹配映射表判定为完全匹配后,以此作为合并后统一组织树的唯一根节点;
31、从当前已合并节点出发,自动遍历其所有下级子节点,按层级深度从小到大依次处理;仅当父节点完成合并后,才允许子节点进入合并流程;递归遍历至最底层叶子节点,确保所有节点均被处理,无遗漏、无孤立;
32、根据节点匹配类型执行差异化处理策略,对于映射表中标记为完全匹配的跨源节点对,将两个节点识别为同一业务实体,对这两个节点执行属性融合策略;对于映射表中标记为疑似匹配的节点,不直接合并,而是打上疑似匹配标签;对于判定为无匹配的独立节点,识别为新增业务部门,根据该节点原始全局拓扑路径、层级深度、父节点归属,自动定位其在统一组织树中的目标插入位置,将新增节点挂载至对应父节点下,保持原有层级、路径、父子关系不变;
33、递归合并与校验完成后,输出一棵完整的映射到跨源组织树的新组织拓扑树。
34、根据一些实施例,本公开采用如下技术方案:
35、基于树形拓扑结构与语义融合的多源组织合并系统,包括:
36、数据获取模块,用于获取多源异构组织拓扑数据,并对其进行预处理;
37、树形构建模块,用于基于预处理后的多源异构组织拓扑数据,定义数据节点实体构建双向关联关系数据库,补全根节点到当前节点的完整路径,输出得到标准化树形拓扑结构;
38、特征向量化模块,用于提取树形拓扑结构中每个节点的核心特征并拼接为融合特征文本,将融合特征文本进行向量编码并归一化为融合特征向量;
39、节点匹配模块,用于基于融合特征向量执行跨数据源全量节点向量相似度比对、拓扑层级约束校验以及双阈值智能分级匹配过程,生成结构化跨源节点匹配映射关系表;
40、拓扑合并与输出模块,用于根据跨源节点匹配映射关系表,以根节点为唯一遍历起点,采用自顶向下递归拓扑合并算法自顶向下、逐层递归地进行组织拓扑合并,得到跨源组织拓扑结构并输出。
41、根据一些实施例,本公开采用如下技术方案:
42、一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现所述的基于树形拓扑结构与语义融合的多源组织合并方法。
43、根据一些实施例,本公开采用如下技术方案:
44、一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现所述的基于树形拓扑结构与语义融合的多源组织合并方法。
45、根据一些实施例,本公开采用如下技术方案:
46、一种电子设备,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现所述的基于树形拓扑结构与语义融合的多源组织合并方法。
47、与现有技术相比,本公开的有益效果为:
48、本公开的基于树形拓扑结构与语义融合的多源组织合并方法,实现全流程自动化,大幅提升效率:从数据接入、预处理、树形构建、特征向量化,到节点匹配、拓扑合并、结果输出,全程无需人工干预,将原本需要数天的人工匹配合并工作,缩短至数小时甚至数十分钟,大幅提升多源组织架构对齐的效率,快速响应企业组织架构更新需求。
49、本公开的基于树形拓扑结构与语义融合的多源组织合并方法,降低人工成本,减少人力投入:无需长期配备专职人员维护规则、梳理对应关系,无需人工比对校验,彻底省去人工规则维护、节点比对、结构调整等环节的人力成本,后续新增部门、新增数据源时,无需人工迭代规则,进一步降低运维成本。
50、本公开的基于树形拓扑结构与语义融合的多源组织合并方法,匹配精度稳定,降低误配漏配率:通过结构-语义融合向量化+层级约束联合匹配机制,自动识别部门简称、别称、文字表述差异,避免人工判断带来的疏忽,误配率、漏配率较现有技术降低80%以上,匹配精度稳定可靠。
51、本公开的基于树形拓扑结构与语义融合的多源组织合并方法,拓扑合并合规,可直接落地使用:自动进行全局拓扑一致性校验,合并后组织树层级清晰、父子归属无冲突、无环路,无需人工二次调整,可直接对接企业各类业务系统,落地性强。
52、本公开的基于树形拓扑结构与语义融合的多源组织合并方法,泛化能力强,适配复杂异构场景:无需人工配置规则,依靠特征向量的语义泛化能力,自动适配多源组织树层级不一致、节点增减、局部拓扑偏移等复杂异构场景,新增组织架构、新增数据源时可自动适配,无需重新配置。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com