一种面向异构数据融合的企业级知识图谱构建方法与流程

本发明涉及数据处理，尤其涉及一种面向异构数据融合的企业级知识图谱构建方法。

背景技术：

1、随着企业数字化转型深入，知识图谱已成为供应链管理、业务风控等核心场景的基础数据载体。企业级知识图谱的数据源覆盖业务系统、日志文件、第三方接口等多类异构形态，构建流程通常分为前端数据抽取解析、候选子图生成与后端拓扑融合、图谱持久化写入两个核心链路，普遍采用分布式集群架构部署。当前企业业务对图谱数据的时效性要求持续提升，同时图数据库的写入性能受锁机制约束存在明显瓶颈。现有架构多采用两端独立调度的运行模式，依靠队列长度阈值实现简单反压控制，难以在数据注入速度与写入处理能力之间实现动态适配，如何在保障数据新鲜度的同时维持后端写入稳定性，已成为企业级知识图谱构建系统亟待解决的共性技术问题。

2、现有企业级知识图谱构建系统中，前端抽取链路与后端写入链路采用相互独立的调度逻辑，缺乏跨模块的运行状态联合感知机制。系统仅通过队列积压长度触发单一反压策略，无法区分数据新鲜度超标与写锁资源竞争两类不同性质的运行异常，调控手段缺乏针对性。当业务数据量出现波动时，要么因后端处理节奏滞后导致数据驻留时间过长，图谱数据新鲜度下降，无法支撑实时业务决策；要么因写入压力突增引发图数据库锁冲突激增，写入吞吐量非线性下降，进而加剧数据积压。极端场景下两类问题同时出现时，单一调控方式会陷入顾此失彼的困境，无法同时缓解新鲜度与性能矛盾，系统整体运行鲁棒性不足，硬件资源利用率难以达到最优水平。

技术实现思路

1、本发明的主要目的在于提供一种面向异构数据融合的企业级知识图谱构建方法，本方案通过构建二维状态空间判据，将数据新鲜度与写锁竞争状态纳入统一判定体系，实现跨模块运行状态的联合诊断。针对状态对齐偏差过大、资源竞争加剧、控制目标彻底冲突三类不同异常场景，分别输出差异化的动态调控策略，可同时兼顾图谱数据时效性与后端写入稳定性。新鲜度衰减比采用归一化计算，可适配不同业务场景的延迟要求，具备较强的通用性；写锁竞争指数融合处理速率、拓扑影响范围与数据库锁特性三类维度，能够更精准地预判锁冲突风险，提前触发调控动作。系统可根据实时运行状态自动调整前后端运行参数，动态适配数据流量波动，有效提升系统运行鲁棒性与资源利用效率，保障知识图谱构建质量与服务连续性。

2、本发明的技术方案如下：

3、第一方面，提出一种面向异构数据融合的企业级知识图谱构建方法，该方法包括如下步骤：

4、s1、获取当前周期的底层参数集合，以提供基础数据输入；所述底层参数集合包括单批次异构数据抽取耗时、候选子图生成绝对时间戳、当前绝对时间戳、单次全局拓扑融合与写入耗时、待更新图谱节点的平均度数、最大数据延迟时间以及图数据库写锁敏感度系数；

5、s2、基于所述当前绝对时间戳与所述候选子图生成绝对时间戳执行作差运算，以输出数据驻留时间；

6、s3、基于所述数据驻留时间与所述最大数据延迟时间，判断并得到新鲜度衰减比；同时基于所述单次全局拓扑融合与写入耗时、所述单批次异构数据抽取耗时、所述待更新图谱节点的平均度数及所述图数据库写锁敏感度系数，计算并得到写锁竞争指数；

7、s4、将所述新鲜度衰减比与所述写锁竞争指数结合为二维坐标点，生成跨模块新鲜度与写锁竞争状态空间判据；

8、s5、对所述跨模块新鲜度与写锁竞争状态空间判据进行逻辑比对，判断其与预设的状态空间边界的关系，输出连接冲突诊断结果；

9、s6、当所述连接冲突诊断结果表征为状态对齐偏差过大、资源竞争加剧或控制目标彻底冲突时，基于所述连接冲突诊断结果计算控制指令修正量，生成并下发控制修正指令集合，以动态调整前端抽取算力分配调度器和后端图谱更新执行器的运行参数。

10、本发明进一步的改进在于，所述s1的具体内容为：通过部署在所述前端抽取服务器集群上的探针采集运行日志，并结合网络时间协议同步的协调世界时，获取所述候选子图生成绝对时间戳与所述当前绝对时间戳；通过所述后端图数据库的内置事务日志接口获取事务执行日志，并通过查询接口获取所述后端图数据库的运行状态；通过配置中心获取供应链业务全局配置文件；综合上述信息，输出所述当前周期的底层参数集合。

11、本发明进一步的改进在于，所述s2的具体内容为：基于所述当前绝对时间戳与所述候选子图生成绝对时间戳，执行作差运算，输出完成时间基准对齐的所述数据驻留时间。

12、本发明进一步的改进在于，所述s3包括以下具体步骤：

13、s31、基于所述数据驻留时间，将其除以所述最大数据延迟时间，得到所述新鲜度衰减比，计算公式为：；

14、s32、将所述单次全局拓扑融合与写入耗时除以所述单批次异构数据抽取耗时，并与所述待更新图谱节点的平均度数及所述图数据库写锁敏感度系数相乘，得到所述写锁竞争指数，计算公式为：。

15、本发明进一步的改进在于，所述s4包括：基于所述新鲜度衰减比与所述写锁竞争指数结合为一个二维坐标点；生成并输出所述跨模块新鲜度与写锁竞争状态空间判据。

16、本发明进一步的改进在于，所述s5包括：基于所述跨模块新鲜度与写锁竞争状态空间判据，将其与预设的状态空间边界进行逻辑比对；其中，设定新鲜度预警边界为，设定写锁安全阈值为；若且，输出的所述连接冲突诊断结果为所述状态对齐偏差过大；若且，输出的所述连接冲突诊断结果为所述资源竞争加剧；若且，输出的所述连接冲突诊断结果为所述控制目标彻底冲突。

17、本发明进一步的改进在于，所述运行参数包括所述后端图数据库的拉取批次大小、写入批次、事务锁粒度、拓扑融合深度，以及所述前端抽取服务器集群的并发线程数；所述步骤s6包括：针对所述状态对齐偏差过大，生成增大所述后端图数据库单次拉取批次大小的指令，批次大小的调整幅度与的差值成正比；针对所述资源竞争加剧，生成缩小所述后端图数据库写入批次、拆分事务锁粒度的指令，并生成前端反压限流指令，写入批次的缩小幅度与的差值成正比；针对所述控制目标彻底冲突，生成降低所述前端抽取服务器集群并发线程数的指令，线程数的降低幅度与和的乘积成正比，同时生成降低所述后端图数据库拓扑融合深度的指令，融合深度的降低幅度与所述单次全局拓扑融合与写入耗时 的当前值成正比；输出针对所述前端抽取算力分配调度器和所述后端图谱更新执行器的控制修正指令集合。

18、第二方面，提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的一种面向异构数据融合的企业级知识图谱构建方法。

19、第三方面，提出一种电子设备，包括存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现上述的一种面向异构数据融合的企业级知识图谱构建方法。

20、本发明的技术效果如下：

21、构建了一种面向异构数据融合的企业级知识图谱构建方法，本方案通过构建二维状态空间判据，将数据新鲜度与写锁竞争状态纳入统一判定体系，实现跨模块运行状态的联合诊断。针对状态对齐偏差过大、资源竞争加剧、控制目标彻底冲突三类不同异常场景，分别输出差异化的动态调控策略，可同时兼顾图谱数据时效性与后端写入稳定性。新鲜度衰减比采用归一化计算，可适配不同业务场景的延迟要求，具备较强的通用性；写锁竞争指数融合处理速率、拓扑影响范围与数据库锁特性三类维度，能够更精准地预判锁冲突风险，提前触发调控动作。系统可根据实时运行状态自动调整前后端运行参数，动态适配数据流量波动，有效提升系统运行鲁棒性与资源利用效率，保障知识图谱构建质量与服务连续性。