一种基于Agent架构的知识融合任务执行方法与系统与流程
本发明涉及知识融合,具体是一种基于agent架构的知识融合任务执行方法与系统。
背景技术:
1、agent依靠传感器或数据输入感知周围变化,再用学到的知识和算法判断决策,最后执行动作去影响环境或达成目标。
2、传统的知识融合方法在进行冲突分析时,仅通过冲突的二元判断结果实现静态规则的调用,以实现冲突决策处理,静态规则指全人工复核或全自动融合,因此,现有技术无法根据冲突的量化特征,寻找出精准适配的冲突处理决策,进而无法同时保证知识融合任务的执行质量,同时,上述静态规则在执行时需要遍历所有实体关系做冗余计算,导致冲突融合速率大幅下降。
技术实现思路
1、本发明的目的在于提供一种基于agent架构的知识融合任务执行方法与系统,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于agent架构的知识融合任务执行方法,所述方法包括:
3、s10:获取待知识融合的跨领域文档数据集,基于大语言模型识别各领域文档中存在的所有实体,根据不同实体在多维度上的差异度,对识别出的实体进行对齐处理,并为每一个对齐实体分配一个实体agent,构建实体agent知识库;
4、s20:获取各实体agent知识库中存储的所有潜在冲突项,根据潜在冲突项对应的冲突阻抗值和关联指数,对潜在冲突项进行分类;
5、s30:确定各类潜在冲突项的知识融合优先级,以及各类潜在冲突项的知识融合方案,并构建决策agent知识库;
6、s40:将潜在冲突项对应的知识融合优先级和知识融合方案存储在决策agent中,构建决策agent知识库,决策agent根据潜在冲突项分类结果调取知识融合方案,并自动执行关于潜在冲突项的知识融合任务。
7、进一步的,所述s10包括:
8、s101:通过预定义领域关键词,领域关键词可以为医药领域,自动批量爬取生成待知识融合的跨领域文档数据集,调用大语言模型提取各跨领域文档中存在的所有实体,以及各实体对应的定义、类型标签和属性,基于领域关键词自动批量爬取并生成文档数据集属于现有技术,调用大语言模型提取实体数据属于现有技术;
9、s102:随机选取两个实体进行对齐分析,记选取的两个实体分别为实体a和实体b,根据实体定义和属性,分别确定实体a、实体b在定义/属性上对应的语义向量,利用余弦相似度计算公式对实体a和实体b之间的定义相似度/属性相似度进行计算,根据实体a和实体b之间的类型标签交集情况,确定实体a和实体b之间的边界相似度,,其中,表示实体a和实体b之间关于类型标签的交集数量,表示实体a和实体b之间关于类型标签的并集数量;根据定义相似度、属性相似度和边界相似度分别对应的权重系数、、,对实体a和实体b之间的差异度进行计算,,若计算的差异度小于预设阈值,则表示实体a和实体b为同一实体,其中,权重系数的设定由人为决定且上述三个权重系数之和为1,预设阈值的取值范围可以为(0,0.2];
10、实体a和实体b分配的实体agent相同;
11、s103:随机选取一个实体agent,记选取实体agent对应对齐后的实体为目标实体,调用大语言模型对目标实体所有来源的跨领域文档进行处理,批量提取出目标实体的结构化关系和属性,并存储到选取实体agent中,得到选取实体agent知识库,在实体对齐后,调用大语言模型对目标实体的所有结构化关系进行提取,此过程相较于传统的先提取所有实体关系,再做实体对齐的方法而言,减少了对不同领域同一实体的提取步骤,有效降低了冗余计算,提升了实体agent知识库的构建效率。
12、进一步的,所述s20包括:
13、s201:获取各实体agent知识库中存储的所有潜在冲突项,所述潜在冲突项指同一实体agent下,在同一属性或关系中,不同来源提取内容不一致的待验证候选知识项;
14、s202:利用词袋平均向量法对各潜在冲突项对应的提取结果组中两提取结果之间的相似度进行计算,结合两提取结果分别所属文档的权威情况,以及两提取结果之间的逻辑互斥情况,对各潜在冲突项的冲突阻抗值进行计算,具体的计算公式为:
15、;
16、其中,表示潜在冲突项对应的提取结果组中两提取结果之间的相似度,通过利用词袋平均向量法对两提取结果之间的余弦相似度进行计算,得到两提取结果之间的文本相似度,、分别表示潜在冲突项对应的提取结果组中两提取结果所属文档的权威程度值,权威程度值通过文档出版源所属层级、文档被引用次数,以及文档作者的影响指数这三个指标量化得到,属于现有技术,表示潜在冲突项对应的提取结果组中两提取结果之间的逻辑互斥系数,,z表示潜在冲突项的冲突阻抗值,、、分别表示相似度、权威程度值、逻辑互斥系数对应的权重值且三个权重值之和为1;
17、s203:基于实体agent知识库,提取潜在冲突项对应实体的所有关系,每个关系对应一个关联实体agent,对关联实体agent进行去重处理,得到潜在冲突项对应实体的实际关联实体数,结合潜在冲突项对应的关系/属性类型在预定义领域中的重要程度,以及被利用频率,对潜在冲突项的关联指数进行计算,所述关联指数指潜在冲突项对整体知识系统的影响程度,具体的计算公式为:
18、;
19、其中,p表示潜在冲突项对应实体的实际关联实体数,表示所有实体agent知识库预设的关联实体数最大值,q表示潜在冲突项对应的关系/属性类型在预定义领域中的重要程度值,影响程度=潜在冲突项对应的关系/属性类型出现时业务推理成功的总次数/业务推理成功的总次数,v表示潜在冲突项在预定义领域中的被利用率,被利用率=潜在冲突项在预定义领域中被利用的总次数/潜在冲突项在预定义领域中出现的总次数,、、分别表示关联度得分、重要程度值、被利用率对应的权重值且三个权重值之和为1,表示潜在冲突项对应的实体的关联度得分,h表示潜在冲突项的关联指数;
20、通过引入冲突阻抗值和潜在冲突项对应的实体与其他实体之间的关联程度对潜在冲突项进行分类,在此基础上,保证对高阻抗+高关联的潜在冲突项进行优先处理,低影响的潜在冲突项延后处理,保证整体知识融合的端到端速率相较于传统的全量处理而言得到提升;
21、s204:将潜在冲突项对应的冲突阻抗值和关联指数作为四象限分类法的分类维度,对各实体agent知识库中存储的所有潜在冲突项进行分类处理,得到四类潜在冲突项,具体的,四类潜在冲突项包括位于第一象限的一类潜在冲突项,位于第二象限的二类潜在冲突项、位于第三象限的三类潜在冲突项,以及位于第四象限的四类潜在冲突项,示例性的,冲突阻抗值>0.7可表示为高阻抗,冲突阻抗值≤0.7表示为低阻抗,关联指数>0.7可表示为高关联,冲突阻抗值≤0.7表示为低关联。
22、进一步的,所述s30包括:
23、s301:根据各潜在冲突项的分类结果,确定各潜在冲突项的知识融合优先级,所述知识融合优先级遵循影响越大,优先级越高的原则,具体的,一类潜在冲突项对应的知识融合优先级最高,二类潜在冲突项对应的知识融合优先级次高,三类潜在冲突项对应的知识融合优先级较低,四类潜在冲突项对应的知识融合优先级最低;
24、s302:提取各类潜在冲突项对应的所有历史知识融合方案,利用投票机制为各类潜在冲突项匹配出最优知识融合方案,将潜在冲突项对应的知识融合优先级、潜在冲突项对应的实体所属领域、潜在冲突项对应的关系/属性类型与潜在冲突项匹配的最优知识融合方案进行匹配并作为一组决策存储至决策agent,构建决策agent知识库。
25、进一步的,所述s40包括:
26、将各实体agent与决策agent进行通信,各实体agent将提取的潜在冲突项、潜在冲突项的冲突阻抗值和关联指数传输至决策agent,决策agent基于传输信息构建并迭代优化自身决策agent知识库;
27、决策agent根据阈值匹配潜在冲突项分类结果,并根据匹配的冲突分类结果、潜在冲突项对应的实体所属领域,以及潜在冲突项对应的关系/属性类型,从决策agent知识库中调取目标知识融合方案,再从潜在冲突项对应实体的实体agent知识库中调取待知识融合的原始知识数据,决策agent根据调取的目标知识融合方案自动执行待知识融合的原始知识数据的知识融合任务,决策agent在知识融合任务完成后,将知识融合结果回传至潜在冲突项对应的实体匹配的实体agent,潜在冲突项对应的实体匹配的实体agent根据回传结果对潜在冲突项对应的实体的实体agent知识库进行更新。
28、一种基于agent架构的知识融合任务执行系统,所述系统包括实体分配模块、潜在冲突项分类模块、知识融合方案生成模块和知识融合任务自动执行模块;
29、所述实体分配模块用于为每一个对齐实体分配一个实体agent;
30、所述潜在冲突项分类模块用于根据潜在冲突项对应的冲突阻抗值和关联指数,对潜在冲突项进行分类;
31、所述知识融合方案生成模块用于确定各类潜在冲突项的知识融合优先级,以及各类潜在冲突项的知识融合方案;
32、所述知识融合任务自动执行模块基于构建的决策agent知识库,自动执行关于潜在冲突项的知识融合任务。
33、进一步的,所述实体分配模块包括实体提取单元、实体分配单元和实体agent知识库构建单元;
34、所述实体提取单元通过调用大语言模型提取各跨领域文档中存在的所有实体,以及各实体对应的定义、类型标签和属性;
35、所述实体分配单元根据各实体在定义、边界和属性上的差异度,对实体进行对齐处理,并为对齐处理后得到的各实体分配一个实体agent;
36、所述实体agent知识库构建单元通过调用大语言模型对目标实体所有来源的跨领域文档进行处理,批量提取出目标实体的结构化关系和属性,并存储到选取实体agent中,得到选取实体agent知识库。
37、进一步的,所述潜在冲突项分类模块包括潜在冲突项获取单元、冲突阻抗值计算单元、关联指数计算单元和分类单元;
38、所述潜在冲突项获取单元对各实体agent知识库中存储的所有潜在冲突项进行获取;
39、所述冲突阻抗值计算单元根据各潜在冲突项对应的提取结果组中两提取结果之间的相似度、两提取结果分别所属文档的权威情况,以及两提取结果之间的逻辑互斥情况,对各潜在冲突项的冲突阻抗值进行计算;
40、所述关联指数计算单元根据各潜在冲突项对应实体的实际关联实体数,结合潜在冲突项对应的关系/属性类型在预定义领域中的重要程度,以及被利用频率,对潜在冲突项的关联指数进行计算;
41、所述分类单元将潜在冲突项对应的冲突阻抗值和关联指数作为四象限分类法的分类维度,对各实体agent知识库中存储的所有潜在冲突项进行分类处理。
42、进一步的,所述知识融合方案生成模块包括知识融合优先级确定单元、知识融合方案生成单元和决策agent知识库构建单元;
43、所述知识融合优先级确定单元根据各潜在冲突项的分类结果,确定各潜在冲突项的知识融合优先级;
44、所述知识融合方案生成单元通过提取各类潜在冲突项对应的所有历史知识融合方案,利用投票机制为各类潜在冲突项匹配出最优知识融合方案;
45、所述决策agent知识库根据各类潜在冲突项的知识融合优先级,以及匹配的最优知识融合方案,构建决策agent知识库。
46、进一步的,所述知识融合任务自动执行模块包括决策agent知识库更新单元、调取单元、知识融合任务自动执行单元和实体agent知识库更新单元;
47、所述决策agent知识库更新单元根据各实体agent提取的潜在冲突项、潜在冲突项的冲突阻抗值和关联指数,更新并迭代优化自身决策agent知识库;
48、所述调取单元根据阈值匹配潜在冲突项分类结果,并从决策agent知识库中调取对应分类的知识融合优先级和知识融合方案,以及从潜在冲突项对应实体的实体agent知识库中调取待知识融合的原始知识数据;
49、所述知识融合任务自动执行单元利用决策agent根据调取的知识融合方案自动执行知识融合任务;
50、所述实体agent知识库更新单元根据知识融合结果对实体agent知识库进行更新。
51、与现有技术相比,本发明的有益效果是:
52、1、本发明通过引入冲突阻抗值和潜在冲突项对应的实体与其他实体之间的关联程度对潜在冲突项进行分类,在此基础上,保证对高阻抗+高关联的潜在冲突项进行优先处理,低影响的潜在冲突项延后处理,提高了知识融合任务的执行效率。
53、2、本发明在实体对齐后,调用大语言模型对目标实体的所有结构化关系进行提取,相较于传统的先提取所有实体关系,再做实体对齐的方法而言,减少了对不同领域同一实体的提取步骤,有效降低了冗余计算。
54、3、本发明通过实体agent和决策agent这一双层级协同架构,将冲突检测与知识融合决策的逻辑解耦分离,实现了知识融合策略的细致化划分,即基于冲突本身的冲突阻抗值和关联指数匹配差异化知识融合方案,无需对冲突外的常规实体关系做额外计算处理,提升了大规模异构知识的整体融合速率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com