一种知识图谱的构建方法、电子设备和介质与流程
本发明涉及人工智能,尤其涉及一种知识图谱的构建方法、电子设备和计算机可读介质。
背景技术:
1、知识图谱是一种用图结构来建模和表示知识的语义网络。图中,节点表示实体,边表示实体之间的关系,其基本组成单元为实体-关系-实体三元组。
2、现有技术中,存在多种知识图谱的构建方法。例如,基于深度学习的信息抽取方法通过预训练语言模型对文本数据进行实体识别和关系抽取,将非结构化文本转化为结构化三元组;基于大模型的自动化构建方法利用大语言模型的语义理解能力进行零样本知识抽取和本体生成;基于多智能体协作的方案,由多个智能体协同完成实体、关系和事件的抽取任务。
3、但在大规模构建知识图谱的实际场景中,上述方法普遍存在计算资源利用效率低下的问题。
技术实现思路
1、本发明旨在一定程度上解决相关技术中的技术问题之一。为此,本发明提供了一种知识图谱的构建方法、一种执行所述构建方法的电子设备和一种计算机可读介质,具有根据任务复杂度动态匹配消耗不同计算资源的写入校验方法,使各任务的计算资源消耗与实际需求相匹配,有效提升整体计算资源利用效率的特点和优点。
2、为了达到上述目的,作为本发明的第一个方面,提供了一种知识图谱的构建方法,所述构建方法包括:
3、接收任务数据;
4、确定所述任务数据的任务复杂度,所述任务复杂度表征处理所述任务数据所需的计算资源;
5、基于预设任务复杂度阈值确定所述任务数据对应的写入校验级别,不同写入校验级别对应消耗不同计算资源的写入校验方法;
6、提取所述任务数据中的图谱元素;
7、对所述图谱元素进行写入校验,得到写入校验结果,所述写入校验基于写入校验级别采用对应的写入校验方法,所述写入校验结果对应于所述写入校验方法;
8、在所述写入校验结果表示写入校验通过的情况下,将所述图谱元素写入所述知识图谱中。
9、可选的,所述对所述图谱元素进行写入校验,得到写入校验结果,包括:
10、在所述写入校验级别为第一写入校验级别的情况下,对多个所述图谱元素进行一致性校验,得到写入校验结果;其中,所述一致性校验包括图谱元素的实体类型、各图谱元素间的关系方向性;
11、在所述写入校验级别为第二写入校验级别的情况下,利用第一基座大模型和第二基座大模型对所述图谱元素进行交叉校验,得到写入校验结果;
12、在所述写入校验级别为第三写入校验级别的情况下,利用多个异构基座大模型对所述图谱元素进行共识校验,得到写入校验结果。
13、可选的,所述在所述写入校验级别为第二写入校验级别的情况下,利用第一基座大模型和第二基座大模型对所述图谱元素进行交叉校验,得到写入校验结果,包括:
14、生成第一提示词;其中,所述第一提示词用于指示所述第一基座大模型根据任务数据的语义内容推理多个图谱元素之间的语义关系;
15、将所述任务数据、所述图谱元素和所述第一提示词输入至第一基座大模型,得到所述图谱元素之间的语义关系;
16、根据所述图谱元素和所述语义关系生成初始知识图谱;
17、生成第二提示词;其中,所述第二提示词用于指示所述第二基座大模型根据预设事实校验库输出所述初始知识图谱的校验指标和修改指令;所述校验指标包括图编辑距离和置信度方差;所述修改指令用于修改初始知识图谱中各图谱元素的属性和修改图谱元素间的关系。
18、可选的,所述构建方法还包括:
19、将所述第二提示词、所述初始知识图谱和所述预设事实校验库输入至所述第二基座大模型,得到校验指标和修改指令;
20、将所述修改指令输入至第一基座大模型,以使得第一基座大模型根据所述修改指令对所述初始知识图谱中各图谱元素的属性和图谱元素间的关系进行修改,得到修改后的知识图谱;
21、在预设修改轮次中校验指标符合预设条件的情况下,校验通过,所述预设条件包括各修改轮次的图编辑距离均小于或等于预设图编辑距离阈值、所述置信度方差小于预设置信度方差、和修改次数超出预设修改轮次中的至少一条。
22、可选的,所述在所述写入校验级别为第三写入校验级别的情况下,利用多个异构基座大模型对所述图谱元素进行共识校验,得到写入校验结果,包括:
23、生成第三提示词,其中,所述第三提示词用于指示多个所述异构基座大模型根据所述任务数据和所述图谱元素生成相应的候选知识图谱;
24、将所述第三提示词、所述任务数据和所述图谱元素分别输入至多个所述异构基座大模型,得到相应的候选知识图谱和所述候选知识图谱中各候选图谱元素的置信度;
25、对相同候选知识图谱元素,将与之对应的多个置信度按照加权多数投票或计数聚合法得到共识结果;
26、在共识结果大于或等于预设共识阈值的情况下,校验通过。
27、可选的,所述提取所述任务数据中的图谱元素,包括:
28、对所述任务数据按照任务数据的模态类型进行编码,得到各模态对应的编码特征;
29、根据各编码特征确定门控网络中各子网络的激活概率;
30、将所述任务数据分别输入至子网络进行实体识别,得到多个模态的实体特征向量;所述子网络与模态类型对应且为激活概率排名前k的子网络,所述k大于或等于1;
31、对多个模态的实体特征向量进行相似度匹配,得到匹配结果;
32、在所述匹配结果大于或等于预设匹配阈值的情况下,将不同模态的实体特征向量标记为相同实体,得到所述图谱元素。
33、可选的,所述预设任务复杂度阈值包括第一预设任务复杂度阈值和第二预设任务复杂度阈值;
34、所述写入校验级别包括第一写入校验级别、第二写入校验级别和第三写入校验级别;
35、所述基于预设任务复杂度阈值确定所述任务数据对应的写入校验级别,包括:
36、在所述任务复杂度小于所述第一预设任务复杂度阈值的情况下,所述写入校验级别为第一写入校验级别;
37、在所述任务复杂度大于或等于所述第一预设任务复杂度阈值且所述任务复杂度小于所述第二预设任务复杂度阈值的情况下,所述写入校验级别为第二写入校验级别;
38、在所述任务复杂度大于或等于所述第二预设任务复杂度阈值的情况下,所述写入校验级别为第三写入校验级别。
39、可选的,所述确定所述任务数据的任务复杂度,包括:
40、根据任务数据的任务类型、任务数据的预识别实体置信度、所述任务类型的历史冲突率和历史失败率确定任务复杂度。
41、可选的,所述构建方法还包括:
42、在所述写入校验结果表示写入校验不通过的情况下,按照写入校验级别的级别顺序升级所述写入校验级别,得到升级后的写入校验级别;
43、根据升级后的写入校验级别对所述图谱元素进行写入校验,得到写入校验结果;
44、在各写入校验级别对应的写入校验结果均表示写入校验不通过的情况下,发送人工审核信息。
45、作为本发明的第二个方面,提供一种电子设备,其中,包括:
46、一个或多个处理器;
47、存储器,其上存储有一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据本发明第一个方面所提供的知识图谱的构建方法。
48、此外,作为本发明的第三个方面,还提供了一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本发明第一个方面所提供的知识图谱的构建方法。
49、本发明针对现有技术在图谱构建过程中普遍存在的计算资源利用效率低下的问题,采用了一种新的知识图谱的构建方法。
50、对接收到的任务数据,确定所述任务数据的任务复杂度,所述任务复杂度用于表征处理所述任务数据所需的计算资源;基于任务复杂度和预设任务复杂度阈值确定所述任务数据对应的写入校验级别,不同写入校验级别对应不同计算资源消耗的写入校验方法;从而实现任务数据与写入校验方法之间的资源适配。
51、在此基础上,提取任务数据中的图谱元素(所述图谱元素并非已写入到知识图谱中的元素,而是从任务数据中选出来的待校验写入的图谱元素);对图谱元素进行写入校验,得到写入校验结果,所述写入校验基于写入校验级别采用对应的写入校验方法,所述写入校验结果对应于所述写入校验方法;在写入校验结果表示写入校验通过的情况下,将所述图谱元素写入所述知识图谱中。
52、由于不同任务数据的任务复杂度不同,其匹配的写入校验级别也不同。因此本技术公开的图谱构建方法,能够根据处理该任务数据所需的实际资源需求,选择相应的写入校验方法进行图谱元素校验,使处理各任务数据的计算资源消耗与其实际需求相匹配,从而避免低复杂任务被分配过高的计算资源,高复杂任务被资源不足的情况,整体上提升计算资源的利用效率。
53、本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现,但并非是对本发明技术方案的限制。另外,在每个下文和附图中出现的这些特征、要素和组件是具有多个,并且为了表示方便而标记了不同的符号或数字,但均表示相同或相似构造或功能的部件。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com