一种面向农作物病虫害的知识图谱构建方法及系统
本发明涉及电数字数据处理,具体涉及一种面向农作物病虫害的知识图谱构建方法及系统。
背景技术:
1、在农作物病虫害知识图谱的构建过程中,实体识别与关系抽取是两个核心环节;现有系统多采用流水线架构:首先利用序列标注模型(如双向长短期记忆网络–条件随机场模型或基于transformer的双向编码器表示)从植保文本中抽取出病害、虫害、作物、部位等实体,然后将同一句子中出现的实体两两组合,送入关系分类模型,判断它们之间是否存在语义关系(如侵染、传播媒介、防治等);这种分步处理方式实现简单、模块化程度高,且可以分别针对不同环节选用合适的神经网络结构进行优化,因此被当前大多数知识图谱构建工具所采用。
2、上述流水线架构中,实体识别模块的输出是关系分类模块的唯一输入,二者之间缺乏交互机制;一旦实体识别出现边界偏差或类型错误,关系分类模型既无法察觉也无法修正,只能基于错误的实体对继续执行预测任务,导致错误实体被写入图谱,同时正确的(实体,关系,实体)三元组因实体错位而容易被遗漏。
技术实现思路
1、为了解决在农作物病虫害知识图谱的构建过程中,实体边界识别的准确率较低以及正确的(实体,关系,实体)三元组容易被遗漏的技术问题,本发明的目的在于提供一种面向农作物病虫害的知识图谱构建方法及系统,所采用的技术方案具体如下:
2、本发明提供一种面向农作物病虫害的知识图谱构建方法,所述方法包括:
3、将植保文本中的句子通过集束搜索进行解码得到多个标签序列,提取各标签序列中的实体得到候选实体池;
4、确定候选实体池中候选实体的初始权重,根据候选实体的字符索引将候选实体池划分为冲突组;
5、将冲突组中互不重叠的实体之间组合得到的实体子集作为边界方案,利用实体子集中各实体的初始权重确定最优边界方案;
6、利用预设的关系类型相容性约束对最优边界方案进行迭代修正,将修正后的最优边界方案中的相邻实体对输出为目标关系三元组;
7、将各个目标关系三元组写入图数据库,构建得到面向农作物病虫害的知识图谱。
8、进一步地,所述将植保文本中的句子通过集束搜索进行解码得到多个标签序列,包括:
9、根据植保文本中目标句子的字符长度,确定标签序列按照标签概率进行排序保留的预设序列数量;
10、将目标句子通过集束搜索进行解码得到预设序列数量的多个标签序列,每条标签序列对应一套实体边界与实体类型的标注方案。
11、进一步地,所述确定候选实体池中候选实体的初始权重,包括:
12、确定候选实体池中目标候选实体在所有标签序列中出现的目标次数,确定所有标签序列的序列总数量;
13、计算目标次数与序列总数量的比值并将其作为目标候选实体的初始权重,其中初始权重表征对目标候选实体的实体边界及实体类型的统计置信度。
14、进一步地,所述根据候选实体的字符索引将候选实体池划分为冲突组,包括:
15、根据候选实体的起始字符索引和结束字符索引确定候选实体的字符区间,判断任意两个候选实体的字符区间是否存在重叠;
16、若任意两个候选实体的字符区间存在重叠,则将该两个候选实体纳入到同一冲突组以将候选实体池划分为冲突组。
17、进一步地,所述利用实体子集中各实体的初始权重确定最优边界方案,包括:
18、利用实体子集中各实体的初始权重确定其边界方案的内部一致性得分,将内部一致性得分最高的边界方案确定为最优边界方案。
19、进一步地,所述利用预设的关系类型相容性约束对最优边界方案进行迭代修正,包括:
20、根据农作物病虫害领域的各种实体类型构建类型相容性矩阵,将最优边界方案中的各实体按起始字符索引排序得到排序后的实体列表;
21、遍历实体列表中的各相邻实体对,利用类型相容性矩阵判断相邻实体对的实体类型是否相容;
22、若任一相邻实体对的实体类型不相容,则按照预设迭代修正规则对最优边界方案中的相邻实体对进行迭代修正。
23、进一步地,所述按照预设迭代修正规则对最优边界方案中的相邻实体对进行迭代修正,包括:
24、将相邻实体对进行合并得到合并后实体,判断合并后实体在预设的病虫害词典中是否有匹配的实体类型;
25、若合并后实体在预设的病虫害词典中有匹配的实体类型,则从实体列表中删除相邻实体对并插入合并后实体以更新实体列表;
26、按照更新后的实体列表,重新遍历实体列表中的各相邻实体对并对最优边界方案中的相邻实体对进行迭代修正。
27、进一步地,所述判断合并后实体在预设的病虫害词典中是否有匹配的实体类型,之后还包括:
28、若合并后实体在预设的病虫害词典中没有匹配的实体类型,则将合并后实体还原为相邻实体对;
29、对相邻实体对执行边界滑动操作以更新相邻实体对,按照更新后的相邻实体对,利用类型相容性矩阵判断相邻实体对的实体类型是否相容;
30、若每个相邻实体对的实体类型均相容或迭代修正达到预设最大迭代次数,则终止对最优边界方案的迭代修正。
31、进一步地,所述将修正后的最优边界方案中的相邻实体对输出为目标关系三元组,包括:
32、将修正后的最优边界方案中的相邻实体对的关系类型标注为相关类型,得到初始关系三元组;
33、根据农作物病虫害领域的关系类型与实体类型对之间的映射表,确定相邻实体对的实际关系类型并调整初始关系三元组以输出为目标关系三元组。
34、本发明还提供一种面向农作物病虫害的知识图谱构建系统,所述系统用于实现如上任一项所述的面向农作物病虫害的知识图谱构建方法;所述系统包括:
35、冲突划分模块,用于将植保文本中的句子通过集束搜索进行解码得到多个标签序列,提取各标签序列中的实体得到候选实体池;确定候选实体池中候选实体的初始权重,根据候选实体的字符索引将候选实体池划分为冲突组;
36、边界迭代模块,用于将冲突组中互不重叠的实体之间组合得到的实体子集作为边界方案,利用实体子集中各实体的初始权重确定最优边界方案;利用预设的关系类型相容性约束对最优边界方案进行迭代修正,将修正后的最优边界方案中的相邻实体对输出为目标关系三元组;将各个目标关系三元组写入图数据库,构建得到面向农作物病虫害的知识图谱。
37、本发明相较于现有技术,具有如下有益效果:本发明在不改变实体识别模型的底层结构的情况下,在流水线解码端引入反馈机制,利用关系层面的语义约束逆向修正实体边界,以此提高实体边界识别的准确率,减少或避免正确的(实体,关系,实体)三元组被遗漏并纳入到农作物病虫害知识图谱。具体而言,针对传统知识图谱流水线架构中实体边界识别与关系抽取缺乏交互、实体边界识别错误无法修正的技术缺陷,本发明采用集束搜索保留多候选实体边界,通过冲突组枚举互不重叠方案,并利用关系类型相容性约束驱动边界方案的迭代修正,使关系约束能够反向校正实体边界。本发明在不改变现有模型结构、不进行联合训练的前提下,有效抑制了知识实体的错误传播,提高了实体边界识别与(实体,关系,实体)三元组抽取的准确性,同时保持了流水线架构的简洁性与模块化优势,可低成本适配已部署系统,具备显著的工程实用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com