面向农业病害问答的实体感知文档重排序方法及系统

摘要: 本发明涉及自然语言处理与信息检索,尤其涉及一种面向农业病害问答的实体感知文档重排序方法及系统。背景技术:1、随着智慧农业和农技知识服务的快速发展,农业病害智能问...
面向农业病害问答的实体感知文档重排序方法及系统

本发明涉及自然语言处理与信息检索,尤其涉及一种面向农业病害问答的实体感知文档重排序方法及系统。

背景技术:

1、随着智慧农业和农技知识服务的快速发展,农业病害智能问答在病害诊断、药剂选择和田间管理等方面发挥着日益重要的作用。农业病害问答服务要求回答证据可追溯、建议可执行且符合具体生产条件。检索增强生成(retrieval-augmented generation,rag)通过引入外部农业知识文档,可增强回答的事实依据和可更新性,近年来已被用于农技咨询、作物病虫害问答和本地化农业服务等场景。

2、然而,rag系统的回答质量高度依赖进入生成上下文的证据质量。农业病害问答具有显著的条件敏感性,作物、病害、虫害、药剂、肥料、时期、部位和病原体等实体不仅是文本中的语义单元,更是决定防治建议能否落地的生产约束。当候选文档中存在大量主题相近但生产条件不同的干扰证据时,例如同一作物下不同病害、同一病害下不同生育期、同一防治对象下不同药剂方案,若此类文档被优先排序,生成模型可能产生防治对象偏移、药剂适用性不足或措施泛化等问题。

3、现有文档重排序技术主要包括以下几类方案:一是基于bert交叉编码器的重排序方法,通过查询与文档的深层交互建模提升相关性判断能力,但通常将重排序视为通用语义匹配任务,未充分建模农业领域关键实体的细粒度约束;二是基于大语言模型的列表式重排序方法,如rankgpt和jina-reranker-v3,能够在同一候选集合中比较多个文档的相对关系,提升了语义排序的准确性,但同样未对农业实体约束进行显式建模;三是通用实体增强排序方法,将实体信息引入排序模型以提升细粒度相关性判断,例如word-entity duet将词项表示与实体表示结合建模文档相关性,edrm将知识图谱语义引入神经排序模型,dreq通过突出查询相关实体并弱化无关实体来改善排序效果。上述实体感知排序研究多面向通用知识图谱或百科实体,对农业病害问答中作物、病害、药剂、时期等生产条件约束缺乏专门建模。

4、此外,现有农业问答研究已开始关注重排序对rag效果的影响,农业命名实体识别数据集如agcner也为抽取作物、病害、虫害和药剂等领域实体提供了数据基础。但如何进一步将农业实体的类型、匹配关系和候选集合内的区分作用转化为有效的文档排序信号,使证据选择由通用语义相关性判断扩展为生产条件适配判断,仍有待研究。

技术实现思路

1、为此,本发明所要解决的技术问题在于克服现有技术中未充分考虑农业病害问答中的农业实体约束,导致候选文档排序结果与农业生产条件适配性不足的问题。

2、为解决上述技术问题,本发明提供了一种面向农业病害问答的实体感知文档重排序方法,包括:

3、获取农业病害咨询问题以及与所述农业病害咨询问题对应的候选证据文档集合;确定所述农业病害咨询问题及所述候选证据文档集合中各候选证据文档之间的语义相关信息;

4、基于预设农业实体类型集合,对所述农业病害咨询问题以及各候选证据文档进行实体识别,得到所述农业病害咨询问题对应的问题实体信息以及各候选证据文档对应的文档实体信息;

5、根据所述问题实体信息及所述文档实体信息,确定所述农业病害咨询问题与各候选证据文档之间的实体适配信息;

6、根据所述问题实体信息及所述文档实体信息,确定所述问题实体信息在所述候选证据文档集合中的分布情况,根据分布情况确定所述问题实体信息对应的问题实体权重;

7、根据所述实体适配信息及所述问题实体权重,确定各候选证据文档对应的加权实体适配信息;根据所述语义相关信息及所述加权实体适配信息,确定各候选证据文档对应的证据适配得分;

8、根据所述证据适配得分,对所述候选证据文档集合中的各候选证据文档进行重排序。

9、在本发明的一个实施例中,根据所述问题实体信息及所述文档实体信息,确定所述问题实体信息在所述候选证据文档集合中的分布情况,根据分布情况确定所述问题实体信息对应的问题实体权重的方法为:

10、根据所述问题实体信息及所述文档实体信息,统计所述问题实体信息中各问题实体在所述候选证据文档集合中的文档频率;

11、根据所述文档频率,确定各问题实体对应的候选集逆文档频率;

12、根据各问题实体对应的候选集逆文档频率,确定各问题实体对应的问题实体权重;

13、其中,所述问题实体权重表示为:

14、,

15、其中,为问题实体对应的问题实体权重,为所述问题实体信息中的第个问题实体,为问题实体对应的候选集逆文档频率,为逆文档频率加权强度系数。

16、在本发明的一个实施例中,根据所述文档频率,确定各问题实体对应的候选集逆文档频率的方法为:

17、针对所述问题实体信息中的每个问题实体,统计包含该问题实体的候选证据文档数量,得到该问题实体在所述候选证据文档集合中的文档频率;

18、根据所述候选证据文档集合中的候选证据文档数量以及所述文档频率,确定该问题实体对应的候选集逆文档频率;

19、其中,所述候选集逆文档频率表示为:

20、,

21、其中,为所述候选证据文档集合中的候选证据文档数量,为问题实体在所述候选证据文档集合中的文档频率。

22、在本发明的一个实施例中,根据所述实体适配信息及所述问题实体权重,确定各候选证据文档对应的加权实体适配信息的方法为:

23、根据所述问题实体权重,对所述实体适配信息中与各问题实体对应的实体适配贡献进行加权处理,得到各候选证据文档对应的加权实体适配信息;

24、其中,所述加权实体适配信息包括加权对齐矩阵,所述加权对齐矩阵表示为:

25、,

26、其中,为候选证据文档对应的加权对齐矩阵,为所述候选证据文档集合中的第个候选证据文档,为由所述问题实体权重构成的权重向量,为维度与候选证据文档中的文档实体数量对应的全1向量,为候选证据文档 对应的基础实体注意力矩阵,表示逐元素乘法。

27、在本发明的一个实施例中,根据所述语义相关信息及所述加权实体适配信息,确定各候选证据文档对应的证据适配得分的方法为:

28、根据所述语义相关信息,确定所述农业病害咨询问题对应的问题向量以及各候选证据文档对应的候选文档向量;

29、将各候选证据文档对应的候选文档向量与对应的加权实体适配信息进行融合,得到各候选证据文档对应的增强候选文档向量;

30、根据所述问题向量以及各增强候选文档向量,确定各候选证据文档对应的证据适配得分,表示为:

31、,

32、其中,为候选证据文档对应的证据适配得分,为所述农业病害咨询问题对应的问题向量,为候选证据文档对应的增强候选文档向量,为余弦相似度函数。

33、在本发明的一个实施例中,根据所述问题实体信息及所述文档实体信息,确定所述农业病害咨询问题与各候选证据文档之间的实体适配信息的方法为:

34、根据所述问题实体信息中各问题实体的实体位置,从列表式语义编码结果中提取各问题实体对应的问题实体表示;

35、根据所述文档实体信息中各文档实体的实体位置,从列表式语义编码结果中提取各文档实体对应的文档实体表示;

36、根据各问题实体对应的问题实体表示构建问题实体表示矩阵,根据各文档实体对应的文档实体表示构建各候选证据文档对应的文档实体表示矩阵;

37、根据所述问题实体表示矩阵以及各候选证据文档对应的文档实体表示矩阵,确定所述农业病害咨询问题与各候选证据文档之间的实体适配信息;

38、其中,所述问题实体表示矩阵以及所述文档实体表示矩阵表示为:

39、,

40、,

41、其中,为所述问题实体表示矩阵,为候选证据文档对应的文档实体表示矩阵,为问题实体数量,为候选证据文档中的文档实体数量,为实体表示维度。

42、在本发明的一个实施例中,根据所述问题实体表示矩阵以及各候选证据文档对应的文档实体表示矩阵,确定所述农业病害咨询问题与各候选证据文档之间的实体适配信息的方法为:

43、根据所述问题实体表示信息和各候选证据文档对应的文档实体表示信息,计算所述农业病害咨询问题与各候选证据文档之间的实体相似度矩阵;

44、对所述实体相似度矩阵进行归一化处理,得到各候选证据文档对应的基础实体注意力矩阵;

45、将所述基础实体注意力矩阵确定为所述实体适配信息;

46、其中,所述基础实体注意力矩阵表示为:

47、,

48、其中,为候选证据文档对应的基础实体注意力矩阵,为所述农业病害咨询问题与候选证据文档之间的实体相似度矩阵,为归一化函数。

49、确定所述农业病害咨询问题及所述候选证据文档集合中各候选证据文档之间的语义相关信息的方法为:

50、对所述农业病害咨询问题以及所述候选证据文档集合进行列表式语义编码,得到所述农业病害咨询问题对应的问题向量以及各候选证据文档对应的候选文档向量;

51、所述问题向量以及各候选文档向量表示为:

52、,

53、其中,为所述农业病害咨询问题,为所述候选证据文档集合,为问题向量,为候选证据文档的候选文档向量,所述语义相关信息包括所述问题向量以及各候选文档向量。

54、在本发明的一个实施例中,基于预设农业实体类型集合,对所述农业病害咨询问题以及各候选证据文档进行实体识别,得到所述农业病害咨询问题对应的问题实体信息以及各候选证据文档对应的文档实体信息的方法为:

55、基于所述预设农业实体类型集合,对所述农业病害咨询问题进行实体识别,得到所述农业病害咨询问题中与农业生产条件相关的问题实体;

56、基于所述预设农业实体类型集合,对各候选证据文档进行实体识别,得到各候选证据文档中与农业生产条件相关的文档实体;

57、根据所述问题实体的实体内容、实体类型和实体位置,构建所述问题实体信息;

58、根据所述文档实体的实体内容、实体类型和实体位置,构建各候选证据文档对应的文档实体信息。

59、基于同一发明构思,本发明还提供了一种面向农业病害问答的实体感知文档重排序系统,包括:

60、信息获取与语义编码模块,用于获取农业病害咨询问题以及与所述农业病害咨询问题对应的候选证据文档集合;确定所述农业病害咨询问题及所述候选证据文档集合中各候选证据文档之间的语义相关信息;

61、实体识别模块,用于基于预设农业实体类型集合,对所述农业病害咨询问题以及各候选证据文档进行实体识别,得到所述农业病害咨询问题对应的问题实体信息以及各候选证据文档对应的文档实体信息;

62、实体适配确定模块,用于根据所述问题实体信息及所述文档实体信息,确定所述农业病害咨询问题与各候选证据文档之间的实体适配信息;

63、实体权重确定模块,用于根据所述问题实体信息及所述文档实体信息,确定所述问题实体信息在所述候选证据文档集合中的分布情况,根据分布情况确定所述问题实体信息对应的问题实体权重;

64、加权适配与证据得分确定模块,用于根据所述实体适配信息及所述问题实体权重,确定各候选证据文档对应的加权实体适配信息;根据所述语义相关信息及所述加权实体适配信息,确定各候选证据文档对应的证据适配得分;

65、文档重排序模块,用于根据所述证据适配得分,对所述候选证据文档集合中的各候选证据文档进行重排序。

66、本发明的上述技术方案相比现有技术具有以下优点:

67、本发明在列表式语义重排序的基础上引入农业实体感知机制,通过识别农业病害咨询问题和候选证据文档中的作物、病害、药剂、时期等关键实体并构建实体适配信息,克服了现有重排序方法未充分建模农业实体约束的缺陷;同时通过统计问题实体在候选证据文档集合中的文档频率计算候选集逆文档频率以动态确定问题实体权重,使低频高区分度实体获得更高贡献,避免高频低区分度实体淹没关键信息;进一步将加权实体适配信息与列表式语义编码结果融合计算证据适配得分,使排序分数兼具全局语义匹配能力和局部农业生产条件适配能力,有效缓解了主题相近但条件不一致导致的证据错排问题,使排序阶段的实体约束建模能够有效传递至下游问答生成,为农业病害智能问答提供更可靠、可追溯且符合生产条件的技术支撑。