基于关键词抽取的提升文本召回效果的方法、设备及介质

摘要: 本发明涉及自然语言处理与信息检索,具体涉及一种基于关键词抽取的提升文本召回效果的方法、设备及介质。背景技术:1、当前工业界文本搜索系统及问答系统的开发,通常采用...
基于关键词抽取的提升文本召回效果的方法、设备及介质

本发明涉及自然语言处理与信息检索,具体涉及一种基于关键词抽取的提升文本召回效果的方法、设备及介质。

背景技术:

1、当前工业界文本搜索系统及问答系统的开发,通常采用“召回-排序”的级联架构。在召回阶段,系统需要从海量文本库中快速筛选出与用户查询相关的候选文档。随着业务场景的复杂化,以医疗问诊场景为例,用户输入的查询请求中往往同时包含多个核心实体,例如同时包含多种“药物”、“症状”或“疾病”。然而,现有的文本搜索系统在处理这类包含多个核心实体的查询时,由于缺乏对多实体和复杂意图的精细化解析能力与动态匹配机制,通常采取一种粗放的检索策略:系统往往仅截取分词权重最高的一个词汇作为唯一的即强制匹配条件,而将查询中的其余核心实体均降级为普通的弱匹配词进行检索。这种单必出词策略在实际应用中存在严重的缺陷,系统因过度依赖单一的局部特征而割裂了用户的整体语义,导致底层搜索引擎召回大量仅包含该最高权重实体、却丢失了查询中其他重要实体的文档。例如,当用户查询“薏苡仁、竹茹的作用”时,系统受限于上述粗放策略仅将“竹茹”设为唯一必出词,则召回结果中会出现大量仅介绍“竹茹”、而完全不包含“薏苡仁”的文档。这种核心实体的丢失,极大降低了后续精排阶段的效率和最终搜索结果的准确性。

2、为此,本技术特提出一种基于关键词抽取的提升文本召回效果的方法以解决上述问题。

技术实现思路

1、本发明的主要目的在于提供一种基于关键词抽取的提升文本召回效果的方法,旨在解决现有文本检索系统在处理多实体查询时,因依赖单一强制匹配条件及缺乏精细化权重增益机制,所导致的核心实体召回遗漏与检索准确率低的技术问题。

2、本发明采用以下技术方案解决上述技术问题:

3、一种基于关键词抽取的提升文本召回效果的方法,包括:

4、将查询文本输入至预先训练的关键词抽取模型,利用所述关键词抽取模型中基于ernie的底层嵌入网络和全连接层的分类预测网络,抽取所述初始查询文本中的实体以及对应的实体类别;

5、基于所述实体类别,利用预设的必出词类别列表和加分词映射字典,分别获取必出词集合和加分词集合;;同时,对所述初始查询文本执行全局细粒度分词,提取出分词权重最高的细粒度分词,并将所述分词权重最高的细粒度分词加入所述必出词集合中;

6、对所述必出词集合和所述加分词集合中的实体分别执行细粒度分词,获得携带有分词权重的子分词集合;并按照所述分词权重由高至低的顺序依次贪心选取子分词,直至所选取的子分词字符数之和占对应实体总字符数的比例满足预设的实体长度覆盖率条件;

7、将满足所述实体长度覆盖率条件的子分词组合以构建文本召回请求体,其中,所述必出词对应的子分词被配置为带有最小命中比例阈值的强制匹配条件,所述加分词对应的子分词被配置为带有对应的检索增益权重的增益匹配条件;

8、执行所述文本召回请求体,或在满足预设实体数量条件时触发兜底策略重构所述文本召回请求体后执行,从预设文本库中召回候选文本,并按照文本召回分数输出召回结果。

9、优选的,所述必出词类别列表与所述加分词映射字典允许包含重合项。

10、优选的,所述抽取所述初始查询文本中的实体以及对应的实体类别,具体包括:通过所述分类预测网络结合序列标注机制,采用bio标签体系精准划定所述初始查询文本中的各实体边界,并预测各实体所属的实体类别。

11、优选的,所述预设的实体长度覆盖率条件为大于或等于三分之一;所述按照所述分词权重由高至低的顺序依次贪心选取子分词,直至满足预设的实体长度覆盖率条件,具体过程为:计算当前已选取的子分词的字符数之和与对应原实体总字符数的比值;判断所述比值是否大于或等于三分之一;若所述比值小于三分之一,则继续在剩余的子分词中选取分词权重次高的相邻子分词进行累积,直至所述比值大于或等于三分之一为止。

12、优选的,所述步骤中构建文本召回请求体,具体包括:将满足所述实体长度覆盖率条件的所述必出词对应的子分词,填入分布式搜索引擎请求体中的强制匹配阵列,并配置所述强制匹配阵列内部的逻辑操作符为或;将所述最小命中比例阈值配置为百分之六十,即要求检索结果中必须命中所述强制匹配阵列中至少百分之六十数量的子分词。

13、优选的,所述步骤中构建文本召回请求体,还包括:将满足所述实体长度覆盖率条件的所述加分词对应的子分词,以及所述必出词自身,共同填入所述分布式搜索引擎请求体中的增益匹配阵列;依据所述加分词映射字典以及对应实体的基础权重,为所述增益匹配阵列中的不同子分词动态分配所述检索增益权重,以在综合召回分数计算时实现检索权重的多级增强。

14、优选的,所述触发兜底策略重构所述文本召回请求体后执行,具体包括:判断所述必出词集合中的实体数量是否大于八个;若大于八个,则触发所述兜底策略:取消原文本召回请求体中的配置规则,将所述初始查询文本中分词权重最高的细粒度分词单独作为强制匹配条件;并将所述初始查询文本中除所述权重最高的细粒度分词之外的其余细粒度分词,平等地作为无增益加分词加入增益匹配条件中,执行重构后的文本召回请求。

15、又一方面,本发明还公开一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述方法的步骤。

16、再一方面,本发明还公开一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上方法的步骤。

17、由上述技术方案可知,本发明提供了一种基于关键词抽取的提升文本召回效果的方法,包括:将查询文本输入预训练的关键词抽取模型,利用基于ernie的底层模型进行词向量嵌入,并通过全连接层进行分类预测,以抽取文本中的实体及实体类别作为目标关键词集合;对提取的关键词分别执行加分词映射与必出词映射,并在经过细粒度分词处理且满足预设的实体覆盖比例条件后,将其组合构建为搜索引擎的文本召回请求;执行所述文本召回请求,并按照文本召回分数输出召回结果。本发明通过对查询文本中的实体和实体类别进行精准抽取,并结合满足覆盖条件的映射机制构建检索条件,有效避免了文本召回过程中核心实体的丢失,显著提升了检索结果的准确性。

18、与现有技术相比,本发明具有以下优势:

19、1.本发明通过提取查询中的多个关键实体,并将其转化为带有最小命中比例阈值的强制匹配条件,能够起到在保障基础召回率的前提下尽可能覆盖核心实体的作用,从而有效缓解多实体查询场景下核心信息丢失的问题,提升了检索结果的准确性。

20、2.本发明通过在细粒度分词后采用基于分词权重的选取策略,且设定了预期的实体长度覆盖率条件,因此能够减少因分词工具过度切分而导致的实体信息丢失,从而较好地保留实体在底层搜索引擎中的完整语义表达,确保实体语义的完整性。

21、3.本发明通过将强制匹配与增益匹配相结合,且利用加分词映射字典动态分配检索权重,能够起到准确解析用户复合搜索意图并降低冗余词汇干扰的作用,从而构建了多层级的检索权重机制,提升了系统应对复杂查询的适应性。

22、4.本发明通过配合全局最高权重词的补充提取回路,且针对实体数量超出预设阈值的复杂查询情况设计了相应的策略回退机制,能够平滑过渡至仅保留最高权重词为强制匹配条件的模式,从而保障系统在面临高负载或超长文本查询时的稳定运行与基础召回底线,有效提升了系统的检索稳定性与鲁棒性。

23、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或 重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说 明书而变得容易理解。当然,实施本发明的任一产品并不一定需要同时达到 以上所述的所有优点。