一种基于闭环反馈的检索词增强方法及系统与流程
本技术涉及检索与自然语言处理,特别涉及一种基于闭环反馈的检索词增强方法及系统。
背景技术:
1、信息检索是贯穿技术研发、技术审查、文献分析等业务流程的关键环节。目前,布尔检索是信息检索中应用最为广泛且技术最为成熟的检索方式。在布尔检索模式下,检索人员通常将技术主题拆解为若干关键词,再通过and、or、not等逻辑运算符拼接成检索式,提交至检索系统后获取命中文献集合。然而,这一看似简单的流程在实际操作中高度依赖检索人员的个人经验与知识储备。
2、在现有技术中,关键词的选择与同义词扩展是制约检索质量的核心瓶颈。一方面,同一技术概念在专业文献中的表述方式具有高度多样性,例如“摄像头”可能被表述为“摄像装置”或“图像采集单元”,检索人员仅凭个人经验难以穷尽所有可能的术语变体,极易导致漏检。另一方面,现有通用同义词词典难以覆盖特定技术领域高度专业化的术语同义关系,“摄像装置”与“图像采集单元”这类领域特有的同义表达在通用词典中通常无法被识别。此外,同义词的扩展目前主要依靠检索人员人工逐一尝试与排查,费时费力且覆盖面受限于个人知识面。
3、更为关键的是,现有检索平台普遍将布尔检索视为一次性工具,系统仅负责执行检索式并返回结果列表,既不对检索式的效果进行评估,也不向检索人员反馈哪些关键词有效、哪些关键词引入了噪声。检索人员只能通过逐条翻阅命中记录来主观判断检索式质量,导致不同检索人员针对同一技术方案检索出的结果质量差异显著。同时,资深检索人员积累的优质检索策略通常仅存储于个人笔记或记忆中,缺乏机构层面的沉淀与复用机制,造成大量重复劳动与经验流失。
4、因此,本领域亟需一种能够自动完成关键词提取、同义词扩展、检索式生成、检索质量评估与优化的完整方案,使关键词的提取和扩展不再依赖检索人员的个人经验,使检索式的质量能够被客观评估和自动优化,并将散落在个人手中的优秀检索策略转化为可复用的手段。
技术实现思路
1、基于此,本技术实施例提供了一种基于闭环反馈的检索词增强方法及系统,能够完成关键词提取、同义词扩展、检索式生成、检索质量评估与优化,解决现有信息检索中关键词的提取与扩展高度依赖人工经验、检索式质量缺乏客观评估与自动优化机制、且优质检索策略难以沉淀复用的问题。
2、第一方面,提供了一种基于闭环反馈的检索词增强方法,该方法包括:
3、获取检索请求,从所述检索请求中提取种子关键词集合;
4、基于历史检索日志中布尔检索表达式的or逻辑组构建同义词词典,并基于所述同义词词典对所述种子关键词集合进行同义扩展,得到扩展关键词集合;
5、基于所述扩展关键词集合生成候选布尔检索式并执行检索,获取检索结果;
6、采集检索人员对所述检索结果的交互行为数据,基于所述交互行为数据计算检索质量指标,并基于所述检索质量指标识别高效关键词与噪声关键词;
7、基于识别结果对所述候选布尔检索式进行优化调整,将优化调整后的检索式反馈至检索式生成环节进行闭环迭代,直至满足预设终止条件;
8、将达到质量阈值的检索式存入检索式知识库,以供后续检索请求匹配复用。
9、可选地,从检索请求中提取种子关键词集合,包括采用以下一种或多种策略:
10、基于正则表达式的关键词提取、基于tf-idf权重的关键词提取、基于预训练语言模型的序列标注提取、基于seq2seq模型的关键词生成、基于大语言模型的关键词生成;
11、当采用多种策略时,对各策略的提取结果进行融合投票。
12、可选地,基于历史检索日志构建同义词词典,包括:
13、从历史检索日志的布尔检索表达式中提取or逻辑组,对所述or逻辑组中的术语进行两两组合,生成候选同义词对;
14、统计所述候选同义词对的共现频率以及各术语的独立出现频率,计算共现置信度,筛选满足预设条件的同义词对构建同义词词典;其中,所述共现置信度为共现次数与两个术语独立出现频率最小值的比值;
15、按照检索请求所属技术领域对历史检索日志进行分组,分别构建各技术领域对应的同义词子词典;
16、进行同义扩展时,调用与检索请求技术领域对应的同义词子词典。
17、可选地,同义扩展具体包括:
18、以所述同义词词典构建同义词邻接图,从所述种子关键词集合中的各关键词出发进行广度优先搜索;
19、将扩展路径的路径置信度按路径上各条同义关系的共现置信度乘积进行衰减,当路径置信度低于预设衰减阈值时终止该路径的扩展;
20、对扩展得到的候选词进行文本匹配过滤,仅保留在目标文献文本中实际出现的候选词,按路径置信度降序排列并截取前n个候选词作为最终扩展结果。
21、可选地,基于扩展关键词集合生成候选布尔检索式,包括以下一种或多种策略:
22、逐层递增策略,依次使用种子关键词、一层同义词、多层同义词生成检索范围逐步扩大的候选检索式;
23、分组多样性策略,将扩展后的关键词按语义分组,每组按置信度降序选取代表词并交叉组合,生成覆盖不同语义侧重点的候选检索式。
24、可选地,交互行为数据包括检索人员对检索结果中文献的点击查看次数、检索结果页面的翻页次数、检索结果页面的停留时长以及标记/收藏/导出操作中的一种或多种;
25、所述检索质量指标基于点击率、平均浏览深度和操作频次的加权计算得到;
26、所述识别高效关键词与噪声关键词包括:当某关键词的点击率低于所在检索式平均点击率的预设比例且翻页深度低于平均值的预设比例时,判定为噪声关键词;当添加某关键词后点击率或浏览深度提升超过预设比例时,判定为高效关键词。
27、可选地,基于识别结果对候选布尔检索式进行优化调整,包括以下至少一种:
28、将噪声关键词从扩展关键词集合中移除或通过not运算符排除;对高效关键词加大同义扩展的深度和宽度,对低效关键词收窄扩展范围;对高效关键词赋予更高优先级权重;
29、所述预设终止条件包括以下至少一种:相邻两轮迭代的检索质量指标变化幅度小于预设值;迭代次数达到预设最大值;相邻两轮迭代的检索结果集之间的重叠度高于预设值。
30、第二方面,提供了一种基于闭环反馈的检索词增强系统,该系统包括:
31、关键词提取模块,用于获取检索请求,从所述检索请求中提取种子关键词集合;
32、同义词词典构建模块,用于基于历史检索日志中布尔检索表达式的or逻辑组构建同义词词典,并基于所述同义词词典对所述种子关键词集合进行同义扩展,得到扩展关键词集合;
33、检索执行模块,用于基于所述扩展关键词集合生成候选布尔检索式并执行检索,获取检索结果;
34、检索质量分析模块,用于采集检索人员对所述检索结果的交互行为数据,基于所述交互行为数据计算检索质量指标,并基于所述检索质量指标识别高效关键词与噪声关键词;
35、反馈迭代模块,用于基于识别结果对所述候选布尔检索式进行优化调整,将优化调整后的检索式反馈至检索式生成环节进行闭环迭代,直至满足预设终止条件;
36、检索式缓存模块,用于将达到质量阈值的检索式存入检索式知识库,以供后续检索请求匹配复用。
37、第三方面,提供了一种电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面任一所述的方法。
38、第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任一所述的方法。
39、本技术实施例提供的技术方案带来的有益效果至少包括:
40、(1)显著降低漏检率。本技术通过基于历史检索日志构建的同义词词典及广度优先搜索扩展机制,系统自动补全同一技术概念的多种术语表述,有效覆盖人工经验难以穷尽的专业术语变体,避免因个人知识局限导致的术语遗漏,从而显著降低漏检风险。
41、(2)大幅缩短检索式构建周期。关键词的提取与同义扩展由系统自动完成,检索人员仅需对生成的候选检索式进行微调即可执行检索,无需从零开始构思与试错,显著提升了检索准备效率,降低了检索人员的时间成本。
42、(3)实现检索式质量的客观量化评估。基于用户对检索结果的交互行为数据计算检索质量指标,使检索式优劣的评判从主观经验判断转变为客观量化评价;通过闭环迭代机制,每一轮优化均自动向更优检索策略收敛,持续提升检索质量。
43、(4)实现优质检索经验的机构级沉淀与复用。优质检索策略经知识库存储与主题相似度匹配推荐,实现从个人经验向机构级知识资产的转化;后续同类检索请求可直接调用历史优秀检索式作为起点,避免重复摸索,并随知识库积累持续降低同类主题的检索成本。
44、(5)确保词典与目标领域的高度贴合。同义词词典基于历史检索日志中的专业人工信号自动构建,天然贴合目标检索领域的术语使用习惯,无需人工维护;通过按技术领域划分子词典,有效避免跨领域术语同义关系的混淆,确保扩展结果的专业性与准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com