检索方法、电子设备、介质和计算机程序产品与流程
本申请属于人工智能,尤其涉及一种检索方法、电子设备、介质和计算机程序产品。
背景技术:
1、检索增强生成(retrieval-augmented generation,rag)是一种结合信息检索和内容生成的混合方法,旨在通过从知识库中检索相关信息来增强生成模型的能力,从而提高生成内容的相关性和质量。稀疏检索(sparse retriever,sr)能够针对rag实现检索功能,从知识库中检索获取相关文档数据。目前稀疏检索方法通常通过词项匹配的方式在知识库中筛选文档,但是在这种筛选方法中,口语化的表达方式无法与术语等专业表达方式相匹配,导致检索结果遗漏了语义相关但词语不匹配的数据。
技术实现思路
1、本申请实施例提供了一种检索方法、电子设备、介质和计算机程序产品,通过对待处理文本中的词语或短语进行改写,将待处理文本中口语化的词语或短语改写为目标术语,通过目标术语进行检索,有助于得到全面的检索结果,提升检索的准确性。
2、本申请实施例提供了一种检索方法,所述方法包括:
3、对待处理文本进行处理,识别所述待处理文本中的第一目标成分;所述第一目标成分包括以下任意一项或一项以上:口语化表述的成分、复杂度大于第一阈值的成分;所述成分包括词语或短语;
4、基于预设词语库对所述第一目标成分进行改写,得到第二目标成分;所述第二目标成分表示与所述第一目标成分对应的目标术语;
5、基于所述第二目标成分进行检索。
6、本申请实施例提供了一种电子设备,所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
7、所述处理器用于运行所述计算机程序以执行任一项检索方法。
8、本申请实施例提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现任一项检索方法。
9、本申请实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现任一项检索方法。
10、本申请实施例提供了一种检索方法、电子设备、介质和计算机程序产品,通过对待处理文本进行处理确定第一目标成分,能够识别待处理文本中口语化表述等形式的词语或短语。通过将第一目标成分改写为更加标准化的目标术语,再基于目标术语进行检索,有助于得到与第一目标成分语义相关但词语不匹配的检索结果,提升检索的准确性,得到更加完整的检索结果。
1.一种检索方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对待处理文本进行处理,识别所述待处理文本中的第一目标成分,包括:
3.根据权利要求2所述的方法,其特征在于,所述对待处理文本进行处理,确定所述待处理文本中成分的特征,以及所述成分之间的结构关系,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述待处理文本中成分的特征,以及所述成分之间的结构关系,识别所述待处理文本中的第一目标成分,包括:
5.根据权利要求1所述的方法,其特征在于,所述基于所述第二目标成分进行检索之前,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述确定所述待处理文本的复杂度,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述第二目标成分进行检索之后,所述方法还包括:
8.一种电子设备,其特征在于,所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现权利要求1至7任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com