一种适用于公交场景的混合知识检索增强方法及装置与流程
本发明涉及人工智能,尤其涉及智能交通,具体涉及一种适用于公交场景的混合知识检索增强方法及装置。
背景技术:
1、随着检索增强生成(retrieval-augmented generation, rag)技术的发展,企业开始采用rag架构将私有知识注入大语言模型。当前rag知识检索主要采用以下几种技术方案:
2、(1)单一向量检索方案,将文档向量化后存储到向量数据库,用户查询时通过语义相似度检索相关文档,但单一向量检索对专业术语和精确匹配效果差;(2)关键词检索方案,采用如bm25、elasticsearch的传统搜索引擎技术,通过关键词匹配检索相关文档,该方案对精确匹配效果好,但语义理解能力弱;(3)混合检索方案,结合向量检索和关键词检索,综合两路结果提高检索准确率,但多采用简单的加权平均融合检索结果,缺乏对文档质量、时效性、权威性等多维度评估,也无法针对公交场景优化重排序权重;(4)知识图谱增强检索方案,引入知识图谱技术,通过实体关系推理增强检索效果,但传统rag系统知识库更新依赖人工导入文档,无法实时感知公交运营数据变化,如线路调整、时刻表变更等,也就是说,知识版本管理缺失,导致检索可能基于过期知识。
3、针对上述的问题,目前尚未提出有效的解决方案,因此,亟需提出一种新型的混合知识检索增强方法。
技术实现思路
1、为了解决上述背景技术部分提出的至少一个技术问题,本申请提供了一种适用于公交场景的混合知识检索增强方法及装置,能够实现公交企业知识的精准检索。
2、第一方面,本发明实施例提供一种适用于公交场景的混合知识检索增强方法,包括:
3、接收用户在终端输入的初始查询数据,并对所述初始查询数据执行预处理操作,得到候选查询数据;
4、对所述候选查询数据并行执行三路检索操作,得到候选知识集合,其中,所述候选知识集合包括多个候选文档;
5、确定各所述候选文档的综合评分,并基于各所述候选文档的综合评分,从所述候选知识集合中确定目标检索结果;
6、基于所述目标检索结果,构建总提示词,并基于所述总提示词和预先训练的人工智能模型生成答案。
7、在本实施例的一些可选方式中,所述对所述初始查询数据执行预处理操作,得到候选查询数据,包括:
8、对所述初始查询数据进行分词处理,得到多个分词;
9、基于预先训练的公交实体识别模型,从所述多个分词中,确定多个公交实体;
10、基于公交领域词典,对各所述分词进行同义词扩展,得到各所述分词的同义词扩展结果;
11、对所述初始查询数据进行向量化处理,得到查询向量;其中,所述多个分词、各所述分词的同义词扩展结果、所述多个公交实体以及所述查询向量构成所述候选查询数据。
12、在本实施例的一些可选方式中,所述对所述候选查询数据并行执行三路检索操作,得到候选知识集合,包括:
13、基于所述查询向量,执行向量检索操作,得到向量检索结果;
14、基于所述多个分词和各所述分词的同义词扩展结果,执行关键词检索操作,得到关键词检索结果;
15、基于所述多个公交实体,执行图谱检索操作,得到图谱检索结果;
16、对所述向量检索结果、所述关键词检索结果以及所述图谱检索结果进行合并去重,得到所述候选知识集合。
17、在本实施例的一些可选方式中,所述确定各所述候选文档的综合评分,包括:
18、提取各所述候选文档的多维度特征,其中,所述多维度特征包括语义相似度、关键词匹配度、图谱关联度、文档质量分、时效性评分以及权威性评分;
19、基于所述语义相似度、关键词匹配度、图谱关联度、文档质量分、时效性评分、权威性评分以及各维度特征对应的特征权重,确定各所述候选文档的综合评分。
20、在本实施例的一些可选方式中,基于所述目标检索结果,构建总提示词,包括:
21、对所述目标检索结果进行结构化处理,得到结构化上下文,其中,所述结构化上下文包括多个知识片段,各所述知识片段包括知识内容、知识来源、更新时间以及相关度信息;
22、基于所述结构化上下文、预先设置的系统提示词以及所述初始查询数据,构建总提示词。
23、在本实施例的一些可选方式中,还包括:
24、实时监控知识有效性,判断是否触发知识更新条件:
25、若触发,确定变更文档,并基于所述变更文档,更新向量表示、关键词索引以及知识图谱。
26、第二方面,本发明实施例还提供一种适用于公交场景的混合知识检索增强装置,包括:
27、查询预处理模块,被配置为接收用户在终端输入的初始查询数据,并对所述初始查询数据执行预处理操作,得到候选查询数据;
28、多路检索模块,被配置为对所述候选查询数据并行执行三路检索操作,得到候选知识集合,其中,所述候选知识集合包括多个候选文档;
29、目标检索结果确定模块,被配置为确定各所述候选文档的综合评分,并基于各所述候选文档的综合评分,从所述候选知识集合中确定目标检索结果;
30、答案生成模块,被配置为基于所述目标检索结果,构建总提示词,并基于所述总提示词和预先训练的人工智能模型生成答案。
31、第三方面,本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的适用于公交场景的混合知识检索增强方法的步骤。
32、第四方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面所述的适用于公交场景的混合知识检索增强方法的步骤。
33、第五方面,本申请还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现第一方面所述的适用于公交场景的混合知识检索增强方法的步骤。
34、本发明实施例提供的一种适用于公交场景的混合知识检索增强方法及装置,对用户在终端输入的初始查询数据执行预处理操作,得到候选查询数据;对候选查询数据并行执行三路检索操作,得到候选知识集合;确定各候选文档的综合评分,并基于各候选文档的综合评分,从候选知识集合中确定目标检索结果;基于目标检索结果,构建总提示词,并基于总提示词和预先训练的人工智能模型生成答案,能够实现公交企业知识的精准检索。
1.一种适用于公交场景的混合知识检索增强方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述初始查询数据执行预处理操作,得到候选查询数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述对所述候选查询数据并行执行三路检索操作,得到候选知识集合,包括:
4.根据权利要求1所述的方法,其特征在于,所述确定各所述候选文档的综合评分,包括:
5.根据权利要求1所述的方法,其特征在于,基于所述目标检索结果,构建总提示词,包括:
6.根据权利要求1所述的方法,其特征在于,还包括:
7.一种适用于公交场景的混合知识检索增强装置,其特征在于,包括:
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的适用于公交场景的混合知识检索增强方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的适用于公交场景的混合知识检索增强方法的步骤。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的适用于公交场景的混合知识检索增强方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com