一种问答请求的本地应答方法、电子设备和存储介质与流程

摘要: 本技术实施例涉及问答请求,具体涉及一种问答请求的本地应答方法、电子设备和计算机可读存储介质。背景技术:1、随着人工智能(artificialintelligen...
一种问答请求的本地应答方法、电子设备和存储介质与流程

本技术实施例涉及问答请求,具体涉及一种问答请求的本地应答方法、电子设备和计算机可读存储介质。

背景技术:

1、随着人工智能(artificial intelligence,ai)技术的发展,大语言模型和智能体等ai技术的应用越来越广泛。例如,在汽车诊断行业,为了提升故障排查的效率,越来越多的维修场景搭配了诊断助手此类智能体来辅助技师进行作业。

2、目前,诊断助手通常运行在云端,以依赖云端的算力以及大模型对用户的问答请求进行应答。然而,在车间、地库、外出救援等实际汽车维修场景下,常因公网网络不可用或信号较差,导致依赖云端的诊断助手无法使用,从而影响了诊断作业的连续性与时效性。

3、为了解决网络依赖问题,现有技术尝试将诊断助手等工具部署在本地设备上。然而,本地设备(如诊断平板)通常资源受限,其算力较弱且内存较小,难以在资源受限的本地设备上直接运行包含大语言模型等复杂组件的诊断助手类工具,强行运行容易导致本地设备的内存溢出、设备卡顿甚至系统崩溃。

4、基于此,如何在资源受限的本地设备上对用户的问答请求进行良好响应,成了一个亟待解决的技术问题。

技术实现思路

1、鉴于上述问题,本技术实施例提供了一种问答请求的本地应答方法、电子设备和计算机可读存储介质,用于解决现有技术中存在的难以在资源受限的本地设备上对用户的问答请求进行良好响应的问题。

2、根据本技术实施例的一个方面,提供了一种问答请求的本地应答方法,所述方法包括:获取问答请求,其中,问答请求包括自然语言查询文本和场景上下文数据;对自然语言查询文本和场景上下文数据进行改写,生成目标查询语句;基于预设的向量索引知识库和结构化知识库对目标查询语句进行检索,得到多个候选知识片段;对多个候选知识片段进行相关性评估,得到每个候选知识片段的相关性得分;根据相关性得分对多个候选知识片段进行排序;根据预设的输入长度限制阈值对排序后的候选知识片段进行截断,得到目标知识片段;将目标知识片段和自然语言查询文本输入本地预部署的轻量化模型进行推理,以对问答请求进行应答。

3、在一种可选的方式中,基于预设的向量索引知识库和结构化知识库对目标查询语句进行检索,得到多个候选知识片段,包括:对目标查询语句进行向量化处理,得到查询向量;根据场景上下文数据确定结构化过滤条件;根据结构化过滤条件从向量索引知识库中确定目标检索子空间;基于查询向量在目标检索子空间内进行相似度检索,得到第一检索结果集;解析目标查询语句中的结构化实体,得到查询实体;基于查询实体在结构化知识库中进行检索,得到第二检索结果集;将第一检索结果集和第二检索结果集进行合并,生成多个候选知识片段;对多个候选知识片段进行相关性评估,得到每个候选知识片段的相关性得分,包括:确定多个候选知识片段分别与目标查询语句的相似度,得到每个候选知识片段的相关性得分。

4、在一种可选的方式中,确定多个候选知识片段分别与目标查询语句的相似度,得到每个候选知识片段的相关性得分,包括:确定多个候选知识片段分别与目标查询语句的相似度,得到每个候选知识片段的相关性得分,以及该相关性得分的置信度;在根据相关性得分对多个候选知识片段进行排序之后,该方法还包括:若每个候选知识片段的相关性得分的置信度均低于预设的置信度阈值,则对问答请求进行意图识别,得到意图信息;根据意图信息确定问答请求的应答需求类型;若应答需求类型为外部实时数据依赖型,则生成离线待同步任务,其中,离线待同步任务包含问答请求的标识信息,用于在网络参数满足预设条件时根据标识信息从云端获取实时数据并生成应答;若应答需求类型为非实时数据依赖型,则基于预设的启发式规则进行应答。

5、在一种可选的方式中,在对自然语言查询文本和场景上下文数据进行改写,生成目标查询语句之后,该方法还包括:若基于预设的向量索引知识库和结构化知识库对目标查询语句进行检索,未检索到候选知识片段,则对问答请求进行意图识别,得到意图信息;根据意图信息确定问答请求的应答需求类型;若应答需求类型为外部实时数据依赖型,则生成离线待同步任务,其中,离线待同步任务包含问答请求的标识信息,用于在网络参数满足预设条件时根据标识信息从云端获取实时数据并生成应答;若应答需求类型为非实时数据依赖型,则基于预设的启发式规则进行应答。

6、在一种可选的方式中,在获取问答请求之前,该方法还包括:响应于选择的诊断场景,加载与诊断场景对应的技能包配置文件,其中,技能包配置文件包括知识库索引标识和工具调用白名单;基于预设的向量索引知识库和结构化知识库对目标查询语句进行检索,得到多个候选知识片段,包括:对问答请求进行解析,生成目标工具调用指令,其中,目标工具调用指令中包含待调用工具标识;校验待调用工具标识是否存在于工具调用白名单中;若待调用工具标识存在于工具调用白名单中,则将知识库索引标识作为检索约束参数注入与待调用工具标识对应的本地检索工具;基于本地检索工具,在对应于知识库索引标识的向量索引知识库和结构化知识库中,对目标查询语句进行检索,得到多个候选知识片段。

7、在一种可选的方式中,技能包配置文件还包括提示词模板和领域角色设定信息;将目标知识片段和自然语言查询文本输入本地预部署的轻量化模型进行推理,以对问答请求进行应答,包括:根据领域角色设定信息和提示词模板,构建系统提示指令;根据预设的拼接顺序,将系统提示指令、目标知识片段和自然语言查询文本拼接为目标提示词序列;将目标提示词序列输入轻量化模型进行推理,以对问答请求进行应答。

8、在一种可选的方式中,提示词模板中包含思维链引导模板,思维链引导模板包括预配置的推理的逻辑步骤;将目标提示词序列输入轻量化模型进行推理,以对问答请求进行应答,包括:将思维链引导模板和目标提示词序列输入轻量化模型进行推理,以使轻量化模型根据思维链引导模板,依次生成与逻辑步骤对应的推理文本;基于推理文本,对问答请求进行应答。

9、在一种可选的方式中,获取问答请求,包括:采集用户的原始语音流数据;加载预配置的汽车诊断领域的词汇偏置库;根据词汇偏置库对原始语音流数据进行解码,得到初始文本序列;对初始文本序列进行槽位填充和意图分类,生成自然语言查询文本和场景上下文数据。

10、根据本技术实施例的另一方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,该处理器执行计算机程序以实现如上任一项所述的问答请求的本地应答方法。

11、根据本技术实施例的又一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上任一项所述的问答请求的本地应答方法。

12、本技术实施例通过获取问答请求,并对自然语言查询文本和场景上下文数据进行改写,生成目标查询语句,使得目标查询语句可以准确反映用户的真实意图与当前的场景状态;基于预设的向量索引知识库和结构化知识库对目标查询语句进行检索,得到多个候选知识片段,对多个候选知识片段进行相关性评估,得到每个候选知识片段的相关性得分,根据相关性得分对多个候选知识片段进行排序,以从本地知识子集切片中提取与用户的真实意图以及当前的场景状态相关度最高的核心知识片段,并剔除冗余和低相关性的噪声数据,从而在受限的本地资源下减少无效的数据处理量,降低本地设备的算力消耗;根据预设的输入长度限制阈值对排序后的候选知识片段进行截断,得到目标知识片段,以控制输入给本地大模型的上下文长度,使得长文本输入导致的内存占用激增和推理缓慢得到改善,从而防止本地设备的内存溢出、卡顿甚至系统崩溃;将目标知识片段和自然语言查询文本输入本地预部署的轻量化模型进行推理,以对问答请求进行应答,使得轻量化模型在离线且算力受限的条件下依然能获得高信噪比的上下文参考,从而有效抑制了无依据的幻觉生成,保证了在无网络或弱网场景下对用户问答请求响应的准确性和专业性,实现了资源受限的本地设备对问答请求的良好响应。

13、上述说明仅是本技术实施例技术方案的概述,为了能够更清楚了解本技术实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本技术实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。