一种人工智能问答机器人的快速响应系统的制作方法

摘要: 本发明涉及自然语言处理,具体为一种人工智能问答机器人的快速响应系统。背景技术:1、大语言模型基于transformer架构,对输入的token序列计算query...
一种人工智能问答机器人的快速响应系统的制作方法

本发明涉及自然语言处理,具体为一种人工智能问答机器人的快速响应系统。

背景技术:

1、大语言模型基于transformer架构,对输入的token序列计算query、key、value张量并执行自注意力运算,得到具有上下文语义的token表示,在自回归生成过程中,业界普遍采用键值缓存机制,将已计算得到的键张量与值张量缓存于显存中,避免对历史token的重复计算,检索增强生成架构在大语言模型生成之前,先由检索器依据用户查询的语义向量,从向量数据库中召回若干相关的文本片段,并将其与用户查询拼接组装为完整的输入上下文,输入大语言模型执行预填充计算得到对应的键值缓存,进而生成问答结果;

2、现有的基于检索增强生成架构的问答系统中,由于每次用户查询检索得到的文本片段组合各不相同,导致拼接后的输入上下文在每次查询时均需重新执行完整的预填充计算,已有的键值缓存无法在不同查询之间复用,造成首字响应时间较长,难以满足对实时性要求较高场景的需求,此外,为提升响应速度,现有系统通常在检索增强生成流程前端引入语义缓存机制,通过匹配历史查询的语义向量拦截重复提问并直接返回历史答案,但在知识库文档发生更新时,现有系统普遍采用固定过期时间失效或者清空全部缓存的方式处理缓存的时效性问题,前者存在返回过期答案的风险,后者会导致缓存命中率骤降,产生较大的算力开销,为此,我们提出一种人工智能问答机器人的快速响应系统。

技术实现思路

1、本发明的目的在于提供一种人工智能问答机器人的快速响应系统。

2、本发明要解决的技术问题包括:其一,现有的基于大语言模型和检索增强生成架构的问答系统中,用户查询检索得到的文本片段组合具有随机性,导致每次查询均需要对拼接后的输入上下文重新执行完整的预填充计算,已有的键值缓存无法跨查询复用,造成首字响应时间较长,其二,现有系统在知识库发生更新时缺乏对语义缓存的精准失效手段,采用固定过期时间失效或者清空全部缓存两种方式,难以在保证数据实时性的同时兼顾缓存命中率与系统响应效率;

3、为解决上述技术问题,本发明提供一种人工智能问答机器人的快速响应系统,该系统包括语义缓存层、检索模块、键值缓存存储层、动态张量融合调度器以及大语言模型推理引擎,语义缓存层用于对用户输入的查询进行语义相似度匹配,在存在语义相似的历史查询缓存时直接返回对应的历史答案,检索模块用于在语义缓存层未命中时,对用户查询进行向量化处理得到查询语义向量,并依据该查询语义向量在向量数据库中检索出多个相关文本片段的标识,键值缓存存储层用于存储预先针对访问频率较高的文本片段离线计算得到的键张量与值张量,并建立文本片段标识与该键张量、该值张量存储路径之间的索引映射关系,动态张量融合调度器针对检索得到的多个文本片段标识,分别判断对应文本片段是否存在已存储的键张量与值张量,存在则读取,不存在则调用大语言模型对该文本片段执行预填充计算得到对应的键张量与值张量,随后将各文本片段对应的键张量沿序列长度维度依次拼接得到融合键张量,将各文本片段对应的值张量按相同方式拼接得到融合值张量,并依据各文本片段在融合张量中的起始与结束位置构建分块结构的注意力掩码矩阵,大语言模型推理引擎接收融合键张量、融合值张量以及注意力掩码矩阵,基于该掩码矩阵执行自注意力计算并生成问答结果;

4、进一步地,本发明所提供的系统还包括依赖图谱管理模块与异步预生成智能体,依赖图谱管理模块用于记录语义缓存节点与文本片段节点之间的依赖关系,构建有向二分图结构,并以哈希映射表的形式持久化存储该依赖关系,映射表的键为文本片段标识,值为依赖该文本片段的语义缓存节点标识所构成的集合,当知识库中某一文本片段发生更新时,依赖图谱管理模块以发生更新的文本片段标识作为键,在该哈希映射表中执行一次查找操作,得到依赖该文本片段的语义缓存节点集合,并将该集合中的语义缓存节点标记为失效状态并从语义缓存层中移除,异步预生成智能体在后台针对被标记为失效状态的语义缓存节点对应的历史查询,读取更新后的文本片段内容重新生成问答结果,并将重新生成的问答结果与更新后的依赖关系重新写入语义缓存层与依赖图谱管理模块;

5、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

6、1.本发明通过对访问频率较高的文本片段离线预先计算并存储其键张量与值张量,使检索命中的文本片段在线阶段能够直接复用已计算好的键值缓存,跳过对该部分文本片段的重复预填充计算,从而缩短了问答机器人的首字响应时间;

7、2.本发明通过在显存中对多个文本片段的键张量与值张量进行拼接并构建分块结构的注意力掩码矩阵,使不同文本片段对应的token在自注意力计算中相互隔离、互不干扰,同时保证查询对应的token能够关注全部文本片段的内容,在实现键值缓存跨查询复用的同时不影响问答结果的准确性;

8、3.本发明通过构建语义缓存节点与文本片段节点之间的依赖关系并以哈希映射表的形式存储,使知识库文档发生更新时能够通过一次查找操作精准定位受影响的语义缓存节点并仅使该部分缓存失效,避免了对全部缓存的清空操作,配合异步预生成机制对失效缓存进行重新生成,在保证缓存数据实时性的同时降低了缓存命中率骤降带来的算力开销,提升了系统在知识库动态更新场景下的整体可用性。

1.一种人工智能问答机器人的快速响应系统,其特征在于,包括:

2.根据权利要求1所述的一种人工智能问答机器人的快速响应系统,其特征在于:还包括频率统计模块,用于统计各文本片段在历史检索记录中被检索的次数,将被检索次数超过所述预设阈值的文本片段确定为高频文本片段,仅针对所述高频文本片段离线计算并存储对应的键张量与值张量。

3.根据权利要求1所述的一种人工智能问答机器人的快速响应系统,其特征在于:所述向量数据库包括文本语义索引层与所述键值缓存存储层,所述文本语义索引层用于存储文本片段的文本内容及其对应的嵌入向量,所述键值缓存存储层与所述文本语义索引层之间通过文本片段标识建立关联。

4.根据权利要求1所述的一种人工智能问答机器人的快速响应系统,其特征在于:还包括依赖图谱管理模块与异步预生成智能体;

5.根据权利要求4所述的一种人工智能问答机器人的快速响应系统,其特征在于:所述异步预生成智能体在重新生成问答结果时,针对更新后的文本片段重新执行离线计算,得到更新后的键张量与值张量,并更新所述键值缓存存储层中该文本片段对应的键张量与值张量的存储内容。

6.根据权利要求4所述的一种人工智能问答机器人的快速响应系统,其特征在于:知识库中文本片段发生更新的操作包括新增、删除、修改中的任意一种操作,所述依赖图谱管理模块针对上述任意一种操作均触发一次所述哈希映射表的查找。

7.一种人工智能问答机器人的快速响应方法,其特征在于,包括:

8.根据权利要求7所述的一种人工智能问答机器人的快速响应方法,其特征在于:在检索得到多个文本片段的标识之前,还包括:统计各文本片段在历史检索记录中被检索的次数,将被检索次数超过预设阈值的文本片段确定为高频文本片段,针对所述高频文本片段离线调用大语言模型执行预填充计算,得到对应的键张量与值张量并进行存储。

9.根据权利要求7所述的一种人工智能问答机器人的快速响应方法,其特征在于,还包括:记录每一次生成问答结果所引用的文本片段的标识,构建语义缓存节点与文本片段节点之间的依赖关系,并以哈希映射表的形式存储,所述哈希映射表的键为文本片段标识,值为依赖对应文本片段的语义缓存节点标识所构成的集合,当知识库中某一文本片段发生更新时,以发生更新的文本片段的标识作为键,在所述哈希映射表中查找得到依赖该文本片段的语义缓存节点集合,将查找得到的语义缓存节点标记为失效状态并从语义缓存层中移除。

10.根据权利要求7所述的一种人工智能问答机器人的快速响应方法,其特征在于,还包括:针对被标记为失效状态的语义缓存节点对应的历史查询,读取更新后的文本片段内容,重新调用大语言模型生成问答结果,并将重新生成的问答结果、重新计算得到的键张量与值张量以及更新后的依赖关系重新写入语义缓存层与依赖图谱管理模块。