一种面向RAG的个性化端云协同检索加速方法及系统

本发明涉及人工智能与信息检索，具体涉及一种面向检索增强生成（retrieval-augmented generation, rag）系统的检索加速方法及系统，尤其涉及一种基于用户个性化行为的端云协同图检索加速方法。

背景技术：

1、近年来，大语言模型（large language models, llms）在自然语言理解与生成任务中展现出优越性能，并已广泛应用于智能问答、搜索引擎、智能助手以及推荐系统等场景。然而，由于大语言模型依赖静态训练语料，其知识具有时效性限制，难以覆盖快速变化的外部知识。

2、检索增强生成（rag）通过引入外部知识库，在生成过程中动态检索相关信息，从而显著提升模型回答的准确性与可靠性，已成为当前主流的增强型大模型架构之一。在rag系统中，检索模块负责从大规模知识库中找到与用户查询相关的候选信息，是整个系统的关键组成部分。

3、为了在大规模数据中实现高效检索，当前系统普遍采用基于向量的近似最近邻搜索（approximate nearest neighbor search, anns），其中以图结构索引（如hnsw等）为代表的方法因其较高的检索效率与精度平衡，已成为工业界和学术界的主流方案。然而，随着知识库规模不断增长，图检索过程中节点访问数量增加，检索路径变长，导致检索延迟逐渐成为rag系统的主要性能瓶颈。

4、此外，在移动端或个性化应用场景中，用户对系统响应速度具有更高要求，使得检索效率问题更加突出。因此，如何在保证检索精度的前提下进一步降低大规模图索引上的检索开销，成为亟待解决的技术问题。

5、现有rag检索加速方法主要集中在以下两个方面：

6、（1）索引结构优化方法

7、现有技术通过改进向量索引结构（如hnsw、nsg以及基于磁盘的diskann等），优化图结构连接方式与搜索策略，以减少搜索过程中的计算开销。然而，该类方法主要作用于索引内部结构优化，其搜索过程仍然从全局统一入口开始，无法利用用户历史行为信息对搜索起点进行优化，因此难以进一步降低跨区域图遍历成本。

8、（2）系统与硬件加速方法

9、另一类方法通过引入硬件加速、流水线并行、缓存机制等手段提升检索吞吐率。例如利用专用加速器、内存扩展架构或缓存中间检索结果等方式减少延迟。然而，该类方法主要从执行层面优化计算资源利用率，并未改变检索路径本身的结构性开销，因此对大规模图检索中的路径长度问题改善有限。

技术实现思路

1、本发明旨在至少在一定程度上解决现有技术中存在的技术问题之一。

2、为此，本发明的目的是提供一种面向rag的个性化端云协同检索加速方法及系统，以在不显著增加设备存储与计算负担的前提下，利用用户个性化历史行为信息对大规模图检索过程进行有效引导，实现端云协同的检索路径加速，同时保证检索覆盖性与准确性。

3、为了实现上述目的，本发明采用如下技术方案：

4、本发明第一方面提供的一种面向rag的个性化端云协同检索加速方法，包括：

5、基于云端接收或预先获得的知识库文档集合构建云端全局图索引，并按照语义标签构建标签子图；在终端构建用于刻画用户高频访问的语义区域的个性化子图索引，初始的所述个性化子图索引根据所述标签子图生成；

6、根据用户查询请求在所述个性化子图索引中进行局部图检索，定位与当前查询请求相关的候选区域并得到对应的终端终止节点，将所述终端终止节点作为个性化搜索入口节点发送至云端，云端基于所述个性化搜索入口节点在所述云端全局图索引中进行图遍历搜索，生成候选知识片段并下发至终端。

7、在一些实施例中，所述基于云端接收或预先获得的知识库文档集合构建云端全局图索引，包括：

8、云端接收或预先获得知识库文档集合，并将文档切分为多个文本片段，每个文本片段作为检索的基本单位，对应一个节点；

9、云端为每个文本片段生成语义标签；

10、云端利用嵌入模型将所述文本片段编码为嵌入向量；

11、云端基于所有文本片段的嵌入向量构建云端全局图索引。

12、在一些实施例中，所述按照语义标签构建标签子图，包括：

13、将所述全局图索引中具有相同语义标签的节点按照建立所述全局图索引的方式进行边连接，形成所述标签子图。

14、在一些实施例中，初始的所述个性化子图索引根据所述标签子图生成，包括：

15、在用户初次使用或所述终端子图索引缺失时，云端根据各语义标签在所述云端全局图索引中的占比进行比例随机抽样，得到候选节点集合；

16、将抽样得到的候选节点、对应的嵌入向量和邻接关系下发到终端，终端据此构建终端子图索引。

17、在一些实施例中，所述根据用户查询请求在所述个性化子图索引中进行局部图检索，定位与当前查询请求相关的候选区域并得到对应的终端终止节点，将所述终端终止节点作为个性化搜索入口节点发送至云端，云端基于所述个性化搜索入口节点在所述云端全局图索引中进行图遍历搜索，生成候选知识片段并下发至终端，包括：

18、终端接收用户查询请求后通过嵌入模型从文字查询生成查询向量；

19、终端在所述终端子图索引上执行局部图检索，获得本地检索的终止节点，并将检索到的终止节点作为个性化入口节点；

20、终端将所述查询向量、个性化入口节点id以及必要的检索参数发送至云端；

21、云端在所述云端全局图索引中以接收到的所述个性化入口节点作为起点继续图遍历，生成候选知识片段并下发至终端，云端记录本次检索中的个性化入口节点及其语义标签、和云端终止节点。

22、在一些实施例中，所述个性化端云协同检索加速方法还包括：当满足预设的更新阈值要求时，对所述终端子图索引进行自适应更新，包括：

23、设终端子图索引大小为，历史查询请求集合为，以及第一重采样比例参数、第二重采样比例参数和第三重采样比例参数，三个比例参数满足：；

24、统计历史查询对应的个性化入口节点及其语义标签、和云端终止节点，得到用户访问语义标签数量的分布；

25、保留当前终端子图索引中属于高频语义标签的节点，并保留历史查询到达过的终端终止节点，设所保留的节点数量为；所述高频语义标签为从所述历史查询请求集合中识别的前k个语义标签；

26、在当前终端子图索引的剩余个节点中随机选择个节点；

27、对所述云端全局图索引进行局部性感知重采样，选择全局图索引中的个节点；

28、对所述云端标签子图进行标签感知重采样，选择云端标签子图中的个节点；

29、将所选择的、和个节点作为新采样节点替换终端子图索引中未保留的节点，并更新所述新采样节点的邻接关系、语义标签和嵌入向量。

30、在一些实施例中，对所述云端全局图索引进行局部性感知重采样，包括：

31、针对每个历史查询请求，设局部性采样的总预算为，将该总预算拆分为入口节点总预算和云端终止节点总预算，二者各占一半；其中，

32、针对任一云端终止节点，分配围绕该云端终止节点的采样预算为所述云端终止节点总预算除以云端终止节点总数，从该云端终止节点的一层邻居和二层邻居中分别随机抽样此云端终止节点采样预算一半的节点，在选择二层邻居时排除已选一层邻居的直接邻居；若一层邻居数量不足，则将剩余预算转移给二层邻居；

33、针对任一个性化搜索入口节点，按照该个性化搜索入口节点关联的云端终止节点出现次数在所述入口节点总预算下成比例分配该个性化搜索入口节点的采样预算；针对该个性化搜索入口节点的一跳邻居集合，分别按照其到各关联云端终止节点的嵌入向量距离排序，得到多个有序列表，对该多个有序列表采用轮询列表去重合并的方式交替取出该个性化搜索入口节点采样预算一半的排名靠前的节点；针对该个性化搜索入口节点的二跳邻居集合，排除已选一层邻居的直接邻居，采用同样的排序策略选择该个性化搜索入口节点采样预算另一半的节点。

34、在一些实施例中，对所述云端标签子图进行标签感知重采样，包括：

35、针对任一个性化搜索入口节点，按照该个性化搜索入口节点关联的云端终止节点出现次数成比例分配标签感知采样总预算为该个性化搜索入口节点的标签感知采样预算，从与该个性化搜索入口节点具有相同语义标签的云端标签子图中进行采样，具体地，针对该个性化搜索入口节点的一跳邻居集合，分别按照其到各关联云端终止节点的嵌入向量距离排序，得到多个有序列表，对该多个有序列表采用轮询列表去重合并的方式交替取出该个性化搜索入口节点采样预算一半的排名靠前的节点；针对该个性化搜索入口节点的二跳邻居集合，排除已选一层邻居的直接邻居，采用同样的排序策略选择该个性化搜索入口节点采样预算另一半的节点。

36、本发明第二方面提供的一种面向rag的个性化端云协同检索加速系统，包括：

37、云端，其内存储有基于接收或预先获得的知识库文档集合构建的云端全局图索引以及按照语义标签构建的标签子图，所述云端用于根据终端发送的个性化搜索入口节点在所述云端全局图索引中进行图遍历搜索，生成候选知识片段并下发至终端；

38、终端，用于维护与用户历史检索行为相关的个性化子图索引，所述个性化子图索引用于刻画用户高频访问的语义区域，所述终端根据用户查询请求在所述个性化子图索引中进行局部图检索，定位与当前查询请求相关的候选区域并得到对应的终端终止节点，将所述终端终止节点作为个性化搜索入口节点发送至云端。

39、在一些实施例中，所述个性化端云协同检索加速系统还包括：

40、终端子图索引进行自适应更新模块，被配置为当满足预设的更新阈值要求时，对所述终端子图索引进行自适应更新，包括：

41、设终端子图索引大小为，历史查询请求集合为，以及第一重采样比例参数、第二重采样比例参数和第三重采样比例参数，三个比例参数满足：；

42、统计历史查询对应的个性化入口节点及其语义标签、和云端终止节点，得到用户访问语义标签数量的分布；

43、保留当前终端子图索引中属于高频语义标签的节点，并保留历史查询到达过的终端终止节点，设所保留的节点数量为；所述高频语义标签为从所述历史查询请求集合中识别的前k个语义标签；

44、在当前终端子图索引的剩余个节点中随机选择个节点；

45、对所述云端全局图索引进行局部性感知重采样，选择全局图索引中的个节点；

46、对所述云端标签子图进行标签感知重采样，选择云端标签子图中的个节点；

47、将所选择的、和个节点作为新采样节点替换终端子图索引中未保留的节点，并更新所述新采样节点的邻接关系、语义标签和嵌入向量。

48、与现有技术相比，本发明至少具有如下有益效果：

49、（1）本发明能够显著降低大规模rag系统中的检索延迟，提高系统吞吐能力。

50、本发明通过在设备侧维护个性化子图索引，并利用设备侧检索结果为云端全局图检索提供个性化搜索入口，使得云端搜索能够更快速地进入与用户兴趣相关的语义区域，从而减少全局图中的无效节点遍历数量，缩短检索路径。实验结果表明，在相同检索精度条件下，本发明能够显著降低检索延迟，并有效提升系统查询吞吐率。

51、（2）本发明能够在保证检索精度的同时提升检索效率。

52、现有图检索方法通常需要在大规模索引图中进行较长路径搜索，而本发明利用用户历史查询行为所形成的个性化局部性特征，对搜索入口进行优化，使检索过程能够更加接近目标语义区域。实验结果表明，在recall@3达到0.9的条件下，本发明仍能够保持较高检索精度，同时实现显著的性能提升。

53、（3）本发明能够提升下游rag生成任务的生成质量。

54、由于本发明能够在有限检索时间预算内返回更加相关的候选内容，因此下游大语言模型能够获得更加准确且语义相关的外部知识，从而提高生成结果质量。实验结果表明，在相同检索时间约束下，本发明相比现有方法能够获得更高的问答准确率及生成结果评分。

55、（4）本发明具有较低的设备侧资源开销。

56、本发明在设备侧仅维护轻量化子图索引，而不存储完整知识内容，从而有效降低设备存储压力。同时，设备侧仅执行局部图检索与搜索入口生成，其计算复杂度较低，能够适配资源受限设备。实验结果表明，本发明在智能手机及轻量化终端设备上仍能够保持较低的计算与存储开销。

57、（5）本发明能够动态适应用户兴趣变化。

58、本发明通过局部性重采样与标签感知重采样机制，对设备侧子图索引进行动态更新，使索引能够持续贴合用户历史行为与兴趣分布变化，从而长期维持较高的检索效率与检索质量。

59、（6）本发明兼具个性化能力与全局知识覆盖能力。

60、本发明采用端云协同检索架构，设备侧负责提供个性化搜索引导，云端负责维护完整全局知识库及图索引。因此，相较于仅依赖本地缓存或本地知识库的方法，本发明在降低检索开销的同时，仍能够保证对大规模知识库的全局覆盖与检索准确性。