推理数据的缓存与复用方法及装置与流程
本申请涉及通信网络,尤其涉及一种推理数据的缓存与复用方法及装置。
背景技术:
1、随着大模型技术的广泛应用,模型推理服务面临着海量的用户并发请求。由于大模型推理过程计算复杂度高,往往需要消耗庞大的后端算力资源,且端到端的响应时延较长。
2、在实际应用中,用户发送的大模型推理请求通常包含丰富的自然语言输入。目前,网络侧设备的缓存机制大多依赖于字符级别的精确匹配。然而,自然语言的表达具有高度的多样性,即便不同用户的核心诉求完全相同,其输入的具体文本内容也往往存在差异。
3、由于现有的网络侧精确匹配机制无法有效应对自然语言表达的多样性,导致缓存命中率极低。现有的网络节点通常只能将绝大部分推理请求直接透传至后端推理节点进行独立计算。这不仅导致后端节点处理了大量实质上重复的推理任务,造成了昂贵算力资源的严重浪费,也导致网络节点无法实现就近的快速响应,增加了用户的等待时延。
技术实现思路
1、本申请提供一种推理数据的缓存与复用方法及装置,用以解决现有技术中网络侧缓存命中率低、导致后端算力严重浪费的缺陷,实现在网络侧高效复用推理结果。
2、第一方面,本申请提供一种推理数据的缓存与复用方法,包括如下步骤:
3、接收推理请求,推理请求包括推理输入内容;
4、确定推理输入内容的语义标识;
5、基于语义标识在本地缓存中查找是否存在语义匹配的目标推理数据;
6、在存在目标推理数据的情况下,从本地缓存获取目标推理数据,并复用目标推理数据处理推理请求;
7、在不存在目标推理数据的情况下,将推理请求转发至后端推理节点,并将后端推理节点返回的推理数据与语义标识关联存储于本地缓存。
8、根据本申请提供的一种推理数据的缓存与复用方法,目标推理数据包括大模型推理结果、模型中间特征或键值缓存kv cache中的至少一种,复用目标推理数据处理推理请求,包括:
9、在获取的目标推理数据为大模型推理结果的情况下,将大模型推理结果作为响应返回至终端;
10、在获取的目标推理数据为模型中间特征或kv cache的情况下,将目标推理数据与推理请求协同路由至后端推理节点。
11、根据本申请提供的一种推理数据的缓存与复用方法,将后端推理节点返回的推理数据与语义标识关联存储于本地缓存,包括:
12、根据推理数据的数据类型,确定推理数据对应的物理存储介质并配置有效期;
13、在数据类型为大模型推理结果的情况下,存储于非易失性存储介质且配置第一有效期;
14、在数据类型为模型中间特征的情况下,存储于非易失性存储介质且配置第二有效期,第二有效期短于第一有效期;
15、在数据类型为kv cache的情况下,存储于易失性存储介质且配置第三有效期,第三有效期短于第二有效期。
16、根据本申请提供的一种推理数据的缓存与复用方法,推理请求还包括能力标识id;基于语义标识在本地缓存中查找是否存在语义匹配的目标推理数据,包括:
17、将语义标识与能力标识id组合为联合索引;
18、以联合索引在本地缓存中进行匹配查询。
19、根据本申请提供的一种推理数据的缓存与复用方法,推理请求还包括隐私域标识和安全等级;以联合索引在本地缓存中进行匹配查询之后,还包括:
20、在匹配到对应缓存条目的情况下,对比推理请求与缓存条目中的隐私域标识和安全等级;
21、当隐私域标识匹配一致,且推理请求的安全等级不低于缓存条目要求的安全等级时,判定存在目标推理数据。
22、根据本申请提供的一种推理数据的缓存与复用方法,本地缓存提供结构化缓存存储空间,结构化缓存存储空间中的每个缓存条目采用键值存储结构,缓存条目包括索引字段、元信息字段和数据字段;
23、索引字段为联合索引;
24、元信息字段包含模型版本、隐私域标识、安全等级、数据类型及有效期中的至少一项;
25、数据字段包含目标推理数据。
26、根据本申请提供的一种推理数据的缓存与复用方法,确定推理输入内容的语义标识,包括:
27、对推理输入内容进行标准化预处理;
28、基于特征提取模型,将预处理后的推理输入内容映射为特征向量;
29、对所述特征向量进行编码处理,得到语义标识。
30、根据本申请提供的一种推理数据的缓存与复用方法,上述方法还包括:
31、基于以下至少一项策略对本地缓存进行清理:
32、基于访问热度或访问频率的缓存替换策略;
33、基于有效期的超时删除策略;
34、响应于模型版本更新的强制失效策略。
35、第二方面,本申请还提供一种推理数据的缓存与复用装置,包括如下模块:
36、接收模块,用于接收推理请求,推理请求包括推理输入内容;
37、确定模块,用于确定推理输入内容的语义标识;
38、查找模块,用于基于语义标识在本地缓存中查找是否存在语义匹配的目标推理数据;
39、处理模块,用于在存在目标推理数据的情况下,从本地缓存获取目标推理数据,并复用目标推理数据处理推理请求;
40、处理模块,还用于在不存在目标推理数据的情况下,将推理请求转发至后端推理节点,并将后端推理节点返回的推理数据与语义标识关联存储于本地缓存。
41、第三方面,本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一种推理数据的缓存与复用方法。
42、第四方面,本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种推理数据的缓存与复用方法。
43、第五方面,本申请还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述任一种推理数据的缓存与复用方法。
44、本申请提供的一种推理数据的缓存与复用方法及装置,通过确定推理输入内容的语义标识,并基于语义标识在本地缓存中查找是否存在语义匹配的目标推理数据,若存在网络节点直接从本地缓存获取目标推理数据并复用,无需将推理请求转发至后端推理节点,缩短了推理请求的处理路径;当缓存未命中时,网络节点将推理请求转发至后端推理节点,并将返回的推理数据与语义标识关联存储于本地缓存,使得后续相同或相似语义的请求可直接命中缓存,减少重复计算,由此降低推理计算资源的重复消耗。
1.一种推理数据的缓存与复用方法,其特征在于,应用于网络节点,所述方法包括:
2.根据权利要求1所述的推理数据的缓存与复用方法,其特征在于,所述目标推理数据包括大模型推理结果、模型中间特征或键值缓存kv cache中的至少一种,所述复用所述目标推理数据处理所述推理请求,包括:
3.根据权利要求2所述的推理数据的缓存与复用方法,其特征在于,所述将所述后端推理节点返回的推理数据与所述语义标识关联存储于所述本地缓存,包括:
4.根据权利要求1所述的推理数据的缓存与复用方法,其特征在于,所述推理请求还包括能力标识id;所述基于所述语义标识在本地缓存中查找是否存在语义匹配的目标推理数据,包括:
5.根据权利要求4所述的推理数据的缓存与复用方法,其特征在于,所述推理请求还包括隐私域标识和安全等级;所述以所述联合索引在所述本地缓存中进行匹配查询之后,还包括:
6.根据权利要求4所述的推理数据的缓存与复用方法,其特征在于,所述本地缓存提供结构化缓存存储空间,所述结构化缓存存储空间中的每个缓存条目采用键值存储结构,所述缓存条目包括索引字段、元信息字段和数据字段;
7.根据权利要求1所述的推理数据的缓存与复用方法,其特征在于,所述确定所述推理输入内容的语义标识,包括:
8.根据权利要求1所述的推理数据的缓存与复用方法,其特征在于,所述方法还包括:
9.一种推理数据的缓存与复用装置,其特征在于,包括:
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的推理数据的缓存与复用方法。
11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的推理数据的缓存与复用方法。
12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的推理数据的缓存与复用方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com