数据处理方法、装置、电子设备和可读介质与流程
本技术涉及计算机,尤其涉及一种数据处理方法、装置、电子设备和可读介质。
背景技术:
1、大语言模型(large language models,llm),作为人工智能领域的关键技术,近年来取得了突破性进展。它是一种基于深度神经网络构建的语言模型,拥有数百亿甚至更多的参数规模。
2、在相关技术中,各个网络应用通常会调用大语言模型提供的访问接口来向大语言模型发送用户提出的问题或需求,从而得到大语言模型为用户输出的答案来给用户提供服务。
3、然而,在此类方案中,大语言模型一般采用集中部署,当用户访问量大时,应用程序会生成对大语言模型接口的大量调用请求,提高大语言模型的计算压力且需要消耗大量网络资源,从而提高了大语言模型的总体使用成本。
技术实现思路
1、基于上述技术问题,本技术提供一种数据处理方法、装置、电子设备和可读介质,以降低大语言模型的计算压力和接口调用过程中的网络资源消耗,以及降低大语言模型的总体使用成本。
2、本技术的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本技术的实践而习得。
3、根据本技术实施例的一个方面,提供一种数据处理方法,包括:
4、获取客户端发送的数据处理请求,所述数据处理请求中包含处理目标描述信息;
5、通过所述客户端所属的边缘节点,对所述数据处理请求中的处理目标描述信息进行向量化,得到所述处理目标描述信息的目标嵌入向量,所述目标嵌入向量用于表示所述处理目标描述信息的语义含义,所述边缘节点包含第一数据集,所述第一数据集中包含所述边缘节点根据历史数据处理请求保存的历史嵌入向量和对应的历史处理结果;
6、根据所述目标嵌入向量,在所述第一数据集中检索目标历史处理结果,所述目标历史处理结果对应的历史嵌入向量与所述目标嵌入向量之间的向量相似度大于指定相似度阈值;
7、根据所述目标历史处理结果的检索结果,向所述客户端发送所述数据处理请求的数据处理结果。
8、根据本技术实施例的一个方面,提供一种数据处理装置,包括:
9、请求获取模块,配置成获取客户端发送的数据处理请求,所述数据处理请求中包含处理目标描述信息;
10、向量化模块,配置成通过所述客户端所属的边缘节点,对所述数据处理请求中的处理目标描述信息进行向量化,得到所述处理目标描述信息的目标嵌入向量,所述目标嵌入向量用于表示所述处理目标描述信息的语义含义,所述边缘节点包含第一数据集,所述第一数据集中包含所述边缘节点根据历史数据处理请求保存的历史嵌入向量和对应的历史处理结果;
11、结果检索模块,配置成根据所述目标嵌入向量,在所述第一数据集中检索目标历史处理结果,所述目标历史处理结果对应的历史嵌入向量与所述目标嵌入向量之间的向量相似度大于指定相似度阈值;
12、结果发送模块,配置成根据所述目标历史处理结果的检索结果,向所述客户端发送所述数据处理请求的数据处理结果。
13、在本技术的一些实施例中,基于本技术的技术方案,结果发送模块具体配置成:若在所述第一数据集中检索到目标历史处理结果,则向所述客户端发送检索到的目标历史处理结果,作为所述数据处理请求的数据处理结果;若在所述第一数据集中未检索到目标历史处理结果,则向所述边缘节点的父节点发送所述数据处理请求,以获得所述数据处理请求的数据处理结果。
14、在本技术的一些实施例中,基于本技术的技术方案,结果发送模块具体配置成:若在所述第一数据集中未检索到目标历史处理结果,通过所述边缘节点向所述边缘节点的父节点发送所述数据处理请求,所述父节点包含父节点数据集,所述父节点数据集中包含所述父节点根据历史数据处理请求保存的历史嵌入向量和对应的历史处理结果;根据所述目标嵌入向量,在所述父节点数据集中检索目标历史处理结果;若在所述父节点数据集中检索到目标历史处理结果,则向所述边缘节点发送检索到的目标历史处理结果,以通过所述边缘节点发送到所述客户端,作为所述数据处理请求的数据处理结果。
15、在本技术的一些实施例中,基于本技术的技术方案,结果发送模块具体配置成:若在所述父节点数据集中未检索到目标历史处理结果,则通过所述父节点将所述处理目标描述信息输入到大语言模型,得到所述数据处理请求的数据处理结果;通过所述父节点向所述边缘节点发送所述数据处理结果,以通过所述边缘节点将所述数据处理结果发送给所述客户端;通过所述父节点在所述父节点数据集中记录所述目标嵌入向量和所述数据处理结果,并通过所述边缘节点在所述第一数据集中记录所述目标嵌入向量和所述数据处理结果。
16、在本技术的一些实施例中,基于本技术的技术方案,结果检索模块还配置成:若在所述第一数据集中检索到目标历史处理结果,则在所述第一数据集中更新所述目标嵌入向量与所述目标历史处理结果之间的对应关系;若在所述第一数据集中未检索到目标历史处理结果,则在从所述父节点接收到所述数据处理请求的数据处理结果后,通过所述边缘节点在所述第一数据集中记录所述目标嵌入向量和所述数据处理结果。
17、在本技术的一些实施例中,基于本技术的技术方案,向量化模块还配置成:根据所述数据处理请求中的资源定位地址和资源路径,确定所述数据处理请求的数据处理路径;当所述数据处理路径为第一路径时,则通过所述边缘节点对所述处理目标描述信息进行向量化;当所述数据处理路径为第二路径时,则根据所述数据处理请求中的资源定位地址和所述处理目标描述信息计算存储键;根据所述存储键,在所述边缘节点的第二数据集中查询目标历史处理结果,所述第二数据集中包含所述边缘节点根据历史数据处理请求保存的历史存储键和对应的历史处理结果。
18、在本技术的一些实施例中,基于本技术的技术方案,结果发送模块还配置成:接收所述客户端发送的结果反馈信息,所述结果反馈信息包含针对所述目标历史处理结果与所述处理目标描述信息之间匹配程度的评分数据;根据指定时间段内接收到的结果反馈信息,计算所述指定时间段对应的评分指标数据;根据所述评分指标数据与指标阈值的比较结果,更新所述指定相似度阈值。
19、在本技术的一些实施例中,基于本技术的技术方案,结果检索模块具体配置成:按照所述第一数据集中各个历史嵌入向量对应的检索优先级的顺序,计算所述目标嵌入向量与所述第一数据集中历史嵌入向量之间的向量相似度,其中,所述检索优先级是根据对应的历史数据处理请求的处理复杂度和对应历史处理结果的访问频率确定的;根据所述向量相似度大于指定相似度阈值的历史嵌入向量,获取对应的历史处理结果。
20、在本技术的一些实施例中,基于本技术的技术方案,结果检索模块还配置成:根据所述第一数据集中各个历史处理结果的访问频率,获取访问频率低于指定频率阈值的冷处理结果和对应的冷嵌入向量;向所述边缘节点的父节点发送所述冷处理结果和所述冷嵌入向量,以在所述父节点的父节点数据集中保存所述冷处理结果和所述冷嵌入向量;从所述第一数据集中删除所述冷处理结果和所述冷嵌入向量。
21、在本技术的一些实施例中,基于本技术的技术方案,向量化模型具体配置成:根据所述处理目标描述信息,确定所述数据处理请求针对的业务领域;通过所述客户端所属的边缘节点,将所述处理目标描述信息输入到所述业务领域对应的嵌入模型中,得到所述处理目标描述信息的目标嵌入向量,所述嵌入模型是根据所述业务领域中的业务数据训练得到的。
22、在本技术的一些实施例中,基于本技术的技术方案,结果发送模块还配置成:获取其他边缘节点的共享数据,所述共享数据中包含从所述其他边缘节点的第一数据集中提取的共享嵌入向量和对应的共享处理结果;根据所述共享数据中共享嵌入向量与所述边缘节点的第一数据集中历史嵌入向量之间的相似度,将所述历史处理结果与所述共享处理结果合并保存到所述边缘节点的第一数据集中。
23、根据本技术实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,该处理器配置为经由执行可执行指令来执行如以上技术方案中的数据处理方法。
24、根据本技术实施例的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序被处理器执行时实现如以上技术方案中的数据处理方法。
25、根据本技术实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的数据处理方法。
26、在本技术的实施例中,数据处理系统获取客户端发送的数据处理请求,所述数据处理请求中包含处理目标描述信息,然后通过所述客户端所属的边缘节点,对所述数据处理请求中的处理目标描述信息进行向量化,得到所述处理目标描述信息的目标嵌入向量,所述目标嵌入向量用于表示所述处理目标描述信息的语义含义,所述边缘节点包含第一数据集,所述第一数据集中包含所述边缘节点根据历史数据处理请求保存的历史嵌入向量和对应的历史处理结果,再根据所述目标嵌入向量,在所述第一数据集中检索目标历史处理结果,所述目标历史处理结果对应的历史嵌入向量与所述目标嵌入向量之间的向量相似度大于指定相似度阈值,最后根据所述目标历史处理结果的检索结果,向所述客户端发送所述数据处理请求的数据处理结果。通过这样的方式,进行数据处理时,可以根据处理目标描述信息在历史请求中检索包含类似的描述信息的请求,并直接利用历史请求的历史处理结果向客户端进行响应,对类似的请求不再需要重复调用大语言模型接口,降低了大语言模型的计算压力和接口调用过程中的网络资源消耗,从而降低大语言模型的总体使用成本。
27、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com