一种数据处理方法及相关设备与流程

摘要: 本技术实施例涉及人工智能领域,尤其涉及一种数据处理方法及相关设备。背景技术:1、人工智能(artificialintelligence,ai)是利用数字计算机或...
一种数据处理方法及相关设备与流程

本技术实施例涉及人工智能领域,尤其涉及一种数据处理方法及相关设备。

背景技术:

1、人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人,自然语言处理,计算机视觉,决策与推理,人机交互,推荐与搜索,ai基础理论等。

2、为了减少在transformer模型的重复计算,常采用kv缓存的方式进行解决。具体的,在transformer模型中,每次推理时都需要计算查询(query)、键(key)和值(value)向量。kv缓存是指将之前计算得到的k矩阵和v矩阵进行缓存,在后续推理过程中,可以直接使用kv缓存,而不需要再重复计算。例如,假设推理任务是生成句子“it is a cat”,在生成第一个单词“it”的时候,模型会计算“it”的q矩阵、k矩阵以及v矩阵并缓存起来。在生成下一个单词“is”时,模型只需要计算“is”的q矩阵,并利用之前缓存的“it”的k矩阵和v矩阵来计算自注意力分数。依次类推,生成每一个新token时,都利用已经缓存的k矩阵和v矩阵,从而减少不必要的重复计算。

3、kv缓存的复用常采用哈希码匹配方式。具体的,在输入的提示词与历史提示词相同时,可以通过哈希码匹配的方式复用历史kv缓存。然而,上述方式只能实现精确匹配,在输入的提示词与历史提示词稍有不同时,无法复用历史kv缓存。

技术实现思路

1、本技术实施例提供一种数据处理方法及相关设备,根据提示词对应的多个子提示词进行向量化处理,并进行检索找到相近向量,从而推理时可以使用相近向量对应的kv缓存。不仅可以减少不必要的重复计算,提升推理效率。还可以实现模糊匹配,提升历史kv缓存的复用率。

2、本技术第一方面提供了一种数据处理方法,该方法由数据处理设备执行,或者,该方法由数据处理设备中的部分组件(例如处理器、芯片或芯片系统等)执行,或者该方法还可以由能实现全部或部分数据处理设备功能的逻辑模块或软件实现。在第一方面及其可能的实现方式中,以该方法由数据处理设备执行为例进行描述。在该方法中,数据处理设备先获取模型推理任务的提示词;数据处理设备获取提示词之后,拆分提示词以得到多个子提示词。再对多个子提示词中的每个子提示词进行向量化处理,得到与多个子提示词一一对应的多个第一向量。并基于多个第一向量在数据库中进行相似度匹配,得到与多个第一向量中至少一个第一向量意义匹配的至少一个第二向量。最后,数据处理设备基于至少一个第二向量各自对应的kv缓存确定模型推理任务的处理结果。

3、其中,相匹配的一个第一向量和一个第二向量之间的相似度大于或等于阈值,数据库包括多个第二向量,每个第二向量各自对应有kv缓存。

4、可选地,第二向量对应有kv缓存可以理解为,第二向量对应有提示词标识,该提示词标识关联有kv缓存。即数据处理设备可以确定第二向量对应的提示词标识,并根据提示词标识查表得到相应的kv缓存。表存储有提示词标识与kv缓存的关联关系。

5、本方案中,根据提示词对应的多个子提示词进行向量化处理,并进行相似度匹配找到相近向量,从而推理时可以使用相近向量对应的kv缓存。不仅可以减少不必要的重复计算,提升推理效率。还可以实现模糊匹配,提升历史kv缓存的复用率。

6、在一种可能的实现方式中,数据处理设备还可以获取历史模型推理任务的历史提示词,历史提示词包括多个历史子提示词;计算多个历史子提示词各自对应的kv缓存;对多个历史子提示词的至少一个历史子提示词进行向量化处理,得到与至少一个历史子提示词一一对应的至少一个第二向量;将至少一个第二向量和至少一个第二向量各自对应的kv缓存存储至数据库。

7、该种可能的实现方式中,数据处理设备计算历史提示词各自对应的kv缓存之后,向量化处理得到至少一个历史子提示词对应的至少一个第二向量,从而将至少一个第二向量与各自对应的kv缓存存储在数据库。以便于数据处理设备计算模型推理任务时,可以根据模型推理任务相关的第一向量在数据库中进行相似度匹配,以复用历史kv缓存,可以减少不必要的重复计算,提升模型推理任务的推理效率。

8、在一种可能的实现方式中,数据处理设备具体基于kv缓存的块大小拆分提示词得到多个子提示词。

9、该种可能的实现方式中,通过kv缓存的块大小对提示词进行拆分,可以适配kv缓存规则,提升后续复用历史kv缓存的准确性。

10、在一种可能的实现方式中,多个子提示词中每个子提示词对应的token标识数量与块大小相同。

11、该种可能的实现方式中,每个子提示词对应的token数量都与块大小相同,减少管理复杂度。

12、在一种可能的实现方式中,多个子提示词中任意相邻两个子提示词对应的token标识数量之差为块大小。

13、该种可能的实现方式中,通过后一个子提示词对前一个子提示词的包含关系,提升各子提示词之间的关联性。

14、在一种可能的实现方式中,多个子提示词中的一个子提示词具有位置索引,位置索引用于指示一个子提示词在多个子提示词中的位置。

15、该种可能的实现方式中,通过子提示词具有的位置索引可以提升各子提示词之间的关联性。

16、在一种可能的实现方式中,每个第二向量各自对应有提示词标识,提示词标识用于标识第二向量所属的提示词,第二向量是第二向量所属的提示词的子提示词进行向量化处理得到,数据处理设备具体基于多个第一向量的位置索引排序依次在数据库中进行相似度匹配得到至少一个第二向量,至少一个第二向量各自的提示词标识相同。

17、该种可能的实现方式中,根据位置索引依次检索,可以保证检索得到的多个第二向量尽量对应同一个历史提示词,从而提升后续复用kv缓存的准确性。

18、在一种可能的实现方式中,每个第二向量各自对应有提示词标识,提示词标识用于标识第二向量所属的提示词,第二向量是第二向量所属的提示词的子提示词进行向量化处理得到,数据处理设备具体基于多个第一向量的位置索引分别从数据库中进行相似度匹配得到至少一个第二向量,至少一个第二向量各自的提示词标识相同。

19、该种可能的实现方式中,可以不用考虑检索顺序,提升检索效率。

20、在一种可能的实现方式中,多个第一向量中的一个第一向量具有提示词标识,提示词标识用于标识第一向量所属的提示词;数据处理设备还可以基于第一向量具有的提示词标识在数据库中存储多个第一向量,多个第一向量对应有kv缓存。

21、该种可能的实现方式中,对模型推理任务推理任务结束后,可以存储模型推理任务相关的向量与kv缓存,以更新数据库,方便以后推理。

22、在一种可能的实现方式中,多个第一向量的数量大于或等于至少一个第二向量的数量。

23、该种可能的实现方式中,如果多个第一向量中的每个第一向量都能检索到第二向量且检索到的第二向量对应有同一历史提示词,则多个第一向量的数量与多个第二向量的数量相同。如果多个第一向量中存在未能检索到第二向量的第一向量,则多个第一向量的数量大于多个第二向量的数量,即有至少一个第一向量未找到检索结果。

24、本技术第二方面提供了一种数据处理设备,该数据处理设备可以为云端设备或终端设备,或者,该装置为云端设备或终端设备中的部分组件(例如处理器、芯片或芯片系统等),或者该装置为能实现全部或部分数据处理设备功能的逻辑模块或软件。该通信装置包括获取模块与处理模块。

25、获取模块,用于获取模型推理任务的提示词;

26、处理模块,用于拆分提示词以得到多个子提示词;

27、处理模块,还用于对多个子提示词中的每个子提示词进行向量化处理,得到与多个子提示词一一对应的多个第一向量;

28、处理模块,还用于基于多个第一向量在数据库中进行相似度匹配,得到与多个第一向量中至少一个第一向量一一匹配的至少一个第二向量,其中,相匹配的一个第一向量和一个第二向量之间的相似度大于或等于阈值,数据库包括多个第二向量,每个第二向量各自对应有kv缓存;

29、处理模块,还用于基于至少一个第二向量各自对应的kv缓存确定模型推理任务的处理结果。

30、在一种可能的实现方式中,获取模块,还用于获取历史模型推理任务的历史提示词,历史提示词包括多个历史子提示词;处理模块,还用于计算多个历史子提示词各自对应的kv缓存;处理模块,还用于对多个历史子提示词的至少一个历史子提示词进行向量化处理,得到与至少一个历史子提示词一一对应的至少一个第二向量;处理模块,还用于将至少一个第二向量和至少一个第二向量各自对应的kv缓存存储至数据库。

31、在一种可能的实现方式中,处理模块,具体用于基于kv缓存的块大小拆分提示词得到多个子提示词。

32、在一种可能的实现方式中,多个子提示词中每个子提示词对应的token标识数量与块大小相同。

33、在一种可能的实现方式中,多个子提示词中任意相邻两个子提示词对应的token标识数量之差为块大小。

34、在一种可能的实现方式中,多个子提示词中的一个子提示词具有位置索引,位置索引用于指示一个子提示词在多个子提示词中的位置。

35、在一种可能的实现方式中,每个第二向量各自对应有提示词标识,提示词标识用于标识第二向量所属的提示词,第二向量是第二向量所属的提示词的子提示词进行向量化处理得到,处理模块,具体用于基于多个第一向量的位置索引排序依次在数据库中进行相似度匹配,得到至少一个第二向量,至少一个第二向量各自的提示词标识相同。

36、在一种可能的实现方式中,每个第二向量各自对应有提示词标识,提示词标识用于标识第二向量所属的提示词,第二向量是第二向量所属的提示词的子提示词进行向量化处理得到,处理模块,具体用于基于多个第一向量的位置索引分别从数据库中进行相似度匹配,得到至少一个第二向量,至少一个第二向量各自的提示词标识相同。

37、在一种可能的实现方式中,多个第一向量中的一个第一向量具有提示词标识,提示词标识用于标识第一向量所属的提示词;处理模块,还用于基于第一向量具有的提示词标识在数据库中存储多个第一向量,多个第一向量对应有kv缓存。

38、在一种可能的实现方式中,多个第一向量的数量大于或等于至少一个第二向量的数量。

39、本技术第三方面提供了一种数据处理设备,包括至少一个处理器,至少一个处理器与存储器耦合;该存储器用于存储程序或指令;该至少一个处理器用于执行该程序或指令,以使该数据处理设备实现前述第一方面中的任意一种可能的实现方式的方法。

40、本技术第四方面提供了一种数据处理设备,包括至少一个逻辑电路和输入输出接口;该逻辑电路用于执行如前述第一方面中的任意一种可能的实现方式的方法。

41、本技术第五方面提供一种计算机可读存储介质,该存储介质用于存储一个或多个计算机执行指令,当计算机执行指令被处理器执行时,该处理器执行如上述第一方面中任一方面的任意一种可能的实现方式的方法。

42、本技术第六方面提供一种计算机程序产品,当计算机程序产品中的计算机程序被该处理器执行时,该处理器执行上述第一方面中任一方面的任意一种可能的实现方式的方法。

43、本技术第七方面提供了一种芯片或芯片系统,该芯片或芯片系统包括至少一个处理器,用于支持通信装置实现上述第一方面中任一方面的任意一种可能的实现方式的方法。

44、在一种可能的设计中,该芯片系统还可以包括存储器,存储器,用于保存该通信装置必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。可选的,芯片系统还包括接口电路,接口电路为至少一个处理器提供程序指令和/或数据。

45、本技术第八方面提供一种数据处理设备,包括如上述第七方面的芯片系统,该芯片系统包括处理器和通信接口,该通信接口用于与所示芯片系统之外的模块通信,该处理器用于运行计算机程序或指令,使得数据处理设备可以执行上述任一方面的方法。

46、本技术第九方面提供一种计算设备集群,包括至少一个如第二方面或第八方面的数据处理设备,任意一个数据处理设备用于运行计算机程序或指令,使得计算设备集群可以执行上述任一方面的方法。或者,部分或全部数据处理设备共同用于运行计算机程序或指令,使得计算设备集群可以执行上述任一方面的方法。

47、其中,第二方面至第九方面中任一种设计方式所带来的技术效果可参见上述第一方面中不同设计方式所带来的技术效果,在此不再赘述。

48、本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。