数据处理方法、装置、终端设备及计算机可读存储介质与流程

本申请涉及人工智能，具体涉及一种数据处理方法、装置、终端设备及计算机可读存储介质。

背景技术：

1、随着大语言模型的广泛应用，基于键值缓存（kv cache）的推理方式已经成为提升模型推理效率的重要技术手段。在推理过程中，键值缓存用于保存历史上下文对应的中间计算结果，以避免后续推理过程中重复计算历史内容，从而降低计算开销，提高响应效率。由于键值缓存的规模通常随着上下文长度的增加而持续增长，在长对话场景下，键值缓存会占用较大的内存资源，因此通常需要在满足推理需求的前提下对键值缓存进行压缩，以降低内存占用。

2、相关技术中，通常采用预设的压缩参数对键值缓存进行压缩处理，这种压缩处理方式灵活性较差，难以兼顾压缩效果与处理效率，进而影响用户体验。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、终端设备及计算机可读存储介质，可以在不同对话情况下对应采用不同的压缩参数实施键值缓存压缩，使压缩处理能够适应当前对话情况进行调整，可以提高键值缓存压缩处理的灵活性，使键值缓存压缩过程与当前对话信息之间具有更好的适配性，提升键值缓存压缩处理的合理性和处理效率。

2、本发明解决问题所采用的技术方案如下：

3、一方面，本申请提供一种数据处理方法，包括：

4、获取当前键值缓存信息，以及当前对话信息；

5、判断当前键值缓存信息是否符合预定条件；若当前键值缓存信息符合预定条件，根据当前对话信息，确定目标压缩参数；

6、根据目标压缩参数对当前键值缓存数据进行压缩，得到处理后的键值缓存数据。

7、在本申请一些实施方案中，根据当前对话信息，确定目标压缩参数，包括：

8、对当前对话信息进行分类，确定对话类型；

9、根据当前键值缓存信息，确定基础压缩参数；

10、根据对话类型和基础压缩参数，确定目标压缩参数。

11、在本申请一些实施方案中，基础压缩参数包括第一参数和第二参数中的至少一种，第一参数用于表征需要压缩的数据量，第二参数用于表征需要保留的数据量，目标压缩参数包括第三参数和第四参数的至少一种，

12、根据对话类型和基础压缩参数，确定目标压缩参数，包括：

13、根据对话类型，确定当前对话信息的重要程度；

14、在重要程度表征当前对话为关键对话的情况下，减小第一参数，得到第三参数，和/或，增大第二参数，得到第四参数；

15、在重要程度表征当前对话为非关键对话的情况下，增大第一参数，得到第三参数，和/或，减小第一参数，得到第四参数。

16、在本申请一些实施方案中，获取当前键值缓存信息之后，包括：

17、获取内存缓存信息；

18、根据当前键值缓存信息和内存缓存信息，确定键值缓存阈值；

19、在当前键值缓存信息大于或等于键值缓存阈值的情况下，确定键值缓存信息符合预定条件。

20、在本申请一些实施方案中，目标压缩参数包括第三参数和第四参数；

21、根据目标压缩参数对当前键值缓存数据进行压缩，得到处理后的键值缓存数据，包括：

22、根据第三参数和第四参数，从当前键值缓存数据中获取待压缩键值缓存数据和待保留键值缓存数据；

23、根据待压缩键值缓存数据，确定候选键值缓存数据；

24、对候选键值缓存数据和待保留键值缓存数据进行重组，得到处理后的键值缓存数据。

25、在本申请一些实施方案中，根据第三参数和第四参数，从当前键值缓存数据中获取待压缩键值缓存数据和待保留键值缓存数据，包括：

26、根据第三参数和位置索引信息，确定第一位置信息；

27、根据第三参数、位置索引信息和第四参数，确定第二位置信息；

28、根据第一位置信息从当前键值缓存数据中选取待压缩键值缓存数据，以及根据第二位置信息从键值缓存数据中获取待保留键值缓存数据。

29、在本申请一些实施方案中，根据待压缩键值缓存数据，确定候选键值缓存数据，包括：

30、获取待压缩键值缓存数据对应的文本数据；

31、对文本数据进行语义压缩，生成摘要数据；

32、根据摘要数据和系统提示词信息，确定候选键值缓存数据。

33、第二方面，本发明实施例还提供一种数据处理装置，包括：

34、获取模块，用于获取当前键值缓存信息，以及当前对话信息；

35、判断模块，用于判断键值缓存信息是否符合预定条件；若当前键值缓存信息符合预定条件，根据当前对话信息，确定目标压缩参数；

36、压缩模块，用于根据目标压缩参数对当前键值缓存数据进行压缩，得到处理后的键值缓存数据。

37、第三方面，本申请还提供一种终端设备，终端设备包括：

38、一个或多个处理器；

39、存储器；以及

40、一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现第一方面中任一项的数据处理方法。

41、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行第一方面中任一项的数据处理方法中的步骤。

42、本发明的有益效果：通过获取当前键值缓存信息，以及当前对话信息，在判断当前键值缓存信息符合预定条件的情况下，根据当前对话信息确定目标压缩参数，并依据目标压缩参数对当前键值缓存数据进行压缩。由于目标压缩参数是结合当前对话信息确定的，因此不同对话情况下能够对应采用不同的压缩参数实施键值缓存压缩，使压缩处理能够适应当前对话情况进行调整，可以提高键值缓存压缩处理的灵活性，使键值缓存压缩过程与当前对话信息之间具有更好的适配性，提升键值缓存压缩处理的合理性和处理效率。

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述当前对话信息，确定目标压缩参数，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述基础压缩参数包括第一参数和第二参数中的至少一种，所述第一参数用于表征需要压缩的数据量，所述第二参数用于表征需要保留的数据量，所述目标压缩参数包括第三参数和第四参数的至少一种，

4.根据权利要求1所述的数据处理方法，其特征在于，所述获取当前键值缓存信息之后，包括：

5.根据权利要求1所述的数据处理方法，其特征在于，所述目标压缩参数包括第三参数和第四参数；

6.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述第三参数和所述第四参数，从所述当前键值缓存数据中获取待压缩键值缓存数据和待保留键值缓存数据，包括：

7.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述待压缩键值缓存数据，确定候选键值缓存数据，包括：

8.一种数据处理装置，其特征在于，包括：

9.一种终端设备，其特征在于，所述终端设备包括：一个或多个处理器、存储器以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的数据处理方法中的步骤。