数据处理方法、装置以及终端与流程

本公开涉及人工智能，特别涉及一种数据处理方法、装置以及终端。

背景技术：

1、随着人工智能（artificial intelligence，ai）技术的发展，模型管理平台可以在终端部署ai模型，同一终端中可以部署同一ai模型的多个版本，这多个版本中持续加载运行、承接用户推理请求并提供推理服务的版本称为ai模型的活跃版本，其中，ai模型的活跃版本处于活跃状态，ai模型的非活跃版本处于非活跃状态。随着业务需求的不断变化，模型管理平台可以切换终端中ai模型的活跃版本，例如，将当前运行的活跃版本热更新为ai模型的最新版本。

2、终端用户可以建立与ai模型的会话，单一会话存续期间支持多轮人机交互，终端中运行活跃版本的推理引擎实例会独立维护该会话的会话上下文，根据会话上下文，处理用户在该会话中发起的推理请求。

3、运行切换前的活跃版本的推理引擎实例称为旧推理引擎实例，运行切换后的活跃版本的推理引擎实例称为新推理引擎实例。目前，在切换ai模型的活跃版本时，终端会创建新推理引擎实例，来运行切换后的活跃版本。当用户在切换前建立的会话中发起新的推理请求时，将由新推理引擎实例来处理该推理请求，但由于新旧推理引擎实例资源完全隔离，新推理引擎实例未持有该会话完整的会话上下文，最终因本轮推理缺失上下文依据，导致推理结果的不准确。

技术实现思路

1、本公开提供一种数据处理方法、装置以及终端，以至少解决相关技术中因本轮推理缺失上下文依据，导致推理结果的不准确的问题。本公开的技术方案如下。

2、根据本公开实施例的一方面，提供一种数据处理方法，应用于终端，包括：

3、通过第一推理引擎实例运行第一版本的ai模型，通过第二推理引擎实例运行第二版本的所述ai模型，所述ai模型具有处于活跃状态的所述第一版本和处于非活跃状态的所述第二版本；

4、接收第一推理请求，所述第一推理请求携带第一会话的会话标识，所述第一推理请求指示基于所述ai模型执行推理任务；

5、在所述第二版本的至少一个绑定关系条目中查询所述第一会话的会话标识，所述绑定关系条目包括所述第二版本的版本标识和任一会话的会话标识；

6、若在所述第二版本的任一绑定关系条目中查询到所述第一会话的会话标识，通过运行所述第二版本的第二推理引擎实例，处理所述第一推理请求。

7、可选地，所述方法还包括：

8、若在所述至少一个绑定关系条目中未查询到所述第一会话的会话标识，通过所述第一推理引擎实例，处理所述第一推理请求。

9、可选地，所述若在所述至少一个绑定关系条目中未查询到所述第一会话的会话标识，通过所述第一推理引擎实例，处理所述第一推理请求，包括：

10、若在所述至少一个绑定关系条目中未查询到所述第一会话的会话标识且所述第一会话未绑定所述第一版本，将所述第一会话与所述第一版本进行绑定；

11、通过所述第一推理引擎实例，处理所述第一推理请求。

12、可选地，所述通过第一推理引擎实例运行第一版本的ai模型之后，所述方法还包括：

13、接收未携带会话标识的第二推理请求，所述第二推理请求指示基于所述ai模型执行推理任务；

14、通过运行所述第一推理引擎实例，处理所述第二推理请求。

15、可选地，所述第二版本的至少一个绑定关系条目存储在所述终端的内存中；所述方法还包括：

16、若所述第二版本的任一绑定关系条目满足删除条件，删除所述内存中的所述绑定关系条目。

17、可选地，所述删除条件包括下述任一项：

18、所述绑定关系条目中的会话标识所指示的会话显式关闭；

19、所述绑定关系条目的等待查询时长达到预设时长。

20、可选地，所述方法还包括：

21、基于所述内存的剩余存储容量，对所述预设时长进行调整。

22、可选地，所述方法还包括：

23、对所述第二版本的至少一个绑定关系条目进行加密，得到加密后的至少一个绑定关系条目；

24、对所述加密后的至少一个绑定关系条目进行持久化存储。

25、可选地，所述通过第一推理引擎实例运行第一版本的ai模型之后，所述方法还包括：

26、若所述第二版本未绑定任何会话且所述第二推理引擎实例没有处理中的无状态请求，卸载所述第二推理引擎实例，释放所述第二推理引擎实例以及所述第二版本占用的内存空间，其中，所述无状态请求是指未携带会话标识的推理请求。

27、可选地，所述通过第一推理引擎实例运行第一版本的ai模型之前，所述方法还包括：

28、响应于针对所述ai模型的版本切换命令，将所述第二版本的状态从所述活跃状态切换至所述非活跃状态，将所述第一版本的状态设置为所述活跃状态。

29、可选地，所述方法还包括：

30、接收第三推理请求，所述第三推理请求指示基于所述ai模型执行推理任务；

31、若所述第一版本的状态在切换过程中，通过所述第二推理引擎实例，处理所述第三推理请求。

32、根据本公开实施例的另一方面，提供一种数据处理装置，包括：

33、运行单元，被配置为执行通过第一推理引擎实例运行第一版本的ai模型，通过第二推理引擎实例运行第二版本的所述ai模型，所述ai模型具有处于活跃状态的所述第一版本和处于非活跃状态的所述第二版本；

34、接收单元，被配置为执行接收第一推理请求，所述第一推理请求携带第一会话的会话标识，所述第一推理请求指示基于所述ai模型执行推理任务；

35、查询单元，被配置为执行在所述第二版本的至少一个绑定关系条目中查询所述第一会话的会话标识，所述绑定关系条目包括所述第二版本的版本标识和任一会话的会话标识；

36、第一处理单元，被配置为执行在所述第二版本的任一绑定关系条目中查询到所述第一会话的会话标识，通过运行所述第二版本的第二推理引擎实例，处理所述第一推理请求。

37、可选地，所述数据处理装置还包括：

38、第二处理单元，被配置为执行若在所述至少一个绑定关系条目中未查询到所述第一会话的会话标识，通过所述第一推理引擎实例，处理所述第一推理请求。

39、可选地，所述第二处理单元被配置为执行：

40、若在所述至少一个绑定关系条目中未查询到所述第一会话的会话标识且所述第一会话未绑定所述第一版本，将所述第一会话与所述第一版本进行绑定；

41、通过所述第一推理引擎实例，处理所述第一推理请求。

42、可选地，所述数据处理装置还包括第二处理单元；

43、所述接收单元，还被配置为执行接收未携带会话标识的第二推理请求，所述第二推理请求指示基于所述ai模型执行推理任务；

44、所述第二处理单元，被配置为执行通过运行所述第一推理引擎实例，处理所述第二推理请求。

45、可选地，所述第二版本的至少一个绑定关系条目存储在所述终端的内存中；所述数据处理装置还包括：

46、删除单元，被配置为执行若所述第二版本的任一绑定关系条目满足删除条件，删除所述内存中的所述绑定关系条目。

47、可选地，所述删除条件包括下述任一项：

48、所述绑定关系条目中的会话标识所指示的会话显式关闭；

49、所述绑定关系条目的等待查询时长达到预设时长。

50、可选地，所述数据处理装置还包括：

51、调整单元，被配置为执行基于所述内存的剩余存储容量，对所述预设时长进行调整。

52、可选地，所述数据处理装置还包括：

53、加密单元，被配置为执行对所述第二版本的至少一个绑定关系条目进行加密，得到加密后的至少一个绑定关系条目；

54、第三处理单元，被配置为执行对所述加密后的至少一个绑定关系条目进行持久化存储。

55、可选地，所述数据处理装置还包括：

56、卸载单元，被配置为执行若所述第二版本未绑定任何会话且所述第二推理引擎实例没有处理中的无状态请求，卸载所述第二推理引擎实例，释放所述第二推理引擎实例以及所述第二版本占用的内存空间，其中，所述无状态请求是指未携带会话标识的推理请求。

57、可选地，所述数据处理装置还包括：

58、切换单元，被配置为执行响应于针对所述ai模型的版本切换命令，将所述第二版本的状态从所述活跃状态切换至所述非活跃状态，将所述第一版本的状态设置为所述活跃状态。

59、可选地，所述接收单元，还被配置为执行接收第三推理请求，所述第三推理请求指示基于所述ai模型执行推理任务；

60、所述第一处理单元，被配置为执行若所述第一版本的状态在切换过程中，通过所述第二推理引擎实例，处理所述第三推理请求。

61、根据本公开实施例的另一方面，提供一种终端，包括：

62、一个或多个处理器；

63、用于存储所述一个或多个处理器可执行指令的一个或多个存储器；

64、其中，所述一个或多个处理器被配置为执行上述一方面的任一种可能实施方式中的数据处理方法。

65、根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的至少一条指令由终端的一个或多个处理器执行时，使得所述终端能够执行上述一方面的任一种可能实施方式中的数据处理方法。

66、根据本公开实施例的另一方面，提供一种计算机程序产品，包括一条或多条指令，所述一条或多条指令可以由终端的一个或多个处理器执行，使得所述终端能够执行上述一方面的任一种可能实施方式中的数据处理方法。

67、本公开的实施例提供的技术方案至少带来以下有益效果：

68、终端通过两个推理引擎实例并行运行ai模型处于活跃状态的第一版本和处于非活跃状态的第二版本，通过绑定关系条目记录第二版本所绑定的会话，针对在会话中发起的推理请求，通过在绑定关系条目中查询该会话的会话标识，来确定该会话是否已经绑定第二版本，若该会话已经绑定第二版本，则通过运行第二版本的推理引擎实例处理该推理请求，由于该推理引擎实例持有该会话完整的会话上下文，该推理引擎实例能够基于该会话完整的会话上下文处理该推理请求，以确保推理结果准确，从而避免因本轮推理缺失上下文依据导致的推理结果不准确。

69、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。