移动端本地模型运行时管理方法、装置、电子设备及存储介质与流程

本发明涉及移动端人工智能模型推理优化，具体涉及一种移动端本地模型运行时管理方法、装置、电子设备及存储介质。

背景技术：

1、随着端侧大语言模型的应用日益广泛，在ai智能设备上提供稳定、低延迟的端侧模型推理服务变得至关重要。移动端的轻量级推理运行时通常受限于内存、计算资源以及底层引擎的约束，部分运行时在同一引擎实例下仅允许一个活跃会话。当多个业务会话、不同系统提示词或多模态能力组合需要并发或交替调用时，现有方案通常面临会话冲突、引擎频繁初始化导致的性能开销、内存资源常驻过高或资源释放时机不当等问题。

2、现有技术中的方案，例如单体式实现、仅使用公开协议或依赖于人工配置，往往无法在移动端资源受限的环境中，在满足单引擎单会话约束的同时，有效实现多业务会话的复用、异构后端计算的隔离以及空闲资源的自动回收。这导致了推理延迟增加、内存抖动、系统稳定性下降等问题。

技术实现思路

1、鉴于所述问题，提出了本技术以便提供克服所述问题或者至少部分地解决所述问题的一种移动端本地模型运行时管理方法、装置、电子设备及存储介质，包括：

2、一种移动端本地模型运行时管理方法，包括：

3、接收推理请求数据，所述推理请求数据包括模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本；

4、基于所述模型标识、所述计算后端配置组合和所述多模态能力开关进行组合计算，得到引擎缓存键；

5、基于所述引擎缓存键查询引擎缓存，确定目标推理引擎；

6、对所述业务会话标识和所述系统提示词文本进行摘要处理，得到会话槽标识；

7、将所述会话槽标识与当前会话槽的标识进行比对，确定所述目标推理引擎对应的目标会话实例；

8、当所述目标推理引擎执行所述推理请求数据对应的推理任务时，实时更新所述目标推理引擎的在途请求计数；

9、若所述在途请求计数满足预设空闲条件且持续时长达到预设阈值，则释放所述目标推理引擎及其关联的会话资源。

10、进一步地，所述基于所述引擎缓存键查询引擎缓存，确定目标推理引擎，包括：

11、基于所述引擎缓存键在引擎缓存池中进行查询，确定是否命中匹配的推理引擎实例；

12、若命中匹配的推理引擎实例，则将所述推理引擎实例作为所述目标推理引擎；

13、若未命中匹配的推理引擎实例，则初始化新的轻量级推理运行时实例，作为所述目标推理引擎，并写入所述引擎缓存池。

14、进一步地，所述将所述会话槽标识与当前会话槽的标识进行比对，确定所述目标推理引擎对应的目标会话实例，包括：

15、将所述会话槽标识与所述当前会话槽的标识进行比对，确定是否一致；

16、若所述会话槽标识与所述当前会话槽的标识一致，则复用所述目标推理引擎下的当前会话上下文，作为所述目标会话实例；

17、若所述会话槽标识与所述当前会话槽的标识不一致，则关闭所述当前会话上下文并清理对应的键值缓存，创建新的会话上下文作为所述目标会话实例并更新所述当前会话槽的标识。

18、进一步地，所述当所述目标推理引擎执行所述推理请求数据对应的推理任务时，实时更新所述目标推理引擎的在途请求计数，包括：

19、在将所述推理请求数据提交至所述目标推理引擎执行所述推理任务前，对所述在途请求计数进行递增操作；

20、在接收到所述目标推理引擎返回的推理结束信号或推理异常信号后，对所述在途请求计数进行递减操作。

21、进一步地，所述在途请求计数的最小值为零，所述若所述在途请求计数满足预设空闲条件且持续时长达到预设阈值，则释放所述目标推理引擎及其关联的会话资源，包括：

22、当检测到所述在途请求计数递减至零时，确定所述在途请求计数满足所述预设空闲条件，并启动与所述目标推理引擎绑定的空闲计时器；

23、当所述空闲计时器的计时时长达到所述预设阈值时，触发资源释放指令，以卸载所述目标推理引擎并销毁所述目标会话实例。

24、进一步地，在所述启动与所述目标推理引擎绑定的空闲计时器之后，还包括：

25、在所述空闲计时器的计时期间，若接收到与所述引擎缓存键相匹配的新增推理请求，则不触发所述资源释放指令，对所述空闲计时器进行重置并复用所述目标推理引擎。

26、进一步地，在所述基于所述引擎缓存键查询引擎缓存，确定目标推理引擎之前，还包括：

27、以所述引擎缓存键为粒度获取互斥锁，以阻塞针对同一引擎缓存键的并发创建请求；

28、在确定所述目标推理引擎后，释放所述互斥锁。

29、一种移动端本地模型运行时管理装置，包括：

30、请求接收模块，用于接收推理请求数据，所述推理请求数据包括模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本；

31、组合计算模块，用于基于所述模型标识、所述计算后端配置组合和所述多模态能力开关进行组合计算，得到引擎缓存键；

32、引擎确定模块，用于基于所述引擎缓存键查询引擎缓存，确定目标推理引擎；

33、摘要处理模块，用于对所述业务会话标识和所述系统提示词文本进行摘要处理，得到会话槽标识；

34、标识比对模块，用于将所述会话槽标识与当前会话槽的标识进行比对，确定所述目标推理引擎对应的目标会话实例；

35、计数更新模块，用于当所述目标推理引擎执行所述推理请求数据对应的推理任务时，实时更新所述目标推理引擎的在途请求计数；

36、资源释放模块，用于若所述在途请求计数满足预设空闲条件且持续时长达到预设阈值，则释放所述目标推理引擎及其关联的会话资源。

37、一种计算机电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的移动端本地模型运行时管理方法的步骤。

38、一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的移动端本地模型运行时管理方法的步骤。

39、本技术具有以下优点：

40、在本技术的实施例中，针对于现有技术中的“移动端单引擎单会话约束下难以有效实现多业务复用、异构后端隔离和资源回收”的问题，本技术提供了解决方案，具体为：“接收推理请求数据，所述推理请求数据包括模型标识、业务会话标识、计算后端配置组合、多模态能力开关和系统提示词文本；基于所述模型标识、所述计算后端配置组合和所述多模态能力开关进行组合计算，得到引擎缓存键；基于所述引擎缓存键查询引擎缓存，确定目标推理引擎；对所述业务会话标识和所述系统提示词文本进行摘要处理，得到会话槽标识；将所述会话槽标识与当前会话槽的标识进行比对，确定所述目标推理引擎对应的目标会话实例；当所述目标推理引擎执行所述推理请求数据对应的推理任务时，实时更新所述目标推理引擎的在途请求计数；若所述在途请求计数满足预设空闲条件且持续时长达到预设阈值，则释放所述目标推理引擎及其关联的会话资源”。本技术通过基于模型标识、计算后端配置组合和多模态能力开关生成唯一的引擎缓存键，为不同计算配置的推理引擎提供了隔离和精准复用的基础；通过基于业务会话标识和系统提示词文本生成会话槽标识并在同一引擎下维护单一会话槽，实现了不同业务会话间的无缝切换与上下文复用；通过实时更新在途请求计数并结合空闲计时器，实现了对空闲引擎和会话资源的智能、安全回收。这一系列技术特征的协同作用，有效地解决了移动端单引擎单会话约束下多业务复用、异构后端隔离和资源回收的组合技术问题。由此，带来了推理引擎初始化次数减少、首token延迟降低、内存占用更可控、以及系统稳定性提升等有益效果。进一步地，通过以引擎缓存键为粒度的互斥锁，避免了并发场景下的引擎重复创建，提升了系统的并发处理能力和数据一致性。