页面交互方法、系统、计算机设备以及存储介质与流程
本公开涉及人工智能,特别涉及一种页面交互方法、系统、计算机设备以及存储介质。
背景技术:
1、随着人工智能技术的发展,基于模型推理实现页面的交互在电商营销、广告落地页设计及个性化内容展示等领域得到广泛关注,目前,终端可以将用户的交互操作的信息上传至云端模型,云端模型推理出的推理结果后,该推理结果可以返回终端用于渲染,而终端与云端的网络传输会导致推理延迟。此外,目前还可以将模型部署于终端,由终端的模型根据用户的交互操作的信息进行推理得到推理结果以进行渲染,终端模型推理可以消除终端与云端的网络延迟,然而,终端模型算力有限,难以处理复杂的推理任务,造成响应迟钝,影响交互效率。综上,目前通过模型来实现页面交互的方式存在推理延迟或算力不足最终都会传导为页面响应延迟的问题,导致页面交互效率低下。
技术实现思路
1、本公开提供一种页面交互方法、系统、计算机设备以及存储介质,能够提高页面交互效率。本公开的技术方案如下:
2、根据本公开实施例的一方面,提供了一种页面交互方法,包括:
3、响应于终端上的交互操作,通过目标智能体基于所述交互操作对应的目标任务以及运行状态,从端侧模型和云端ai服务集群至少一侧中确定至少一个目标模型,所述运行状态指示终端运行状态、端侧模型运行状态以及网络状态中至少一项;
4、通过所述至少一个目标模型基于所述目标任务生成交互意图信息;
5、基于所述交互意图信息,确定待生成的页面的组件树,所述组件树中组件用于指示所述待生成的页面的页面结构;
6、基于所述组件树和所述目标任务的第一响应数据,显示第一页面。
7、根据本公开实施例的一方面,提供了一种页面交互系统,包括:端云调度器、页面描述模块和页面生成模块;
8、所述端云调度器,用于响应于终端触发目标任务,基于所述目标任务以及运行状态,从端侧模型和云端ai服务集群至少一侧中确定至少一个目标模型,通过所述至少一个目标模型基于所述目标任务生成交互意图信息,所述运行状态指示终端运行状态、端侧模型运行状态以及网络状态中至少一项;
9、所述页面描述模块,用于基于所述交互意图信息,确定待生成的页面的组件树,所述组件树中组件用于指示所述待生成的页面的页面结构;
10、所述页面生成模块,用于基于所述组件树和所述目标任务的第一响应数据,显示第一页面。
11、在一些实施例中,所述系统还包括智能体网关,所述智能体网关用于响应于终端触发目标任务,通过规则引擎对所述目标任务和多个第一规则进行规则匹配;
12、所述页面生成模块用于在所述目标任务与所述多个第一规则匹配成功的情况下,基于匹配上的规则获取第二响应数据,显示第二页面;
13、所述端云调度器用于在所述目标任务与所述多个第一规则匹配未成功的情况下,基于所述交互操作对应的目标任务以及运行状态,从端侧模型和云端ai服务集群至少一侧中确定至少一个目标模型。
14、在一些实施例中,所述端云调度器用于:
15、基于所述交互操作对应的目标任务的任务复杂度、运行状态以及端侧评估策略,确定所述端侧模型的评估分数;
16、基于所述交互操作对应的目标任务的任务复杂度、运行状态以及云端评估策略,确定所述云端ai服务集群的评估分数;
17、若所述端侧模型的评估分数高于所述云端ai服务集群的评估分数,确定所述端侧模型为目标模型;若所述云端ai服务集群的评估分数高于所述端侧模型的评估分数,从所述云端ai服务集群中确定目标模型。
18、在一些实施例中,所述端云调度器用于:
19、基于所述交互操作对应的目标任务、所述目标任务的会话上下文以及运行状态,从端侧模型和云端ai服务集群至少一侧中确定至少一个目标模型;
20、通过所述至少一个目标模型基于所述目标任务和所述会话上下文,生成交互意图信息。
21、在一些实施例中,所述端云调度器用于:
22、基于所述目标任务以及运行状态,确定多个子任务以及从端侧模型和云端ai服务集群至少一侧中确定各个子任务所对应的目标模型,每个子任务对应于目标任务的一个推理阶段;
23、通过各个目标模型针对各自的子任务执行对应推理阶段,以生成交互意图信息。
24、在一些实施例中,所述智能体网关用于在所述至少一个目标模型调用失败的情况下,通过规则引擎对所述目标任务和多个第二规则进行规则匹配;
25、所述页面生成模块用于在所述目标任务和多个第二规则匹配成功的情况下,基于匹配上的第二规则获取第三响应数据,显示第三页面;
26、所述端云调度器用于在所述目标任务不匹配任一第二规则且所述至少一个目标模型为端侧模型的情况下,调用云端ai服务集群中的模型基于所述目标任务生成交互意图信息;在所述目标任务不匹配任一第二规则且所述至少一个目标模型为云端ai服务集群中的模型的情况下,调用所述端侧模型基于所述目标任务生成交互意图信息。
27、在一些实施例中,所述系统还包括推理引擎模块;
28、所述推理引擎模块,用于响应于针对目标模型的模型调用指令,确定所述目标模型对应的第一适配器,通过所述第一适配器将所述模型调用指令翻译为所述目标模型所依赖的目标推理引擎的调用指令,驱动所述目标推理引擎运行所述目标模型。
29、在一些实施例中,所述推理引擎模块包括后处理器;
30、所述后处理器,用于对所述目标模型生成的推理结果进行校验,若校验失败,上报校验失败事件;若校验成功,对所述推理结果进行修正以生成交互意图信息,上报推理完成事件。
31、在一些实施例中,所述系统还包括智能体框架模块;
32、所述智能体框架模块,用于响应于针对目标智能体的智能体调用指令,确定所述目标智能体对应的第二适配器,通过所述第二适配器将所述智能体调用指令翻译为所述目标智能体所依赖的目标智能体框架的调用指令,驱动所述目标智能体框架运行所述目标智能体。
33、在一些实施例中,所述系统还包括智能体网关,
34、所述智能体网关,用于响应于终端触发目标任务,基于当前终端窗口在内存中查询与所述目标任务关联的会话上下文。
35、在一些实施例中,所述智能体网关还用于:
36、将所述目标任务的任务执行日志写入所述内存以更新所述会话上下文,所述会话上下文在内存中按照对应的会话标识进行独立分区存储。
37、在一些实施例中,所述系统还包括模型管理模块,所述模型管理模块用于:
38、响应于检测到新模型的模型更新事件,预加载所述新模型;
39、在所述新模型加载完成后,通过原子操作将服务指针由旧模型切换至所述新模型;
40、将所述旧模型标记为排干状态,等待所述旧模型上正在处理的请求处理完毕,卸载所述旧模型。
41、在一些实施例中,所述模型管理模块用于将所述旧模型标记为排干状态之后,在所述旧模型处理请求的时长符合预设超时条件的情况下,卸载所述旧模型。
42、在一些实施例中,所述模型管理模块用于:
43、响应于回滚指令,通过原子操作将所述服务指针由所述新模型切换回所述旧模型。
44、在一些实施例中,所述模型管理模块用于:
45、响应于从主内容分发网络获取的主模型资源包完成下载,对所述主模型资源包进行第一完整性校验;在所述第一完整性校验通过情况下,将所述主模型资源包加载至内存;在所述第一完整性校验失败情况下,从备用内容分发网络获取所述主模型资源包的备用模型资源包,将模型资源校验失败事件上报。
46、在一些实施例中,所述系统还包括组件管理模块,所述组件管理模块,用于响应于从主内容分发网络获取的主组件资源包完成下载,对所述主组件资源包进行第二完整性校验;在所述第二完整性校验通过情况下,将所述主组件资源包加载至内存;在所述第二完整性校验失败情况下,从备用内容分发网络获取所述主组件资源包的备用组件资源包,将组件资源校验失败事件上报。
47、在一些实施例中,所述系统还包括平台抽象模块,所述平台抽象模块用于执行如下至少一项:
48、响应于针对存储工厂接口的调用请求,执行运行环境对应的存储实例;
49、响应于针对后台任务工厂接口的调用请求,执行运行环境对应的后台任务实例;
50、响应于针对事件总线工厂接口的调用请求,执行运行环境对应的事件通信实例。
51、在一些实施例中,所述系统还包括管理平台,所述管理平台用于执行如下至少一项:
52、检测租户或场景是否具有接口调用权限,若是,生成接口功能开放指令,若否,生成接口功能关闭指令;
53、响应于模型发布指令,依据预设的灰度比例或实验分组标识,将新模型发送至属于灰度组或属于实验组的租户;
54、采集告警指标对应的数据,检测所述告警指标对应的数据是否满足对应的告警条件,若是,生成告警事件,所述告警指标包括任务执行过程中的响应延迟、任务执行成功率及资源占用率中至少一项;
55、响应于基于目标链路标识的查询请求,确定所述目标链路标识对应的目标查询任务,基于所述目标查询任务的任务执行日志生成所述目标查询任务的瀑布图,所述瀑布图以纵轴展示所述目标查询任务的任务处理阶段,以横轴展示各任务处理阶段耗时;
56、检测任务执行日志中的数据是否满足风险条件,若是,生成风险警示事件;
57、按照资源统计维度,统计资源消耗量,所述资源统计维度包括租户、模型及场景中至少一项;
58、提供基于端侧运行环境的调试功能。
59、根据本公开实施例的另一方面,提供一种计算机设备,该计算机设备包括:
60、一个或多个处理器;
61、用于存储该处理器可执行程序代码的存储器;
62、其中,该处理器被配置为执行该程序代码,以实现上述页面交互方法。
63、根据本公开实施例的另一方面,提供一种计算机可读存储介质,当该计算机可读存储介质中的程序代码由计算机设备的处理器执行时,使得计算机设备能够执行上述页面交互方法。
64、根据本公开实施例的另一方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述页面交互方法。
65、本公开实施例提供的技术方案,终端的交互操作可以触发目标任务,目标智能体可以根据目标任务的具体情况和运行状态等,确定采用云端ai服务集群和端侧模型中至少一侧的模型,例如网络状态良好的情况下将复杂的任务交由云端的模型处理,凭借云端模型强大的生成能力保障所生成的交互意图信息的质量和效率,从而提高页面交互效率,将简单任务交由端侧模型处理可以实现即时响应,提高页面交互效率,且大量简单的任务由终端算力承载,有效降低了对云端模型的调用频次,能够降低资源消耗。
66、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com