一种针对AI智能体的持续观察用户操作并响应对话的方法、系统、设备、产品及存储介质与流程

摘要: 本申请涉及计算机,特别是涉及一种针对ai智能体的持续观察用户操作并响应对话的方法、系统、设备、产品及存储介质。背景技术:1、随着人工智能技术的快速发展,用户对a...
一种针对AI智能体的持续观察用户操作并响应对话的方法、系统、设备、产品及存储介质与流程

本申请涉及计算机,特别是涉及一种针对ai智能体的持续观察用户操作并响应对话的方法、系统、设备、产品及存储介质。

背景技术:

1、随着人工智能技术的快速发展,用户对ai智能体的智能化水平和交互自然度提出了更高要求。在图形用户界面操作场景下,用户期望ai智能体能够像真人助手一样,在用户使用计算机或移动设备的过程中持续提供帮助,包括理解用户当前正在执行的任务、随时解答操作疑问、代为完成繁琐的操作步骤,以及学习用户的个性化操作习惯。这种需求要求ai智能体具备对用户操作的持续感知能力,并能够在此基础上提供即时、精准的交互式协助。

2、然而,现有技术方案未能实现持续感知与即时协助的有机统一。一方面,部分方案通过持续录屏记录用户操作历史,但其功能仅限于被动检索历史记录,用户需要主动查询才能获得信息,ai智能体无法在用户操作过程中主动提供帮助或接续执行任务。另一方面,能够执行图形用户界面操作任务的ai智能体,其执行方式均为用户发起单次任务指令后由ai独立完成,这类方案不持续观察用户的当前操作,只能响应明确的任务指令,无法结合用户实时的操作上下文进行协同。两类方案分别聚焦于被动检索和单次任务执行,均未提供一种在持续观察用户操作的同时,根据用户随时提出的自然语言请求灵活提供帮助或接续执行的技术方案。因此,用户在实际使用中面临体验割裂的问题,无法获得连贯的、时刻在线的智能协助体验。

技术实现思路

1、基于上述问题,本申请提供了一种针对ai智能体的持续观察用户操作并响应对话的方法、系统、设备、产品及存储介质。

2、本申请实施例公开了如下技术方案:

3、本申请实施例第一方面提供了一种针对ai智能体的持续观察用户操作并响应对话的方法,包括:

4、所述ai智能体在获得用户一次性授权后,于后台持续实时监测用户在用户界面上的操作行为,获取观察上下文;以及,所述ai智能体获取用户通过自然语言输入的提问信息;其中,所述观察上下文的获取与所述提问信息的获取互不阻塞地并行进行;

5、基于所述提问信息的意图确定响应模式,所述响应模式包括帮助模式和学习模式;

6、当所述响应模式为帮助模式时,基于所述观察上下文,通过自然语言对话向用户提供与当前任务相关的解答;和/或,确定所述当前任务待执行的剩余步骤序列,通过用户界面自动化框架执行所述剩余步骤序列;

7、当所述响应模式为学习模式时,将所述观察上下文中与所述意图相关的操作提炼为参数化可执行技能;

8、对所述帮助模式下的执行步骤或所述学习模式下的参数化可执行技能中的待核实内容,通过主动追问向用户发出询问或接收用户提供的补充信息,以获取反馈信息并基于所述反馈信息实时修正并收敛所述执行步骤或所述参数化可执行技能。

9、本申请实施例第二方面提供了一种针对ai智能体的持续观察用户操作并响应对话系统,用于实现如前述第一方面任一项所述的针对ai智能体的持续观察用户操作并响应对话的方法,包括:

10、持续观察模块,用于在获得用户一次性授权后,于后台持续实时监测用户在用户界面上的操作行为以获取观察上下文;

11、对话模块,用于获取用户通过自然语言输入的提问信息;其中,所述观察上下文的获取与所述提问信息的获取互不阻塞地并行进行;

12、模式判定模块,用于基于所述提问信息的意图确定响应模式,所述响应模式包括帮助模式和学习模式;

13、帮助模块,用于当所述响应模式为帮助模式时,基于所述观察上下文,通过自然语言对话向用户提供与当前任务相关的解答;和/或,确定所述当前任务待执行的剩余步骤序列,通过用户界面自动化框架执行所述剩余步骤序列;

14、学习模块,用于当所述响应模式为学习模式时,将所述观察上下文中与所述意图相关的操作提炼为参数化可执行技能;

15、帮助模块,还用于通过主动追问向用户发出询问或接收用户提供的补充信息,以获取反馈信息并基于所述反馈信息实时修正并收敛所述执行步骤;学习模块,还用于通过主动追问向用户发出询问或接收用户提供的补充信息,以获取反馈信息并基于所述反馈信息实时修正并收敛所述参数化可执行技能。

16、本申请实施例第三方面提供了一种电子设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如前述第一方面所述的针对ai智能体的持续观察用户操作并响应对话的方法。

17、本申请实施例第四方面提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,所述计算机执行如前述第一方面所述的针对ai智能体的持续观察用户操作并响应对话的方法。

18、本申请实施例第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如前述第一方面所述的针对ai智能体的持续观察用户操作并响应对话的方法。

19、相较于现有技术,本申请具有以下有益效果:

20、本申请ai智能体在获得用户一次性授权后,于后台持续实时监测用户在用户界面上的操作行为,获取观察上下文,为理解用户当前任务场景提供了数据基础。ai智能体持续分析观察上下文,当识别到重复操作、可自动化特征或识别到用户遇到困难时,主动向用户发起帮助或学习建议。同时,ai智能体能够接收用户发起的提问,并根据提问意图或用户对建议的确认,结合观察上下文灵活确定响应模式:当用户需要协助时,进入帮助模式,基于观察上下文即时解答用户疑问或直接接续执行后续操作步骤,解决了现有方案无法在操作过程中主动提供帮助和接续执行的问题;当用户希望自动化重复操作时,进入学习模式,基于观察上下文提炼为可复用的参数化可执行技能,使用户无需反复执行相同操作。对于执行步骤或技能中的不明确内容,通过主动追问或接收用户补充信息进行澄清并实时修正收敛,确保响应内容和技能的准确性和个性化适配。通过持续观察、主动提议与双模式响应的融合,本申请中ai智能体从被动响应跨越至主动协助,同时具备持续观察、即时帮助、自动执行和技能学习的能力,用户可在同一对话交互中完成从提问、协助到技能学习的完整流程,获得连贯的随身助手体验,显著提升了人机协作效率和技能学习精准度。

1.一种针对ai智能体的持续观察用户操作并响应对话的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述ai智能体在获得用户一次性授权后,于后台持续实时监测用户在用户界面上的操作行为,获取观察上下文,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述ai智能体持续维护会话上下文,所述会话上下文包括观察上下文和对话历史;

5.根据权利要求1所述的方法,其特征在于,所述确定所述当前任务待执行的剩余步骤序列,通过用户界面自动化框架执行所述剩余步骤序列,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述参数化可执行技能包括变量、循环结构、条件分支结构、步骤序列和调用接口,所述变量包括输入参数、中间状态变量和输出结果;所述循环结构包括基于条件判断的循环和基于集合遍历的循环;所述条件分支结构包括基于观察上下文的条件分支和基于用户输入的条件分支。

9.根据权利要求1所述的方法,其特征在于,所述ai智能体在所述帮助模式执行过程中或在所述学习模式执行过程中,对执行步骤或所构建的参数化可执行技能中存在的待核实内容进行主动追问;所述主动追问的触发情形包括以下至少一种:

10.根据权利要求1所述的方法,其特征在于,所述将所述观察上下文中与所述意图相关的操作提炼为参数化可执行技能之后,还包括:

11.根据权利要求5或10所述的方法,其特征在于,所述用户界面自动化框架的执行过程中目标界面元素的定位包括以下方式中的至少一种:

12.根据权利要求1所述的方法,其特征在于,所述获取观察上下文之后,还包括:

13.根据权利要求12所述的方法,其特征在于,还包括:

14.根据权利要求1所述的方法,其特征在于,所述ai智能体在多个用户设备上分别执行实时监测,所述多个用户设备包括桌面设备、移动设备和平板设备;所述多个用户设备之间通过云端同步层共享会话上下文。

15.根据权利要求14所述的方法,其特征在于,还包括:

16.一种针对ai智能体的持续观察用户操作并响应对话的系统,其特征在于,用于实现如权利要求1-15任一项所述的针对ai智能体的持续观察用户操作并响应对话的方法,包括:

17.一种电子设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-15任一项所述的针对ai智能体的持续观察用户操作并响应对话的方法。

18.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,所述计算机执行如权利要求1-15任一项所述的针对ai智能体的持续观察用户操作并响应对话的方法。

19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1-15任一项所述的针对ai智能体的持续观察用户操作并响应对话的方法。