一种支持用户中途手动接管的人机交互控制方法及系统与流程
本发明涉及人工智能交互的,更具体地说,涉及支持用户中途手动接管的人机交互控制方法及系统。
背景技术:
1、ui agent(user interface agent,用户界面智能代理)是一种基于多模态大语言模型(vlm,vision-language model)的自动化交互工具,旨在模拟人类与图形用户界面的自然交互过程。其基本工作原理如下:系统预先采集完整的任务执行轨迹数据作为训练样本,使模型具备理解界面语义和生成交互指令的能力。在运行时,ui agent通过获取目标设备的当前屏幕截图及ui树结构(ui tree),对图形用户界面中的视觉元素、文本信息及界面状态进行综合感知与理解,进而生成并执行模拟人类手指的交互动作序列,包括但不限于点击、滑动、文本输入等交互操作。该技术可代替用户完成各类重复性或流程化的数字化任务,典型应用场景涵盖在线购物、信息填报、应用导航等领域。
2、在实际部署环境中,ui agent通常以独立的后台服务方式运行。其执行流程为:用户在启动agent时提供明确的任务指令(query),agent基于该指令、历史操作记录以及当前屏幕的视觉与结构信息,在每一步迭代中决策并执行下一个交互动作。上述过程循环往复,直至任务成功完成或系统遭遇无法恢复的异常错误而终止。
3、目前,ui agent的主流实现方案采用独立串行执行模式,即agent以“感知—决策—动作—再感知”的闭环方式自主推进任务,在任务执行期间默认不存在外部人为干预。然而,在实际应用场景中,用户与agent之间的交互关系远比该模式所假设的情形复杂。用户出于操作便利,常会主动介入以修正agent的误判或协助完成部分困难步骤;也有可能因临时需求执行偏离当前任务的其他操作。在此类手动接管的情况下,原有串行逻辑无法感知用户干预所导致的页面上下文变更,极易使agent因预期页面状态与实际不符而产生自我怀疑、错误推理、动作映射错误(如无效点击或元素定位失败),进而引发任务执行崩溃。
4、在上述手动接管情形下,现有串行执行逻辑会暴露出以下两方面的显著缺陷。
5、其一,用户介入引发状态漂移,agent缺乏有效感知机制。
6、agent的每一步决策均严格依赖其内部维护的历史动作序列以及对当前页面状态的预期。当用户手动操作后,实际界面状态将偏离agent原先规划的页面路径(例如,预期路径a→b→c在用户干预后变为a→d或a→b→d)。此时,agent仍按照既有的历史操作序列来理解上下文,但由于并未获知用户的介入动作及其所引起的界面变迁,其内部状态与外部真实环境之间产生严重失配。这种状态漂移将直接导致agent出现认知混乱,具体表现为:对当前页面产生自我怀疑、基于错误前提进行后续推理、所预测的交互动作与实际界面元素不符(如尝试点击已不存在的控件),最终引发动作映射错误乃至任务执行崩溃。
7、其二,agent不具备对用户操作意图的识别能力。
8、现有技术框架下,agent仅能处理由其自身产生的动作序列,对于用户的外部操作输入,系统既未建立有效的监测通道,也缺乏相应的语义理解模块。由此导致的关键问题在于,系统无法区分用户介入的性质——即该操作是“正向的纠偏行为”(例如,用户手动选择了正确的商品规格参数,从而帮助agent跨越原流程中的障碍步骤)还是“无关的干扰操作”(例如,用户临时切换至与当前任务无关的其他应用程序)。由于缺乏对用户操作意图的有效建模与识别,agent无法针对不同类型的介入行为采取差异化的应对策略,从而在各类用户干预场景下均难以保障任务的连续性与稳定性。
9、综上所述,现有ui agent的独立串行执行模式在应对真实人机协同场景时存在明显不足。用户手动操作所引起的状态漂移与意图认知缺失,构成了制约agent在实际应用中鲁棒性与可用性的核心技术瓶颈。
技术实现思路
1、本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供支持用户中途手动接管的人机交互控制方法及系统。
2、本发明解决其技术问题所采用的技术方案如下:
3、一方面,本发明提供一种支持用户中途手动接管的人机交互控制方法,其中,包括以下步骤:
4、步骤s1:终端设备的ui agent接收用户输入的自然语言指令,将所述自然语言指令拆解为包含若干子任务的有向无环图路径,并为每个所述子任务定义状态标识;
5、步骤s2:所述agent在每一步执行前,获取当前设备屏幕截图、历史动作序列、所述自然语言指令、当前子任务路径及其对应的状态标识作为多模态输入,经推理后输出用于ui交互的动作字典及更新后的子任务状态;工程端实时缓存并同步更新所述子任务状态,并根据所述动作字典执行相应的界面交互操作;
6、步骤s3:响应于检测到用户触发的手动接管操作,所述agent进入手动接管状态;在所述手动接管状态下,agent屏蔽ui交互动作的输出,获取接管后的当前屏幕截图及ui树日志文件,并将所述截图与日志文件输入模型进行静默推理,仅输出用户动作描述和更新后的子任务状态,并同步更新所述历史动作序列,以维持内部状态与外部界面的一致性;
7、步骤s4:响应于用户终止所述手动接管状态,所述agent基于当前屏幕截图及最新的子任务状态列表,确定最后一个仍处于pending或in_progress状态的子任务作为恢复目标;判断当前界面是否对应于所述恢复目标的子任务起点,若是,则从当前界面继续执行所述恢复目标及其后续子任务;若否,则生成回退动作序列,将界面从当前状态引导至所述子任务起点,再继续执行后续任务。
8、本发明所述的人机交互控制方法,其中,所述步骤s1中,将所述自然语言指令拆解为包含若干子任务的有向无环图路径的方法包括:优先匹配系统预定义的子任务路径库;若匹配失败,则调用多模态大语言模型进行自主推理,动态生成对应的有向无环图子任务路径。
9、本发明所述的人机交互控制方法,其中,所述步骤s1中,所述状态标识包括所述pending、所述in_progress及done,分别表示子任务处于待完成状态、执行中状态及已完成状态;初始状态下所有子任务的状态标识均设置为所述pending。
10、本发明所述的人机交互控制方法,其中,所述步骤s2中,所述动作字典至少包含操作类型字段、目标界面元素定位字段以及输入内容字段;所述操作类型包括点击操作、滑动操作和文本输入操作。
11、本发明所述的人机交互控制方法,其中,所述步骤s2中,任一子任务从pending状态切换为in_progress状态之前,所述agent校验该子任务在所述有向无环图路径中的全部前序依赖子任务的状态标识是否均为done;若校验不通过,则阻塞当前子任务的启动。
12、本发明所述的人机交互控制方法,其中,所述步骤s3中,在所述手动接管状态下,所述agent以滑动窗口方式采集所述接管后的当前屏幕截图,具体包括以下步骤:
13、每3张新截图与1张历史截图组成一组推理批次,所述滑动窗口每次向前滑动时层叠保留上一批次中的1张截图,使所述模型在每次推理时均能观察到界面在时间维度上的前后变化,以减少全量截图推理的频率。
14、本发明所述的人机交互控制方法,其中,所述步骤s3中,当所述agent无法获取所述接管后的当前设备的ui树日志文件时,所述agent仅根据当前屏幕截图相较于历史截图在视觉层面上的页面变化特征,由所述agent推理生成所述用户动作描述及更新后的子任务状态。
15、本发明所述的人机交互控制方法,其中,所述手动接管状态下,所述agent同时启动计时器和计数器;当所述计时器记录的接管持续时间t超过预定义时间阈值t,或所述计数器记录的接管期间截图数量s超过预定义操作阈值s时,所述agent判定当前手动接管时间过长,放弃对当前任务的恢复续跑,终止当前任务并重新开始执行;若所述t未超过t且所述s未超过s,则进入所述步骤s4执行任务恢复。
16、本发明所述的人机交互控制方法,其中,所述步骤s4中,确定最后一个仍处于pending或in_progress状态的子任务作为恢复目标的具体方法为:按照所述有向无环图路径的拓扑顺序,遍历各子任务的状态标识,选取拓扑排序最末且状态标识非done的子任务作为所述恢复目标;生成回退动作序列的具体步骤包括:
17、比对当前界面与所述子任务起点的差异,调用终端设备的操作系统导航栈,生成从当前界面回退至所述子任务起点的页面路由指令,所述回退指令的执行不依赖于重新加载整个任务的初始页面,以减少界面切换过程中的系统资源占用。
18、另一方面,本发明还提供一种支持用户中途手动接管的人机交互控制系统,应用于具有图形用户界面的终端设备,实施如上述任一所述的人机交互控制方法,其中,所述系统包括:
19、任务解析与初始化模块,用于接收用户输入的自然语言指令,将所述自然语言指令解析为包含若干子任务的有向无环图路径,并为每个所述子任务定义状态标识;
20、状态跟踪与动作驱动模块,用于在每一步执行前,获取当前设备屏幕截图、历史动作序列、所述自然语言指令、当前子任务路径及其对应的状态标识作为多模态输入,经推理后输出用于ui交互的动作字典及更新后的子任务状态;所述模块实时缓存并同步更新所述子任务状态,并根据所述动作字典驱动所述终端设备的触控组件执行相应的界面交互操作;
21、手动接管检测与静默推理模块,用于响应于检测到用户触发的手动接管操作,使所述agent进入手动接管状态;在所述手动接管状态下,所述模块屏蔽ui交互动作的输出,获取接管后的当前屏幕截图及ui树日志文件,并将所述截图与日志文件输入模型进行静默推理,仅输出用户动作描述和更新后的子任务状态,并同步更新所述历史动作序列,以维持内部状态与外部界面的一致性;
22、任务恢复与回退控制模块,用于响应于用户终止所述手动接管状态,基于当前屏幕截图及最新的子任务状态列表,确定最后一个仍处于pending或in_progress状态的子任务作为恢复目标;判断当前界面是否对应于所述恢复目标的子任务起点,若是,则从当前界面继续执行所述恢复目标及其后续子任务;若否,则生成回退动作序列,将界面从当前状态引导至所述子任务起点,再继续执行后续任务。
23、与现有技术相比,本发明具有以下有益效果:
24、本发明通过将ui agent的任务执行过程抽象为基于有向无环图的子任务序列并为各子任务定义状态标识,在用户手动接管时触发静默推理机制——agent屏蔽所有自动化交互动作输出,仅利用接管后的屏幕截图及ui树日志推理用户动作描述并同步更新子任务状态与历史动作序列,从而在用户操作期间始终保持内部逻辑状态与外部真实界面的一致性,从根本上消除了因状态漂移导致的自我怀疑、错误推理及动作映射错误,避免任务执行崩溃;同时,本发明在用户终止接管后能够根据最新的子任务状态列表沿有向无环图拓扑顺序精准定位最后一个未完成的子任务作为恢复目标,并通过界面匹配判断选择直接继续或生成最小步数回退指令引导至子任务起点,避免了强制回退至初始页面所导致的已完成子任务的重复执行与计算资源浪费。本发明有效克服了现有ui agent在用户手动干预场景下因状态感知缺失和意图识别不足而导致的鲁棒性问题,显著提升了人机协同执行的连续性与资源利用效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com