简化手机操作步骤的自动化辅助执行方法及装置与流程

本发明涉及移动端适老化改造、手机操作简化、gui智能体、大龄人数字辅助以及rpa自动化，特别涉及一种适用于为大龄人、数字障碍人群提供一键简化、步骤自动完成、界面自动导航的手机操作辅助执行方法及装置。

背景技术：

1、随着移动互联网的普及，智能手机和各类app（应用程序）已经深入人们日常生活的方方面面。然而，当前手机与app的操作在适老化方面仍存在显著缺陷：

2、1.步骤繁琐、层级深：例如查话费、缴水电费、挂号、视频通话等常用功能往往需要经过多步点击和页面跳转，大龄人记忆困难，极易在操作过程中失败。

3、2.界面复杂、无引导：app更新频繁，界面布局多变，图标较小且功能入口隐蔽，导致大龄人难以准确找到所需的功能入口。

4、3.无错误恢复能力：一旦大龄人点错页面或跳错路径，由于缺乏清晰的回退引导，往往无法退回正确路径，容易陷入“不会操作、不敢操作”的困境。

5、4.无统一简化框架：不同app的操作规则和界面逻辑各不相同，用户需要针对每个app单独学习，无法形成通用的简化辅助能力。

6、为了解决上述问题，现有技术中提出了一些自动化或辅助方案。例如，一些基于大模型智能体的手机操控方案，如中国专利cn202411437367能够通过解析页面xml和截图来预测操作，但在实际应用中仍面临以下不足：

7、1.页面元素无法获取：部分应用页面（如公众号、视频号、小程序等）不输出xml页面结构，传统rpa或单纯依赖无障碍服务的方案无法抓取元素，只能采用固定坐标点击，兼容性极差。

8、2.强依赖设备与版本：不同设备的分辨率、不同app版本会导致坐标偏移，生产环境下的操作成功率低。

9、3.脚本维护成本极高：app版本迭代后，控件和布局发生变化，传统脚本需重新编写、测试，单款app脚本修复耗时巨大。

10、4.异常无自愈能力：执行中断、页面跳转异常后往往无法续跑，只能人工介入，缺乏闭环的自动化恢复能力。

11、5.重复调用大模型成本高：现有大模型操控方案往往缺乏有效的缓存机制，相同任务反复消耗大模型token，执行效率低、计算成本高。

12、因此，亟需一种能够统一适配各app操作规则、具备高容错自愈能力且执行高效的移动端自动化解决方案，使得用户只需告知系统所需操作，即可实现一键直达、步骤自动执行和错误自动回退。

技术实现思路

1、本发明的目的在于提供一种简化手机操作步骤的自动化辅助执行方法及装置，旨在解决传统自动化脚本编写滞后、单一、容错能力差，以及现有大模型操控方案执行成本高、缺乏异常自愈能力的技术问题。

2、为实现上述目的，本发明的第一方面提供了一种简化手机操作步骤的自动化辅助执行方法，包括以下步骤：

3、步骤s1，客户端采集用户输入的自然语言操作描述、当前界面的页面截图、页面结构信息和设备信息，并发送至服务端；

4、步骤s2，服务端对接收到的所述自然语言操作描述、页面截图、页面结构信息和设备信息进行向量化处理，在向量数据库中检索与之匹配的历史操作链路数据；

5、步骤s3，若在所述向量数据库中检索到匹配的历史操作链路数据，跳到步骤s4；否则：服务端调用视觉大模型对所述页面截图和页面结构信息进行分析，生成包含至少一个动作指令的初始操作链路；客户端执行所述初始操作链路中的动作指令，如此循环，直至完成所述自然语言操作描述对应的任务后，服务端将所述初始操作链路及对应的所述自然语言操作描述、页面截图、页面结构信息和设备信息存储至所述向量数据库中，形成所述历史操作链路数据；

6、步骤s4，服务端向所述客户端返回包含至少一个动作指令的协议化指令集，所述协议化指令集以页面标识为锚点组织所述动作指令；

7、步骤s5，客户端获取当前页面的页面标识，并根据所述当前页面的页面标识在所述协议化指令集中映射查找对应的动作指令并执行；

8、步骤s6，在执行动作指令后，客户端通过页面识别服务校验跳转后的当前页面是否为预期页面，若当前页面不是预期页面，则客户端执行回退重试操作。

9、进一步地，所述步骤s6中，所述客户端执行回退重试操作具体包括：

10、当所述客户端判断当前页面的页面标识不在所述协议化指令集中时，执行返回上一页的返回操作指令。若连续执行预设次数的返回操作指令后，仍未找到与所述协议化指令集匹配的页面标识，则关闭当前应用并从头重新执行所述协议化指令集。

11、进一步地，步骤s6之后还包括：若连续执行动作指令失败的次数达到预设阈值，所述客户端将当前界面的页面截图和操作描述发送至服务端，服务端调用视觉大模型对当前页面进行分析，生成修正后的动作指令；客户端执行所述修正后的动作指令，并在执行完成后调用所述页面识别服务更新对应页面标识下的动作指令。

12、进一步地，所述协议化指令集中的每个动作指令包括以下字段：当前页面标识字段，用于记录执行该动作指令时所处的页面标识；目标页面标识字段，用于记录执行该动作指令后预期的下一步页面标识；指令动作字段，用于定义具体的动作行为类型；目标应用字段，用于标识该动作指令所要操作的具体应用程序对象；操作参数字段，用于存储执行该动作行为类型所需的具体数值或坐标；动作描述字段，用于记录该动作指令对应的自然语言描述。

13、进一步地，所述页面识别服务采用双通道识别机制确定页面结构，具体包括：第一通道：通过客户端操作系统的无障碍服务采集当前界面的xml页面内容，基于所述xml页面内容确定页面结构；第二通道：若无法通过所述无障碍服务获取所述xml页面内容，则调用具有图像识别能力的视觉大模型，根据当前界面的页面截图分析识别并返回对应的页面结构。

14、进一步地，所述设备信息至少包括设备型号、屏幕分辨率和应用程序版本号；所述服务端在所述向量数据库中，以所述设备型号为分类维度建立设备标准库，以确保相同设备型号下的相同操作任务不被重复调用大模型进行分析识别。

15、进一步地，所述页面标识由应用包名、版本号、页面活动名、页面描述组成，其中，页面描述由大模型推理得出。

16、本发明的第二方面提供了一种简化手机操作步骤的自动化辅助执行装置，包括：

17、客户端，用于采集用户输入的自然语言操作描述、当前界面的页面截图、页面结构信息和设备信息并发送给服务端；获取当前页面的页面标识，根据所述当前页面的页面标识在服务端返回的协议化指令集中映射查找对应的动作指令并执行；以及在执行动作指令后，通过页面识别服务校验跳转后的当前页面是否为预期页面，并在当前页面不是预期页面时执行回退重试操作；

18、服务端，用于接收所述客户端发送的数据，对所述自然语言操作描述、页面截图、页面结构信息和设备信息进行向量化处理，在向量数据库中检索匹配的历史操作链路数据；并在检索成功时，向所述客户端返回包含至少一个动作指令的所述协议化指令集，所述协议化指令集以页面标识为锚点组织所述动作指令；

19、知识库模块，包含所述向量数据库，用于存储经过向量化处理的历史操作链路数据。

20、本发明的第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的简化手机操作步骤的自动化辅助执行方法的步骤。

21、本发明的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的简化手机操作步骤的自动化辅助执行方法的步骤。

22、本发明具有以下有益效果：

23、（1）解决了相同任务重复调用大模型导致成本高、效率低的问题。本发明通过提取设备信息、页面截图和操作描述等参数，并将完整的操作链路及上述参数进行向量化处理之后存入向量数据库形成知识库。向量化缓存机制使得历史成功经验得以直接复用，从而旁路了耗时且昂贵的大模型实时推理过程。当重复执行相同任务时，直接从知识库检索并返回协议化指令集，大模型调用减少了90%，执行速度提升了3-10倍。

24、（2）解决了异常无自愈能力、执行中断后需人工介入的问题。本发明引入了基于页面标识的校验与映射执行机制。在每步执行后，通过页面识别服务比对当前页面是否为预期页面，若不匹配则自动触发返回操作指令。以页面标识为状态机锚点，使得客户端具备了明确的上下文感知能力，能够自主判断偏离并按照预设策略寻路回归。这种多级异常自愈闭环使得异常中断恢复率达到90%以上。

25、（3）解决了部分页面无xml结构导致传统rpa无法抓取元素的问题。本发明采用双通道页面识别机制，在无障碍服务无法获取xml页面结构时，无缝切换至视觉大模型基于页面截图进行图像识别与坐标定位。视觉模型不依赖底层xml节点树，直接模拟人眼视觉，从而将无xml页面结构的页面的自动化成功率由不足30%提升至95%以上。

26、（4）解决了强依赖设备与版本、脚本维护成本极高的问题。本发明的协议化指令集通过大模型动态生成或由知识库匹配下发，其动作映射与当前页面的实际结构动态绑定，而非写死的绝对坐标脚本。当app版本更新后，若页面结构变化导致原有指令失效，系统会自动触发大模型修正并更新知识库。将静态脚本转化为动态的“感知-映射-修正”模型，使得app版本更新后的维护成本降低了80%，实现了真正意义上的免人工重写。

27、（5）极大降低了大龄人的学习成本。通过安装统一的辅助软件进行适配，用户无需关心各类app的复杂操作规则，只需通过自然语言告知系统需要做的操作，系统即可全自动执行。