一种移动端应用控制方法、装置及系统与流程

本发明涉及人工智能领域，尤其涉及一种移动端应用控制方法、装置及系统。

背景技术：

1、随着智能手机、平板电脑及工业手持终端广泛普及，办公、营销、测试、运维及物联网等场景下的移动端应用数量持续扩容，依靠人工对移动端应用执行重复性操作的作业模式效率低下，移动端应用自动化控制技术已成为各行业的迫切需求。

2、现有技术中，通常依赖人工文档、人工录制或集中训练样本实现脚本生成与迭代更新，导致脚本更新效率低，且更新后脚本的可用效果较差。

技术实现思路

1、本发明提供了一种移动端应用控制方法、装置及系统，解决了依赖人工文档、人工录制或集中训练样本实现脚本生成与迭代更新，导致脚本更新效率低，且更新后脚本的可用效果较差的问题，提升了脚本更新效率，保证了更新后脚本的可用性，从而改善了移动端应用的自动化控制效率与操作精度。

2、第一方面，本发明实施例提供了一种移动端应用控制方法，应用于移动端应用控制系统，该移动端应用控制系统包括：用户侧智能体和社区侧智能体；

3、该方法由用户侧智能体执行，该方法包括：

4、基于下发至目标移动端应用的应用操作任务，确定目标移动端应用所需抵达的目标页面；

5、在确定目标移动端应用所处的当前页面与目标页面不一致时，从社区侧智能体维护的脚本库中获取与应用操作任务对应的当前任务脚本，并运行当前任务脚本；

6、若当前任务脚本执行失败，则采集目标移动端应用的实际页面截图，并通过预先构建的视觉语言模型，根据实际页面截图和应用操作任务，生成更新任务脚本；

7、对当前任务脚本和更新任务脚本进行交替测试，并在当前任务脚本和更新任务脚本的测试次数均达到预设测试次数，且更新任务脚本的测试成功率大于当前任务脚本的测试成功率时，运行更新任务脚本，以完成应用操作任务。

8、第二方面，本发明实施例还提供了一种移动端应用控制装置，应用于移动端应用控制系统，该移动端应用控制系统包括：用户侧智能体和社区侧智能体；

9、该装置由用户侧智能体执行，该装置包括：

10、目标页面确定模块，用于基于下发至目标移动端应用的应用操作任务，确定目标移动端应用所需抵达的目标页面；

11、脚本执行模块，用于在确定目标移动端应用所处的当前页面与目标页面不一致时，从社区侧智能体维护的脚本库中获取与应用操作任务对应的当前任务脚本，并运行当前任务脚本；

12、脚本更新模块，用于若当前任务脚本执行失败，则采集目标移动端应用的实际页面截图，并通过预先构建的视觉语言模型，根据实际页面截图和应用操作任务，生成更新任务脚本；

13、脚本校验模块，用于对当前任务脚本和更新任务脚本进行交替测试，并在当前任务脚本和更新任务脚本的测试次数均达到预设测试次数，且更新任务脚本的测试成功率大于当前任务脚本的测试成功率时，运行更新任务脚本，以完成应用操作任务。

14、第三方面，本发明实施例还提供了一种移动端应用控制系统，该移动端应用控制系统包括：用户侧智能体和社区侧智能体；

15、社区侧智能体，用于维护包含多个任务脚本的脚本库；

16、用户侧智能体，用于基于下发至目标移动端应用的应用操作任务，确定目标移动端应用所需抵达的目标页面；

17、在确定目标移动端应用所处的当前页面与目标页面不一致时，从社区侧智能体维护的脚本库中获取与应用操作任务对应的当前任务脚本，并运行当前任务脚本；

18、若当前任务脚本执行失败，则采集目标移动端应用的实际页面截图，并通过预先构建的视觉语言模型，根据实际页面截图和应用操作任务，生成更新任务脚本；

19、对当前任务脚本和更新任务脚本进行交替测试，并在当前任务脚本和更新任务脚本的测试次数均达到预设测试次数，且更新任务脚本的测试成功率大于当前任务脚本的测试成功率时，运行更新任务脚本，以完成应用操作任务。

20、本发明的技术方案，通过在确定目标移动端应用所处的当前页面与目标页面不一致时，从社区侧智能体维护的脚本库中获取与应用操作任务对应的当前任务脚本；若当前任务脚本执行失败，则采集目标移动端应用的实际页面截图，并通过预先构建的视觉语言模型，根据实际页面截图和应用操作任务，生成更新任务脚本；对当前任务脚本和更新任务脚本进行交替测试，并在当前任务脚本和更新任务脚本的测试次数均达到预设测试次数，且更新任务脚本的测试成功率大于当前任务脚本的测试成功率时，运行更新任务脚本，以完成应用操作任务的技术手段，解决了依赖人工文档、人工录制或集中训练样本实现脚本生成与迭代更新，导致脚本更新效率低，且更新后脚本的可用效果较差的问题，提升了脚本更新效率，保证了更新后脚本的可用性，从而改善了移动端应用的自动化控制效率与操作精度。

21、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种移动端应用控制方法，其特征在于，应用于移动端应用控制系统，所述移动端应用控制系统包括：用户侧智能体和社区侧智能体；

2.根据权利要求1所述的方法，其特征在于，确定所述目标移动端应用所处的当前页面与所述目标页面不一致，包括：

3.根据权利要求2所述的方法，其特征在于，确定所述当前页面的当前图像哈希值，包括：

4.根据权利要求1所述的方法，其特征在于，所述视觉语言模型的执行流程，包括：

5.根据权利要求1所述的方法，其特征在于，运行所述更新任务脚本，包括：

6.根据权利要求1所述的方法，其特征在于，运行所述更新任务脚本，包括：

7.根据权利要求1所述的方法，其特征在于，在运行所述更新任务脚本之后，还包括：

8.一种移动端应用控制装置，其特征在于，应用于移动端应用控制系统，所述移动端应用控制系统包括：用户侧智能体和社区侧智能体；

9.一种移动端应用控制系统，其特征在于，所述移动端应用控制系统包括：用户侧智能体和社区侧智能体；

10.根据权利要求9所述的系统，其特征在于，所述用户侧智能体，具体用于：