任务跨端自动化执行方法、装置、计算机设备及存储介质与流程

摘要: 本技术涉及人工智能,尤其涉及任务跨端自动化执行方法、装置、计算机设备及存储介质。背景技术:1、当前终端生态复杂,涵盖windows、macos、android、...
任务跨端自动化执行方法、装置、计算机设备及存储介质与流程

本技术涉及人工智能,尤其涉及任务跨端自动化执行方法、装置、计算机设备及存储介质。

背景技术:

1、当前终端生态复杂,涵盖windows、macos、android、ios 及各类浏览器,不同终端的ui风格、交互逻辑差异显著。

2、现有跨端自动化技术多依赖dom树解析、控件id定位或系统原生api调用,属于侵入式方案,仅能适配开放接口的应用,无法适配第三方小程序、自定义ui应用及无接口权限的场景。

3、可见,现有的跨端自动化技术侵入性强、适用范围受限,并且适配不同终端或应用需重复开发,适配成本高。

技术实现思路

1、本技术实施例提供了任务跨端自动化执行方法、装置、计算机设备及存储介质,旨在解决现有的跨端自动化技术侵入性强、适用范围受限,并且适配不同终端或应用需重复开发,适配成本高的问题。

2、第一方面,本技术实施例提供了一种任务跨端自动化执行方法,其包括:

3、接收用户终端发送的任务指令;

4、对所述任务指令进行语义解析,识别所述任务指令中的目标任务以及目标终端,并将所述目标任务拆解为按执行逻辑依次排列的多个操作步骤;

5、确定多个所述操作步骤中的当前操作步骤,并获取所述目标终端的第一屏幕图像,识别所述第一屏幕图像中各ui元素的元素信息,所述元素信息包括语义信息以及坐标信息;

6、从预设的多个不同终端类型的脚本生成规则中确定与所述目标终端的终端类型对应的目标脚本生成规则;

7、基于所述目标脚本生成规则,根据所述当前操作步骤以及所述各ui元素的元素信息,生成适配于所述目标终端的与所述当前操作步骤对应的控制脚本;

8、将所述控制脚本下发至所述目标终端执行,以控制所述目标终端执行所述当前操作步骤;

9、将多个所述操作步骤中的下一操作步骤更新为所述当前操作步骤,并返回执行所述获取所述目标终端的第一屏幕图像的步骤,以依次执行多个所述操作步骤。

10、在一些实施例中,所述将多个所述操作步骤中的下一操作步骤更新为所述当前操作步骤之前,所述方法还包括:

11、获取所述目标终端在执行所述控制脚本后的第二屏幕图像;

12、识别所述第二屏幕图像的实际语义信息;

13、将所述实际语义信息与所述当前操作步骤对应的预期语义信息进行比对;

14、所述将多个所述操作步骤中的下一操作步骤更新为所述当前操作步骤,包括:

15、若所述实际语义信息与所述预期语义信息比对一致,则将多个所述操作步骤中的下一操作步骤更新为所述当前操作步骤。

16、在一些实施例中,所述将所述实际语义信息与所述当前操作步骤对应的预期语义信息进行比对之后,所述方法还包括:

17、若所述实际语义信息与所述预期语义信息比对不一致,则对所述当前操作步骤执行异常修正处理;

18、在所述异常修正处理后重新执行将所述控制脚本下发至所述目标终端执行的步骤。

19、在一些实施例中,所述异常修正处理包括第一级修正、第二级修正、第三级修正以及人工修正中的至少一种,其中:

20、所述第一级修正包括重新执行所述控制脚本;

21、所述第二级修正包括修正所述控制脚本中的操作坐标或操作参数后重新执行;

22、所述第三级修正包括执行返回操作或刷新操作,将所述目标终端的页面状态回滚至前一状态后重新执行;

23、所述人工修正包括若所述第一级修正、所述第二级修正和所述第三级修正均未能使比对一致,则触发人工提示并记录异常日志。

24、在一些实施例中,所述获取所述目标终端的第一屏幕图像,包括:

25、从预设的多个不同终端类型的屏幕图像获取方式中确定与所述目标终端的终端类型对应的目标屏幕图像获取方式;

26、按照所述目标屏幕图像获取方式获取所述目标终端的所述第一屏幕图像。

27、在一些实施例中,所述识别所述第一屏幕图像中各ui元素的元素信息,包括:

28、提取所述第一屏幕图像中各ui元素的以下至少一种视觉特征:轮廓特征、颜色特征、布局特征、图标形状特征;

29、通过ocr识别所述第一屏幕图像中各ui元素的文本特征;

30、基于所述视觉特征和/或所述文本特征,确定各ui元素的语义信息,并确定各ui元素在所述第一屏幕图像中的坐标信息。

31、在一些实施例中,所述将所述目标任务拆解为按执行逻辑依次排列的多个操作步骤,包括:

32、基于大语言模型的思维链推理,和/或基于预设的流程模板库,将所述目标任务拆解为多个子任务;

33、按照功能逻辑、操作优先级和终端适配要求,将各所述子任务分别拆解为原子操作,得到按所述执行逻辑依次排列的多个所述操作步骤;

34、其中,所述执行逻辑包括顺序执行、条件执行或循环执行中的至少一种。

35、第二方面,本技术实施例还提供了一种任务跨端自动化执行装置,其包括:

36、指令接收单元,用于接收用户终端发送的任务指令;

37、步骤生成单元,用于对所述任务指令进行语义解析,识别所述任务指令中的目标任务以及目标终端,并将所述目标任务拆解为按执行逻辑依次排列的多个操作步骤;

38、步骤确定单元,用于确定多个所述操作步骤中的当前操作步骤;

39、元素识别单元,用于获取所述目标终端的第一屏幕图像,识别所述第一屏幕图像中各ui元素的元素信息,所述元素信息包括语义信息以及坐标信息;

40、规则确定单元,用于从预设的多个不同终端类型的脚本生成规则中确定与所述目标终端的终端类型对应的目标脚本生成规则;

41、脚本生成单元,用于基于所述目标脚本生成规则,根据所述当前操作步骤以及所述各ui元素的元素信息,生成适配于所述目标终端的与所述当前操作步骤对应的控制脚本;

42、脚本下发单元,用于将所述控制脚本下发至所述目标终端执行,以控制所述目标终端执行所述当前操作步骤;

43、更新单元,用于将多个所述操作步骤中的下一操作步骤更新为所述当前操作步骤,并返回执行所述获取所述目标终端的第一屏幕图像的步骤,以依次执行多个所述操作步骤。

44、第三方面,本技术实施例还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。

45、第四方面,本技术实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述方法。

46、本技术实施例提供了任务跨端自动化执行方法、装置、计算机设备及存储介质。一方面,本技术实施例通过纯视觉方式获取屏幕图像并识别ui语义信息,无需依赖dom树、控件id或系统api,实现了无侵入式的跨端任务自动化操作,可适配第三方小程序、自定义ui及无接口权限的应用场景。另一方面,本技术实施例通过预设的不同终端类型的脚本生成规则,实现了一套操作步骤自动适配多种终端类型,显著降低了跨端自动化适配的适配成本。