一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质与流程

1.本发明涉及rpa自动化测试技术领域，尤其涉及一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质。


背景技术：

2.用户界面流程录制(下面简称“流程录制”)主要用于在用户操作业务环境的过程中，进行行为沉淀。通过操作系统提供的能力来自动地记录下用户的行为。流程录制主要用到操作系统提供的事件机制来进行用户行为记录，通过记录用户对界面元素的交互行为来实现。
3.另外，用户界面元素定位主要用到accessibility和cv (computervision)两种技术。通过这两种技术，rpa或自动化测试可以自由地获取到屏幕上的用户界面元素信息。
4.操作系统和部分用户界面框架一般都提供了accessibility api 用以编程地方式访问用户界面元素信息。目前这些api大多都以两个维度提供：
5.a、访问某个元素自身的属性。
6.b、通过元素导航来访问某个界面元素，如：访问父节点界面元素、访问孩子节点界面元素。
7.还有部分的用户界面框架没有提供accessibilityapi，导致无法获取到用户界面元素信息，这部分一般是采用cv技术进行定位。
8.对于目前出现的方法，存在以下问题：
9.a、通过事件监听技术来进行流程录制时会存在大量的干扰行为，比如用户偶然的对键盘鼠标进行移动、键击等操作，又或者是对元素本身进行业务无关的操作，如：移动窗口、复制粘贴文本等。
10.b、采用目前的录制技术无法进行深度的产品级扩展。比如扩展界面元素所支持的行为，当录制一个邮箱登陆过程时，支持弹出产品级弹窗和用户交换信息，从而更好的和产品进行深度结合。


技术实现要素：

11.有鉴于此，本发明提供了一种用户界面交互式流程录制方法、系统、计算机设备及可读存储介质，用以解决上述背景技术中存在的问题。
12.一种用户界面交互式流程录制方法，具体包括以下步骤：
13.s1，根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位置；
14.s2，根据用户界面元素及其位置确定该元素所支持的行为，用户选择用户界面元素所支持行为中其中一种或几种特定行为，程序记录下该行为并执行一次该行为，实现交互式录制；
15.s3，重复步骤s1-s2，实现连续录制，当录制结束时，用户按下退出录制快捷键，退
出录制并保存录制内容。
16.优选地，步骤s1中根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位置的具体步骤为：
17.根据鼠标当前的屏幕坐标确定出其对应的用户界面元素；
18.判断用户界面元素是否属于操作系统原生的界面元素，并根据判断结果从对应的api接口来定位用户界面元素的位置。
19.优选地，在判断用户界面元素是否属于操作系统原生的界面元素时，
20.若用户界面元素是操作系统原生的界面元素，则通过操作系统提供的api接口来定位用户界面元素的位置；
21.若用户界面元素不是操作系统原生的界面元素，则判断用户界面元素所在应用程序是否支持开放的api接口，若支持，则通过用户界面元素所在应用程序自身开放的api接口来定位用户界面元素的位置，否则通过计算机视觉技术来定位用户界面元素的位置。
22.优选地，所述操作系统提供的api接口为hit-test api接口，
23.用户界面元素所在应用程序自身开放的api接口为 accessibility api接口。
24.优选地，步骤s2中在根据用户界面元素及其位置确定该元素所支持的行为时，还可同时确定该用户界面元素支持的扩展行为。
25.优选地，所述用户界面元素支持的扩展行为是指与产品相关的功能。
26.优选地，所述用户界面元素支持的扩展行为包括扩展定位循环开始或结束的逻辑功能、扩展添加元素注释功能、为未支持 accessibility api接口的元素支持某些产品定义的行为。
27.一种用户界面交互式流程录制系统，包括：
28.用户界面元素定位器，用于根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位置；
29.用户界面元素行为查询器，用于根据用户界面元素及其位置确定该元素所支持的行为；
30.用户界面元素扩展操作查询器，用于根据用户界面元素的位置确定该元素所支持的扩展行为。
31.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
32.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。
33.本发明的有益效果是：
34.本发明的交互式流程录制方法能够消除基于操作系统事件来进行流程录制所带来的大量干扰，每一个录制步骤都是明确定义的，能够生成更有效的流程代码，提升流程录制的效率，更加专注业务逻辑的录制；同时也解决了录制过程中难以进行产品级扩展的问题，通过交互式的逻辑，可以支持和产品进行深度结合，支持产品级扩展，扩展出更多的产品形态，为后期产品新增功能、横向无限扩展提供了插拔式的解决方案，可以提供更好的用户体验。
附图说明
35.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
36.图1是本发明方法的流程图。
具体实施方式
37.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
38.应当明确，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
39.下面通过具体的实施例并结合附图对本技术做进一步的详细描述。
40.本发明给出一种用户界面交互式流程录制方法，包括以下步骤：
41.s1，根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位置；
42.s2，根据用户界面元素及其位置确定该元素所支持的行为，用户选择用户界面元素所支持行为中其中一种或几种特定行为，程序记录下该行为并执行一次该行为，实现交互式录制；
43.不同界面元素所支持的行为不同，例如“按钮”界面元素，其支持的是“点击”行为；“编辑框”界面元素，其支持的是“设置文本”和“获取文本”的行为等等。
44.s3，重复步骤s1-s2，实现连续录制，当录制结束时，用户按下退出录制快捷键，退出录制并保存录制内容。
45.退出录制快捷键可根据用户习惯进行设置，例如可将键盘上的“esc”键添加设置为退出录制的快捷键。
46.优选地，步骤s2中在根据用户界面元素及其位置确定该元素所支持的行为时，还可同时确定该用户界面元素支持的扩展行为。
47.所述用户界面元素支持的扩展行为是指与产品相关的功能。
48.所述用户界面元素支持的扩展行为包括但不限于扩展定位循环开始或结束的逻辑功能、扩展添加元素注释功能、为未支持accessibility api接口的元素支持某些产品定义的行为(如点击图片、模板匹配等行为)。
49.本发明还给出一种用户界面交互式流程录制系统，包括：
50.用户界面元素定位器，用于根据鼠标当前的屏幕坐标确定其对应的用户界面元素及元素位置；
51.用户界面元素行为查询器，用于根据用户界面元素及其位置确定该元素所支持的行为；
52.用户界面元素扩展操作查询器，用于根据用户界面元素的位置确定该元素所支持的扩展行为。
53.本发明还给出一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法
的步骤。
54.此外，上述存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括u盘、移动硬盘、只读存储器(rom， read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
55.通过以上实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必须的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
56.实施例一，下面通过具体示例详细说明本发明的用户界面交互式流程录制方法。
57.本实施例中，本发明的用户界面交互式流程录制方法，包括以下步骤：
58.s1，根据鼠标当前的屏幕坐标确定其对应的用户界面元素及元素位置，具体步骤为：
59.首先，根据鼠标的当前位置确定其屏幕坐标，根据鼠标的屏幕坐标确定出其对应的用户界面元素；
60.然后，判断用户界面元素是否属于操作系统原生的界面元素，若用户界面元素是操作系统原生的界面元素，则通过操作系统提供的 api接口来定位用户界面元素的位置(例如可通过操作系统提供的 hit-test api接口来定位用户界面元素的位置)。
61.操作系统提供的api接口与其系统类型有关，不同类型的操作系统提供的api接口不同。
62.s2，根据用户界面元素及其位置确定该元素所支持的行为，由于用户界面元素是操作系统原生的界面元素，因此，可通过操作系统提供的queryinterface api接口来确定该元素所支持的行为。
63.用户通过选择用户界面元素所支持行为中其中一种或几种特定行为，程序记录下该行为并执行一次该行为，实现交互式录制。
64.在根据用户界面元素的位置确定该元素所支持的行为时，还可同时确定该用户界面元素支持的扩展行为。
65.s3，重复步骤s1-s2，实现连续录制，当录制结束时，用户按下退出录制快捷键，退出录制并保存录制内容。
66.实施例二，本实施例的用户界面交互式流程录制方法与实施例一基本相同，但存在不同之处。
67.本实施例中，本发明的用户界面交互式流程录制方法，包括以下步骤：
68.s1，根据鼠标当前的屏幕坐标确定其对应的用户界面元素及元素位置，具体步骤为：
69.首先，根据鼠标的当前位置确定其屏幕坐标，根据鼠标的屏幕坐标确定出其对应的用户界面元素；
70.然后，判断用户界面元素是否属于操作系统原生的界面元素，若用户界面元素不是操作系统原生的界面元素(如java、sap等元素)，则判断用户界面元素所在应用程序是否支持开放的api接口(例如判断用户界面元素所在应用程序是否支持accessibility api接口)，若支持，则通过接入用户界面元素所在应用程序自身开放的api接口 (如accessibility api接口)来定位用户界面元素的位置。
71.s2，根据用户界面元素及其位置确定该元素所支持的行为，由于用户界面元素不是操作系统原生的界面元素且其所在应用程序支持 accessibility api接口，则可通过接入用户界面元素所在应用程序自身开放accessibility api接口或accessibility相关api接口来确定该元素所支持的行为。
72.用户通过选择用户界面元素所支持行为中其中一种或几种特定行为，程序记录下该行为并执行一次该行为，实现交互式录制。
73.在根据用户界面元素的位置确定该元素所支持的行为时，还可同时确定该用户界面元素支持的扩展行为。
74.s3，重复步骤s1-s2，实现连续录制，当录制结束时，用户按下退出录制快捷键，退出录制并保存录制内容。
75.实施例三，本实施例的用户界面交互式流程录制方法与实施例二基本相同，但存在不同之处。
76.本实施例中，本发明的用户界面交互式流程录制方法，包括以下步骤：
77.s1，根据鼠标当前的屏幕坐标确定其对应的用户界面元素及元素位置，具体步骤为：
78.首先，根据鼠标的当前位置确定其屏幕坐标，根据鼠标的屏幕坐标确定出其对应的用户界面元素；
79.然后，判断用户界面元素是否属于操作系统原生的界面元素，若用户界面元素不是操作系统原生的界面元素(如java、sap等元素)，则判断用户界面元素所在应用程序是否支持开放的api接口(例如判断用户界面元素所在应用程序是否支持accessibility api接口)，若不支持(有些应用程序并不支持accessibility api接口)，则需借助计算机视觉技术(cv技术)来定位用户界面元素的位置。
80.s2，根据用户界面元素及其位置确定该元素所支持的行为，由于用户界面元素不是操作系统原生的界面元素且其所在应用程序不支持accessibility api接口，则需通过用户界面元素扩展操作查询器来确定该用户界面元素支持的扩展行为，如点击图片、模版匹配等行为。
81.s3，重复步骤s1-s2，实现连续录制，当录制结束时，用户按下退出录制快捷键，退出录制并保存录制内容。
82.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。