一种用户界面测试方法、装置、设备及存储介质与流程

1.本公开涉及数据处理领域，尤其涉及一种用户界面测试方法、装置、设备及存储介质。


背景技术：

2.用户界面(英文：user interface；简称：ui)测试，是指对应用程序的用户界面进行测试。常用的ui自动化测试方法中，需要根据用户的操作编写测试用例，并通过运行测试用例判断测试预期和实际测试结果是否一致。
3.目前，ui自动化测试方法中，由于业务需求等改动，在执行测试用例的用户界面上会弹出各种待用户确认的弹框，如对话框等。此时，需要测试人员跟进并复现弹框，修改测试用例代码，以实现对用户界面上弹出的待用户确认的弹窗的点击操作，否则，测试用例执行被阻断，导致ui自动化测试中止等情况的发生，影响ui自动化测试的效率。
4.为此，如何实现ui自动化测试，并保证测试效率是目前亟需解决的技术问题。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种用户界面测试方法，在执行测试用例的过程中，通过图像识别技术处理用户界面上的异常情况，保证了ui测试效率。
6.第一方面，本公开提供了一种用户界面测试方法，所述方法包括：
7.在执行测试用例的用户界面上，获取待识别图像；
8.将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果；其中，所述识别结果包括所述待识别图像上的弹框位置信息和/或文字信息；
9.基于所述识别结果，对所述待识别图像对应的用户界面进行处理。
10.一种可选的实施方式中，所述在执行测试用例的用户界面上，获取待识别图像，包括：
11.通过对执行测试用例的用户界面进行截图，获取待识别图像。
12.一种可选的实施方式中，将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果，包括：
13.将所述待识别图像发送至服务端；其中，所述服务端配置有图像识别模型，所述图像识别模型用于对所述待识别图像进行识别处理后输出识别结果；
14.接收所述服务端返回的所述待识别图像对应的识别结果。
15.一种可选的实施方式中，所述方法应用于运行有所述测试用例的移动终端，所述移动终端与pc计算机相连；
16.所述将所述待识别图像发送至服务端，包括：
17.将所述待识别图像发送至所述pc计算机，并由所述pc计算机将所述待识别图像转
发至服务端。
18.一种可选的实施方式中，所述图像识别模型包括弹框识别模型，所述待识别图像对应的识别结果包括由所述弹框识别模型对所述待识别图像进行识别得到的弹框位置信息；
19.所述基于所述识别结果，对所述待识别图像对应的用户界面进行处理，包括：
20.基于所述弹框位置信息，在所述待识别图像对应的用户界面上触发对所述弹框位置信息对应的弹框区域的点击操作。
21.一种可选的实施方式中，所述图像识别模型包括文字识别模型，所述待识别图像对应的识别结果包括由所述文字识别模型对所述待识别图像进行识别得到的文字信息，所述文字信息包括文字内容和文字位置信息；
22.所述基于所述识别结果，对所述待识别图像对应的用户界面进行处理，包括：
23.基于所述文字内容确定所述待识别图像对应的用户界面上是否存在预设异常内容；
24.如果确定所述用户界面上存在所述预设异常内容，则基于所述文字位置信息，在所述待识别图像对应的用户界面上，触发对所述预设异常内容的处理操作。
25.一种可选的实施方式中，所述基于所述识别结果，对所述待识别图像对应的用户界面进行处理，包括：
26.将所述识别结果发送至所述测试用例；其中，所述测试用例用于基于所述识别结果对所述待识别图像对应的用户界面进行处理。
27.第二方面，本公开提供了一种用户界面测试装置，所述装置包括：
28.获取模块，用于在执行测试用例的用户界面上，获取待识别图像；
29.识别模块，用于将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果；其中，所述识别结果包括所述待识别图像上的异常区域的位置信息；
30.处理模块，用于基于所述识别结果，对所述待识别图像对应的用户界面进行处理。
31.第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
32.第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
33.第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。
34.本公开实施例提供的技术方案与现有技术相比具有如下优点：
35.本公开实施例提供了一种用户界面测试方法，首先，在执行测试用例的用户界面上，获取待识别图像，并将待识别图像发送至图像识别模型中，经过图像识别模型的识别处理后，输出待识别图像对应的识别结果。然后，基于识别结果对待识别图像对应的用户界面进行处理。本公开实施例在执行测试用例的过程中，通过图像识别技术处理用户界面上的异常情况，保证了ui测试效率。
附图说明
36.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
37.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本公开实施例提供的一种用户界面测试方法的流程图；
39.图2为本公开实施例提供的一种用户界面测试方法的信令交互图；
40.图3为本公开实施例提供的一种用户界面测试装置的结构示意图；
41.图4为本公开实施例提供的一种用户界面测试设备的结构示意图。
具体实施方式
42.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
43.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
44.ui自动化测试，是把以人为驱动的测试行为转化为机器执行的一种过程。通常在设计了测试用例并通过评审之后，根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。为了节省人力、时间或硬件资源，提高测试效率，引入的ui自动化测试的概念。
45.测试用例(test case)，是指为了特殊目标而编制的一组测试输入、执行条件以及预期结果，用于测试某个程序路径或核实是否满足某个特定需求。
46.ui自动化测试方法中，由于业务需求等改动，在执行测试用例的用户界面上会弹出各种待用户确认的弹框，如对话框等。此时，需要测试人员跟进并复现弹框，修改测试用例代码，以实现对用户界面上弹出的待用户确认的弹窗的点击操作，否则，测试用例执行被阻断，导致ui自动化测试中止等情况的发生，影响ui自动化测试的效率。
47.为此，本公开实施例提供了一种用户界面测试方法，首先，在执行测试用例的用户界面上，获取待识别图像，并将待识别图像发送至图像识别模型中，经过图像识别模型的识别处理后，输出待识别图像对应的识别结果。然后，基于识别结果对待识别图像对应的用户界面进行处理。可见，本公开实施例在执行测试用例的过程中，通过图像识别技术处理用户界面上的异常情况，保证了ui测试效率。
48.基于此，本公开实施例提供了一种用户界面测试方法，参考图1，为本公开实施例提供的一种用户界面测试方法的流程图，该方法包括：
49.s101：在执行测试用例的用户界面上，获取待识别图像。
50.本公开实施例中，在执行任意一个测试用例对应用程序的用户界面进行测试时，可以获取待识别图像。其中，待识别图像可以为对用户界面的截图等。
51.实际应用中，可以通过对执行测试用例的用户界面进行截图，获取待识别图像。具
体的，可以以预设周期对执行测试用例的用户界面进行截图，作为待识别图像。
52.s102：将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果。
53.其中，所述识别结果包括所述待识别图像上的异常区域的位置信息。
54.本公开实施例中，在获取到待识别图像之后，对待识别图像进行图像识别，得到待识别图像对应的识别结果。具体的，可以利用经过训练的图像识别模型对待识别图像进行识别，以确定待识别图像上是否存在异常区域以及异常区域的位置信息等。
55.由于测试用例执行过程中在用户界面上产生的待用户点击的弹框属于ui测试过程中的异常区域，因此，需要针对该异常区域进行点击才能继续执行测试用例，保证ui测试的正常进行。
56.基于此，一种可选的实施方式中，图像识别模型可以包括弹框识别模型，用于识别图像上的弹框。具体的，将待识别图像发送至弹框识别模型中，经过弹框识别模型的识别处理后，输出待识别图像对应的识别结果，其中，待识别图像对应的识别结果中包括该待识别图像上的弹框位置信息，用于标识该待识别图像上的弹框的位置。
57.另一种可选的实施方式中，图像识别模型还可以包括文字识别模型，如ocr模型等，用于识别图像上的文字。具体的，将待识别图像发送至文字识别模型中，经过文字识别模型的识别处理后，输出待识别图像对应的识别结果。其中，待识别图像对应的识别结果中包括对该待识别图像进行识别得到的文字信息，文字信息可以包括文字内容和文字位置信息。
58.s103：基于所述识别结果，对所述待识别图像对应的用户界面进行处理。
59.本公开实施例中，在获取到待识别图像对应的识别结果之后，可以基于该识别结果，对待识别图像对应的用户界面进行处理，使得测试用例能够正常执行，避免因此降低ui测试的效率。
60.一种可选的实施方式中，待识别图像对应的识别结果可以包括弹框位置信息，在获取到待识别图像上的弹框位置信息之后，基于该弹框位置信息，在该待识别图像对应的用户界面上，触发针对该弹框位置信息对应的弹框区域的点击操作，以便测试用例能够正常执行。
61.另一种可选的实施方式中，待识别图像对应的识别结果可以包括文字信息，在获取到待识别图像上的文字信息之后，基于文字信息中的文字内容确定待识别图像对应的用户界面上是否存在预设异常内容。其中，预设异常内容可以包括崩溃crash、广告、需要上下滑动的内容等，通常待用户确认后才能继续执行测试用例的内容。
62.具体的，可以基于预设异常内容的关键字等特征，确定返回的识别结果中的文字内容中是否存在预设异常内容。
63.本公开实施例中，如果确定用户界面上存在预设异常内容，则基于预设异常内容的文字位置信息，在待识别图像对应的用户界面上，触发针对该预设异常内容的处理操作，以便测试用例能够正常执行，避免因此降低ui测试的效率。
64.又一种可选的实施方式中，如果待识别图像对应的识别结果包括弹框位置信息和文字信息，则在获取到待识别图像上的弹框位置信息之后，基于该弹框位置信息，在该待识别图像对应的用户界面上，触发针对该弹框位置信息对应的弹框区域的点击操作。另外，基
于文字信息对用户界面上的预设异常内容进行识别以及处理，以便测试用例能够正常执行。
65.本公开实施例提供的用户界面测试方法中，首先，在执行测试用例的用户界面上，获取待识别图像，并将待识别图像发送至图像识别模型中，经过图像识别模型的识别处理后，输出待识别图像对应的识别结果。然后，基于识别结果对待识别图像对应的用户界面进行处理。本公开实施例在执行测试用例的过程中，通过图像识别技术处理用户界面上的异常情况，保证了ui测试效率。
66.基于上述实施例，本公开提供了一种用户界面测试方法的具体应用场景。其中，该方法应用于测试设备，例如测试手机等。图像识别模型部署于该测试设备中，具体的，测试设备在执行测试用例的过程中，对用户界面进行截图，作为待识别图像，然后将待识别图像输入至图像识别模型中，经过图像识别模型的识别处理后，输出待识别图像对应的识别结果。进而，由测试设备基于识别结果，对待识别图像对应的用户界面进行处理。
67.一种可选的实施方式中，在对待识别图像进行图像识别时，可以首先利用测试设备上部署的弹框识别模型对待识别图像上的弹框进行识别，如果该弹框识别模型未在待识别图像上识别到弹框，则将该待识别图像输入至该测试设备上部署的文字识别模型，经过文字识别模型的识别处理后，输出该待识别图像上的文字信息，作为识别结果。
68.本公开实施例中，测试设备在获取到待识别图像对应的识别结果之后，可以将识别结果发送至该测试设备上部署的测试用例，由该测试用例基于识别结果中的弹框位置信息或文字信息，对用户界面上的异常区域进行处理，保证ui测试的正常执行。
69.基于上述实施例，本公开还提供了一种用户界面测试方法的具体应用场景。参照图2，为本公开实施例提供的一种用户界面测试方法的信令交互图，该方法应用于运行有测试用例的移动终端，移动终端上部署有人工智能ai模块。
70.其中，测试用例在执行到预设节点时，可以触发启动图像识别功能，人工智能ai模块接收到启动指令后，对执行测试用例的用户界面进行截图，得到待识别图像，然后将待识别图像发送至服务端。具体的，该服务端上配置有图像识别模型，用于对待识别图像进行识别处理后输出识别结果。另外，对用户界面进行截图具体可以包括对用户界面截屏处理，同时，还可以对截屏得到的待识别图像进行压缩处理，以减少图像传输所占用的带宽。
71.一种可选的实施方式中，移动终端与pc计算机相连，移动终端上的ai模块可以通过pc计算机将待识别图像发送至服务端。具体的，如图2所示，ai模块首先将待识别图像通过端口映射转发至pc计算机，然后由pc计算机基于网络将该待识别图像转发至服务端。
72.实际应用中，服务端在获取到待识别图像对应的识别结果之后，将识别结果返回至ai模块，由ai模块基于该识别结果对用户界面进行处理。
73.一种可选的实施方式中，ai模块在接收到识别结果之后，将识别结果发送至测试用例，由测试用例基于识别结果对用户界面进行处理。
74.与上述方法实施例基于同一个发明构思，本公开还提供了一种用户界面测试装置，参考图3，为本公开实施例提供的一种用户界面测试装置的结构示意图，所述装置包括：
75.获取模块301，用于在执行测试用例的用户界面上，获取待识别图像；
76.识别模块302，用于将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果；其中，所述识别结果包括所述待
识别图像上的异常区域的位置信息；
77.处理模块303，用于基于所述识别结果，对所述待识别图像对应的用户界面进行处理。
78.一种可选的实施方式中，所述获取模块，具体用于：
79.通过对执行测试用例的用户界面进行截图，获取待识别图像。
80.一种可选的实施方式中，所述识别模块，包括：
81.发送子模块，用于将所述待识别图像发送至服务端；其中，所述服务端配置有图像识别模型，所述图像识别模型用于对所述待识别图像进行识别处理后输出识别结果；
82.接收子模块，用于接收所述服务端返回的所述待识别图像对应的识别结果。
83.一种可选的实施方式中，所述装置应用于运行有所述测试用例的移动终端，所述移动终端与pc计算机相连；
84.所述发送子模块，具体用于：
85.将所述待识别图像发送至所述pc计算机，并由所述pc计算机将所述待识别图像转发至服务端。
86.一种可选的实施方式中，所述图像识别模型包括弹框识别模型，所述待识别图像对应的识别结果包括由所述弹框识别模型对所述待识别图像进行识别得到的弹框位置信息；
87.所述处理模块，具体用于：
88.基于所述弹框位置信息，在所述待识别图像对应的用户界面上触发对所述弹框位置信息对应的弹框区域的点击操作。
89.一种可选的实施方式中，所述图像识别模型包括文字识别模型，所述待识别图像对应的识别结果包括由所述文字识别模型对所述待识别图像进行识别得到的文字信息，所述文字信息包括文字内容和文字位置信息；
90.所述处理模块，包括：
91.确定子模块，用于基于所述文字内容确定所述待识别图像对应的用户界面上是否存在预设异常内容；
92.处理子模块，用于在确定所述用户界面上存在所述预设异常内容时，基于所述文字位置信息，在所述待识别图像对应的用户界面上，触发对所述预设异常内容的处理操作。
93.一种可选的实施方式中，所述处理模块，具体用于：
94.将所述识别结果发送至所述测试用例；其中，所述测试用例用于基于所述识别结果对所述待识别图像对应的用户界面进行处理。
95.本公开实施例提供的用户界面测试装置中，首先，在执行测试用例的用户界面上，获取待识别图像，并将待识别图像发送至图像识别模型中，经过图像识别模型的识别处理后，输出待识别图像对应的识别结果。然后，基于识别结果对待识别图像对应的用户界面进行处理。本公开实施例在执行测试用例的过程中，通过图像识别技术处理用户界面上的异常情况，保证了ui测试效率。
96.除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现本公开实施例所述的用户界面测试方法。
97.本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开实施例所述的用户界面测试方法。
98.另外，本公开实施例还提供了一种用户界面测试设备，参见图4所示，可以包括：
99.处理器401、存储器402、输入装置403和输出装置404。用户界面测试设备中的处理器401的数量可以一个或多个，图4中以一个处理器为例。在本公开的一些实施例中，处理器401、存储器402、输入装置403和输出装置404可通过总线或其它方式连接，其中，图4中以通过总线连接为例。
100.存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行用户界面测试设备的各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置403可用于接收输入的数字或字符信息，以及产生与用户界面测试设备的用户设置以及功能控制有关的信号输入。
101.具体在本实施例中，处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现上述用户界面测试设备的各种功能。
102.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
103.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。