一种用户界面测试方法、装置、设备及存储介质与流程

技术特征：
1.一种用户界面测试方法，其特征在于，所述方法包括：在执行测试用例的用户界面上，获取待识别图像；将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果；其中，所述识别结果包括所述待识别图像上的弹框位置信息和/或文字信息；基于所述识别结果，对所述待识别图像对应的用户界面进行处理。2.根据权利要求1所述的方法，其特征在于，所述在执行测试用例的用户界面上，获取待识别图像，包括：通过对执行测试用例的用户界面进行截图，获取待识别图像。3.根据权利要求1所述的方法，其特征在于，将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的识别处理后，输出所述待识别图像对应的识别结果，包括：将所述待识别图像发送至服务端；其中，所述服务端配置有图像识别模型，所述图像识别模型用于对所述待识别图像进行识别处理后输出识别结果；接收所述服务端返回的所述待识别图像对应的识别结果。4.根据权利要求3所述的方法，其特征在于，所述方法应用于运行有所述测试用例的移动终端，所述移动终端与pc计算机相连；所述将所述待识别图像发送至服务端，包括：将所述待识别图像发送至所述pc计算机，并由所述pc计算机将所述待识别图像转发至服务端。5.根据权利要求1所述的方法，其特征在于，所述图像识别模型包括弹框识别模型，所述待识别图像对应的识别结果包括由所述弹框识别模型对所述待识别图像进行识别得到的弹框位置信息；所述基于所述识别结果，对所述待识别图像对应的用户界面进行处理，包括：基于所述弹框位置信息，在所述待识别图像对应的用户界面上触发对所述弹框位置信息对应的弹框区域的点击操作。6.根据权利要求1所述的方法，其特征在于，所述图像识别模型包括文字识别模型，所述待识别图像对应的识别结果包括由所述文字识别模型对所述待识别图像进行识别得到的文字信息，所述文字信息包括文字内容和文字位置信息；所述基于所述识别结果，对所述待识别图像对应的用户界面进行处理，包括：基于所述文字内容确定所述待识别图像对应的用户界面上是否存在预设异常内容；如果确定所述用户界面上存在所述预设异常内容，则基于所述文字位置信息，在所述待识别图像对应的用户界面上，触发对所述预设异常内容的处理操作。7.根据权利要求1所述的方法，其特征在于，所述基于所述识别结果，对所述待识别图像对应的用户界面进行处理，包括：将所述识别结果发送至所述测试用例；其中，所述测试用例用于基于所述识别结果对所述待识别图像对应的用户界面进行处理。8.一种用户界面测试装置，其特征在于，所述装置包括：获取模块，用于在执行测试用例的用户界面上，获取待识别图像；识别模块，用于将所述待识别图像发送至图像识别模型中，经过所述图像识别模型的
识别处理后，输出所述待识别图像对应的识别结果；其中，所述识别结果包括所述待识别图像上的异常区域的位置信息；处理模块，用于基于所述识别结果，对所述待识别图像对应的用户界面进行处理。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-7任一项所述的方法。10.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的方法。11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的方法。

技术总结
本公开提供了一种用户界面测试方法、装置、设备及存储介质，所述方法包括：首先，在执行测试用例的用户界面上，获取待识别图像，并将待识别图像发送至图像识别模型中，经过图像识别模型的识别处理后，输出待识别图像对应的识别结果。然后，基于识别结果对待识别图像对应的用户界面进行处理。本公开实施例在执行测试用例的过程中，通过图像识别技术处理用户界面上的异常情况，保证了UI测试效率。保证了UI测试效率。保证了UI测试效率。


技术研发人员：黄文文 杨乐 黄媛媛
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：2021.08.06
技术公布日：2023/2/17