一种UI数据测试方法及装置与流程

一种ui数据测试方法及装置
技术领域
1.本发明涉及数据测试技术领域，具体涉及一种ui数据测试方法及装置。


背景技术：

2.现有ui数据测试完全依靠po及ui老师人工进行走查，走查的结果受到很多人为因素的影响，且ui数据测试效率低下。


技术实现要素：

3.针对现有技术中的问题，本发明实施例提供一种ui数据测试方法及装置，能够至少部分地解决现有技术中存在的问题。
4.一方面，本发明提出一种ui数据测试方法，包括：
5.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
6.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
7.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
8.其中，所述ui数据测试方法还包括：
9.若至少存在一组图像相似度比对结果大于等于预设图像相似度阈值，则确定不通过测试。
10.其中，所述ui数据测试方法还包括：
11.获取待测试ui视频；
12.基于预设ui视频测试模型对所述待测试ui视频进行测试，得到测试结果；
13.其中，所述预设ui视频测试模型根据作为视频比对基准的ui视频训练神经网络得到。
14.其中，在根据作为视频比对基准的ui视频训练神经网络得到所述预设ui视频测试模型之前，所述ui数据测试方法还包括：
15.对作为视频比对基准的ui视频中的帧图像进行预处理。
16.一方面，本发明提出一种ui数据测试装置，包括：
17.获取单元，用于按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
18.比对单元，用于按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
19.测试单元，用于若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
20.其中，所述ui数据测试装置还用于：
21.若至少存在一组图像相似度比对结果大于等于预设图像相似度阈值，则确定不通
过测试。
22.其中，所述ui数据测试装置还用于：
23.获取待测试ui视频；
24.基于预设ui视频测试模型对所述待测试ui视频进行测试，得到测试结果；
25.其中，所述预设ui视频测试模型根据作为视频比对基准的ui视频训练神经网络得到。
26.其中，在根据作为视频比对基准的ui视频训练神经网络得到所述预设ui视频测试模型之前，所述ui数据测试装置还用于：
27.对作为视频比对基准的ui视频中的帧图像进行预处理。
28.再一方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下方法：
29.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
30.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
31.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
32.本发明实施例提供一种计算机可读存储介质，包括：
33.所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法：
34.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
35.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
36.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
37.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如下方法：
38.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
39.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
40.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
41.本发明实施例提供的ui数据测试方法及装置，按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试，能够提高ui数据测试效率。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
43.图1是本发明一实施例提供的ui数据测试方法的流程示意图。
44.图2是本发明另一实施例提供的ui数据测试方法的流程示意图。
45.图3是本发明实施例提供的ui数据测试方法模块化的结构示意图。
46.图4是本发明一实施例提供的ui数据测试装置的结构示意图。
47.图5为本发明实施例提供的计算机设备实体结构示意图。
具体实施方式
48.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
49.图1是本发明一实施例提供的ui数据测试方法的流程示意图，如图1所示，本发明实施例提供的ui数据测试方法，包括：
50.步骤s1：按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图。
51.步骤s2：按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对。
52.步骤s3：若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
53.在上述步骤s1中，装置按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图。装置可以是执行该方法的计算机设备等，例如为客户端。本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。ui设计(或称界面设计)是指对软件的人机交互、操作逻辑、界面美观的整体设计。ui设计分为实体ui和虚拟ui，互联网常用的ui设计是虚拟ui，ui即user interface(用户界面)的简称。
54.好的ui设计不仅是让软件变得有个性有品位，还要让软件的操作变得舒适简单、自由，充分体现软件的定位和特点。
55.预设ui测试流程可以根据实际情况自主设置。图像比对基准的ui原图可以是产品经理设计的ui原图，可以通过ui绘制软件获得，待测试ui截图可以是软件开发工程师根据上述ui原图开发软件，并在软件运行过程中截屏获取的ui截图。
56.以预设ui测试流程为顺序排列的三张图像为例，按照预设ui测试流程依次截取的待测试ui截图依次记为a1、b1和c1；按照预设ui测试流程依次获取作为图像比对基准的ui原图依次记为a1、b1和c1。
57.在上述步骤s2中，装置按照所述预设ui测试流程将各所述待测试ui截图与各所述
ui原图分别一一进行图像相似度比对。参照上述举例，先将a1与a1进行图像相似度比对，再将b1与b1进行图像相似度比对，最后将c1与c1进行图像相似度比对。
58.可以通过相似度算法实现图像相似度比对计算，相似度算法可选为现有成熟的相似度算法，不作具体限定。
59.在上述步骤s3中，装置若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。预设图像相似度阈值可以根据实际情况自主设置。参照上述举例，如果a1与a1的图像相似度比对结果，b1与b1的图像相似度比对结果和c1与c1的图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
60.需要说明的是，为实现充分进行ui数据测试，各个不同的ui的测试顺序会对测试结果构成一定影响，因此，本发明实施例需要按照预设ui测试流程依次进行图像相似度比对，从而保证测试准确性。
61.所述ui数据测试方法还包括：
62.若至少存在一组图像相似度比对结果大于等于预设图像相似度阈值，则确定不通过测试。参照上述举例，a1与a1、b1与b1和c1与c1中只要存在一组图像相似度比对结果大于等于预设图像相似度阈值，就可以确定不通过测试。
63.如图2所示，所述ui数据测试方法还包括：
64.步骤r1：获取待测试ui视频；可以通过录制视频的工具在开发软件的运行过程中录制待测试ui视频，可以理解的是，待测试ui视频的各帧图像的顺序与预设ui测试流程相一致。
65.步骤r2：基于预设ui视频测试模型对所述待测试ui视频进行测试，得到测试结果；可以将获取待测试ui视频输入至预设ui视频测试模型，将预设ui视频测试模型的输出结果作为测试结果。
66.测试结果可以包括通过测试，或者不通过测试。
67.如果上述待测试ui视频的各帧图像与作为视频比对基准的ui视频的各帧图像都相同或相近(相似度小于预设图像相似度阈值)，则确定通过测试。
68.如果上述待测试ui视频的各帧图像与作为视频比对基准的ui视频的各帧图像至少存在一组图像不相同或不相近(相似度大于等于预设图像相似度阈值)，则确定不通过测试。
69.其中，所述预设ui视频测试模型根据作为视频比对基准的ui视频训练神经网络得到。即将视频比对基准的ui视频中的各帧图像作为训练神经网络的样本图像。
70.训练神经网络的方法可以为本领域成熟方法，神经网络可以为本领域成熟的神经网络结构。
71.神经网络能够融合了图像角度矫正、图像特征提取、视频反光消除等多种经典及新兴算法。深度学习使用的神经网络能够很好的对图像进行计算，虽然需要更高的计算能力，但是其优势是传统算法无法比拟的，比如由于手机型号的区别导致界面大小不一致、界面色域不一致等问题以及由屏幕素质不同导致的反光度不一致等等，传统算法很难解决的问题，神经网络都能够达到更好的效果。
72.在根据作为视频比对基准的ui视频训练神经网络得到所述预设ui视频测试模型之前，所述ui数据测试方法还包括：
73.对作为视频比对基准的ui视频中的帧图像进行预处理。
74.预处理的具体步骤可以包括：
75.1、读取视频并提取帧。
76.2、旋转和裁剪图片。
77.3、pil/numpy/cv2图片处理互转。具体可以包括：
78.使用pil打开图片，并转换为numpy数组；
79.使用cv2打开并显示图片；
80.使用cv2拆分rgb通道，并用matplot显示。
81.本发明实施例提供的ui数据测试方法，按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试，能够提高ui数据测试效率。
82.如图3所示，可以通过模块化实现本发明实施例的方法，具体包括：图像预处理模块1、神经网络训练模块2、神经网络测试模块3和视频图像检测模块4。这些模块严格意义上是线性的，首先对训练集和测试集中的图像进行预处理，得到适合进入神经网络的数据集，然后开始对网络模型进行训练和测试，最后当模型的auc较高时可以尝试对视频图像进行检测，若能够达到预期的检测结果，便可以投入使用了。
83.图像预处理模块1：需要尝试不同的图像处理算法，找到最适合该类图像数据的算法，再进行预处理。
84.神经网络训练模块2：需要大量的视频图像以及高质量的计算资源，对于神经网络模型来说，训练数据量越大，训练的结果越好。
85.神经网络测试模块3：需要开发人员注意对测试数据集的处理和划分，不同质量的数据集都要进行测试，这样才能更好的全方位的考验网络模型的检测能力。
86.视频图像检测模块4：在投入真实检测的过程中，刚开始检测时要注意检测结果是否符合预期，后续则可以解放人力资源。
87.进一步地，所述ui数据测试方法还包括：
88.若至少存在一组图像相似度比对结果大于等于预设图像相似度阈值，则确定不通过测试。可参照上述说明，不再赘述。
89.进一步地，所述ui数据测试方法还包括：
90.获取待测试ui视频；可参照上述说明，不再赘述。
91.基于预设ui视频测试模型对所述待测试ui视频进行测试，得到测试结果；可参照上述说明，不再赘述。
92.其中，所述预设ui视频测试模型根据作为视频比对基准的ui视频训练神经网络得到。可参照上述说明，不再赘述。
93.进一步地，在根据作为视频比对基准的ui视频训练神经网络得到所述预设ui视频测试模型之前，所述ui数据测试方法还包括：
94.对作为视频比对基准的ui视频中的帧图像进行预处理。可参照上述说明，不再赘述。
95.需要说明的是，本发明实施例提供的ui数据测试方法可用于金融领域，也可用于
除金融领域之外的任意技术领域，本发明实施例对ui数据测试方法的应用领域不做限定。
96.图4是本发明一实施例提供的ui数据测试装置的结构示意图，如图4所示，本发明实施例提供的ui数据测试装置，包括获取单元401、比对单元402和测试单元403，其中：
97.获取单元401用于按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；比对单元402用于按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；测试单元403用于若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
98.具体的，装置中的获取单元401用于按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；比对单元402用于按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；测试单元403用于若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
99.本发明实施例提供的ui数据测试装置，按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试，能够提高ui数据测试效率。
100.进一步地，所述ui数据测试装置还用于：
101.若至少存在一组图像相似度比对结果大于等于预设图像相似度阈值，则确定不通过测试。
102.进一步地，所述ui数据测试装置还用于：
103.获取待测试ui视频；
104.基于预设ui视频测试模型对所述待测试ui视频进行测试，得到测试结果；
105.其中，所述预设ui视频测试模型根据作为视频比对基准的ui视频训练神经网络得到。
106.进一步地，在根据作为视频比对基准的ui视频训练神经网络得到所述预设ui视频测试模型之前，所述ui数据测试装置还用于：
107.对作为视频比对基准的ui视频中的帧图像进行预处理。
108.本发明实施例提供ui数据测试装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
109.图5为本发明实施例提供的计算机设备实体结构示意图，如图5所示，所述计算机设备包括：存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序，所述处理器502执行所述计算机程序时实现如下方法：
110.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
111.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
112.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
113.本实施例公开一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如下方法：
114.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
115.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
116.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
117.本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法：
118.按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；
119.按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；
120.若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试。
121.本发明实施例与现有技术中的技术方案相比，按照预设ui测试流程依次截取待测试ui截图，以及按照预设ui测试流程依次获取作为图像比对基准的ui原图；按照所述预设ui测试流程将各所述待测试ui截图与各所述ui原图分别一一进行图像相似度比对；若确定各图像相似度比对结果都小于预设图像相似度阈值，则确定通过测试，能够提高ui数据测试效率。
122.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
123.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
124.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
125.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
126.在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，
对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
127.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。