测试方法以及系统与流程

1.本说明书实施例涉及计算机技术领域，特别涉及一种测试方法。


背景技术：

2.随着计算机技术的快速发展，各种各样的设备层出不穷，而伴随着需求的不断变化，设备也在不断地更新换代。对于设备需求方来说，需要对设备提供方的硬件进行测试与认证。现有技术中，设备需求方通过线下测试的方式，对设备提供方的硬件进行测试与认证。但是，由于设备的种类以及设备提供方的数量越来越多，且不同设备提供方供应的同种设备也可能存在不同，上述方法，对设备需求方的人力投入、设备提供方设备送测以及资源使用效率都提出了更高的挑战，已经无法满足当前市场要求。


技术实现要素：

3.有鉴于此，本说明书施例提供了一种测试方法。本说明书一个或者多个实施例同时涉及一种测试装置，一种测试系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面，提供了一种测试方法，应用于测试平台，包括：
5.接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
6.基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
7.将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
8.基于所述目标对接平台发送的测试数据集，确定测试结果。
9.根据本说明书实施例的第二方面，提供了一种测试方法，应用于对接平台，包括：
10.接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
11.将所述测试用例发送至所述目标设备；
12.接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
13.将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
14.根据本说明书实施例的第三方面，提供了一种测试装置，应用于测试平台，包括：
15.第一接收模块，被配置为接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
16.生成模块，被配置为基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
17.第一发送模块，被配置为将所述测试用例发送至所述目标对接平台，以使所述目
标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
18.确定模块，被配置为基于所述目标对接平台发送的测试数据集，确定测试结果。
19.根据本说明书实施例的第四方面，提供了一种测试装置，应用于对接平台，包括：
20.第二接收模块，被配置为接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
21.第二发送模块，被配置为将所述测试用例发送至所述目标设备；
22.第三接收模块，被配置为接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
23.第三发送模块，被配置为将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
24.根据本说明书实施例的第五方面，提供了一种测试系统，包括：
25.测试平台、至少一个对接平台和至少一个待测设备；
26.所述测试平台，用于接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为所述至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台；
27.所述至少一个对接平台中的所述目标对接平台，用于接收所述测试平台发送的测试用例；将所述测试用例发送至所述目标设备；
28.所述至少一个待测设备中的所述目标设备，用于执行所述测试用例，得到测试数据集；将所述测试数据集反馈给所述目标对接平台；
29.所述测试平台，还用于基于所述目标对接平台发送的测试数据集，确定测试结果。
30.根据本说明书实施例的第六方面，提供了一种计算设备，包括：
31.存储器和处理器；
32.所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述测试方法的步骤。
33.根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述测试方法的步骤。
34.根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述测试方法的步骤。
35.本说明书提供的测试方法，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
附图说明
36.图1是本说明书一个实施例提供的一种测试方法的流程图；
37.图2是本说明书一个实施例提供的另一种测试方法的流程图；
38.图3是本说明书一个实施例提供的一种测试方法的流程示意图；
39.图4是本说明书一个实施例提供的一种测试装置的结构示意图；
40.图5是本说明书一个实施例提供的另一种测试装置的结构示意图；
41.图6是本说明书一个实施例提供的一种测试系统的结构示意图；
42.图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
43.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
44.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
45.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
46.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
47.测试用例(test case)是指对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。其内容包括测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等，最终形成文档。简单地认为，测试用例是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定需求。
48.软件开发工具包(sdk，software development kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
49.在本说明书中，提供了一种测试方法，本说明书同时涉及一种测试装置，一种测试系统，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
50.图1示出了根据本说明书一个实施例提供的一种测试方法的流程图，应用于测试平台，具体包括以下步骤：
51.步骤102：接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一。
52.具体的，测试平台是指第三方或设备需求方设置的用于测试待测设备的平台，可以提供接口服务，实现平台化管理测试任务；对接平台是指一类可批量操作远程设备的网
络设备或者操作平台，可以实现对设备进行维护和操作，例如跳板机、堡垒机，且对接平台可以由第三方维护，也可以由设备提供方维护；待测设备是指需要进行测试的设备，也即设备提供方提供的设备；对接平台标识是指表征对接平台的标识，可以是对应平台的名称、网络地址、标号等；目标设备是指至少一个待测设备中的任意一个；属性信息是指目标设备的配置参数等信息。
53.实际应用中，第三方或者设备需求方，也即用户在测试平台上发起针对待测设备的测试任务，在发起测试任务时，用户会在测试平台的测试任务发起界面上输入对接平台标识和目标设备的属性信息，或者在测试任务发起界面上选择对应的对接平台和目标设备，该测试任务发起界面基于用户选择的对接平台和目标设备自动从预设数据库中识别出对接平台标识和目标设备的属性信息；然后用户点击确定按键之后，测试平台接收到测试任务，也即接收到携带有对接平台标识和目标设备的属性信息的测试请求。
54.例如，设备需求方在测试平台的测试任务发起界面上，输入对接平台标识“a”和目标设备的属性信息“xxxxxx”，然后点击确认上传，此时测试平台接收到携带有“a”和“xxxxxx”的测试请求。
55.此外，还可以通过命令行的形式进行触发测试平台接收测试请求。例如，第三方或者设备需求方，也即用户在测试平台上发起针对待测设备的测试任务，在发起测试任务时，用户会在测试平台的测试任务发起界面上输入对接平台标识和目标设备的属性信息，或者在测试任务发起界面上选择对应的对接平台和目标设备，该测试任务发起界面基于用户选择的对接平台和目标设备自动从预设数据库中识别出对接平台标识和目标设备的属性信息；之后第三方或者设备需求方，也即用户在测试平台上输入命令行，该命令行触发测试平台接收测试请求。
56.步骤104：基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台。
57.在接收到携带有对接平台标识和目标设备的属性信息的测试请求的基础上，进一步地，根据属性信息生成测试用例，并根据对接平台标识确定目标对接平台。
58.具体的，测试用例是指对目标设备进行测试的方案、方法、技术和策略等的集合，如测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等；目标对接平台即为对接平台标识对应的对接平台，也为连接目标设备的对接平台。
59.实际应用中，测试平台在接收到携带有对接平台标识和目标设备的属性信息的测试请求之后，可以对目标设备的属性信息进行解析，生成针对目标设备的测试用例，或者将属性信息中的属性数据填入预设的测试用例模板，得到针对目标设备的测试用例；还可以根据对接平台标识与至少一个对接平台中的各个平台进行匹配，将匹配成功的对接平台确定为目标对接平台。
60.例如，测试平台上存储有预设的测试用例模板，将目标设备的属性信息中的各个属性数据填入测试用例模板中对应的位置，生成针对该目标设备的测试用例。并将对接平台标识与至少一个对接平台中的各对接平台进行匹配，将匹配成功的对接平台确定为目标对接平台。
61.需要说明的是，可以先基于目标设备的属性信息生成测试用例，再基于对接平台标识确定目标对接平台；可以先基于对接平台标识确定目标对接平台，再基于目标设备的
属性信息生成测试用例；还可以在基于目标设备的属性信息生成测试用例的同时，基于对接平台标识确定目标对接平台。本技术对此不作限定。
62.步骤106：将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集。
63.在根据属性信息生成测试用例，并根据对接平台标识确定目标对接平台的基础上，进一步地将测试用例发送至目标对接平台。
64.具体的，测试数据集是指对目标设备进行测试后获得的数据的集合，测试数据集可以是对目标设备进行测试直接回传的测试数据的集合，测试数据集还可以是对回传的测试数据进行处理后的得到的数据集合，如数据聚合、取均值等处理，该处理方法在测试用例中标明，测试数据集也可以包括对目标设备进行测试直接回传的测试数据的集合和对回传的测试数据进行处理后的得到的数据集合，本技术对此不作限定。
65.实际应用中，在生成了测试用例并确定了目标对接平台的基础上，测试平台通过与目标对接平台之间第一双向通路，将测试用例发送至目标对接平台。接着，目标对接平台接收测试用例，并通过与目标设备之间的第二双向通路将测试用例发送至所述目标设备。进一步地，目标设备在接收到测试用例后，执行测试用例，得到测试数据集，然后通过第二双向通道将测试数据集反馈给目标对接平台。之后，目标对接平台将测试数据集发送至测试平台。
66.为了保证测试过程中的数据安全，需要基于检测测试平台与目标对接平台之间的连接状态，也即，所述将所述测试用例发送至所述目标对接平台之后，还包括：
67.检测与所述目标对接平台之间的连接状态；
68.在所述连接状态为断开的情况下，停止测试。
69.具体的，连接状态是指测试平台与目标对接平台之间连接的情况，也即第一双向通路的使用状态，连接状态可以包括断开和连接两种状态。
70.实际应用中，在测试过程中，也即将测试用例发送至对接平台之后，测试平台会检测与所述目标对接平台之间的第一双向通路能否后正常使用，也即检测与所述目标对接平台之间的连接状态，如果连接状态为断开，则说明设备网络不通或者存在测试风险，此时需要停止测试。如此，当测试平台与目标对接平台之间的连接状态为断开时，可能存在数据泄露的风险，此时停止测试，可以有效地测试过程中的数据安全，防止泄露。
71.此外，在所述连接状态为连接的情况下，继续测试。也即连接状态正常，第一双向通路能正常使用，即继续测试即可。
72.需要说明的是，在所述连接状态为断开的情况下，目标对接平台和目标设备也会删除本地的测试用例，以保证测试过程中的数据安全，防止泄露。
73.可选地，可以通过接收心跳包的间隔时长确定连接状态，也即所述检测与所述目标对接平台之间的连接状态，具体实现过程可以如下：
74.检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
75.根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
76.具体的，心跳包是指在客户端和服务器间定时通知对方自己状态的一个自己定义的命令字，按照一定的时间间隔发送，类似于心跳。间隔时长是指接收到的相邻两个心跳包之间的时间的距离。
77.实际应用中，测试平台会与对接平台进行心跳健康检查，也即目标对接平台会每间隔一段时间给测试平台发送心跳包，也即测试平台会接收到对接平台发送的心跳包。测试平台会检测接收相邻两个心跳包之间的间隔时长，一旦间隔时长超过了预设时长，则说明测试平台与目标对接平台之间的连接状态为断开；如果间隔时长小于或等于预设时长，则说明测试平台与目标对接平台之间的连接状态为连接或正常。如此，根据相邻两个心跳包的间隔时长和预设时长来确定连接状态，能够提高确定连接状态的准确率和速度，并且基于心跳包确定连接状态，简单易行。
78.例如，检测到相邻两个心跳包之间的间隔时长为3分钟，且预设时长为2分钟，则确定测试平台与目标对接平台之间的连接状态为断开；又如，检测到相邻两个心跳包之间的间隔时长为3分钟，且预设时长为5分钟，则确定测试平台与目标对接平台之间的连接状态为连接。
79.此外，测试平台可以在将测试用例发送目标对接平台或者接收到一个心跳包时，开始计时，如果测试平台在预设时长内没有接收到对接平台发送的下一个心跳包，则确定测试平台与目标对接平台之间的连接状态为断开；如果测试平台在预设时长内接收到对接平台发送的下一个心跳包，则确定测试平台与目标对接平台之间的连接状态为连接。测试平台还可以每间隔预设时长向对接平台发送心跳包，也即根据心跳包的发送状态，确定与所述目标对接平台之间的连接状态。如果发送成功，则确定测试平台与目标对接平台之间的连接状态为连接；如果发送失败，则确定测试平台与目标对接平台之间的连接状态为断开。
80.可选地，测试用例可以包含测试执行策略和数据收集策略，此时测试平台可以将测试执行策略和数据收集策略发送至目标对接平台，也即所述将所述测试用例发送至所述目标对接平台，具体实现过程可以如下：
81.将所述测试执行策略和所述数据收集策略发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的测试数据集，其中，所述测试数据集为所述目标设备执行所述测试执行策略并基于所述数据收集策略得到。
82.具体的，测试执行策略是指针对目标设备各个测试项的执行方法；数据收集策略也即测试指标项收集方法，同一对接平台下，不同的型号和版本的待测设备，数据收集策略也会不同，不同对接平台下，相同的型号和版本的待测设备，数据收集策略也会不同。测试平台会根据对接平台标识和目标设备的属性信息，自动生成数据收集策略。
83.实际应用中，测试用例可以包含测试执行策略和数据收集策略，测试平台通过与目标对接平台之间第一双向通路，将测试执行策略和数据收集策略发送至目标对接平台。接着，目标对接平台接收测试执行策略和数据收集策略，并通过与目标设备之间的第二双向通路将测试执行策略和数据收集策略发送至所述目标设备。进一步地，测试设备在接收到测试执行策略和数据收集策略后，执行测试执行策略，也即根据测试项的执行方法逐项执行，并根据数据收集策略收集测试数据集，然后通过第二双向通道将测试数据集反馈给目标对接平台。之后，目标对接平台将测试数据集发送至测试平台。如此，基于使目标设备执行测试执行策略，并基于数据收集策略获得测试数据集，可以使测试数据集中的数据更加完整与全面，也即，可以调高测试数据集的精确度。
84.需要说明的是，目标设备可以有多个，在这种情况下，目标对接平台会将测试用例
分别发送至各目标设备，然后各目标设备分别执行测试用例，获得测试数据集，并反馈给目标对接平台。目标对接平台在接收到测试数据集之后，将检查测试数据集的完整性，也即查看是否接收到所有目标设备反馈的测试数据集，若否，则等待接收剩余的测试数据集，若是，则将测试数据集汇总后回传到测试平台上。
85.步骤108：基于所述目标对接平台发送的测试数据集，确定测试结果。
86.在将测试用例发送至目标对接平台的基础上，接收目标对接平台发送的测试数据集，并基于测试数据集确定测试结果。
87.具体的，测试结果是指测试平台基于测试数据集确定的结果，也即测试目标设备的结果，测试结果的形式可以为分值，如80分、90分等，还可以为等级，如a级、b级、优秀、良好等。
88.实际应用中，目标对接平台在接收到目标设备反馈的测试数据集之后，目标对接平台将测试数据集发送至测试平台，此时测试平台接收到测试数据集，然后对测试数据集中测试数据进行数据分析，从而确定针对目标设备的测试结果。
89.可选地，测试平台还可以基于测试结果，对目标设备对应的设备提供方进行评价。也即所述基于所述目标对接平台发送的测试数据集，确定测试结果之后，还包括：
90.获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；
91.基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
92.具体的，评估值是指根据一定现象进行判断、估量所得出来的分值，例如设备需求方根据与设备提供方适配对接的整个过程中进行打分的分值，又如设备需求方从某第三方平台上获取的对设备提供方进行打分的分值；评价值是指针综合测试结果和至少一个评估值，计算得到的设备提供方的得分。
93.实际应用中，在得到了测试结果之后，测试平台可以从第三方平台上获取设备提供方的至少一个评估值，还可以接收用户上传的设备提供方的至少一个评估值。进而根据测试结果和至少一个评估值，按照预设评估策略确定设备提供方的评价值。如此，可以实现对设备提供方自动化评价，减少人力物力，提高了对设备提供方进行评价的效率。
94.例如，用户在测试平台的评估值输入界面输入设备提供方的至少一个评估值，然后确定按键，上传设备提供方的至少一个评估值，此时测试平台获取到设备提供方的至少一个评估值，进而根据测试结果和至少一个评估值，按照预设评估策略确定设备提供方的评价值。
95.需要说明的是，在确定设备提供方的评价值时，可以从多个维度对设备提供方进行评价，如质量、性能、功能满足点、合作响应程度、业界竞争力、问题定位故障、定位技术能力、故障解决能力等维度进行评价。也即对评估值和测试结果从多维度进行分类。
96.在本说明书一个或多个可选的实施例中，所述测试结果包括至少一个测试值；然后根据至少一个测试值和至少一个评估值，确定设备提供方的评价值。也即所述基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值，具体实现过程可以如下：
97.根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；
98.根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估
值的加权和，将所述加权和确定为所述设备提供方的评价值。
99.具体的，测试值是指分值形式的测试结果，如10、20等。
100.实际应用中，可以先确定至少一个测试值的第一数量和至少一个评估值的第二数量，然后根据第一数量确定各测试值的第一权重，以及根据第二数量确定各评估值的第二权重，进一步，基于第一权重计算各测试值的第一加权和，基于第二权重计算各评估值的第二加权和，进而根据预设权值，计算第一加权和与第二加权和的加权和，并确定为评价值。可以确定至少一个测试值和至少一个评估值的总数量，进而分别确定各测试值和各评估值的第三权重，然后基于第三权重，计算至少一个测试值和至少一个评估值的第三加权和，并确定为评价值。还可以将至少一个测试值和至少一个评估值按照预设规则进行分类，针对多个分类中的任意一个分类，将该分类中包含测试值和评估值的数量确定该分类中各测试值和各评估值的第四权重，基于第四权重，计算该分类中所有测试值和所有评估值的第四加权和，此外每个分类有预设的分类权重，基于分类权重，计算各分类对应的第四加权和的加权和，得到设备提供方的评价值。如此，可以提高评价值的准确度，进而提高测试平台的可靠性。
101.需要说明的是，在计算至少一个测试值和至少一个评估值的加权和之前，由于服务器性能测试数值评价标准不同，为了提高评价值的可信度，可以采用无量纲化的方式对至少一个测试值和至少一个评估值进行标准化处理，也即进行归一化。也即所述根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值之前，还包括：
102.将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；
103.相应地，所述根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值，包括：
104.根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
105.实际应用中，先对至少一个测试值和至少一个评估值进行归一化处理后，再根据各测试值和各评估值的权重，计算归一化处理后的至少一个测试值和至少一个评估值的加权和。或者将归一化后的至少一个测试值和至少一个评估值乘上预设数值，得到新的至少一个测试值和至少一个评估值，进而根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和。
106.例如，有五个测试值：5、15、25、35和45，有四个评估值，分别为20、30、40和50。将五个测试值和四个评估值按照预设规则进行分类，得到4个分类，其中第一分类包括5和25，第二分类包括15、35和45，第三分类包括20和50，第四分类包括30和40。按照式1分别对各分类中测试值和评估值进行归一化处理，得到第一分类包括0和1，第二分类包括0、2/3和1，第三分类包括0和1，第四分类包括0和1。假设预设数值为5，乘上预设数值后，第一分类包括0和5，第二分类包括0、10/3和5，第三分类包括0和5，第四分类包括0和5。
[0107][0108]
式1中，y为归一化后的测试值或评估值，min x为该分类中的最小值，max x为该分
类中的最大值。
[0109]
进一步地，根据各分类中包含测试值和评估值的总数量确定权重，如式2所示，则第一分类中0和5的权重均为10，第二分类包括0、10/3和5的权重均为20/3，第三分类包括0和5的权重均为10，第四分类包括0和5的权重均为10。
[0110]
w＝100/(5n)
ꢀꢀꢀꢀ
(式2)
[0111]
式2中，n为该分类中包含测试值和评估值的总数量，w为该分类中测试值和评估值的权重。
[0112]
然后，计算各分类中测试值和评估值的加权和，如式3所示，则第一分类中0和5的加权和为50，第二分类中0、10/3和5的加权和为500/9，第三分类中0和5的加权和为50，第四分类中0和5的加权和为50。
[0113][0114]
式3中，h为该分类中测试值和评估值的加权和，w为该分类中测试值和评估值的权重，yj为该分类中的第j个测试值或评估值，n为该n为分类中包含测试值和评估值的总数量。
[0115]
假设各分类对应预设的分类权重为a1、a2、a3和a4，其中a1、a2、a3和a4的和为1，进一步地计算各分类对应的分类权重的加权和，如式4所示。若a1、a2、a3和a4分别为0.2、0.3、0.3和0.2，则设备提供方的评价值为1500/3。
[0116]
g＝a1*h1 a2*h2 a3*h3 a4*h4
ꢀꢀꢀ
(式4)
[0117]
式4中，g为设备提供方的评价值，a1、a2、a3和a4为第一分类、第二分类、第三分类和第四分类的分类权重，h1、h2、h3和h4为第一分类、第二分类、第三分类和第四分类中测试值和评估值的加权和。
[0118]
为了提高测试效率，还可以生成测试策略，也即所述接收测试请求之后，还包括：
[0119]
基于所述目标设备的属性信息生成测试策略；
[0120]
将所述测试策略发送至所述目标对接平台，以使所述目标对接平台基于所述测试策略查询所述目标设备的设备状态，并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
[0121]
具体的，测试策略是指调度管理服务，可以包含监测脚本等。
[0122]
实际应用中，测试平台还可以基于目标设备的属性信息生成测试策略，然后将测试策略发送至目标对接平台。目标对接平台在接收到测试策略之后，基于测试策略中的监测脚本查询目标设备的设备状态，如果目标设备的设备状态满足预设测试条件，则将测试用例下发到目标设备中，如果不满足，则继续查询目标设备的设备状态，直至目标设备的设备状态满足预设测试条件。如此，可以保证目标设备能够正常执行测试用例，进一步保证测试的正常执行，提高测试效率和准确率。
[0123]
需要说明的是，对接平台与目标设备之间会有连通性健康检查，也即检测对接平台与目标设备之间的连接状态，当对接平台与目标设备之间的连接状态为断开，则说明设备网络不通或存在风险，则对接平台与目标设备删除本地的测试用例和/或测试策略，保证整个测试过程的数据安全。此外，测试结束时或者对接平台将测试数据集返回给测试平台后，对接平台与目标设备也会删除本地的测试用例和/或测试策略。且测试平台还可以提供
可视化展示功能：如展示测试结果、评价值等。
[0124]
本实施例提供的测试方法，可以用于远程自动化认证系统，包含在线认证系统、远程自动化部署平台、远程自动化测试平台、厂商打分评级系统组成。云厂商远程自动化的进行服务器厂商认证。支持远程自动化部署装机，远程的自动化测试，远程的结果收集，远程数据清理，测试结果自动化分析，厂商结果自动化打分评级，认证证书的自动发放。如可以运用于云厂商远程服务器兼容性测试、服务器与云兼容性的远程问题定位、服务器部件和固件更新等的远程兼容性测试、客户服务器与云的远程兼容性验证性(poc，proof of concept)测试、各服务器厂商及部件的质量评级体系等场景中。
[0125]
本说明书提供的测试方法，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
[0126]
此外，测试平台与待测设备之间解耦，测试平台与待测设备的测试环境安全隔离，由设备采购方和设备提供方各自管控运维，有利于保证测试数据的安全，进一步提高测试的安全性。
[0127]
图2示出了根据本说明书一个实施例提供的另一种测试方法的流程图，应用于对接平台，具体包括以下步骤：
[0128]
步骤202：接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一。
[0129]
具体的，测试平台是指第三方或设备需求方设置的用于测试待测设备的平台，可以提供接口服务，实现平台化管理测试任务；对接平台是指一类可批量操作远程设备的网络设备或者操作平台，可以实现对设备进行维护和操作，例如跳板机、堡垒机，且对接平台可以由第三方维护，也可以由设备提供方维护；待测设备是指需要进行测试的设备，也即设备提供方提供的设备；目标设备是指至少一个待测设备中的任意一个；属性信息是指目标设备的配置参数等信息；测试用例是指对目标设备进行测试的方案、方法、技术和策略等的集合，如测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等；
[0130]
实际应用中，第三方或者设备需求方，也即用户在测试平台上发起针对待测设备的测试任务，在发起测试任务时，用户会在测试平台的测试任务发起界面上输入对接平台标识和目标设备的属性信息，或者在测试任务发起界面上选择对应的对接平台和目标设备，该测试任务发起界面基于用户选择的对接平台和目标设备自动从预设数据库中识别出对接平台标识和目标设备的属性信息；然后用户点击确定按键之后，测试平台接收到测试任务，也即接收到携带有对接平台标识和目标设备的属性信息的测试请求。进一步地，测试平台根据目标设备的属性信息生成针对目标设备的测试用例，并根据对接平台标识从至少一个对接平台中确定对接平台标识对应的目标对接平台，之后通过测试平台通过与目标对
接平台之间第一双向通路，将测试用例发送至目标对接平台。也即目标对接平台接收到测试用例。
[0131]
需要说明的是，目标对接平台为接收到测试用例的对接平台。
[0132]
步骤204：将所述测试用例发送至所述目标设备。
[0133]
实际应用中，目标对接平台接收测试用例，并通过与目标设备之间的第二双向通路将测试用例发送至所述目标设备。
[0134]
步骤206：接收所述目标设备反馈的执行所述测试用例得到的测试数据集。
[0135]
具体的，测试数据集对目标设备进行测试后获得到数据的集合，测试数据集可以是对目标设备进行测试直接回传的测试数据的集合，测试数据集还可以是对回传的测试数据进行处理后的得到的数据集合，如数据聚合、取均值等处理，该处理方法在测试用例中标明，测试数据集也可以包括目标设备进行测试直接回传的测试数据的集合和对回传的测试数据进行处理后的得到的数据集合，本技术对此不作限定；测试结果是指测试平台基于测试数据集确定的结果。
[0136]
实际应用中，测试设备在接收到测试用例后，执行测试用例，得到测试数据集，然后通过第二双向通道将测试数据集反馈给目标对接平台。也即目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集。
[0137]
步骤208：将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
[0138]
实际应用中，目标对接平台在接收到目标设备反馈的测试数据集之后，目标对接平台将测试数据集发送至测试平台，此时测试平台接收到测试数据集，然后对测试数据集中测试数据进行数据分析，从而确定针对目标设备的测试结果。
[0139]
可选地，在目标对接平台，也即对接平台与测试平台连接断开，或者对接平台与目标设备连接断开，或者对接平台与测试平台和目标设备连接断开的情况下，对接平台会删除本地的测试用例。也即在与所述测试平台和/或所述目标设备连接断开的情况下，删除本地的测试用例。以保证测试过程中的数据安全，防止泄露。
[0140]
参见图3，图3示出了本说明书一个实施例提供的一种测试方法的流程示意图：用户通过测试平台302的输入界面302-8输入对接平台标识和目标设备的属性信息，即测试平台302通过输入界面302-8接收到测试请求，然后测试平台302根据属性信息通过测试用例库302-2生成测试用例，且生成测试策略，并基于对接平台标识确定目标对接平台，然后将测试用例和测试策略发送至目标对接平台，如对接平台304-2至对接平台304-p中的任意一个。目标对接平台基于测试策略查询目标设备的设备状态，并在设备状态满足预设测试条件的情况下，将测试用例发送至目标设备，如待测设备306-2至待测设备306-m中的任意一个。目标设备接收到测试用例，执行测试用例，得到测试数据集，返回给目标对接设备。目标对接设备将测试数据集进行汇总后，发送给测试平台302。测试平台302通过测试数据集分析302-4对测试数据集进行分析，得到测试结果。进一步地，获取至少一个评估值，并通过评价值计算302-6根据测试结果和至少一个评估值确定设备提供方的评价值。
[0141]
本说明书提供的测试方法，接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；将所述测试用例发送至所述目标设备；接收所述目标设备反馈的执行所述测试用例得到的测
试数据集；将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
[0142]
上述为本实施例的一种应用于对接平台的测试方法的示意性方案。需要说明的是，该应用于对接平台的测试方法的技术方案与上述应用于测试平台的测试方法的技术方案属于同一构思，应用于对接平台的测试方法的技术方案未详细描述的细节内容，均可以参见上述应用于测试平台的测试方法的技术方案的描述。
[0143]
与上述方法实施例相对应，本说明书还提供了测试装置实施例，图4示出了本说明书一个实施例提供的一种测试装置的结构示意图。如图4所示，该装置应用于测试平台，包括：
[0144]
第一接收模块402，被配置为接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
[0145]
生成模块404，被配置为基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
[0146]
第一发送模块406，被配置为将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
[0147]
确定模块408，被配置为基于所述目标对接平台发送的测试数据集，确定测试结果。
[0148]
可选地，所述生成模块404，还被配置为：
[0149]
基于所述目标设备的属性信息生成测试策略；
[0150]
所述第一发送模块406，还被配置为：
[0151]
将所述测试策略发送至所述目标对接平台，以使所述目标对接平台基于所述测试策略查询所述目标设备的设备状态，并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
[0152]
可选地，所述装置还包括获取模块，被配置为：
[0153]
获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；
[0154]
基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
[0155]
可选地，所述测试结果包括至少一个测试值；
[0156]
所述获取模块，还被配置为：
[0157]
根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；
[0158]
根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
[0159]
可选地，所述获取模块，还被配置为：
[0160]
将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；
[0161]
根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估
值的加权和，将所述加权和确定为所述设备提供方的评价值。
[0162]
可选地，所述装置还包括检测模块，被配置为：
[0163]
检测与所述目标对接平台之间的连接状态；
[0164]
在所述连接状态为断开的情况下，停止测试。
[0165]
可选地，所述检测模块，被配置为：
[0166]
检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
[0167]
根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
[0168]
可选地，所述测试用例包含测试执行策略和数据收集策略；
[0169]
所述第一发送模块406，还被配置为：
[0170]
将所述测试执行策略和所述数据收集策略发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的测试数据集，其中，所述测试数据集为所述目标设备执行所述测试执行策略并基于所述数据收集策略得到。
[0171]
本说明书提供的测试装置，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
[0172]
上述为本实施例的一种应用于测试平台的测试装置的示意性方案。需要说明的是，该应用于测试平台的测试装置的技术方案与上述应用于测试平台的测试方法的技术方案属于同一构思，应用于测试平台的测试装置的技术方案未详细描述的细节内容，均可以参见上述应用于测试平台的测试方法的技术方案的描述。
[0173]
与上述方法实施例相对应，本说明书还提供了测试装置实施例，图5示出了本说明书一个实施例提供的另一种测试装置的结构示意图。如图5所示，该装置应用于对接平台，包括：
[0174]
第二接收模块502，被配置为接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
[0175]
第二发送模块504，被配置为将所述测试用例发送至所述目标设备；
[0176]
第三接收模块506，被配置为接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
[0177]
第三发送模块508，被配置为将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
[0178]
可选地，所述装置还包括删除模块，被配置为：
[0179]
在与所述测试平台和/或所述目标设备连接断开的情况下，删除本地的测试用例。
[0180]
本说明书提供的测试装置，接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；将
所述测试用例发送至所述目标设备；接收所述目标设备反馈的执行所述测试用例得到的测试数据集；将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
[0181]
上述为本实施例的一种应用于对接平台的测试装置的示意性方案。需要说明的是，该应用于对接平台的测试装置的技术方案与上述应用于对接平台的测试方法的技术方案属于同一构思，应用于对接平台的测试装置的技术方案未详细描述的细节内容，均可以参见上述应用于对接平台的测试方法的技术方案的描述。
[0182]
图6示出了根据本说明书一个实施例提供的一种测试系统的结构示意图，该系统包括：
[0183]
测试平台602、至少一个对接平台604和至少一个待测设备606；
[0184]
所述测试平台602，用于接收测试请求，其中，所述测试请求中携带有对接平台604标识和目标设备的属性信息，所述目标设备为所述至少一个待测设备606之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台604标识从至少一个对接平台604中确定目标对接平台；将所述测试用例发送至所述目标对接平台；
[0185]
所述至少一个对接平台604中的所述目标对接平台，用于接收所述测试平台602发送的测试用例；将所述测试用例发送至所述目标设备；
[0186]
所述至少一个待测设备606中的所述目标设备，用于执行所述测试用例，得到测试数据集；将所述测试数据集反馈给所述目标对接平台；
[0187]
所述测试平台602，还用于基于所述目标对接平台发送的测试数据集，确定测试结果。
[0188]
可选地，所述测试平台602，还用于基于所述目标设备的属性信息生成测试策略；将所述测试策略发送至所述目标对接平台；
[0189]
所述至少一个对接平台604中的所述目标对接平台，还用于基于所述测试策略查询所述目标设备的设备状态；并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
[0190]
可选地，所述测试平台602，还用于获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
[0191]
可选地，所述测试结果包括至少一个测试值；
[0192]
所述测试平台602，还用于根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
[0193]
可选地，所述测试平台602，还用于将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
[0194]
可选地，所述测试平台602，还用于检测与所述目标对接平台之间的连接状态；
[0195]
在所述连接状态为断开的情况下，停止测试。
[0196]
可选地，所述测试平台602，还用于检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
[0197]
根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
[0198]
可选地，所述测试用例包含测试执行策略和数据收集策略；
[0199]
所述测试平台602，还用于将所述测试执行策略和所述数据收集策略发送至所述目标对接平台；
[0200]
所述至少一个对接平台604中的所述目标对接平台，还用于将所述测试执行策略和所述数据收集策略发送至所述目标设备；
[0201]
所述至少一个待测设备606中的所述目标设备，还用于执行所述测试执行策略，并基于所述数据收集策略得到的测试数据集；向所述目标对接平台反馈所述测试数据集；
[0202]
所述至少一个对接平台604中的所述目标对接平台，还用于接收所述测试数据集，将所述测试数据集发送至所述测试平台602。
[0203]
可选地，所述至少一个对接平台604中的所述目标对接平台，还用于在与所述测试平台602和/或所述目标设备连接断开的情况下，删除本地的测试用例。
[0204]
可选地，所述至少一个对接平台604的所述目标对接平台，还用于在与所述测试平台602连接断开的情况下，生成删除指令发送至所述目标设备；
[0205]
所述至少一个待测设备606中的所述目标设备，还用于响应所述删除指令，删除本地的测试用例。
[0206]
可选地，所述至少一个待测设备606中的所述目标设备，在与所述目标对接平台连接断开的情况下，删除本地的测试用例。
[0207]
本说明书提供的测试系统，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
[0208]
上述为本实施例的一种测试系统的示意性方案。需要说明的是，该测试系统的技术方案与上述应用于测试平台的测试方法的技术方案属于同一构思，测试系统的技术方案未详细描述的细节内容，均可以参见上述应用于测试平台的测试方法的技术方案的描述。
[0209]
图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，待测设备750用于获取测试数据集，目标对接平台770用于计算设备700和待测设备750之间数据的交互。
[0210]
计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或
多个网络760通信。这些网络的示例包括公用交换电话网(pstn，public switched telephone network)、局域网(lan，local area network)、广域网(wan，wide area network)、个域网(pan，personal area network)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic，network interface controller))中的一个或多个，诸如ieee702.11无线局域网(wlan，wireless local area network)无线接口、全球微波互联接入(wi-max，worldwide interoperability for microwave access)接口、以太网接口、通用串行总线(usb，universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc，near field communication)接口，等等。
[0211]
在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
[0212]
计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
[0213]
其中，处理器720用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述测试方法的步骤。
[0214]
在本说明书一个或多个可选的实施例中，计算设备700可以是测试平台，其中存储器710可以为测试平台中的测试用例库，处理器720可以为测试平台中的测试数据集分析和评价值计算，总线730可以为测试平台的输入界面，接入设备740可以为测试平台获取评估值的接口。
[0215]
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的测试方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述测试方法的技术方案的描述。
[0216]
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，，该计算机可执行指令被处理器执行时实现上述测试方法的步骤。
[0217]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的测试方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述测试方法的技术方案的描述。
[0218]
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述测试方法的步骤。
[0219]
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的测试方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述测试方法的技术方案的描述。
[0220]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来
执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0221]
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
[0222]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
[0223]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0224]
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。