NFV自动测试方法、装置、设备及存储介质与流程

nfv自动测试方法、装置、设备及存储介质
技术领域
1.本发明涉及网络功能虚拟化(network function virtualization，nfv)领域，尤其涉及一种nfv自动测试方法、装置、设备及存储介质。


背景技术：

2.nfv是指借助于虚拟化技术，通过服务器、存储器和交换机承载各种各样软件化的网络功能以替代传统的专有硬件设备(如路由器、防火墙、内容分发网络等)的技术。nfv架构包括：虚拟化基础设施管理器(virtual infrastructure manager，vim)，负责对基础设施层(network function virtualization infrastructure，nfvi)的软硬件资源进行管理；虚拟网络功能管理器(virtual network function manager，vnfm)，负责对虚拟网元(virtual network function，vnf)的生命周期管理；网管(element management system，ems)，负责虚拟网元的配置、故障和告警等管理；网络功能虚拟化编排器(network function virtualization orchestrator，nfvo)，负责网络服务(network service，ns)的生命周期管理。
3.由于nfv架构涉及的组件很多、组件本身和不同组件之间接口复杂繁多，测试和对接工作量繁重。相关技术中，对于网元进行测试的过程包括：测试用例设计、测试环境搭建、测试任务执行及测试结果分析四个环节。除了部分测试用例(比如，接口一致性测试等)的测试任务执行环节可以采用自动化脚本进行优化之外，其他步骤往往采用人工手动执行，成本高、效率低、容易出错及难以规模化。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种nfv自动测试方法、装置、设备及存储介质，旨在减少测试成本，提高测试效率。
5.本发明实施例的技术方案是这样实现的：
6.本发明实施例提供了一种nfv自动测试方法，包括：
7.获取测试所需的测试用例集合，所述测试用例集合包括至少两个测试用例；
8.基于所述测试用例集合中各测试用例的用例描述文件构建测试任务，所述用例描述文件包括：用于描述测试用例与其他测试用例之间的关联性的依赖关系信息；
9.基于所述测试任务涉及的各测试用例的所述依赖关系信息，优化所述测试任务的执行顺序；
10.基于优化后的执行顺序执行所述测试任务。
11.本发明实施例还提供了一种nfv自动测试装置，包括：
12.获取模块，用于获取测试所需的测试用例集合，所述测试用例集合包括至少两个测试用例；
13.任务构建模块，用于基于所述测试用例集合中各测试用例的用例描述文件构建测试任务，所述用例描述文件包括：用于描述测试用例与其他测试用例之间的关联性的依赖
关系信息；
14.任务编排模块，用于基于所述测试任务涉及的各测试用例的所述依赖关系信息，优化所述测试任务的执行顺序；
15.任务执行模块，用于基于优化后的执行顺序执行所述测试任务。
16.本发明实施例又提供了一种nfv自动测试设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器，用于运行计算机程序时，执行本发明实施例所述方法的步骤。
17.本发明实施例又提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明实施例所述方法的步骤。
18.本发明实施例提供的技术方案，测试用例集合中各测试用例的用例描述文件包括：用于描述测试用例与其他测试用例之间的关联性的依赖关系信息，从而可以获取测试任务涉及的各测试用例的所述依赖关系信息，并基于各测试用例的所述依赖关系信息优化测试任务的执行顺序，可以使得测试任务中各测试用例的执行顺序得到优化调整，可以减少测试环境的重复部署，从而提高测试效率。
附图说明
19.图1为本发明实施例nfv自动测试架构的结构示意图；
20.图2为本发明实施例nfv自动测试方法的流程示意图；
21.图3为本发明应用实施例nfv自动测试设备的结构示意图；
22.图4为本发明实施例nfv自动测试装置的结构示意图；
23.图5为本发明实施例nfv自动测试设备的结构示意图。
具体实施方式
24.下面结合附图及实施例对本发明再作进一步详细的描述。
25.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
26.在对本发明实施例nfv自动测试方法进行说明之前，先对本发明实施例nfv自动测试架构进行说明。如图1所示，nfv自动测试架构包括：nfv自动测试设备101、通用设备102、仪表设备103、待测组件或者待测系统104及周围组件105，其中，nfv自动测试设备101与通用设备102、仪表设备103、待测组件或者待测系统104及周围组件105均通信连接；通用设备102主要是通用的服务器、集中式存储器以及交换设备，用于承载nfv自动测试设备的硬件；仪表设备103包括物理仪表和虚拟仪表。待测系统可以是端到端的、符合nfv架构的整体被测系统(sut)；待测组件可以是nfv架构中某个特定的软件功能组件(fut)，其中，待测系统可能包含若干fut，需要与仪表设备103和周围组件105组成测试环境。周围组件105可以是nfv系统中并非sut的其他组件，在测试中不会被控制、观测，用于仪表设备103组合成测试环境，以便于对待测组件或者待测系统104进行测试。
27.本发明实施例提供了一种nfv自动测试方法，该方法可以应用于前述的nfv自动测试设备101，如图2所示，该方法包括：
28.步骤201，获取测试所需的测试用例集合，所述测试用例集合包括至少两个测试用例；
29.这里，nfv自动测试设备可以接收测试执行人员选取的测试用例，确定测试用例集合，该测试用例集合包括至少两个被选取的测试用例。
30.本发明实施例中，测试用例是用于对待测组件进行测试的独立单元，测试任务可以理解为是多个测试用例的集合。
31.这里，测试用例可以采用用例描述文件来描述，在一些实施例中，用例描述文件包括四类信息元素：测试环境(也称作测试拓扑或者拓扑配置)、前置条件(也称作输入条件或者先验条件)、测试步骤(也称作测试流程或者执行步骤)和判决条件(也称作检查点或者观察项)。其中：
32.测试环境(configuration)：用于描述执行测试步骤之前需要搭建的测试拓扑，通常包含待测组件、通用设备、仪表设备、周围组件以及他们之间的网络(有线或无线)连接。
33.前置条件(pre-test conditions)：在完成测试环境搭建之后，执行测试步骤之前的先验条件，比如，对网络连接进行的业务或者资源参数配置，可能以命令、脚本或ui(user interface，用户界面)等方式进行参数配置，或者其所依赖的其他人工/自动测试验证项(比如性能测试执行之前的连通性和功能性测试验证)。
34.测试步骤(test sequence)：利用针对测试环境中元素的一系列的操作过程，模拟实际环境中发生的业务流程、信息交互或者设备故障等特定情境，验证待测系统/组件是否满足预期的特定功能、性能、可靠性、接口合规性等要求。
35.判决条件(test verdict)：为了判决测试用例是否通过，或者说，判决待测组件的行为是否满足预期的条件。具体可以体现为，每个测试步骤涉及的事前、事中、事后观察项及其逻辑组合。
36.步骤202，基于所述测试用例集合中各测试用例的用例描述文件构建测试任务，所述用例描述文件包括：用于描述测试用例与其他测试用例之间的关联性的依赖关系信息；
37.这里，nfv自动测试设备基于获取的测试用例集合，提取试用例集合中各测试用例的用例描述文件，并构建包括各测试用例的测试任务。其中，各测试用例的用例描述文件除了包括前述的四类信息元素外，还可以包括所述依赖关系信息，示例性地，该依赖关系信息可以包括用于描述所述测试用例的测试拓扑的拓扑描述文件或者所述拓扑描述文件的引用信息。在一些实施例中，该依赖关系信息还可以包括用于指定不同测试用例之间的依存关系的配置信息等。
38.示例性地，nfv自动测试设备提取试用例集合中各测试用例的用例描述文件后，nfv自动测试设备基于测试执行人员的输入信息，对各测试用例进行参数配置。这里，针对与测试用例的实际测试环境相关的，无法事先在用例描述文件中指定的测试参数，需要测试执行人员进行补充，比如，测试执行人员针对此次测试任务需要使用的dhcp(dynamic host configuration protocol，动态主机配置协议)服务的地址端口、此次测试任务中所用的移动终端sim(subscriber identification module，用户身份识别卡)卡号等进行配置，从而完成测试任务的构建。
39.步骤203，基于所述测试任务涉及的各测试用例的所述依赖关系信息，优化所述测试任务的执行顺序；
40.这里，nfv自动测试设备解析测试任务中各测试用例的用例描述文件，由于各用例描述文件包括：用于描述测试拓扑的拓扑描述文件或者所述拓扑描述文件的引用信息，如此，可以确定测试任务涉及的测试拓扑。示例性地，各拓扑描述文件采用测试框架规定的统一格式规范，用于描述每个特定测试拓扑中的所有网络节点、网络连接及其相关配置等描述信息，且各拓扑描述文件具有唯一的uuid(universally unique identifier，全局唯一标识)，所述引用信息可以为拓扑描述文件的uuid。
41.nfv自动测试设备可以基于测试任务涉及的拓扑描述文件的uuid确定该测试任务包括的所有的测试拓扑，并基于各测试拓扑来优化测试任务中各测试用例的执行顺序。
42.步骤204，基于优化后的执行顺序执行所述测试任务。
43.nfv自动测试设备可以基于优化后的各测试用例的执行顺序，执行相应的测试用例。
44.相关技术中，各测试用例的测试拓扑往往独立部署，虽然各个测试用例的功能简单、逻辑清晰、用例间相互独立，但往往导致不必要的测试环境重复部署，从而影响测试效率。
45.本发明实施例中，由于各测试用例集合中各测试用例的用例描述文件包括：用于描述测试拓扑的拓扑描述文件或者所述拓扑描述文件的引用信息，从而可以获取测试任务涉及的测试拓扑，并基于各测试拓扑优化测试任务的执行顺序，可以使得测试任务中各测试用例的执行顺序得到优化调整，可以减少测试环境的重复部署，从而提高测试效率。
46.实际应用中，在构建测试任务之前，所述方法还包括：
47.构建供测试用例使用的所述拓扑描述文件；
48.基于所述拓扑描述文件构建用于测试用例的所述用例描述文件。
49.示例性地，nfv自动测试设备可以根据测试设计人员的输入信息，构建规范化的拓扑描述文件。比如，测试设计人员基于图形界面的输入，将对应测试拓扑(包括若干被测系统、若干测试仪表、及其网络连接关系)及其具体配置信息转换成形式化的拓扑描述文件。拓扑描述文件可以采用tosca标准定义的yaml格式，拓扑描述文件中可以包括：待测组件的uuid、测试拓扑涉及的其他网络节点的uuid、网络连接及相关配置的描述信息，且拓扑描述文件还具有全局唯一的uuid。
50.示例性地，nfv自动测试设备可以根据测试设计人员的输入信息，将每个测试用例的测试脚本、输入和输出参数等转换成形式化的用例描述文件。其中，每个用例描述文件可以包含所依赖的拓扑描述文件的uuid引用。如此，nfv自动测试设备可以将用例描述文件(包含拓扑描述文件的uuid引用、测试脚本、测试流程文件等)按照指定格式进行封装并发布到测试用例数据库，以供测试执行人员在构建测试任务时调用。可以理解的是，nfv自动测试设备可以为各用例描述文件分配全局唯一的uuid，即用例描述文件可以携带用例描述文件的uuid。
51.在一些实施例中，步骤203包括：
52.解析所述测试任务中的各所述用例描述文件，确定出所述测试任务涉及的所述测试拓扑；
53.将共用同一所述测试拓扑的测试用例划入第一层级用例组；
54.相应地，步骤204包括：
55.依次串行执行同一所述第一层级用例组中的各测试用例；或者，
56.并行执行同一所述第一层级用例组中的各测试用例。
57.这里，对于用例描述文件包括拓扑描述文件的情形，可以解析用例描述文件，基于拓扑描述文件得到拓扑描述文件的uuid；对于用例描述文件包括拓扑描述文件的uuid引用时，解析用例描述文件，基于该uuid引用亦可以得到拓扑描述文件的uuid。然后，可以基于拓扑描述文件的uuid与用例描述文件的uuid之间的对应关系，将共用同一拓扑描述文件的用例描述文件划入同一第一层级用例组(又称为子用例组)。
58.如此，nfv测试设备在执行测试任务的过程中，可以实现共用相同测试环境的测试用例的并行执行或者依次串行执行，从而可以减少测试环境的重复部署，利于提高测试效率。
59.可以理解的是，实际应用中，如果没有资源冲突或者限制(比如，vnf或仪表license数量限制、测试占用资源总量限制等)，即测试资源足够，且希望尽量缩短测试任务执行总时长，可以针对同一测试拓扑，同时构建多个并行的测试环境，对应的测试用例可以并行运行。
60.在一些实施例中，步骤203还可以包括：
61.解析各所述测试拓扑的所述拓扑描述文件，识别出各所述测试拓扑包括的网络节点；
62.基于各所述测试拓扑包括的网络节点进行拓扑聚类；
63.将同一拓扑聚类中的各所述测试拓扑的所述第一层级用例组划入第二层级用例组；
64.相应地，步骤204包括：
65.依次串行执行同一所述第二层级用例组中的各所述第一层级用例组。
66.这里，nfv自动测试设备可以解析测试任务中各测试拓扑的拓扑描述文件，识别出各拓扑描述文件包括的网络节点的uuid，并基于网络节点的uuid进行拓扑聚类。
67.示例性地，nfv自动测试设备基于网络节点的uuid，将包括相同网络节点的测试拓扑划入同一拓扑聚类，进而该将同一拓扑聚类下的各所述第一层级用例组划入同一第二层级用例组(又称为父用例组)。
68.nfv自动测试设备依次串行执行同一所述第二层级用例组中的各所述第一层级用例组，其中，同一第一层级用例组中的测试用例进行测试时，由于无需更换测试拓扑，可以参照前述的依次串行执行或者并行执行的方式实施，在此不再赘述。
69.可以理解的是，对于不同的第一层级用例组，测试拓扑的网络连接配置存在更新，nfv自动测试设备在执行不同的第一层级用例组之前，可以插入拓扑切换用例，负责进行网络连接的配置，但无需进行vnf(virtualized network function，虚拟网元)节点拉起或者销毁操作。
70.在一些实施例中，步骤203还可以包括：
71.编排不同拓扑聚类之间的切换路径；
72.基于所述切换路径确定不同拓扑聚类的所述第二层级用例组的执行顺序；
73.相应地，步骤204包括：
74.基于所述执行顺序，串行执行各所述第二层级用例组。
75.这里，nfv自动测试设备可以编排不同拓扑聚类之间的切换路径，使得不同的第二层级用例组根据切换路径对应的测试拓扑进行测试。nfv自动测试设备可以基于不同拓扑聚类之间的切换开销编排切换路径，使得切换路径的累积切换开销最小。该切换开销可以基于预设信息设置的拓扑切换开销，或者，还可以是基于历史的测试结果确定的拓扑切换开销。
76.在一些实施例中，nfv自动测试设备可以直接构建一个包含所有测试拓扑涉及的网络节点的全部vnf集合的超级拓扑聚类，并在所有测试用例执行之前，插入一个超级聚类用例，该超级聚类用例用于负责完成所述超级拓扑聚类中所有网络节点的部署，后续，所有的测试拓扑的切换均退化成网络连接构建与配置操作，无需进行聚类切换或vnf节点拉起/销毁操作。可选地，nfv自动测试设备可以在测试任务执行过程中，每次测试拓扑切换时进行检查,如果当一个vnf在剩余的测试拓扑中没有被使用的话，可以及时销毁这个vnf，以便节省资源。
77.在一些实施例中，所述编排不同拓扑聚类之间的切换路径，包括：
78.以各所述拓扑聚类为节点，不同所述拓扑聚类间的切换开销为边权重，构建有向图；
79.基于所述有向图，选取累积切换开销最小的节点遍历路径，作为所述切换路径。
80.示例性地，nfv自动测试设备使用拓扑聚类为节点，不同拓扑聚类间的切换开销(即，节点拉起或者销毁的操作开销)为边权重，构造一个有向图，在有向图上求解累计切换开销最小的节点遍历路径p＝{n1,n2,
…
}，按照该路径执行测试拓扑聚类先后顺序的编排。nfv自动测试设备可以在不同拓扑聚类之间切换时，执行vnf节点的拉起或者销毁操作，即更新测试拓扑，以便执行不同拓扑聚类对应的所述第二层级用例组。
81.实际应用中，，nfv自动测试设备执行不同拓扑聚类之间的切换，可以包括以下之一：
82.nfv自动测试设备拆除现有的测试拓扑，并重建新的测试拓扑；
83.nfv自动测试设备通过解析拓扑描述文件，比对待更新的拓扑描述文件与现有的测试拓扑的拓扑描述文件中包括的网络节点的差异，保留二者重复的网络节点，销毁现有的测试拓扑中的不再被使用的网络节点，拉起待更新的测试拓扑中新增的网络节点。
84.nfv自动测试设备通过解析拓扑描述文件，比对待更新的拓扑描述文件与现有的测试拓扑的拓扑描述文件中包括的网络节点的差异，仅拉起待更新的测试拓扑中新增的网络节点。
85.在一些实施例中，所述方法还包括：
86.获取用于优化目标网络节点的使用时长的指示信息；
87.基于所述指示信息确定使用所述目标网络节点的测试拓扑；
88.所述基于优化后的执行顺序执行所述测试任务，包括：
89.优先执行所述目标网络节点的测试拓扑对应的测试用例。
90.这里，nfv自动测试设备可以优先执行目标网络节点的测试拓扑的测试用例，从而可以减少目标网络节点的使用时长。
91.示例性地，nfv自动测试设备接收测试执行人员输入的指示信息，该指示信息可以指示缩短特定vnf或者仪表设备的使用时长，则nfv自动测试设备基于测试任务涉及的各测
试拓扑，并匹配使用该特定vnf或者仪表设备的测试拓扑，并基于前述的测试拓扑的共用、测试拓扑的拓扑聚类及拓扑聚类的路径切换中的至少一种优化测试用例的执行顺序，如此，可以减少特定vnf或者仪表设备的使用时长。对于按照使用时长计费的特定vnf或者仪表设备，可以有效减少测试费用。
92.下面结合应用实施例对本发明再作进一步详细的描述。
93.如图3所示，本应用实施例中，vnf自动测试设备包括：测试设计子系统301和测试执行子系统302，其中，测试设计子系统301包括：拓扑设计模块3011、用例设计模块3012及测试用例库3013；测试执行子系统302包括：任务构建模块3021、用例编排模块3022及测试执行模块3023。
94.测试设计子系统301用于向测试设计人员提供参照测试规范(文字描述)进行测试用例的设计的图形化网络拓扑设计交互界面，并将测试用例和对应的测试拓扑的描述转换为系统可以自动化处理的形式化描述文件，并发布到测试执行人员可以使用的测试用例库中。
95.拓扑设计模块3011用于根据测试设计人员在图形界面上的输入，将对应的测试拓扑(包括若干被测系统、若干测试仪表，及其网络连接关系)及其具体配置信息转换成形式化的拓扑描述文件。其中，每个拓扑描述文件具有全局唯一的uuid。
96.用例设计模块3012用于根据测试设计人员的输入，将每个测试用例的测试脚本、输入和输出参数转换成形式化的用例描述文件。其中，每个用例描述文件包含所依赖的拓扑描述文件的uuid引用。
97.测试用例库3013用于将封装好的用例描述文件(包含测试拓扑的拓扑描述文件、测试脚本、测试流程文件等)按照指定格式进行封装并发布到测试执行子系统302中。
98.测试执行子系统302用于负责针对测试执行人员从测试用例库中选择的测试用例，触发测试任务执行流程。
99.任务构建模块3021根据测试执行人员针对特定测试任务选择的测试用例集合，提取对应的用例描述文件，并填充具体的测试参数。
100.用例编排模块3022负责将每个测试任务中对应的测试用例集合执行顺序进行优化调度，将优化后的测试用例集合交付测试执行系统顺序执行。
101.测试执行模块3023负责顺序执行测试任务中的测试用例。
102.下面对用例编排模块3022的具体执行过程说明如下，其包括：
103.第一步：拓扑识别与用例分组
104.a)、逐一解析各测试用例的用例描述文件，识别其对应的测试拓扑的uuid；
105.b)、对测试用例进行分组{t1,t2,
…
}，相同测试拓扑的测试用例为一组，ti＝{ti1,ti2,
…
}，其中，ti表示具有相同测试拓扑的测试用例集合(即前述的第一层次用例组)，ti1、ti2等表示同一第一层次用例组中的各测试用例；
106.c)、同一组内测试用例顺序执行，且无需切换测试拓扑。
107.第二步：拓扑聚类
108.a)、逐一解析测试任务所涉及的拓扑描述文件，识别其中包含的网络节点uuid集合，
109.b)、对不同测试拓扑进行拓扑聚类{c1,c2,
…
}；其中，包含相同网络节点(软硬件
网元设备等)的测试拓扑分为一类，cj＝{tj1,tj2,
…
}，即拓扑聚类cj包括相同的网络节点tj1、tj2等。
110.c)、同一拓扑聚类中不同测试拓扑的测试用例顺序执行时，插入拓扑切换用例，用于负责进行网络连接的配置，但无需进行vnf节点拉起或者销毁操作。
111.第三步：聚类切换路径
112.方式一，直接构建一个包含所有测试拓扑涉及网络节点的全部vnf集合的超级拓扑聚类，并在所有测试用例执行之前插入一个特殊超级聚类用例，该特殊超级聚类用例负责完成超级拓扑聚类中所有节点的部署，后续所有的测试拓扑的切换退化成网络连接构建与配置操作，无需进行聚类切换或vnf节点拉起/销毁操作。可选地，可以在测试任务执行过程中，每次切换测试拓扑时进行检查，如果当一个vnf在剩余的拓扑中没有被使用的话，就及时销毁这个vnf，以便节省资源。
113.方式二，使用拓扑聚类为节点，不同拓扑聚类间的切换开销(即，节点拉起/销毁操作开销)为边权重，构造一个有向图，在有向图上求解累计开销最小的节点遍历路径p＝{n1,n2,
…
}。按照该路径执行测试拓扑聚类先后顺序编排。不同拓扑聚类之间切换时，需要进行vnf节点拉起/销毁操作。
114.示例性地，针对上述的有向图的节点遍历，给出了节点遍历的一个贪心算法描述。
[0115][0116][0117]
其中，用例编排模块3022将针对有向图f(n)，从当前节点x与相邻的y节点进行path的路径规划，在有向图f(n)的节点集合中删除节点x，得到n-1各节点的有向图f(n-1)，
并利用有向图f(n-1)和节点y调用path的路径规划函数planning，如此往复，直至有向图中的节点剩余数量为零，得到路径规划后的path。
[0118]
本应用实施例nfv自动测试方法，由测试设计子系统301指定测试用例对应的测试拓扑，且测试拓扑的拓扑描述文件可以独立于测试用例单独设计，测试用例的用例描述文件可以直接包括拓扑描述文件或者引用拓扑描述文件，并将包括或者引用了拓扑描述文件的用例描述文件发布至测试用例库3013，供测试执行人员调用。测试执行人员在测试执行子系统302选取测试任务所需的用例描述文件，任务构建模块3021基于选取的测试用例集合生成测试任务，用例编排模块3022基于测试任务涉及的测试拓扑，优化测试用例集合中各测试用例的执行顺序，测试执行模块3023基于优化后的执行顺序执行测试任务中的测试用例，减少测试环境的重复部署、提高测试效率。
[0119]
为了实现本发明实施例的方法，本发明实施例还提供一种nfv自动测试装置，该nfv自动测试装置与上述nfv自动测试方法对应，上述nfv自动测试方法实施例中的各步骤也完全适用于本nfv自动测试装置实施例。
[0120]
如图4所示，该nfv自动测试装置400包括：获取模块401、任务构建模块402、任务编排模块403及任务执行模块404。其中，获取模块401用于获取测试所需的测试用例集合，所述测试用例集合包括至少两个测试用例；任务构建模块402用于基于所述测试用例集合中各测试用例的用例描述文件构建测试任务，所述用例描述文件包括：用于描述测试用例与其他测试用例之间的关联性的依赖关系信息；任务编排模块403用于基于所述测试任务涉及的各测试用例的所述依赖关系信息，优化所述测试任务的执行顺序；任务执行模块404用于基于优化后的执行顺序执行所述测试任务。
[0121]
在一些实施例中，所述依赖关系信息包括：用于描述所述测试用例的测试拓扑的拓扑描述文件或者所述拓扑描述文件的引用信息，任务编排模块403具体用于：
[0122]
解析所述测试任务中的各所述用例描述文件，确定出所述测试任务涉及的所述测试拓扑；
[0123]
将共用同一所述测试拓扑的测试用例划入第一层级用例组；
[0124]
相应地，任务执行模块404具体用于：
[0125]
依次串行执行同一所述第一层级用例组中的各测试用例；或者，
[0126]
并行执行同一所述第一层级用例组中的各测试用例。
[0127]
在一些实施例中，任务编排模块403还用于：
[0128]
解析各所述测试拓扑的所述拓扑描述文件，识别出各所述测试拓扑包括的网络节点；
[0129]
基于各所述测试拓扑包括的网络节点进行拓扑聚类；
[0130]
将同一拓扑聚类中的各所述测试拓扑的所述第一层级用例组划入第二层级用例组；
[0131]
相应地，任务执行模块404还用于：
[0132]
依次串行执行同一所述第二层级用例组中的各所述第一层级用例组。
[0133]
在一些实施例中，任务编排模块403还用于：
[0134]
编排不同拓扑聚类之间的切换路径；
[0135]
基于所述切换路径确定不同拓扑聚类的所述第二层级用例组的执行顺序；
processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器501可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成本发明实施例提供的nfv自动测试方法的步骤。
[0152]
在示例性实施例中，nfv自动测试设备可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、fpga、通用处理器、控制器、微控制器(mcu，micro controller unit)、微处理器(microprocessor)、或者其他电子元件实现，用于执行前述方法。
[0153]
可以理解，存储器502可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0154]
在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体可以是计算机可读存储介质，例如包括存储计算机程序的存储器502，上述计算机程序可由nfv自动测试设备的处理器501执行，以完成本发明实施例方法所述的步骤。计算机可读存储介质可以是rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器。
[0155]
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0156]
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0157]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。