一种测试激励生成方法、测试方法、装置和相关设备与流程

1.本发明实施例涉及集成电路设计技术领域，具体涉及一种测试激励生成方法、测试方法、装置和相关设备。


背景技术：

2.集成电路设计完成后，都要对其功能进行正确性验证。在验证的过程中，通常需要编写受约束的随机测试激励，来对设计进行仿真测试。然而，随着集成电路设计的规模越来越大，需要验证的设计功能也越来越多样化。常用的受约束的随机测试激励已经不能实现验证的快速收敛。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种测试激励生成方法、测试方法、装置和相关设备，以通过新生成的测试激励实现验证的快速收敛。
4.为解决上述问题，本发明实施例提供如下技术方案：
5.本发明第一方面提供了一种测试激励生成方法，包括：
6.随机获取多个第一测试激励，所述第一测试激励包括多个测试指令，所述测试指令用于对待测设计进行仿真测试；
7.提取每个所述第一测试激励的至少部分测试指令；
8.将所述多个第一测试激励的至少部分测试指令重组，生成第二测试激励。
9.本发明第二方面提供了一种测试方法，包括：
10.获取第二测试激励，所述第二测试激励是根据随机获取的多个第一测试激励的至少部分测试指令重组生成的，所述第一测试激励包括多个测试指令，所述测试指令用于对待测设计进行仿真测试；
11.基于所述第二测试激励，对待测设计进行测试。
12.本发明第三方面提供了一种测试激励生成装置，包括：
13.第一获取模块，用于随机获取多个第一测试激励，所述第一测试激励包括多个测试指令，所述测试指令用于对待测设计进行仿真测试；
14.第二获取模块，用于提取每个所述第一测试激励的至少部分测试指令；
15.生成模块，用于将所述多个第一测试激励的至少部分测试指令重组，生成第二测试激励。
16.本发明第四方面提供了一种测试装置，包括：
17.获取模块，用于获取第二测试激励，所述第二测试激励是根据随机获取的多个第一测试激励的至少部分测试指令重组生成的，所述第一测试激励包括多个测试指令，所述测试指令用于对待测设计进行仿真测试；
18.测试模块，用于基于所述第二测试激励，对待测设计进行测试。
19.本发明第五方面提供了一种计算机设备，包括：
20.存储器，存储至少一组指令；
21.处理器，执行所述至少一组指令进行如上任一项所述的测试激励生成方法，或者，如上任一项所述的测试方法。
22.本发明第六方面提供了一种可读存储介质，所述可读存储介质存储至少一组指令，所述至少一组指令用于使处理器执行如上任一项所述的测试激励生成方法，或者，如上任一项所述的测试方法。
23.本发明实施例提供的测试激励生成方法、测试方法、装置和相关设备，随机获取多个第一测试激励之后，提取每个第一测试激励的至少部分测试数据，将多个第一测试激励的至少部分测试数据重组生成第二测试激励，从而可以生成新的不同于第一测试激励的第二测试激励，进而可以使得测试激励的种类更加丰富多样，进而可以最大程度地提升验证空间，实现验证的快速收敛。并且，新的第二测试激励，有可能验证出一些意想不到的设计缺陷，从而可以进一步提升验证的有效性。
附图说明
24.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
25.图1为本发明一个实施例提供的测试激励生成方法的流程图；
26.图2为本发明一个实施例提供的第一测试激励的并行重组方式示意图；
27.图3为本发明一个实施例提供的第一测试激励的串行重组方式示意图；
28.图4为本发明一个实施例提供的测试方法的流程图；
29.图5为本发明一个实施例提供的uvm验证平台的架构示意图；
30.图6为本发明一个实施例提供的多线程运行方式的示意图；
31.图7为本发明另一个实施例提供的多线程运行方式的示意图；
32.图8为本发明一个实施例提供的测试激励生成装置的结构示意图；
33.图9为本发明一个实施例提供的测试装置的结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.功能验证在集成电路设计中占据至关重要的地位。传统的验证方法基于verilog语言搭建验证平台，并编写定向测试激励，来对待测设计(design under test，简称dut)进行测试验证。但是，定向测试激励不能有效的覆盖待测设计的所有功能，在不同的项目之间也不能重复利用，代码调试也比较困难，验证效率也较低。
36.为了解决上述问题，提高验证效率，accellra组织推出了uvm(universal verification methodology，通用验证方法学)。uvm基于system verilog语言创建了通用
的类库，构成了uvm验证环境的各个组件，验证人员可以在此基础上方便的进行验证平台的开发，编写受约束的随机测试激励，来达到验证覆盖率的快速收敛，极大地提高了验证的效率。
37.但是，随着集成电路工艺水平以及计算机技术的不断发展，电路设计规模以及复杂度在不断增加，导致集成电路设计的验证难度也在急剧增加。特别是对于处理器的设计，由于处理器内核是迄今为止规模最大且技术最复杂的电路，因此，处理器设计的验证空间巨大，要对其进行充分验证，就必须通过有效的方法进行快速验证、尽快收敛。
38.通常采用的受约束的随机测试激励，已经不能满足高性能处理器设计验证的快速收敛。基于此，本发明实施例提供了一种测试激励生成方法、测试方法、装置和相关设备，以通过对已有的测试激励进行随机重组，来生成新的测试激励，使得测试激励的种类更加丰富多样，以提升验证空间，实现验证的快速收敛。
39.作为本发明实施例公开内容的一种可选实现，本发明实施例提供了一种测试激励生成方法，用于生成对待测设计进行仿真测试或仿真验证的测试激励，如图1所示，图1为本发明一个实施例提供的测试激励生成方法的流程图，该测试激励生成方法包括：
40.s101：随机获取多个第一测试激励，该第一测试激励包括多个测试指令，该测试指令用于对待测设计进行仿真测试；
41.本发明实施例中，第一测试激励可以为数据库中已有的测试激励。即，本发明一些实施例中，随机获取多个第一测试激励包括：从测试激励数据库中随机获取多个第一测试激励。可选地，在uvm验证平台中，第一测试激励为sequence，测试激励数据库为sequence数据库，sequence数据库中包含根据固定的测试模板生成的固化测试激励。
42.当然，本发明并不仅限于此，在另一些实施例中，第一测试激励也可以为新生成的测试激励，即可以在生成受约束的随机测试激励之后，再将获取到的随机测试激励作为第一测试激励。也就是说，本发明实施例中，第一测试激励可以是受约束的随机测试激励，也可以是根据固定的测试模板生成的固化测试激励。
43.s102：提取每个第一测试激励的至少部分测试指令；
44.本发明实施例中，第一测试激励包括多个测试指令，测试指令用于对待测设计进行仿真测试。本发明一些实施例中，测试指令为最小执行指令(unit operating procedure，简称uop)，当然，本发明并不仅限于此，在另一些实施例中，测试指令还可以为数据包等。
45.其中，提取每个第一测试激励的至少部分测试指令包括提取每个第一测试激励的部分测试指令或全部测试指令。本发明实施例中，可以根据测试需求以及重组要求等，提取每个第一测试激励的部分测试指令或全部测试指令。
46.s103：将多个第一测试激励的至少部分测试指令重组，生成第二测试激励。
47.提取每个第一测试激励的至少部分测试指令之后，将多个第一测试激励的至少部分测试指令重新组合，生成第二测试激励。由于多个第一测试激励是随机获取的，因此，多个第一测试激励的测试指令也是随机组合的，从而可以生成新的不同于第一测试激励的第二测试激励，进而可以使得测试激励的种类更加丰富多样，进而可以最大程度地提升验证空间，实现验证的快速收敛。并且，新的第二测试激励有可能验证出一些意想不到的设计缺陷，从而可以进一步提升验证的有效性。
48.本发明实施例中，第一测试激励中的测试指令如最小执行指令用于构建测试场景，并通过测试场景对待测设计进行仿真测试。其中，不同的第一测试激励对应不同的测试场景。基于此，利用重组生成的一个第二测试激励进行验证时，可以同时进行多个测试场景的验证，使得第二测试激励的验证更加丰富，进而可以实现验证的快速收敛。
49.在上述任一实施例的基础上，本发明一些实施例中，将多个第一测试激励的至少部分测试指令重组，生成第二测试激励包括：
50.将多个第一测试激励的至少部分测试指令并行重组，生成第二测试激励；并行重组用于使第二测试激励中的多个第一测试激励并行运行，并使第二测试激励中的不同第一测试激励的测试指令轮询发射。
51.如图2所示，图2为本发明一个实施例提供的第一测试激励的并行重组方式示意图，第一测试激励sequence11的至少部分测试指令、第一测试激励sequence12的至少部分测试指令以及第一测试激励sequence13的至少部分测试指令并行重组，生成第二测试激励。生成的第二测试激励中，第一测试激励sequence11、第一测试激励sequence12以及第一测试激励sequence13并行运行，并且，第一测试激励sequence11、第一测试激励sequence12以及第一测试激励sequence13中的测试指令轮询发射。
52.也就是说，在第二测试激励的运行过程中，会先将第一测试激励sequence11的一个测试指令、第一测试激励sequence12的一个测试指令以及第一测试激励sequence13的一个测试指令依次发射给驱动器driver，然后将第一测试激励sequence11的另一个测试指令、第一测试激励sequence12的另一个测试指令以及第一测试激励sequence13的另一个测试指令依次发射给驱动器driver，以此类推，直到发送完第一测试激励sequence11、第一测试激励sequence12和第一测试激励sequence13的全部测试指令。
53.之后，驱动器driver会模拟真实rtl(register transfer level，寄存器转换级电路)里面的行为和时序，将接收到的第二测试激励里的测试指令发送给待测设计dut，以通过第二测试激励对待测设计dut进行仿真测试。
54.其中，第一测试激励sequence11、第一测试激励sequence12和第一测试激励sequence13包含的测试指令的数量可以是相同的，如第一测试激励sequence11、第一测试激励sequence12和第一测试激励sequence13包含的测试指令的数量都为1000个，当然，本发明并不仅限于此，在另一些实施例中，第一测试激励sequence11、第一测试激励sequence12和第一测试激励sequence13包含的测试指令的数量也可以是不同的，在此不再赘述。
55.在此基础上，本发明一些实施例中，并行重组的每个第一测试激励中的测试指令都为该第一测试激励的全部测试指令，以实现不同的第一测试激励的随机组合。即，本发明一些实施例中，将多个第一测试激励的至少部分测试指令并行重组，生成第二测试激励包括：将多个第一测试激励的全部测试指令并行重组，生成第二测试激励。
56.当然，本发明并不仅限于此，在另一些实施例中，将多个第一测试激励的至少部分测试指令重组，生成第二测试激励包括：
57.将多个第一测试激励的至少部分测试指令串行重组，生成第二测试激励；串行重组用于使第二测试激励中的多个第一测试激励串行运行，且使第二测试激励中的不同第一测试激励的测试指令依次发射。
58.如图3所示，图3为本发明一个实施例提供的第一测试激励的串行重组方式示意图，第一测试激励sequence21的至少部分测试指令、第一测试激励sequence22的至少部分测试指令以及第一测试激励sequence23的至少部分测试指令并行重组，生成第二测试激励。生成的第二测试激励中，第一测试激励sequence21、第一测试激励sequence22以及第一测试激励sequence23串行运行，并且，第一测试激励sequence21、第一测试激励sequence22以及第一测试激励sequence23的至少部分测试指令依次发射。
59.也就是说，在第二测试激励的运行过程中，会先将第一测试激励sequence21的至少部分测试指令全部发射给驱动器driver，再将第一测试激励sequence22的至少部分测试指令全部发射给驱动器driver，然后将第一测试激励sequence23的至少部分测试指令全部发射给驱动器driver。之后，驱动器driver会模拟真实rtl里面的行为和时序，将接收到的第二测试激励里的测试指令发送给待测设计dut，以通过第二测试激励对待测设计dut进行仿真测试。
60.其中，第一测试激励sequence21、第一测试激励sequence22和第一测试激励sequence23包含的测试指令的数量可以是不同的，如第一测试激励sequence21包含的测试指令的数量为300个、第一测试激励sequence22包含的测试指令的数量为500个和第一测试激励sequence23包含的测试指令的数量为200个，当然，本发明并不仅限于此，在另一些实施例中，第一测试激励sequence21、第一测试激励sequence22和第一测试激励sequence23包含的测试指令的数量也可以是相同的，如第一测试激励sequence21、第一测试激励sequence22和第一测试激励sequence23包含的测试指令的数量都为200个，在此不再赘述。
61.需要说明的是，本发明实施例中仅以三个第一测试激励重组为例进行说明，并不仅限于此。也就是说，本发明实施例中，可以采用两个第一测试激励重组生成第二测试激励，也可以采用三个、四个甚至更多个第一测试激励重组生成第二测试激励。
62.本发明一些实施例中，每个第二测试激励中包含的第一测试激励的数量是可以预先配置的，每个第一测试激励包含的测试指令的数量也是可以预先配置的。也就是说，本发明一些实施例中，提取每个第一测试激励的至少部分测试指令包括：根据预先配置的指令数量，提取对应的第一测试激励中相应数量的至少部分测试指令。将多个第一测试激励的至少部分测试指令重组，生成第二测试激励包括：根据预先配置的测试激励数量，将相应数量的第一测试激励的至少部分测试指令重组，生成第二测试激励。
63.其中，指令数量和测试激励数量可以是根据测试需求预先配置的，当然，本发明并不仅限于此，在另一些实施例中，指令数量和测试激励数量也可以是根据运行第二测试激励的线程的指令数量预先配置的，即指令数量和测试激励数量也可以是根据执行第二测试激励或测试指令的硬件或软件要求预先配置的。
64.当然，本发明实施例中并不仅限于此并行重组以及串行重组这两种方式，只要是利用多个第一测试激励重组生成第二测试激励的方式，都在本发明的保护范围之内。
65.作为本发明实施例公开内容的一种可选实现，本发明实施例还提供了一种测试方法，用于对待测设计进行仿真测试或仿真验证，如图4所示，图4为本发明一个实施例提供的测试方法的流程图，该测试方法包括：
66.s401：获取第二测试激励，该第二测试激励是根据随机获取的多个第一测试激励的至少部分测试指令重组生成的，该第一测试激励包括多个测试指令，该测试指令用于对
待测设计进行仿真测试；
67.s402：基于第二测试激励，对待测设计进行测试。
68.本发明一些实施例中，可以仅基于此第二测试激励对待测设计进行测试，也可以基于第一测试激励和第二测试激励对待测设计进行测试，在此不再赘述。
69.由于新生成的第二测试激励使得测试激励的种类更加丰富多样，因此，可以最大程度地提升验证空间，实现待测设计验证的快速收敛。并且，新的第二测试激励有可能验证出一些意想不到的设计缺陷，从而可以进一步提升验证的有效性。此外，利用重组生成的一个第二测试激励进行验证时，可以同时进行多个测试场景的验证，使得第二测试激励的验证更加丰富，进而可以实现验证的快速收敛。
70.本发明实施例中，可以采用uvm验证平台对待测设计进行仿真测试或仿真验证，当然，本发明并不仅限于此，在另一些实施例中，还可以采用其他验证平台进行验证，不管前端平台的测试激励包含的是最小执行指令还是指令或数据包，都可以采用本发明实施例提供的方法生成新的种类更丰富的测试激励。
71.如图5所示，图5为本发明一个实施例提供的uvm验证平台的架构示意图，uvm验证平台包括最顶层的top层、作为测试层的test层、作为环境层的env层以及作为代理层的agent层等。虚拟序列器virtual sequence会从sequence的数据库中随机获取多个第一测试激励，提取每个第一测试激励的至少部分测试指令，将多个第一测试激励的至少部分测试指令重组，生成第二测试激励，然后将第二测试激励中的测试指令发送给驱动器driver，以使驱动器driver将测试指令发送给待测设计dut。其中，uvm的sequence机制的最大作用是将测试用例(test case)和验证平台(test bench)分离开来，并在sequence类中实现测试用例(test case)的具体细节。
72.本发明实施例中，可以基于第二测试激励和uvm验证平台，对待测设计进行系统级别的功能验证，也可以基于第二测试激励和uvm验证平台，对待测设计进行单元级别的功能验证。与系统级的功能验证相比，单元级的功能验证具有规模小、验证压力大、控制灵活、仿真速度快以及迭代速度快等特点，因此，本发明一些实施例中，可以基于第二测试激励和uvm验证平台，对高性能复杂的待测设计如处理器的访存单元进行单元级的功能验证。
73.需要说明的是，在单元级别的功能验证中，驱动器driver为待测设计dut的虚拟前端驱动器，该虚拟前端驱动器模拟待测设计dut的上游执行和调度单元的具体行为，主要包括指令如最小执行指令uop的发射(issue)及提交(retire)，以及对各种异常行为的冲刷处理(flush)。
74.本发明一些实施例中，基于第二测试激励，对待测设计进行测试包括：
75.若将多个第一测试激励的至少部分测试指令并行重组生成第二测试激励，则使第二测试激励中的不同第一测试激励并行运行，并使第二测试激励中的不同第一测试激励的测试指令轮询发射给驱动器，以使驱动器基于测试指令，对待测设计执行测试操作。
76.也就是说，若将多个第一测试激励的至少部分测试指令并行重组生成第二测试激励，则参考图2，虚拟序列器virtual sequence会先将第一测试激励sequence11的一个测试指令、第一测试激励sequence12的一个测试指令以及第一测试激励sequence13的一个测试指令依次发射给驱动器driver，然后将第一测试激励sequence11的另一个测试指令、第一测试激励sequence12的另一个测试指令以及第一测试激励sequence13的另一个测试指令
依次发射给驱动器driver，以此类推，直到发送完第一测试激励sequence11、第一测试激励sequence12和第一测试激励sequence13的全部测试指令。
77.当然，本发明并不仅限于此，在另一些实施例中，基于第二测试激励，对待测设计进行测试包括：
78.若将多个第一测试激励的至少部分测试指令串行重组生成第二测试激励，则使第二测试激励中的多个第一测试激励串行运行，并使第二测试激励中的不同第一测试激励的测试指令依次发射给驱动器，以使驱动器基于测试指令，对待测设计执行测试操作。
79.也就是说，若将多个第一测试激励的至少部分测试指令串行重组生成第二测试激励，则参考图3，虚拟序列器virtual sequence会先将第一测试激励sequence21的至少部分测试指令全部发射给驱动器driver，再将第一测试激励sequence22的至少部分测试指令全部发射给驱动器driver，然后将第一测试激励sequence23的至少部分测试指令全部发射给驱动器driver。
80.在上述任一实施例的基础上，本发明一些实施例中，可以在不同的线程上，并行运行相同的第二测试激励。例如，本发明一些实施例中，测试方法还包括：在不同的线程上，并行运行相同的第二测试激励，第二测试激励由多个第一测试激励的至少部分测试指令并行重组生成。
81.如图6所示，图6为本发明一个实施例提供的多线程运行方式的示意图，在第一个线程t0上，运行第一测试激励sequence11、第一测试激励sequence12以及第一测试激励sequence13重组生成的第二测试激励，在第二个线程t1上，并行运行相同的第一测试激励sequence11、第一测试激励sequence12以及第一测试激励sequence13重组生成的第二测试激励。
82.当然，本发明并不仅限于此，在另一些实施例中，还可以在不同的线程上，并行运行不同的第二测试激励。例如，本发明一些实施例中，测试方法还包括：
83.在不同的线程上，并行运行不同的第二测试激励，第二测试激励由多个第一测试激励的至少部分测试指令串行重组生成。
84.如图7所示，图7为本发明另一个实施例提供的多线程运行方式的示意图，在第一个线程t0上，运行第一测试激励sequence21、第一测试激励sequence22以及第一测试激励sequence23重组生成的第二测试激励，在第二个线程t1上，并行运行相同的第一测试激励sequence31、第一测试激励sequence32以及第一测试激励sequence33重组生成的第二测试激励。
85.其中，不同的第二测试激励中的第一测试激励可以部分相同，并且，相同的第一测试激励中包含的测试指令的数量也可以不同。即，本发明实施例中，可以根据线程的指令数量要求，配置第二测试激励中第一测试激励的数量以及第一测试激励中测试指令的数量。
86.作为本发明实施例公开内容的一种可选实现，本发明实施例还提供了一种测试激励生成装置，如图8所示，图8为本发明一个实施例提供的测试激励生成装置的结构示意图，该测试激励生成装置包括：
87.第一获取模块81，用于随机获取多个第一测试激励，第一测试激励包括多个测试指令；测试指令用于对待测设计进行仿真测试；
88.第二获取模块82，用于提取每个第一测试激励的至少部分测试指令；
89.生成模块83，用于将多个第一测试激励的至少部分测试指令重组，生成第二测试激励。
90.本发明一些实施例中，生成模块83将多个第一测试激励的至少部分测试指令重组，生成第二测试激励包括：
91.将多个第一测试激励的至少部分测试指令并行重组，生成第二测试激励；并行重组用于使第二测试激励中的多个第一测试激励并行运行，并使第二测试激励中的不同第一测试激励的测试指令轮询发射。
92.本发明一些实施例中，生成模块83将多个第一测试激励的至少部分测试指令并行重组，生成第二测试激励包括：
93.将多个第一测试激励的全部测试指令并行重组，生成第二测试激励。
94.本发明一些实施例中，生成模块83将多个第一测试激励的至少部分测试指令重新，生成第二测试激励包括：
95.将多个第一测试激励的至少部分测试指令串行重组，生成第二测试激励；串行重组用于使第二测试激励中的多个第一测试激励串行运行，且使第二测试激励中的不同第一测试激励的测试指令依次发射。
96.本发明一些实施例中，生成模块83将多个第一测试激励的至少部分测试指令串行重组，生成第二测试激励包括：
97.将多个第一测试激励的部分测试指令串行重组，生成第二测试激励。
98.本发明一些实施例中，第一获取模块81随机获取多个第一测试激励包括：从测试激励数据库中随机获取多个第一测试激励；第一测试激励为受约束的随机测试激励或固化测试激励。
99.本发明一些实施例中，第二获取模块82提取每个第一测试激励的至少部分测试指令包括：根据预先配置的指令数量，提取对应的第一测试激励中相应数量的至少部分测试指令；
100.生成模块83将多个第一测试激励的至少部分测试指令重组，生成第二测试激励包括：根据预先配置的测试激励数量，将相应数量的第一测试激励的至少部分测试指令重组，生成第二测试激励。
101.本发明一些实施例中，指令数量和测试激励数量是根据第二测试激励对应的线程的指令数量预先配置的。
102.本发明一些实施例中，测试指令包括最小执行指令；最小执行指令用于构建测试场景，以通过测试场景对待测设计进行仿真测试。
103.作为本发明实施例公开内容的一种可选实现，本发明实施例还提供了一种测试装置，如图9所示，图9为本发明一个实施例提供的测试装置的结构示意图，该测试装置包括：
104.获取模块91，用于获取第二测试激励，该第二测试激励是根据随机获取的多个第一测试激励的至少部分测试指令重组生成的，该第一测试激励包括多个测试指令，该测试指令用于对待测设计进行仿真测试；
105.测试模块92，用于基于第二测试激励，对待测设计进行测试。
106.本发明一些实施例中，测试模块92基于第二测试激励，对待测设计进行测试包括：
107.若将多个第一测试激励的至少部分测试指令并行重组生成第二测试激励，则使第
二测试激励中的不同第一测试激励并行运行，并使第二测试激励中的不同第一测试激励的测试指令轮询发射给驱动器，以使驱动器基于测试指令，对待测设计执行测试操作。
108.本发明一些实施例中，测试模块92还用于在不同的线程上，并行运行相同的第二测试激励，第二测试激励由多个第一测试激励的至少部分测试指令并行重组生成。
109.在上述实施例的基础上，本发明一些实施例中，测试模块92基于第二测试激励，对待测设计进行测试包括：
110.若将多个第一测试激励的至少部分测试指令串行重组生成第二测试激励，则使第二测试激励中的多个第一测试激励串行运行，并使第二测试激励中的不同第一测试激励的测试指令依次发射给驱动器，以使驱动器基于测试指令，对待测设计执行测试操作。
111.在上述实施例的基础上，本发明一些实施例中，测试模块92还用于在不同的线程上，并行运行不同的第二测试激励，第二测试激励由多个第一测试激励的至少部分测试指令串行重组生成。
112.作为本发明实施例公开内容的一种可选实现，本发明实施例还提供了一种计算机设备，该计算机设备包括：
113.存储器，存储至少一组指令；
114.处理器，执行至少一组指令进行如上任一实施例提供的测试激励生成方法，或者，如上任一实施例提供的测试方法。
115.本发明实施例的电子设备包括但不仅限于移动通信设备、超移动个人计算机设备、便携式娱乐设备、服务器和其他具有数据交互功能的电子设备，其中，移动通信设备包括但不仅限于智能手机和多媒体手机，超移动个人计算机设备包括不仅限于平板电脑，便携式娱乐设备包括但不仅限于电子书和掌上游戏机，服务器包括但不仅限于计算机设备。
116.作为本发明实施例公开内容的一种可选实现，本发明实施例还提供了一种可读存储介质，该可读存储介质存储至少一组指令，至少一组指令用于使处理器执行如上任一实施例提供的测试激励生成方法，或者，如上任一实施例提供的测试方法。
117.本发明实施例的可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是主机可读指令、数据结构、程序的模块或其他数据。主机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
118.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
119.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。