测试技术系统并确定待测系统的测试的测试覆盖率的方法与流程

1.本公开涉及一种用于测试技术系统的方法以及一种用于确定待测系统的测试的充分性的计算机实现的方法、设备和计算机程序。


背景技术：

2.待测技术系统、常常也称为被测系统（system under test）sut，例如是嵌入式软件系统，该嵌入式软件系统尤其包括软件和/或硬件组件。
3.将对测试的实际做出的结论相对于理论上可能做出的结论或所希望的可做出的结论的集合的比例称为测试覆盖率。测试覆盖率作为用于质量保证并且用于提高质量的度量尤其是在硬件和/或软件测试方面发挥着重要作用。
4.在实践中，测试覆盖率受各种标准影响。测试覆盖率可以通过增加测量、样本和测试用例的数目来改善。然而，在实践中，测试覆盖率受到与每个测试相关联的成本的限制。
5.本公开的目标在于：提供一种可用来确定技术系统的测试的充分性的方法、设备和计算机程序。


技术实现要素：

6.按照本公开，这通过按照实施方式的用于确定待测系统的测试的充分性的计算机实现的方法来解决。
7.按照一个实施方式，该方法包括如下步骤：提供测试集合的、尤其是成功实施的测试集合的测试参数和测试结果；针对相应测试确定参数集，其中该参数集包括该相应测试对其来说是指示性的测试参数；基于相应测试的参数集，确定该相应测试的该相应测试对其来说是指示性的测试空间、尤其是n维测试空间；确定这些测试的测试空间的并集是否覆盖可预先给定的总测试空间、尤其是n维总测试空间。
8.测试集合是已经实施的、尤其是成功实施的测试。基于这些成功实施的测试，针对每个测试都确定参数集。参数集包括相应测试对其来说是指示性的与已经已知的测试参数不同的测试参数，也就是说对其来说测试可能会被成功实施的那些测试参数。
9.接着，基于相应测试的参数集，确定该相应测试的测试空间、尤其是n维测试空间。在该测试空间之内，该相应测试是指示性的，也就是说在该测试空间之内可能会成功实施该相应测试。
10.即，基于已经成功实施的测试的测试参数和测试结果，确定针对这些测试的其中这些测试会提供肯定结果的测试空间，而在此不通过该参数集的测试参数来实施这些测试。
11.总测试空间能根据技术系统、尤其是对技术系统的要求来被预先给定。总测试空
间描述了其中测试必须提供肯定测试结果的空间，以便做出关于该技术系统满足可预先给定的要求的结论。
12.如果确定这些测试空间的并集覆盖了总测试空间，则测试集合足以查明待测系统在所要覆盖的总测试空间中满足该总测试空间的要求。在这种情况下，如果这些测试空间的并集覆盖了总测试空间，则在总测试空间中该测试集合中的测试在数学上不可能失败。即，该测试集合对于总测试空间来说足够用于测试该技术系统。
13.按照一个实施方式规定：对测试的相应的参数集的确定包括：针对该相应测试提供性能函数，其中该性能函数给相应的测试参数分配性能指标。针对相应测试，基于成功实施的测试的测试结果和测试参数来提供性能函数。原则上，通过性能函数可以给任意的测试参数分配性能指标，其中该性能指标说明了测试是否可以被成功实施。因此，根据性能函数可以推导出参数集的该相应测试对其来说是指示性的测试参数。
14.按照一个实施方式规定：对相应的参数集的确定还包括：提供性能函数的、尤其是性能函数的偏导数的极限、尤其是上限和下限。
15.通过性能函数的偏导数以及借此关于测试参数方面的性能指标的极限，说明在个别测试参数变化时性能指标的最大或最小的变化率。借此，该变化率、即在测试参数变化时性能指标值的变化从上方和下方被限制。借此，该测试对于被分配给在这些极限之内的性能指标值的测试参数来说是指示性的。即，被分配给在这些极限之内的性能指标值的测试参数表示参数集。
16.有利地，即测试的测试空间根据该测试的相应的性能函数和该性能函数的极限来确定。
17.按照一个实施方式规定：该方法还包括：尤其是基于关于待测系统和/或其它技术系统的知识和/或测试数据和/或根据仿真数据，确定极限。例如基于技术系统的知识、尤其是专家知识来确定这些极限。这些知识例如基于该技术系统的设计和/或测试数据。还可以考虑来自其它的、尤其是类似的可类比的技术系统的知识和/或来自仿真数据、尤其是技术系统的仿真数据的知识。
18.按照一个实施方式规定：相应的测试参数和/或相应的性能指标和/或相应的极限被表示成向量。
19.按照一个实施方式规定：对这些测试的测试空间的并集是否覆盖可预先给定的总测试空间、尤其是n维总测试空间的确定还包括：将总测试空间分解成维诺（voronoi）空间，其中总测试空间的每个点都分配有至少一个维诺空间并且每个测试都分配有维诺空间。
20.通常，分解成维诺空间（也称为泰森（thiessen）多边形或狄利克雷（dirichlet）分解）被理解成将n维空间分解成如下区域，这些区域通过空间的预先给定的点集来确定，这些点形成这些区域的中心。每个区域都通过正好一个中心来确定并且包括该空间的就欧几里得度量而言离该区域的中心比离任何其它中心都更近的所有点。这样的区域也被称为维诺区域。
21.有利地，相应的维诺空间的中心通过相应测试的测试参数来表示，对于该测试参数来说，该测试已被成功实施。
22.按照一个实施方式规定：对这些测试的测试空间的并集是否覆盖可预先给定的总测试空间、尤其是n维总测试空间的确定还包括：检查测试的相应的测试空间是否覆盖该测
试的维诺空间。
23.维诺集形成该总测试空间。如果现在针对每个测试空间都适用：相应的测试空间覆盖相应的维诺空间，则针对这些测试空间的并集适用：该并集覆盖可预先给定的总测试空间。
24.按照一个实施方式规定：对测试的相应的测试空间是否覆盖该测试的维诺空间的检查包括：检查相应的维诺空间的撑起该维诺空间的角点是否位于该测试空间之内。
25.其它实施方式涉及一种用于确定待测系统的测试的充分性的设备，其中该设备被构造用于实施按照实施方式所述的方法。
26.其它实施方式涉及一种计算机程序，其中该计算机程序包括计算机可读指令，在通过计算机、尤其是按照实施方式所述的设备的计算装置来实施这些计算机可读指令的情况下，按照实施方式所述的计算机实现的方法被实施。
27.其它实施方式涉及一种用于测试技术系统的方法，该方法包括如下步骤：通过执行测试来测试技术系统；而且在使用按照所描述的实施方式所述的方法的情况下确定这些测试的充分性。
28.按照一个实施方式规定：根据该测试的充分性来实施至少一个用于使该测试适配的步骤。尤其是当确定这些测试不充分时、尤其是当这些测试不满足对充分性的要求时，实施对这些测试的适配。
29.本发明的其它特征、应用可能性以及优点从对本发明的实施例的随后的描述中得到，这些实施例在附图的图中示出。在此，所有被描述或者被示出的特征本身或以任意的组合来形成本发明的主题，与它们在专利权利要求书中的合并或者它们的回引无关，以及与它们在说明书中或在附图中的表达或呈现无关。
附图说明
30.在附图中：图1以流程图示出了计算机实现的方法的步骤的示意图；图2示出了测试空间s的示意图；图3示出了测试的性能函数的示意图；图4a和4b示出了具有不同极限的测试空间s的其它示意图；图5示出了总测试空间的维诺分解的示意图；图6示出了将维诺空间包容到测试空间中的示意图；以及图7以流程图示出了用于测试技术系统的方法的步骤的示意图。
具体实施方式
31.图1示出了用于确定待测系统的测试的充分性的计算机实现的方法100的步骤的示意图。
32.待测系统例如是嵌入式软件系统，该嵌入式软件系统尤其包括软件和/或硬件组件。
33.该系统是通过实施测试集合来测试的。在下文描述的方法100中使用成功实施的测试的测试参数和测试结果，以便确定所实施的测试的充分性。
34.方法100包括如下步骤：步骤110，用于提供测试集合的、尤其是成功实施的测试集合的测试参数和测试结果；步骤120，用于针对相应测试确定参数集，其中该参数集包括该相应测试对其来说是指示性的测试参数；步骤130，用于基于相应测试的参数集来确定所述相应测试的所述相应测试对其来说是指示性的测试空间、尤其是n维测试空间；和步骤140，用于确定这些测试的测试空间的并集是否覆盖可预先给定的总测试空间、尤其是n维总测试空间。
35.依据图2、3和4a和4b来详细阐述步骤120和130。
36.依据图5和6来详细阐述步骤140。
37.参数集包括相应测试对其来说是指示性的与已经已知的测试参数不同的测试参数，也就是说对其来说测试可能会被成功实施的那些测试参数。
38.接着，基于相应测试的参数集，确定该相应测试的测试空间、尤其是n维测试空间。在该测试空间之内，该相应测试是指示性的，也就是说在该测试空间之内可能会成功实施该相应测试。
39.即，该测试空间是通过该相应测试的参数集所撑起的空间。
40.图2示例性示出了测试的二维测试空间s。在测试空间s中，示例性地绘制了点之一q0。点q0表示对其来说该测试已经被成功实施的测试参数q0。还示例性地绘制了点p0。点p0表示对其来说该测试同样可能会被成功实施的测试参数p0，因为该点位于该测试的测试空间s中。即，成功实施的测试不仅对于测试参数q0来说是指示性的，而且对于位于通过参数集p撑起的测试空间s中的其它测试参数p0来说是指示性的。
41.按照一个实施方式，对参数集p的确定120包括如下步骤；针对该相应测试提供性能函数f，其中该性能函数给相应的测试参数q分配性能指标值。针对相应测试，基于成功实施的测试的测试结果和测试参数q来提供性能函数f。性能函数f表示待测系统，结合计算性能指标r的算法，也就是说r是针对利用测试参数q来执行的测试的性能指标。由于只成功执行了有限数目的测试，所以性能函数通常未知。
42.因而，对相应的参数集的确定还包括：提供性能函数f的、尤其是性能函数f的偏导数的极限l、u、尤其是上限和下限。在假设总测试空间t具有n个维度的情况下，提供性能函数f的每第i偏导数、也就是说每个维度的极限，其中1 ≤ i ≤ n。
43.在数学上，这通过公式来描述。
44.通过性能函数f的偏导数以及借此关于测试参数p、q方面的性能指标r的极限，说明在个别测试参数p、q变化时性能指标r的最大或最小的变化率。借此，该变化率、即在测试参数变化时性能指标值r的变化从上方和下方被限制。借此，该测试对于被分配给在这些极限之内的性能指标r值的测试参数来说是指示性的。即，被分配给在这些极限之内的性能指标值的测试参数表示参数集p。
45.图3示例性地示出了在x轴上的测试参数q0和在y轴上的相对应的性能指标。还示出了性能函数对第i个维度的偏导数的极限。li是随着第i个参数增加该性能指标的可能升高的下限而ui是其上限。对于性能指标r随着参数值q升高而降低的情况来说，这些值为负。偏导数的极限是全局界限，也就是说这些极限适用于所有可能的参数值并且因而可能是保守的。通过上限和下限，该变化率、即在测试参数变化时性能指标值的变化从上方和下方被限制。
46.按照所描述的实施方式，即测试的测试空间s根据该测试的相应的性能函数和该性能函数的极限l、u来确定。
47.在数学上，任意维度的测试空间s都按如下来计算。首先，定义常数c
p
，当从测试参数向量远离了向量时，该常数限制性能指标值的可能的降低。下列公式适用于所有、、、在其它情况下，其中 (i)是测试参数向量的第i个分量。
48.现在，在计算这些测试空间时应用该关系。在假设q0是测量的参数向量并且f(q0)是所得到的性能指标值的情况下，测试空间s包括在其上性能指标值f(q0)加上在从q0转变到p0时的最大可能变化仍为正的所有点p0。在这种情况下，从q0到p0的转变是在q0与p0之间的差向量。
49.这是对测试在p0的情况下同样可以被成功执行的数学证明，前提在于关于偏导数的假设正确。在这种情况下，该条件所适用于的p0是测试空间的部分。
50.借助于上述等式，测试空间可以被呈现为多面体，其中集合受到2n个线性约束的限制，其中n是该测试空间的维数。
51.图4a和4b示例性地示出了具有不一样选择的极限l和u的测试空间。图4a示出了针对f(q)=6、u1=3、l1=-3、u2=2、l2=-2的测试空间s，而图4b示出了针对f(q)=6、u1=0、u2=1、l1=
ꢀ‑
3和l2=-2的测试空间s。
52.最后，按照步骤140来确定这些测试的测试空间s的并集是否覆盖可预先给定的总测试空间t、尤其是n维总测试空间。这在数学上通过：来描述。
53.按照一个实施方式规定：对这些测试的测试空间s的并集是否覆盖可预先给定的总测试空间t、尤其是n维总测试空间的确定还包括：将总测试空间t分解成维诺空间v，使得总测试空间的每个点都分配有至少一个维诺空间v并且每个测试都分配有维诺空间v。
54.通常，分解成维诺空间v（也称为泰森多边形或狄利克雷分解）被理解成将n维空间
分解成如下区域，这些区域通过空间的预先给定的点集来确定，这些点形成这些区域的中心。每个区域都通过正好一个中心来确定并且包括该空间的就欧几里得度量而言离该区域的中心比离任何其它中心都更近的所有点。这样的区域也被称为维诺区域。
55.图5示例性地示出了将二维总测试空间t分解成维诺空间v。
56.图6示例性地示出了对于测试参数q0来说已被成功实施的测试的维诺空间v。测试参数q0表示针对该测试的维诺空间v的中心。
57.在图6中还示出了测试空间s。
58.这些维诺空间v共同形成总测试空间t，参见图5。如果现在针对每个测试空间s都适用：相应的测试空间s覆盖相应的维诺空间v，参见图6，则针对这些测试空间s的并集适用：该并集覆盖可预先给定的总测试空间t。
59.对这些测试的测试空间s的并集是否覆盖可预先给定的总测试空间t、尤其是n维总测试空间的确定包括如下步骤：检查测试的相应的测试空间s是否覆盖该测试的维诺空间v。
60.在数学上，测试q
l
的维诺空间通过来描述，其中d是在两个测试参数向量之间的距离函数。该距离函数可以基于像bowyer-watson算法那样的公知算法来计算。
61.按照一个实施方式规定：对测试的相应的测试空间s是否覆盖该测试的维诺空间v的检查包括：检查相应的维诺空间v的撑起该维诺空间v的角点是否位于测试空间s之内。
62.由于所有维诺空间都是凸的，所以检查每个维诺空间的所有角点是否都包含在q
l
的相对应的测试空间中就足够。因而，针对维诺空间的所有角点v
lk
适用：。
63.原则上，距离度量可以任意地被计算。但是，如下所示地选择该距离度量是有利的：的：以这种方式，维诺空间被缩放为使得该维诺空间有可能被测试空间覆盖。
64.其它实施方式涉及一种用于确定待测系统的测试的充分性的设备，其中该设备被构造用于实施按照所描述的实施方式所述的方法100。该设备包括至少一个计算装置、尤其是计算机。
65.其它实施方式涉及一种计算机程序，其中该计算机程序包括计算机可读指令，在通过计算机、尤其是该设备的计算装置来实施这些计算机可读指令的情况下，按照所描述的实施方式所述的计算机实现的方法100被实施。
66.其它实施方式涉及用于测试技术系统的方法200。方法200依据图7来描述。方法200包括：
步骤210，用于通过执行测试来测试技术系统；和步骤220，用于在使用按照所描述的实施方式所述的方法100的情况下确定这些测试的充分性。
67.有利地，根据这些测试的在步骤220中被确定的充分性，实施至少一个用于使这些测试适配的步骤230。
68.在使这些测试适配230之后，方法200、尤其是步骤210、220以及必要时步骤230可以再次被实施。