用于检查技术系统的方法和设备与流程

1.本发明涉及一种用于检查技术系统的方法。此外，本发明还涉及一种对应的设备、一种对应的计算机程序以及一种对应的存储介质。


背景技术：

2.在软件技术中，用上位概念“基于模型的测试”（model
‑
based testing，mbt）汇总了将模型用于对测试活动自动化并在测试过程中生成测试假象（testartefakte）的用途。例如，由描述待测试系统的目标行为的模型生成测试情况是众所周知的。
3.特别是嵌入式系统（embedded systems）依赖于传感器的确定性输入信号，并且又通过向极为不同的执行器输出的信号来刺激其环境。因此，在这种系统的验证和前期开发阶段的过程中，对该系统的模型（model in the loop，循环中的模型，mil）、软件（software in the loop，循环中的软件，sil）、处理器（processor in the loop，循环中的处理器，pil）或整个硬件（hardware in the loop，循环中的硬件，hil）与环境模型一起在调节回路中进行仿真。在车辆技术中，有时将与该原理相对应的用于根据测试阶段和测试对象检查电子控制设备的仿真器称为组件试验台、模块试验台或集成试验台。
4.de10303489a1公开了这种用于测试车辆、电动工具或机器人系统的控制单元的软件的方法，其中通过测试系统至少部分地仿真可由所述控制单元控制的调节段，其方式是从所述控制单元产生输出信号并且将所述控制单元的输出信号经由第一连接传输到第一硬件模块，将第二硬件模块的信号作为输入信号经由第二连接传输到所述控制单元，其中所述输出信号作为软件中的第一控制值提供并且附加地经由通信接口相对于所述调节段实时地传输到所述测试系统。
5.这种仿真在各种技术领域中得到广泛应用，并且例如用于检查电动工具中的嵌入式系统、用于驱动、转向和制动系统的电机控制设备、相机系统、具有人工智能和机器学习组件的系统、机器人系统或自主车辆在它们的早期开发阶段中的适用性。然而，由于缺乏对根据现有技术的仿真模型结果的可靠性的信任，根据现有技术的仿真模型结果仅有限地被引入释放判定中。


技术实现要素：

6.本发明提供了根据独立权利要求的用于检查技术系统的方法、对应的设备、对应的计算机程序以及对应的存储介质。
7.根据本发明的方案基于以下认识：仿真模型的品质对于可以用所述仿真模型实现的测试结果的正确可预测性起决定性作用。在mbt领域，确认（validierung）的子学科具有将真实测量与仿真结果进行比较的任务。为此使用各种度量、数值或其他比较器，它们应当将信号彼此逻辑关联并且在下文中统称为信号度量（sm）。这种信号度量的示例是将大小、相移和相关性进行比较的度量。一些信号度量通过相关标准定义，例如按照iso 18571。
8.一般而言，不确定性量化技术支持对仿真和模型品质的估计。使用信号度量或更
一般地使用不确定性量化方法针对特定输入x（所述特定输入可以是参数或场景）来评估模型品质的结果在下面称为仿真模型误差度量（简称：误差度量）smerrorx。为了针对先前未考察的输入、参数或场景x来一般化（内插和外推）smerrorx，可以使用机器学习模型，例如基于所谓的高斯过程的机器学习模型。
9.在验证（verifizierung）期间，典型地基于要求、规范或性能指标来检查试验物（system under test，sut，被测系统）。应当注意，布尔形式的要求或规范通常可以被转换为定量测量，其方式是使用诸如信号时序逻辑（signal temporal logic，stl）的形式主义。这种形式主义可以用作定量语义的基础，只要正值指示满足要求，而负值指示违反要求，所述定量语义就表示验证的一般化。在下文中，这样的要求、规范或性能度量统称为“定量要求”（qspec）。
10.可以基于真实sut或真实sut的模型（即“虚拟sut”）来检查这种定量要求。为了进行所述验证，将目录与sut必须满足的测试情况汇编在一起，以判定sut是否具有期望的性能和安全特性。可以对这样的测试情况进行参数化，从而涵盖任意数量的个体测试。
11.在这种背景下，所提出的方案考虑了对可靠（belastbar）测试结果的需求，以保证sut的性能和安全特性。正是在基于所述系统或子组件的仿真（而不是真实系统）来执行测试的情况下，确保了仿真结果是值得信赖的。
12.通常，为了实现该目标，仿真工程师会努力根据将仿真与来自实践的参考度量相关联的确认度量来改进其仿真模型。但是，通常仍然不清楚要使用哪些确认度量以及要达到哪些确认结果。因此，除了这些结果之外，根据本发明的方法还使用在测试情况中对sut的要求qspec。由此为所述仿真模型在其所追求的使用方面的质量提供了标准。可以通过两种方式来使用这样的标准：一方面用于改善所述仿真模型，另一方面用于选择不同的仿真模型或测试平台，如果存在替代方案的话。
13.根据本发明的针对该任务的解决方案的优点在于，与仅基于确认或仅基于验证的概念相反，本发明的解决方案巧妙地结合了两种方案。为此引入了“虚拟测试分类器”，该虚拟测试分类器组合了模型确认和产品测试的要求。这是通过将一方面来自仿真和模型品质（smerrorx）确认的信息与另一方面来自测试要求（qspec）的信息逻辑关联而实现的。
14.对应的测试可以在极为不同的领域中应用。例如，应当考虑自动化系统的功能安全性，所述自动化系统例如用于驾驶功能的自动化（automated driving，自主驾驶）。
15.通过从属权利要求中列出的措施可以对独立权利要求中说明的基本思想进行有利的扩展和改进。从而可以设置自动化的、计算机实现的测试环境，以在很大程度上自动改善被测试硬件产品或软件产品的质量。
附图说明
16.在附图中示出了本发明的实施例，并且在下面的描述中对所述实施例进行更详细的解释。
17.图1示出了虚拟测试分类器。
18.图2示出了用于基于数据来产生分类器的判定边界的第一方案。
19.图3示出了用于基于公式解产生分类器的判定边界的第二方案。
20.图4示出了使用分类器以改善仿真模型。
21.图5示出了使用分类器以选择不同的仿真模型或测试平台。
22.图6示出了在通过测试参数展开的特征空间中对分类结果进行可视化。
23.图7示意性地示出了工作站。
具体实施方式
24.根据本发明，在测试x的范围中评估仿真模型误差smerrorx并且基于sut的仿真来估计定量规范qspec，所述测试x可以从测试目录中作为测试情况获得或作为参数化测试的实例获得。虚拟测试分类器使用smerrorx和qspec作为输入，并对基于所述仿真的测试结果是否值得信赖做出二进制判定。
25.根据在信息学并且特别是模式识别中常见的语言使用，分类器在此应理解为将特征空间映射为在分类过程中形成并彼此分界的类别集合的任何算法或任何数学函数。为了能够判定应当将对象归类或分类到哪个类别中（通常也称为“分类”），分类器使用所谓的类别边界或判定边界。如果方法与实例之间的区别不重要，则在技术语言中使用术语“分类器”，并且在下面也部分地与“归类”或“分类”同义。
26.图1图解了当前应用示例中的这种归类。在此，每个点都对应于通过仿真执行并且被计算了要求qspec的满足度量13和误差度量14 smerrorx的测试。在这种情况下，将qspec定义为，使得其在所述测试表明所述系统满足相应要求时采取正值（附图标记24），而在所述系统未满足该要求时采取负值（附图标记25）。
27.从图中可以看出，分类器18的判定边界19将空间细分为四个类别a，b，c和d。所述系统将以高可靠性通过类别a的测试。对于类别b和类别c的测试，所述仿真仅提供不可靠的结果；因此必须在真实系统上执行这种测试。类别d的测试将在所述系统上以高可靠性失败。
28.该虚拟测试分类器18基于以下考虑：测试结果越接近通过的测试与失败的测试之间的边界，就可以向所述仿真模型给予越多的信任。换句话说，只有在假设模型误差14最多为边际误差时，仿真中勉强得到满足的要求才可以代替真实系统的测试。另一方面，在定量要求qspec的满足度量13的绝对值较高（即已远远超出预定值或明显错过预定值）的情况下，可以接受仿真结果与对应实验测量的一定偏差。
29.由于该考察方式以对所述仿真模型的模型误差smerrorx的认识为前提，因此假设在使用虚拟测试分类器18之前对所述仿真模型进行了验证和确认。在确认的范围中，例如应当基于高斯过程或以其他方式通过机器学习形成一般化模型，该一般化模型针对给定的x提供smerrorx。在此应当注意的是，所述仿真的可信度很大程度上取决于该一般化模型的正确性。
30.图2示出了用于基于数据来产生分类器18的判定边界19（图1）的可能方案。在最简单的情况下，边界19在此沿着穿过原点的直线分布。该直线的斜率优选被选择为，使得所有以下点都位于区域c和b中并且这些区域也尽可能地小，在这些点处定量要求qspec的满足度量13在仿真11和真实测量21之间在符号方面不同，即相当于所述仿真模型失败的所有测试12。
31.此外考察更一般的例如多项式的判定边界19，借助于线性编程对该判定边界的函数曲线进行适配，使得该函数曲线满足分类器18 vtc的标准。在这种情况下，所有以下点也
位于区域c和b中，在这些点处定量要求“qspec”的满足度量13在仿真11与真实测量21之间在符号方面不同，即相当于所述仿真模型失败的所有测试12。
32.图3示出了通过求解23公式形式的方程组来定义分类器18的替代方案，满足度量13和误差度量14的定义方程式基于该方程组。可以选择确定性地或随机地说明所得到的函数，该函数将真值分配给由这两个度量形成的特征向量13、14。
33.为了下面的执行，假定i为输入集合，o为输出集合（可能还包括输入），以及是作为函数的系统模型和真实系统，仅对有限数量的输入才可以通过仿真11或实验测量21观察所述函数。此外，假定是仿真模型误差smerrorx，即两个彼此对应的输出之间的距离或误差度量14。最后，假定是所有以下输入的集合，针对这些输入误差度量14采取值
ϵ
。
34.从这些定义出发，对于每个输入i∈i
ϵ
，可以如下通过项来向上限制要求的满足度量13的偏差，所述项既不取决于m1也不取决于m2：公式1。
35.因此，分类器18得出公式2。
36.在此，在的情况下，在m1和m2关于p一致的意义上将所述仿真模型归类为可靠。应当注意，分类器18要求q的倒数。
37.该表示的主要优点在于，可以与m1和m2无关地制定虚拟测试分类器18，因为该虚拟测试分类器仅取决于定量要求的满足度量13和误差度量14。因此，从单个误差度量14和复数n个定量要求出发，可以计算n个虚拟测试分类器18，即每个要求一个。因此，该模型仅需针对误差度量14进行一次确认，而无需例如针对每个单独的要求进行确认。
38.对于复数m个误差度量和复数n个定量要求，可以通过简单的方式将这种考察一般化，其中m典型地非常小而n大。在这种情况下，可以计算n
·
m个虚拟测试分类器18。如果这些分类器18之一提供值w，则仿真结果可以被认为是可靠的。这使得可以进行更精确的归类，因为一些误差度量14可能比另一些误差度量更适合特定要求。
39.替代地，可以在随机范围中定义虚拟测试分类器18，在该随机范围中根据任意概率密度函数假设输入是随机分布的。为此表示在误差度量14采取值
ϵ
的假设下，满足度量13的偏差的有条件的累积分布函数。在分类器18做出正确判定的概率的阈值为τ∈（0.1）的情况下—值τ因此典型地接近1，虚拟测试分类器18可以定义如下：公式3
。
40.图4在以下假设下从应用角度阐明了根据本发明的用于改善仿真模型的方法10：
· 给定了适合于仿真11的模型以及测试12的集合以及定义的输入参数。
· 可以执行真实的测试以进行实验测量21。
· 要求qspec是可量化和预给定的，并且在监视系统的范围中实现，所述监视系统针对这些要求的满足度量13来评估测试12。在该图中，两个满足度量13都涉及相同的要求qspec，但是一次基于仿真11和一次通过在系统上的实验测量21对所述要求qspec进行估计。
· smerrorx是预先定义的误差度量14。因此针对一些测试输入已经执行了仿真11和测量21，而误差度量14将对应的测试12一般化为具有一定可靠性的新的先前未执行的实验，所述可靠性例如通过误差度量14的上限和下限确定。对于分类器18（图1至图3），仅使用最不利的、即最高的误差度量14。应当注意，分类器18可以用于进一步改善误差度量14。
41.在这些假设下，方法10可以被如下设计：1. 借助于仿真11来执行测试12，其中产生输出信号。2. 根据smerrorx误差模型，在要求qspec的满足度量13和仿真11的误差度量14方面来评估所述输出信号。3. 将采取的满足度量13和误差度量14输送给分类器18。4. 对于每个测试12，分类器18进行向以下类别a，b，c，d（图1）之一的归类15：测试12在仿真11中成功了，并且其结果是可靠16；所述测试在仿真11中失败了，并且其结果是可靠16；或仿真11的结果不可靠17。5. 将可靠16的测试结果（对于这样的测试结果现在认为仿真11是值得信赖的）选择性地添加到对应的数据库31中。6. 不可靠17的测试12可以用作建议32用户在系统上执行对应测量21或自动启动这种测量21的机会。7. 可选地，可以在当前测试输入x的环境中创建附加测试，例如通过基于搜索的测试（search
‑
based testing，sbt），所述附加测试的目标是最大化误差度量smerrorx。8. 每个这种测试都被执行，并通过所研究的真实系统提供新的测量21。9. 基于所述测量21改善仿真模型34。例如可以使用参数识别技术或机器学习技术或由仿真模型工程师进行手动干预，例如物理模型化的改善或仿真模型实现的改善。
42.该方法的一种用于选择不同仿真模型或测试平台的变型从以下假设出发：
· 给定了多个适合于仿真11的模型或测试平台以及测试12的集合以及定义的输入参数。
· 要求qspec是可量化和预给定的，并且在监视系统的范围中实现，所述监视系统针对这些要求的满足度量13来评估测试12。在该图中，两个满足度量13都涉及相同的要求qspec，但是一次基于仿真11和一次通过在系统上的实验测量21对所述要求qspec进行估计。
· smerrorx是预先定义的误差度量14。因此针对一些测试输入已经执行了仿真11和测量21，而误差度量14将对应的测试12一般化为具有一定可靠性的新的先前未执行的
实验，所述可靠性例如通过误差度量14的上限和下限确定。对于分类器18（图1至图3），仅使用最不利的、即最高的误差度量14。应当注意，分类器18可以用于进一步改善误差度量14。
43.在这些假设下，该方法可以被如下设计：1. 针对每个仿真模型或每个测试平台，根据以上解释定义分类器18。2. 针对每个测试平台35执行测试12，其中产生输出信号。3. 根据smerrorx误差模型，在要求qspec的满足度量13和仿真11的误差度量14方面来评估所述输出信号。4. 将采取的满足度量13和误差度量14输送给分类器18。5. 对于每个测试12，分类器18进行向以下类别a，b，c，d（图1）之一的归类15：测试12在仿真11中成功了，并且其结果是可靠16；所述测试在仿真11中失败了，并且其结果是可靠16；或仿真11的结果不可靠17。6. 选择33最能满足期望标准的测试平台或仿真模型，所述期望标准例如是归类为可靠16的（正或负）测试结果的最大数量，归类为可靠16的正测试结果的最大数量或归类为可靠16的负测试结果的最大数量。
44.图6绘出了在通过测试参数展开的测试参数特征空间（以下称为“参数空间”）中分类结果的可能可视化。对于测试12的特定参数26、27—根据该图示例性地是切入自己车道的车辆的距离26和质量27，将满足度量13和误差度量14分别表示为所述参数空间中的点。然后在虚拟测试环境29中，通过分类器18在所述参数空间中可视化28测试12的归类15。
45.如图7中的示意图所示，该方法10可以例如以软件或硬件或者以软件和硬件的混合形式例如在工作站30中实现。