用于检查技术系统的方法和设备与流程

1.本发明涉及一种用于检查技术系统的方法。本发明还涉及一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。


背景技术：

2.在软件技术中，在上位概念“基于模型的测试”（model
‑
based testing，mbt）下概括了使用模型用于测试活动的自动化和用于在测试过程中生成测试工件（testartefakten）。例如，众所周知的是从描述待测试系统的额定行为的模型来生成测试用例。
3.尤其是嵌入式系统（embedded systems）依赖于传感器的合理的输入信号，而且又通过对各种各样的执行器的输出信号来刺激其周围环境。因而，在对这种系统的验证和之前的研发阶段的过程中，在调节回路中将该系统的模型（model in the loop（回路中的模型），mil）、软件（software in the loop（回路中的软件），sil）、处理器（processor in the loop（回路中的处理器），pil）或者整个硬件（hardware in the loop（回路中的硬件），hil）与周围环境的模型一起进行仿真。在车辆技术中，与该原理相对应的用于检查电子控制设备的仿真器视测试阶段和对象而定有时被称作组件、模块或集成试验台。
4.de10303489a1公开了一种用于测试车辆、电动工具或机器人系统的控制单元的软件的方法，其中通过测试系统来至少部分地仿真可由控制单元控制的调节对象，其方式是由控制单元产生输出信号并且将该控制单元的这些输出信号经由第一连接传输到第一硬件模块并且将第二硬件模块的信号作为输入信号经由第二连接传输到控制单元，其中这些输出信号在软件中作为第一控制值来提供而且附加地经由通信接口关于调节对象实时地被传输到测试系统。
5.这样的仿真在各种技术领域都得以推广并且例如用于在电动工具中的嵌入式系统、用于驱动、转向和制动系统的发动机控制设备、摄像机系统、具有人工智能和机器学习的组件的系统、机器人系统或自主车辆的早期开发阶段检查它们是否合适。然而，由于缺乏对它们的可靠性的信心，根据现有技术的仿真模型的结果只是在有限范围内被包含在发布决策中。


技术实现要素：

6.本发明提供了按照独立权利要求所述的一种用于对技术系统进行检查的方法、一种相对应的设备、一种相对应的计算机程序以及一种相对应的存储介质。
7.按照本发明的方案基于如下认识：仿真模型的质量对于借此能实现的测试结果的正确预测来说至关重要。在mbt领域，生效分类方法涉及将真实测量与仿真结果进行比较的任务。为此，使用不同的度规（metrik）、度量值（ma
ß
zahl）或其它比较器，所述不同的度规、度量值或其它比较器将信号彼此关联并且所述不同的度规、度量值或其它比较器在下文应该统称为信号度规（sm）。这样的信号度规的示例是将大小、相移和相关进行比较的度规。一
些信号度规通过有关标准来被定义，例如按照iso 18571来被定义。
8.一般而言，不确定性量化技术支持对仿真和模型质量的估计。接下来，在使用信号度规的情况下或者更一般地在将不确定性量化方法用于特定输入（该特定输入可以是参数或场景）的情况下对模型质量的评估结果被称作仿真模型
‑
误差度规——简称：误差度规——。为了对以前未被考虑的输入、参数或场景的的一般化（内插和外推），可以使用比如基于所谓的高斯过程的机器学习模型。
9.在验证时，通常依据要求、规范或性能指标来检查被测系统（system under test，sut）。应注意：布尔形式的要求或规范常常可以通过使用如信号时序逻辑（signal temporal logic，stl）那样的形式化来被转换成定量测量。这样的形式化可以用作定量语义的基础，该定量语义在正值指示满足要求并且负值指示违反要求的范围内表示对验证的一般化。在下文，这种要求、规范或性能量度统称为“定量要求”。
10.这类定量要求要么可以依据真实sut要么可以依据同一sut的模型——即“虚拟sut”来被检查。为了该验证，将目录与sut所必须满足的测试用例编制在一起，以便判断该sut是否具有所希望的性能和安全特性。这种测试用例可以被参数化并且这样可以涵盖任意数目的单独测试。
11.在该背景下，所提出的方案考虑了对可靠的测试结果的需求，以便确保sut的性能和安全特性。恰恰是在依据系统或子组件的仿真——而不是真实系统——来执行测试的情况下，需要保证仿真结果是值得信赖的。
12.对测试数据库或测试目录的改善可有助于解决该任务。基于给出的测试数据库，该方法能够选择用于仿真的新测试用例，以便这样来使可借助于该仿真来被检查的测试输入参数的范围最大化。以这种方式，可支配的仿真模型和仿真环境最佳地被使用。例如，输入参数的测试范围可限于区间，因为在该区间之外的仿真不被视为可靠。借助于当前的解决方案，该范围可以从在仿真中的可靠测试例如被扩展到。本发明的实施方式还能够添加真实测试用例或者从测试数据库中除去这些测试用例。如果仅从数据库中除去测试，则这在这种情况下是一种用于测试选择或用于精简测试套件的技术。
13.该方法的优势在于：与仅基于生效或仅基于验证的设计相比，该解决方案巧妙地使两种方案相结合。为此，引入“虚拟测试分类器”，该“虚拟测试分类器”将模型生效和产品测试的要求相结合。这一点通过将一方面来自仿真和模型质量（）的生效的信息以及另一方面来自测试要求（）的信息相关联来实现。
14.在各种各样的领域都可以考虑应用相对应的测试。例如能想到的是比如被用于使驾驶功能自动化（automated driving）的自动化系统的功能安全性。
15.通过在从属权利要求中提及的措施，对在独立权利要求中说明的基本思想的有利的扩展方案和改进方案都是可能的。这样，可以提供自动化的、计算机实现的测试环境，以便在很大程度上自动改善被测试的硬件或软件产品的质量。
附图说明
16.本发明的实施例在附图中示出并且在随后的描述中进一步予以阐述。其中：图1示出了虚拟测试分类器。
17.图2示出了用于基于数据来产生分类器的决策边界的第一方案。
18.图3示出了用于基于公式求解来产生分类器的决策边界的第二方案。
19.图4示出了测试的输入空间和针对每个类别的有效的参数范围和区域。
20.图5示出了将分类器用于改善仿真测试数据库。
21.图6示出了沿着在这些类别之间的决策边界的附加测试。
22.图7示出了在分类器空间中的附加测试。
23.图8示出了将分类器用于改善真实测试的数据库。
24.图9示出了在测试参数所张开的特征空间中对分类结果的可视化。
25.图10示意性示出了控制设备。
具体实施方式
26.按照本发明，在测试（该测试可以作为测试用例从测试目录中被提取或者作为参数测试的实体被获得）的框架内，分析仿真模型误差并且基于sut的仿真来评估定量规范。虚拟测试分类器使用和作为输入并且对基于仿真的测试结果是否值得信赖做出二元决策。
27.在这种情况下，按照在信息学以及尤其是模式识别中常见的语言使用，任何算法或任何数学函数都能被理解为分类器，该算法或数学函数将特征空间映射到类别的集合上，这些类别是在分类过程中形成且彼此被隔开的。为了能够判断对象应被归类为或分类（通俗地说，也包括：“分类”）为哪个类别，分类器使用所谓的类别或决策边界。如果方法与实体之间的区别不重要，则在专业术语方面使用术语“分类器”，而且该术语接下来也部分地与“归类”或“分类”同义地被使用。
28.图1图解说明了在当前应用示例中的这种归类。在这种情况下，每个点都对应于一个测试，该测试是在仿真过程中被执行的并且针对该测试计算出了要求的满足量度（13）以及误差量度（14）。在这种情况下，被定义为使得其当该测试可以推测出系统满足相应的要求（附图标记24）时取正值并且当系统不满足该要求（附图标记25）时为负。
29.如图所示，分类器（18）的决策边界（19）将空间分成四个类别a、b、c和d。具有高可靠性的系统会通过类别a的测试。对于类别b和c的测试来说，仿真仅仅提供不可靠的结果；因而这样的测试应在真实系统上被执行。类别d的测试会在具有高可靠性的系统上失败。
30.该虚拟测试分类器（18）基于如下思考：只有当假定至多边界处的模型误差（14）时，在仿真中仅勉强满足的要求才能替代对真实系统的检验。另一方面，在定量要求的在数值上高的满足量度（13）、即远远超出满足或明显不满足的规定的情况下，可以容忍仿真结果与相对应的实验测量的一定的偏差。
31.由于该考察方式以知道仿真模型的模型误差为前提，所以假定：后者在使用虚拟测试分类器（18）之前经过了验证和生效。在该生效的框架内，应该——例如基于高斯过程或者另外通过机器学习——形成通用模型，该通用模型为给定的提供。在此应注意：仿真的可信度主要取决于该广义模型的正确性。
32.图2阐明了用于基于数据来产生分类器（18）的决策边界（19——图1）的可能方案。
在最简单的情况下，边界（19）在这种情况下沿着直线经过原点。直线的斜率应优选地被选择为使得其中对定量要求的满足量度（13）在仿真（11）与真实测量（21）之间在符号上有所不同的所有点——即其中仿真模型失效的所有测试（12）——都处在区域c和b内并且这些区域还尽可能小。
33.还可以考虑更一般的、例如多项式的决策边界（19），该决策边界的函数曲线借助于线性编程被适配为使得该函数曲线满足分类器（18）的标准。在这种情况下，其中定量要求的满足量度（13）在仿真（11）与真实测量（21）之间在符号上有所不同的所有点——即其中仿真模型失效的所有测试（12）——也处在区域c和b内。
34.图3阐明了通过对形式上的方程组的求解（23）来定义分类器（18）的替代方案，该方程组基于满足量度（13）和误差量度（14）的定义方程。给由这两个量度形成的特征向量（13，14）分配概率值的所得函数可以选择性地确定性地或者随机地被指定。
35.为了如下实施方案的目的，应是输入集合，应是——可能也包括输入的——输出集合，并且应是作为函数的系统模型和真实系统，这些函数只能针对有限数目的输入通过仿真（11）或实验测量（21）来被观察。此外，应是仿真模型误差、即两个彼此对应的输出的距离或误差量度（14）。最后，应是全部输入的集合，针对这些输入，该误差量度（14）取值。
36.基于这些定义，针对每个输入的要求的满足量度（13）的偏差可以如下地通过上述项来被限制，该项既不取决于也不取决于：公式1因此，得到分类器（18）为公式2。
37.在这种情况下，仿真模型在的情况下被归类为就与关于一致而言可靠。应注意：分类器（18）需要的倒数。
38.该表示的一重要优点在于：虚拟测试分类器（18）可以与和无关地被表达，因为该虚拟测试分类器只取决于误差量度（14）和定量要求的满足量度（13）。因此，基于唯一的误差量度（14）和个定量要求，可以计算出个虚拟测试分类器（18），即针对每个要求计算出了一个虚拟测试分类器。因而，模型只须关于误差量度（14）被生效一次而无须比如就每个单独的要求而言被生效。
39.该考虑可以以简单的方式针对个误差量度和个定量要求被一般化，其中通常很小而大。在这种情况下，可以计算出个虚拟测试分类器（18）。如果这些分类器（18）之一提供值，则仿真结果可以被视为可靠。这能够实现更准确的归类，因为一些误
差量度（14）对于特定要求来说可能比其它误差量度更适合。
40.替代地，虚拟测试分类器（18）可以在随机框架内被定义，在该虚拟测试分类器中，输入被假设为——按照任意的概率密度函数——随机分布。为此，表示在假设误差量度（14）取值的情况下满足量度（13）的偏差的条件累积分布函数。在分类器（18）做出正确决策的概率的阈值的情况下（因此值通常接近1），虚拟测试分类器（18）可以按如下地被定义：公式3。
41.现在应从应用角度来阐述按照本发明的方案。该方案的一个方面基于将分类器（18）用于扩展仿真测试的测试数据库和参数范围。为了进行阐明，图4示出了在特征x1和x2所张开的输入空间中按照图1被分类的测试用例以及为此所使用的分类器。从该图示中能看到在这些类别之间的测试空间的不被考虑的区域。
42.图5阐明了方法（10），该方法用于定义附加的、更接近决策边界（19——图4）的测试（12）、对参数范围进行更新且尤其是进行扩展以及确定如下参数区域，对于这些参数区域来说，测试（12）可能被视为不可靠。在此，应做出如下假设：
•ꢀ
分类器（18）根据关于图2和3所描述的方法被定义。
43.•ꢀ
给出了测试（12）的集合，连同对这些测试的输入参数的定义，比如以测试数据库、测试目录或参数化的测试用例的形式。这些输入参数限于其中仿真（11）被视为可靠的——与按照图1的类别a和d相对应的——那些范围。
44.•ꢀ
还给出（11）仿真模型。
45.•ꢀ
要求可量化而且被预先给定而且在监控系统的框架内被实现，该监控系统关于这些要求的满足量度（13）方面对测试（12）进行分析。在该图示中，两个满足量度（13）都涉及同一要求，然而该要求依据仿真（11）被评估一次并且在系统上的实验测量（21）的过程中被评估一次。
46.•ꢀ
是预先被定义的误差量度（14）。即，对于一些测试输入来说，已经执行了仿真（11）和测量（21），而且误差量度（14）将相对应的测试（12）一般化到新的、到目前为止尚未执行的具有一定可靠性的实验上，该可靠性例如通过误差量度（14）的上限和下限来被确定。对于分类器（18——图1至3）来说，仅仅使用最不利的、即最高的误差量度（14）。应注意：分类器（18）可以被用于进一步完善误差量度（14）。
47.在这些假设下，方法（10）可如下构成：1.来自数据库或目录的测试（12）借助于仿真（11）来被执行，其中产生输出信号。
48.2.这些输出信号关于要求的满足量度（13）和仿真（11）的按照误差模型的误差量度（14）来被分析。
49.3.满足量度（13）和误差量度（14）被输送（15）给分类器（18）。
50.4.对于每个测试（12）来说，确定距分类器（18）的决策边界（19）的距离（31）并且该分类器实行归类（15）为如下类别（a、b、c、d——图1）之一：测试（12）在仿真（11）中成功且该测试的结果可靠；测试（12）在仿真（11）中失败并且该测试的结果可靠；或者仿真（11）的结
果不可靠。
51.5.应用如所谓的基于搜索的测试（search
‑
based testing，sbt）那样的测试产生技术，以便在如下优化目标的情况下做出对新测试（12）的选择（32）：新测试（12）应——如图6中所示——首先更接近分类器（18）的决策边界（19）地分布并且其次沿着相同的边界（19）分布。
52.6.基于依据分类器（18）的决策边界（19）对新测试（12）的归类（15），在输入空间中的与这些类别（a、d——图7）相对应的参数范围或区域被增大并且这些新测试（12）被添加给数据库。
53.7.根据所描述的方法（10），实行对可靠和不可靠的测试输入的归类（15）。这些测试（12）中的每个测试都对应于在图6和7中被标记的点；搜索其中仿真（11）被视为可靠的那些区域。对该区域的认识通过逐步选择（32）和实施新测试——例如在sbt的过程中——来被深化。以这种方式来改善仿真（11）的测试数据库。
54.图8阐明了方法（10），该方法依据真实测试的数据库或目录来输出被更新的数据库（36）或被更新的目录。如果不存在可选的新测试，则这最终对应于用于测试选择或用于精简测试套件的技术。在此，应做出如下假设：
•ꢀ
分类器（18）根据关于图2和3所描述的方法被定义。
55.•ꢀ
给出了真实测试用例的测试数据库（33）或目录以及用于仿真（11）的相对应的测试用例（34）。
56.•ꢀ
选择性地，给出用于仿真（11）的附加的新测试（12）。
57.•ꢀ
还给出仿真模型。
58.•ꢀ
要求可量化而且被预先给定而且在监控系统的框架内被实现，该监控系统关于这些要求的满足量度（13）方面对测试（12）进行分析。在该图示中，两个满足量度（13）都涉及同一要求，然而该要求依据仿真（11）被评估一次并且在系统上的实验测量（21）的过程中被评估一次。
59.•ꢀ
是预先被定义的误差量度（14）。即，对于一些测试输入来说，已经执行了仿真（11）和测量（21），而且误差量度（14）将相对应的测试（12）一般化到新的、到目前为止尚未执行的具有一定可靠性的实验上，该可靠性例如通过误差量度（14）的上限和下限来被确定。对于分类器（18——图1至3）来说，仅仅使用最不利的、即最高的误差量度（14）。应注意：分类器（18）可以被用于进一步完善误差量度（14）。
60.在这些假设下，方法（10）可如下构成：1. 与数据库（33）或目录相对应的（34）以及可能的新测试（12）借助于仿真（11）来被执行，其中产生输出信号。
61.2. 这些输出信号关于要求的满足量度（13）和仿真（11）的按照误差模型的误差量度（14）来被分析。
62.3. 满足量度（13）和误差量度（14）被输送（15）给分类器（18）。
63.4. 对于每个测试（12）来说，分类器（18）都实行归类（15）为如下类别（a、b、c、d——图1和7）之一：测试（12）在仿真（11）中成功且该测试的结果可靠（16）；测试（12）在仿真（11）中失败并且该测试的结果可靠（16）；或者仿真（11）的结果不可靠（17）。
64.5. 归类为可靠（16）的测试被保留在数据库（33）中并且归类为不可靠（17）的测试
被除去（35）。
65.6. 如果存在用于仿真（11）的新测试（12）并且得出了这些新测试的结果可靠（16）的归类（15），则添加（35）数据库（33）中的相对应的真实测试用例。
66.图9概述了在通过测试参数所张开的测试参数的特征空间（在下文：“参数空间”）中的分类结果的可能的可视化。针对测试（12）的特定参数（26、27）——根据图示示范性地是驶入到自己车道的车辆的距离（26）和质量（27）——将满足量度（13）和误差量度（14）分别呈现为在参数空间中的点。然后，在虚拟测试环境（29）中，通过分类器（18）在参数空间中实现测试（12）的归类（15）的可视化（28）。
67.该方法（10）例如可以以软件或硬件或者以软件和硬件的混合形式例如实现在工作站（30）中，如图10的示意图所阐明的那样。