测试和/或认证待测试的驾驶功能的计算机实现的方法与流程

1.本发明涉及一种用于通过关键绩效指标(kpi)进行基于场景的测试和/或认证(homologation)待测试的至少部分自动的驾驶功能的计算机实现的方法。
2.本发明还涉及一种用于通过关键绩效指标(kpi)进行基于场景的测试和/或认证待测试的至少部分自动的驾驶功能的测试单元。本发明还涉及一种计算机程序和一种计算机可读数据载体。


背景技术：

3.可借助各种检查方法验证或确证驾驶辅助系统，如自适应巡航控制系统和/或用于高度自动化或自动驾驶的功能。在此尤其是可使用硬件在环方法、软件在环方法、模拟和/或测试行驶。
4.使用上述检查方法测试这种车辆功能的花费，尤其是时间和/或成本花费通常非常高，因为必须测试大量潜在可能的行驶情况。
5.出于时间和成本的原因，不可能只是在具有超过数十亿公里的行驶距离的道路上测试至少部分自动驾驶的交通工具。此外，会出现许多冗余测试公里，而不会发生对于至少部分自动驾驶的车辆的能力重要的关键和异常情况。
6.这尤其是可能会导致在测试行驶和模拟方面的高花费。de102017200180a1公开了一种用于验证和/或确证车辆功能的方法，该车辆功能设置用于在纵向和/或横向方向上自动引导车辆。
7.该方法包括基于与车辆环境有关的环境数据确定对于车辆执行器的车辆功能的测试控制指令，该测试控制指令不由执行器实施。该方法还包括基于环境数据并在使用与车辆环境中的至少一个交通参与者有关的交通参与者模型的情况下模拟如果实施了测试控制指令将存在的虚构的交通状况。
8.该方法还包括提供与虚构交通状况相关的测试数据。车辆功能在此在车辆中被动运行以确定测试控制指令。
9.这种方法的缺点是为了验证和/或确认车辆功能，需要车辆的实际运行来确定所需的数据。
10.至少部分自动驾驶的交通工具的制造商需要并行的、基于模拟的解决方案。这就是测试方法“基于场景的测试”的作用。为此需要智能的测试重调装置来评估模拟结果并在必要时更改参数。


技术实现要素：

11.因此，本发明的任务是提供一种方法、测试单元、计算机程序和计算机可读数据载体，其用于通过关键绩效指标(kpi)在基于场景的测试中评估模拟和/或测试情形和/或认证待测试的至少部分自动的驾驶功能。在本发明的一种有利实施方式中，kpi通过kpi插件体现并且为模拟和/或测试情形动态且可重新使用地选择kpi插件。在此至少一个kpi插件
由kpi插件机制在模拟和/或测试定义时选择并自动由kpi插件机制在执行期间执行。
12.根据本发明，所述任务通过一种根据权利要求1所述的用于通过关键绩效指标(kpi)在基于场景的测试中评估模拟和/或测试情形和/或认证待测试的至少部分自动的驾驶功能的计算机实现的方法，根据权利要求12所述的测试单元、根据权利要求14所述的计算机程序和根据权利要求15所述的计算机可读数据载体来解决。
13.自动驾驶车辆包含大量控制器。每个单独的控制器及其组合必须在开发和认证期间进行广泛的测试。为了确保控制器在每种交通状况下都能正常工作，基于场景进行测试。在基于场景的测试中，在尽可能真实的交通状况下分析车辆的行车方式。待分析的交通状况的各个方面及其评估取决于待测试的系统。为此，在对用于机动车自动引导的系统和系统部件进行基于场景的测试时，定义场景，这些场景可被描述为交通状况的抽象。然后可为每个场景执行测试情形。逻辑场景在此是在不定义具体参数值的情况下对交通状况的抽象，所述交通状况具有道路、驾驶行为和周围交通。通过选择具体参数值，由逻辑场景变为具体场景。这种具体场景相应于单独的交通状况。
14.为了基本根据本发明区分基于场景的测试中的交通场景或者说场景，不仅使用静态参数，例如但不限于周围环境、建筑物或车道宽度，而且尤其是也使用各个交通参与者的驾驶行为。交通参与者的运动和因此驾驶行为通过轨迹来描述。轨迹描述了空间和时间方向上的路径。通过参数如速度可区分交通参与者的运动。
15.自动驾驶功能通过系统、如控制器实现。控制器通常在真实车辆中在真实交通状况下进行测试，通过硬件在环测试或完全虚拟测试进行验证。为此也可使用模拟。
16.通过使用本方法例如可区分所谓的切入场景(cut-in-szenario)与其它场景。切入场景可描述为这样的交通状况，在其中高度自动化或自动驾驶的车辆在预定车道上行驶并且另一车辆以比自车低的速度从另一车道在距自车一定距离处切入自车的车道。自车在此是指被测车辆(sut)。
17.自车和所述另一车辆(也称为同伴车辆)的速度在此是恒定的。由于自车的速度高于同伴车辆的速度，所以自车必须减速以避免两车相撞。
18.但切入场景也可以各种特征形式存在，例如通过区分交通参与者的速度。
19.此外还有一种场景，如超车场景，在其中自车为超车车辆，因此自车在预定车道上行驶并且超过另一速度比自车低的车辆。在此自车变换/切入到另一车道并以更高的速度从同伴车辆旁驶过。在该场景中，自车的速度不必是恒定的。在自车从同伴车辆旁驶过后，自车切回到到之前的车道。
20.这种场景可以用不同的参数值来模拟。为了尽可能节省资源地使用模拟和计算时间，需要测试重调装置来实现高覆盖率-认证。为此，必须对模拟结果进行适当的评估，但必要时也必须对每个模拟步骤进行评估。
21.在根据本发明的方法中，术语“关键绩效指标”(kpi)是指kpi值，通过该值可在模拟至少部分自动驾驶的车辆之后或期间测量和/或确定与重要目标或关键成功因素有关的进展或实现程度。kpi和/或kpi值允许对模拟和/或模拟步骤进行评估以进行测试重调(testnachsteuerung)，从而可以更有针对性、更节省资源且更省时的方式进行测试。
22.为此，根据本发明kpi被实现为kpi插件。kpi插件包括可执行脚本或者说kpi脚本和配置描述。kpi值的确定方式记录在可执行脚本中并且在配置描述中至少说明脚本需要
哪些输入数据，必须如何执行，以及必要时描述kpi插件能适用哪些场景的附加元数据。指示kpi插件在场景中的适用性的元数据例如可以是用于场景参数，如特殊的车道宽度，或行驶情况参数，如交通参与者数量或速度限制的条件。由此kpi插件可在不同的场景和/或测试中重复使用。为此无需调整待执行脚本和/或配置文件以用于不同的场景。因此，kpi插件可在测试和模拟创建和/或模拟执行期间动态地选择并且可集成到测试和/或模拟中并且因此可用于不同场景中的不同模拟和/或测试中。根据本发明，选择可在测试和/或模拟创建之前和/或之后进行。插件的选择可根据本发明的实施方式而变化。在一种优选实施方式中，可以由测试/模拟创建者在用户界面中选择kpi插件。在其它实施方式中，kpi插件的可编程集成(eine programmierbare einbindung)也是可能的。其它实施方式应包括在根据本发明的计算机实现的方法中。根据本发明的计算机实现的方法缩短了包括模拟创建在内的模拟的执行时间。
23.本发明的另一任务是自动化执行所述至少一个选择的kpi插件。为此设置kpi插件机制。通过测试定义和/或模拟创建，kpi插件机制得到kpi插件。然后，kpi插件机制保留kpi插件并在预定位置处执行它。kpi插件的执行提供kpi值，kpi插件机制在执行后针对测试和/或模拟结果保存该kpi值。
24.kpi插件机制设置用于以两种不同方案执行kpi插件。实施方案在配置文件中被确定。
25.第一种实施方案在线并且因此与模拟同时进行。在此情况下，在每个模拟步骤中进行评估并且kpi值在模拟之后立即可用。评估基于执行期间可用的模拟参数，如场景参数和/或行驶情况参数进行。
26.第二种实施方案在当前模拟的下游，即离线进行。因此在模拟期间不考虑实时参数并用于确定kpi值，而是在模拟之后才确定kpi值。模拟结果被传输到kpi脚本以用于确定kpi值。
27.原则上，kpi插件机制可保留至少一个kpi插件，也可保存多个kpi插件。所有登记到kpi插件机制的kpi插件都被执行以用于测试执行和/或模拟。
28.为了改善可重新使用性，所有kpi插件都在一个kpi插件池中进行管理。
29.与将评估集成到基于场景的测试中的已知方法相比，kpi插件机制管理kpi插件及其执行。因此，kpi插件不与模拟固定关联并且也不必根据场景或sut重新定义。在已知方法中需要将评估和场景关联起来。除了可重新使用性之外，在根据本发明的方法中kpi插件的自动执行也很突出。在运行时，kpi插件机制自动加载、检查和执行所选kpi插件。
30.kpi插件机制需要用于kpi脚本的标准化kpi配置和标准化接口。预定的标准允许分开处理kpi开发与场景开发。
31.本发明的其它实施方式是其它从属权利要求和下述参照附图的说明的技术方案。
32.测试单元包括用于通过关键绩效指标(kpi)在基于场景的测试中评估模拟和/或测试情形和/或认证待测试的至少部分自动的驾驶功能的装置。
33.根据本发明的另一方面，还提供一种具有程序代码的计算机程序，以便当计算机程序在计算机上运行时执行根据本发明的方法。根据本发明的另一方面，提供一种具有计算机程序的程序代码的数据载体，以便当计算机程序在计算机上运行时执行根据本发明的方法。
34.本文描述的计算机实现的方法的特征可用于通过关键性能指标(kpi)在基于场景的测试中评估模拟和/或测试情形和/或认证待测试的至少部分自动的驾驶功能。根据本发明的测试单元也适用于通过评估不同场景或行驶情况的模拟结果和/或模拟步骤对例如汽车、营运车辆和/或商用车辆、船舶或飞机的大量不同设备或控制器进行测试重调。
附图说明
35.为了更好地理解本发明及其优点，现在结合附图参考下述说明。在下文中借助在附图的示意图中示出的示例性实施方式详细阐述本发明。附图如下：
36.图1示出根据本发明区分场景的示意图；
37.图2示出表明关键和非关键测试结果之间的边界的示意图；
38.图3示出kpi插件的根据本发明的图示；
39.图4示出用于根据本发明说明kpi插件机制和kpi插件池的示意图；
40.图5示出用于根据本发明说明kpi插件的使用的示意图；
41.图6示出用于根据本发明说明kpi插件的使用的示意图；
42.图7示出根据本发明确定kpi值的示意图；
43.图8示出kpi插件机制的根据本发明的离线使用的过程；
44.图9示出kpi插件机制的根据本发明的在线使用的过程。
具体实施方式
45.图1描述了两种不同的场景s1和s2。各示出一个十字路口区域。在两个场景s1和s2中示出自车(ego)。在s1中，自车(ego)执行转向操作。自车也是“被测对象”(sut)。在此四辆同伴车辆(f1到f4)参与。在s2中，自车在没有同伴车辆参与的情况下沿行驶路线直线行驶。因此，场景参数以及行驶情况参数存在差异。场景的目的例如可以是测试和模拟自适应巡航控制系统。在定义测试时，kpi插件机制得到用于评估自适应巡航控制系统的kpi插件，该kpi插件包括脚本和配置描述。在模拟期间和/或之后，执行定义的kpi脚本并保存产生的kpi值。可以为两种场景使用一个相同的kpi插件。
46.在另一种实施方式中，自适应巡航控制系统可在自车(ego)中在高速公路和/或市中心的场景中进行测试。在此尤其是可关注切入过程(cut-in-szenario)。在此场景的区别尤其是在于场景参数。
47.首先，在测试配置时选择高速公路场景。在该场景中，对于自车(ego)重要的是是否发生了碰撞。此外，应通过撞击速度确定碰撞的严重程度。如果没有发生碰撞，则关注切入者与具有自适应巡航控制系统的自车(ego)之间的最小距离。对于这些规定可定义具有特定值域的kpi插件。kpi插件的具体实现在kpi脚本中进行。为脚本创建配置描述，在所述配置描述中描述评估并列出所需的模拟信息。该kpi插件可实现为在线或离线kpi插件。在测试定义时，kpi插件机制得到包括脚本和配置描述的kpi插件。在模拟期间和/或之后，执行定义的kpi脚本并保存产生的kpi值。在高速公路场景的测试执行之后，自车(ego)也可在第二场景中，例如在市中心进行测试。在这种情况下，存在对于kpi插件所需的模拟信息，使得可在测试定义时再次选择该kpi插件。这种可重新使用性通过使用kpi插件机制来实现。除了所描述的用于测试自适应巡航控制系统的kpi插件外，还可使用其它kpi插件，它们例
如在试驾和/或模拟期间评估车辆的舒适性或消耗。
48.图2示出一个表明关键和非关键测试结果之间的边界的函数。所示出的点是模拟的测试结果。作为替代方案，它们也可以是近似计算的测试结果。
49.所示函数为安全目标函数，在一种优选实施方式中其具有这样的数值，该数值在自车(ego)和其它机动车，即同伴车辆之间的安全距离≥vfellow x 0.55时具有最小值，在自车(ego)和其它机动车发生碰撞时具有最大值，并且在自车和其它机动车之间的安全距≤vfellow x 0.55时具有大于最小值的数值。这种安全目标函数可以是kpi脚本的一部分并且用于确定kpi值。
50.代替安全目标函数，例如可模拟和/或逼近舒适度目标函数或效率目标函数，其具有这样的数值，该数值在机动车的加速度没有变化的情况下具有最小值，在自车(ego)和其它机动车发生碰撞的情况下具有最大值，并且在自车(ego)的加速度变化时根据加速度的变化量具有在最小值和最大值之间的数值。多个行驶情况参数、尤其是自车(ego)的速度vego和其它机动车、同伴车辆的速度vfellow例如通过模拟在预定的定义范围内生成。
51.为了评估，这种目标函数可集成在kpi插件中并且在测试和/或模拟定义时被选择。kpi插件可在模拟中直接执行，从而可确定kpi值。
52.图3示出kpi插件(kpi-p-i)的根据本发明的图示。kpi插件(kpi-p-i)具有与kpi插件机制的接口。此外，kpi插件(kpi-p-i)包括配置文件(c)和可执行脚本(s)。
53.配置文件(c)说明关于使用方式的信息，即在哪种类型的场景下可进行评估。该信息例如可包括场景参数和/或行驶情况参数，如尤其是场景中的车道宽度和/或交通参与者的数量和/或速度限制。该列举并非穷举，其仅用于说明信息类型。此外，通过配置文件(c)明确：kpi插件(kpi-p-i)是否可在线、即在模拟期间使用，或可离线、即在模拟之后使用。可执行脚本(s)包含用于确定kpi值的信息，该kpi值用于评估模拟和/或模拟步骤。
54.图4示出用于根据本发明说明kpi插件机制(kpi-p-i-m)和kpi插件池(kpi-p-i-p)的示意图。
55.所有可用的kpi插件(kpi-p-i)在kpi插件池(kpi-p-i-p)中被收集和管理。这涉及当前使用的kpi插件(kpi-p-i)以及未使用的kpi插件(kpi-p-i)。可通过kpi插件池(kpi-p-i-p)查看所有已知的kpi插件(kpi-p-i)。
56.kpi插件机制(kpi-p-i-m)控制所选kpi插件(kpi-p-i)的自动执行。与将评估集成到基于场景的测试中并且因此例如与场景本身关联的常用方法相比，kpi插件机制(kpi-p-i-m)管理kpi插件(kpi-p-i)及其执行。因此，kpi并不与模拟固定关联并且不必为每个场景或sut重新定义，而是作为kpi插件(kpi-p-i)被使用，在kpi插件池(kpi-p-i-p)中进行管理并由kpi插件机制(kpi-p-i-m)执行。由此，可确保kpi插件(kpi-p-i)的可重新使用性并且kpi插件(kpi-p-i)的自动执行显著节省了时间和资源。在运行时，kpi插件机制(kpi-p-i-m)自动加载、检查和执行所选kpi插件。
57.图5示出用于根据本发明说明kpi插件(kpi-p-i)在具体场景中进而在定义的模拟/定义的测试中的使用的示意图。
58.为此，在图5中示出具有两个kpi插件(kpi-p-i)kpi-p-i1和kpi-p-i2的kpi插件机制(kpi-p-i-m)。kpi插件机制(kpi-p-i-m)结合场景s1中的测试t1示出。
59.在此kpi插件(kpi-p-i)kpi-p-i1和kpi-p-i2不直接与场景关联。通过它们的通用
和动态定义，kpi插件(kpi-p-i)可重复用于不同的场景和测试。因此，不必为每个新场景创建新的kpi插件机制(kpi-p-i-m)或新的kpi插件(kpi-p-i)。
60.图6还示出用于根据本发明说明kpi插件(kpi-p-i)在具体场景中进而在定义的模拟/测试中的使用的示意图。
61.在此，kpi插件机制(kpi-p-i-m)结合场景s2中的测试t2示出。图6示出具有kpi插件(kpi-p-i)kpi-p-i1和kpi-p-i3的kpi插件机制(kpi-p-i-m)。kpi插件(kpi-p-i)不直接与场景或测试关联。由此说明kpi插件(kpi-p-i)kpi-p-i1既可用于图5所示的s1，也可用于图6所示的s2。这种重新使用无需调整相应的kpi插件和与kpi插件的相配脚本。
62.图7示出根据本发明确定kpi值的示意图。如果对于场景和其中对于特定sut重要的是碰撞(v-c)的发生，则要为此选择一个kpi插件(kpi-p-i)，如评估行驶情况安全性的插件(safety kpi)。该kpi插件(kpi-p-i)尤其是可确定碰撞(v-c)时的撞击速度(i-v)或者如果没有发生碰撞(v-c)，则说明自车(ego)与同伴车辆的最小距离(min d)。尤其是在切入场景中，在其中例如应测试自适应巡航控制系统，这些结果对于场景的评估是重要的。所确定的kpi值可用作模拟的重新参数化的基础。
63.图8示出kpi插件机制(kpi-p-i-m)的根据本发明的离线使用的过程。
64.kpi插件(kpi-p-i)形式的kpi可由kpi插件机制(kpi-p-i-m)在线或离线执行。在离线情况下，kpi执行、即kpi插件(kpi-p-i)的执行可由kpi插件机制(kpi-p-i-m)在模拟之后立即进行。执行kpi也可在晚些时候进行。
65.首先，进行作业或测试情形的配置(c-j)。该配置用于测试执行(e-j)并且用作模拟(sim)的输入。通过模拟(sim)生成测试结果(t-r)，这些测试结果被提供给kpi插件机制(kpi-p-i-m)并且在执行所选kpi插件(kpi-p-i)时被使用。
66.在一种有利的实施方式中，kpi值形式的kpi插件机制(kpi-p-i-m)的结果可被传输回测试配置(c-j)并导致优化的测试创建。一种可能性是将kpi值用于更好的参数配置，从而可实现更高的测试覆盖。
67.图9示出kpi插件机制(kpi-p-i-m)的根据本发明的在线使用的过程。
68.为此，在一种优选实施方式中，来自模拟(sim)的信息在每个模拟步骤之后被传输到kpi插件机制(kpi-p-i-m)。通过kpi插件机制(kpi-p-i-m)执行所选kpi插件(kpi-p-i)并将kpi值直接传输回模拟(sim)。包括kpi值的结果(t-r)一起被传输到测试创建和配置(c-j)并且可优选用于生成优化的测试情形和/或优化的参数配置。
69.kpi插件(kpi-p-i)也可附加地用作用于模拟(sim)的中止条件。在另一种优选实施方式中，如果通过kpi插件机制(kpi-p-i-m)生成的kpi值超过在配置中定义的阈值，则通过在下一模拟步骤中传输kpi值可引起模拟中止。阈值可包含在测试定义中和/或kpi插件(kpi-p-i)的配置文件(c)中。