基于正交实验改善自动驾驶测试用例的方法与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种基于正交实验改善自动驾驶测试用例的方法。


背景技术：

2.目前，基于驾驶场景设计测试用例来测试自动驾驶系统并改进原有自动驾驶系统成为l2及以上测试自动驾驶系统的主流方向。通过将驾驶场景进行解构成，生成构成场景的元素，并对各个元素在样本中出现的概率进行统计，然后基于统计分布来组合成测试用例。但是存在一个棘手的问题，如果场景元素的取值数量增加的话，就会使生成测试用例的数量急剧增加，由于生成的测试样例间存在同质且常规低价值场景较多，就会导致之后测试时效率低下。
3.因此，亟需一种基于正交实验改善自动驾驶测试用例的方法。


技术实现要素：

4.本发明的目的是提供一种基于正交实验改善自动驾驶测试用例的方法，以解决上述现有技术中的问题，能够提高测试用例的价值，在保证测试的覆盖度下，提高测试效率。
5.本发明提供了一种基于正交实验改善自动驾驶测试用例的方法，其中，包括以下步骤：
6.根据待分析的场景确定正交试验的因素；
7.确定正交试验的各因素所对应的若干水平；
8.确定正交试验的试验评价策略；
9.根据正交试验的因素和各因素对应的水平，设计自动驾驶测试用例，并根据自动驾驶测试用例进行测试；
10.根据试验评价策略对所述自动驾驶测试用例的测试结果进行评价，并基于贡献率对各因素所对应的各水平进行筛选；
11.根据贡献率的筛选结果，对自动驾驶测试用例进行更新。
12.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述根据待分析的场景确定正交试验的因素，具体包括：
13.将采集到的同一类自然驾驶数据进行解构；
14.同时根据待测试的场景来筛选出对该场景影响较大的场景参数作为正交试验设计的因素。
15.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述将采集到的同一类自然驾驶数据进行解构，具体包括：
16.根据七层场景库架构将采集的数据进行解构，其中，所述七层场景库架构包括：道路、交通设施、道路和设施临时改变、交通参与者、气候环境、通信信息和自车状态。
17.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述确
定正交试验的各因素所对应的若干水平，具体包括：
18.判断各因素的变量类型；
19.若因素的变量类型为间隔尺寸变量，则所述确定正交试验的各因素所对应的若干水平，具体包括：
20.对采集的各个因素的样本数进行统计，按照各样本对应的该因素的取值从小到大的顺序，将该因素的样本平均划分为多个组，分组的数量为水平数，每一个组的该因素的平均取值作为该因素的水平；
21.对于名义尺寸变量，则所述确定正交试验的各因素所对应的若干水平，具体包括：
22.将所有变量的值作为该因素的水平。
23.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述确定正交试验的试验评价策略，具体包括：
24.确定正交试验的多个试验指标，其中，所述多个试验指标包括感知试验指标、决策试验指标和执行试验指标；
25.确定各所述试验指标所对应的参考变量，其中，所述感知试验指标所对应的参考变量包括准确性、感知速度、全面性和稳定性，所述决策试验指标所对应的参考变量包括决策周期和风险度，所述执行试验指标所对应的参考变量包括加速度、急动度和反应速度；
26.确定各所述试验指标所对应的试验指标评价得分，对各所述试验指标所对应的参考变量的评价得分进行加权求和，得到该试验指标对应的试验指标评价得分；
27.对各所述试验指标对应的试验指标评价得分进行加权求和，得到试验综合得分。
28.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述根据正交试验的因素和各因素对应的水平，设计自动驾驶测试用例，并根据自动驾驶测试用例进行测试，具体包括：
29.根据正交试验的设计规则、因素和各因素对应的水平，设计自动驾驶测试用例；
30.利用仿真软件绘制各所述自动驾驶测试用例；
31.在各待分析的场景下，将各所述自动驾驶测试用例依据感知试验指标、和/或决策试验指标、和/或执行试验指标进行测试。
32.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述在各待分析的场景下，将各所述自动驾驶测试用例分别依据感知试验指标、和/或决策试验指标、和/或执行试验指标进行测试，具体包括：
33.对于感知试验指标，采用传感器硬件在环测试方式来对各个传感器进行测试；
34.对于决策试验指标，采用控制器硬件在环测试方式来对各个控制算法进行测试；
35.对于执行试验指标，采用整车在环测试方式来对实车的底盘进行测试。
36.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述在各待分析的场景下，将各所述自动驾驶测试用例分别依据感知试验指标、和/或决策试验指标、和/或执行试验指标进行测试，还包括：
37.在测试过程中，对同一个自动驾驶测试用例所对应的各试验指标重复进行多次试验，并将多组试验结果的平均值作为该条自动驾驶测试用例的测试结果。
38.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述根据试验评价策略对所述自动驾驶测试用例的测试结果进行评价，并基于贡献率对各因素所
对应的各水平进行筛选，具体包括：
39.针对正交试验的各因素，将试验指标评价得分高的水平作为该因素下贡献率大的水平值，将试验指标评价得分低的水平作为该因素下当前贡献率小的水平值。
40.如上所述的基于正交实验改善自动驾驶测试用例的方法，其中，优选的是，所述根据贡献率的筛选结果，对自动驾驶测试用例进行更新，具体包括：
41.针对正交试验的各因素，删除贡献率小的水平值所对应的自动驾驶测试用例，并增加贡献率大的水平值周边的采样值。
42.本发明的基于正交实验改善自动驾驶测试用例的方法，在原有的试验基础上通过设计正交试验，来筛选出测试用例中的有价值参数，然后再在该值的附近提高采样数，以此来提高自动驾驶测试用例的典型度，删去低价值的测试用例，提高测试用例的价值，在保证测试的覆盖度下，提高测试效率。
附图说明
43.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
44.图1为本发明提供的基于正交实验改善自动驾驶测试用例的方法的实施例的流程图；
45.图2为本发明提供的基于正交实验改善自动驾驶测试用例的方法的实施例的逻辑图。
具体实施方式
46.现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。
47.本公开中使用的“第一”、“第二”：以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
48.在本公开中，当描述到特定部件位于第一部件和第二部件之间时，在该特定部件与第一部件或第二部件之间可以存在居间部件，也可以不存在居间部件。当描述到特定部件连接其它部件时，该特定部件可以与所述其它部件直接连接而不具有居间部件，也可以不与所述其它部件直接连接而具有居间部件。
49.本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
50.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
51.如前所述，目前，在基于场景来进行自动驾驶系统测试时，在对场景进行解构后，场景元素的取值多，从而导致在生成测试用例的时候，数量会急剧增加，其中包含高价值和低价值的测试用例，而低价值或者同质化的场景对测试自动驾驶系统贡献小。有鉴于此，本发明利用正交试验设计方法设计测试用例，来辨别出测试用例中重要的参数值，进而提高测试用例的价值以此覆盖更多的关键场景，这样可以减少其中的低价值场景用例，同时提高高价值场景用例的数量。
52.在当前用于测试自动驾驶系统的场景生成方面，一是专家经验，一是基于自然驾驶采集的数据，本发明主要是基于自然驾驶采集的数据进行统计分析，以此来进行测试用例的生成。
53.如图1和图2所示，本实施例提供的基于正交实验改善自动驾驶测试用例的方法在实际执行过程中，具体包括如下步骤：
54.步骤s1、根据待分析的场景确定正交试验的因素。
55.在本发明的基于正交实验改善自动驾驶测试用例的方法的一种实施方式中，所述步骤s1具体可以包括：
56.步骤s11、将采集到的同一类自然驾驶数据进行解构。
57.具体而言，根据七层场景库架构(参照《道路车辆预期功能安全》(ios/pas 21448:2019))将采集的数据进行解构。其中，所述七层场景库架构包括：道路、交通设施、道路和设施临时改变、交通参与者、气候环境、通信信息和自车状态。
58.步骤s12、同时根据待测试的场景来筛选出对该场景影响较大的场景参数作为正交试验设计的因素。
59.步骤s2、确定正交试验的各因素所对应的若干水平。
60.在本发明的基于正交实验改善自动驾驶测试用例的方法的一种实施方式中，所述步骤s2具体可以包括：
61.步骤s21、判断各因素的变量类型。
62.步骤s22、若因素的变量类型为间隔尺寸变量，则所述确定正交试验的各因素所对应的若干水平，具体包括：对采集的各个因素的样本数进行统计，按照各样本对应的该因素的取值从小到大的顺序，将该因素的样本平均划分为多个组，分组的数量为水平数，每一个组的该因素的平均取值作为该因素的水平。
63.示例性地，假设某个因素取6个水平，如果在采样中针对该因素一共出现了n个样本，就将n个样本平均分为6组，取每一组的平均值作为该因数的水平，其中，n表示样本数，xi表示第i个样本的取值。
64.步骤s23、对于名义尺寸变量，则所述确定正交试验的各因素所对应的若干水平，具体包括：将所有变量的值作为该因素的水平。
65.步骤s3、确定正交试验的试验评价策略。
66.在本发明的基于正交实验改善自动驾驶测试用例的方法的一种实施方式中，所述
步骤s3具体可以包括：
67.步骤s31、确定正交试验的多个试验指标，其中，所述多个试验指标包括感知试验指标、决策试验指标和执行试验指标。
68.步骤s32、确定各所述试验指标所对应的参考变量，其中，所述感知试验指标所对应的参考变量包括准确性、感知速度、全面性和稳定性，所述决策试验指标所对应的参考变量包括决策周期和风险度，所述执行试验指标所对应的参考变量包括加速度、急动度和反应速度。
69.由于自动驾驶系统包含感知、决策、执行三个方面，因此本发明设计的测试用例也是对这三个方面来进行评估，故将这三个方面作为正交试验的指标，其中，感知部分包含感知环境事物的准确性、感知环境的速度、感知环境的全面性，以及感知环境的稳定性这四个方面；决策系统决策由决策的时间，以及风险度(ttc)；执行系统由执行的加速度以及急动度，各试验指标及对应的参考变量见表1。
70.表1各试验指标及对应的参考变量
[0071][0072]
步骤s33、确定各所述试验指标所对应的试验指标评价得分，对各所述试验指标所对应的参考变量的评价得分进行加权求和，得到该试验指标对应的试验指标评价得分。
[0073]
由于每个试验指标的评价结果由多个变量来决定，因此在打分时需要给每个参考变量值添加权重，将权重的计算值作为每个试验指标的实验结果。以感知指标为例，将准确性、感知速度、全面性、稳定性的得分进行加权求和，得到感知指标的试验指标评价得分。
[0074]
步骤s34、对各所述试验指标对应的试验指标评价得分进行加权求和，得到试验综合得分。
[0075]
将感知指标、决策指标和执行指标对应的试验指标评价得分进行加权求和，得到试验综合得分。
[0076]
步骤s4、根据正交试验的因素和各因素对应的水平，设计自动驾驶测试用例，并根据自动驾驶测试用例进行测试。
[0077]
确定了正交试验中各个因素和各因素对应的各水平后，步骤s4开始依据正交试验的设计规则来设计测试用例。在本发明的基于正交实验改善自动驾驶测试用例的方法的一种实施方式中，所述步骤s4具体可以包括：
[0078]
步骤s41、根据正交试验的设计规则、因素和各因素对应的水平，设计自动驾驶测试用例。
[0079]
步骤s42、利用仿真软件绘制各所述自动驾驶测试用例。
[0080]
将每个测试用例通过仿真软件将其绘制出来，为之后试验做准备。
[0081]
步骤s43、在各待分析的场景下，将各所述自动驾驶测试用例依据感知试验指标、
和/或决策试验指标、和/或执行试验指标进行测试。
[0082]
考虑到控制单一变量，本发明将一个场景依据三个指标来展开不同的试验。本发明在一些实施方式中，可以仅对一个指标进行测试，也可以对两个指标或三个指标同时进行测试，本发明对此不作具体限定。在本发明的基于正交实验改善自动驾驶测试用例的方法的一种实施方式中，所述步骤s43具体可以包括：
[0083]
步骤s431、对于感知试验指标，采用传感器硬件在环测试方式来对各个传感器进行测试。
[0084]
对于试验指标是感知的部分，需要针对感知环境的传感器来做试验，因此本发明采用传感器硬件在环来对各个传感器进行测试。
[0085]
步骤s432、对于决策试验指标，采用控制器硬件在环测试方式来对各个控制算法进行测试。
[0086]
对于试验指标是决策的部分，需要对控制算法来做试验，因此本发明采用控制器的硬件在环来进行测试。
[0087]
步骤s433、对于执行试验指标，采用整车在环测试方式来对实车的底盘进行测试。
[0088]
对于执行的部分，需要对实车的底盘来做试验，因此本发明通过整车在环来进行测试，即本发明采用三个不同的测试方式来针对不同的试验指标进行评定。
[0089]
本发明在一些实施方式中，所述步骤s43还包括：
[0090]
步骤s434、在测试过程中，对同一个自动驾驶测试用例所对应的各试验指标重复进行多次试验，并将多组试验结果的平均值作为该条自动驾驶测试用例的测试结果。
[0091]
同一个试验需要重复试验多次，最后将多组试验结果的平均值作为该条测试用例指标的结果。在仅需要对感知、决策和执行中的一个试验指标例如为决策指标进行测试时，自动驾驶测试用例的测试结果为多次试验中决策指标对应的试验指标评价得分的平均值。在需要对感知、决策和执行中的两个或三个试验指标例如为决策指标和决策指标进行测试时，自动驾驶测试用例的测试结果为多次试验中决策指标和决策指标对应的试验指标评价得分的加权求和得到的试验综合得分的平均值。
[0092]
步骤s5、根据试验评价策略对所述自动驾驶测试用例的测试结果进行评价，并基于贡献率对各因素所对应的各水平进行筛选。
[0093]
具体地，针对正交试验的各因素，将试验指标评价得分高的水平作为该因素下贡献率大的水平值，将试验指标评价得分低的水平作为该因素下当前贡献率小的水平值。本发明通过求出每个试验指标下的最重要的水平值，以及当前测试用例中贡献率最小的水平值，这样可以筛选出贡献率大的水平值与当前贡献率小的水平值。
[0094]
步骤s6、根据贡献率的筛选结果，对自动驾驶测试用例进行更新。
[0095]
具体地，针对正交试验的各因素，删除贡献率小的水平值所对应的自动驾驶测试用例，并增加贡献率大的水平值周边的采样值。
[0096]
步骤s6将步骤s5中筛选出的贡献率小的水平值从测试用例中删去，然后增加贡献率大的水平值周边的采样值，以此来优化测试用例。同时如图2所示，还能在优化的基础上选择返回步骤s4再进行迭代优化。
[0097]
本发明在仿真试验中对通过正交试验生成的每一个测试用例从感知、决策、执行三个维度来评价其中的参数的影响重要程度，即评价水平值的价值，将其中对结果影响度
较大的参数值提取出，然后在该值周围增加采样量，而影响度较小的参数就减少该参数值周围的采样量，以此改善测试用例的价值，从而来提高测试的效率。
[0098]
本发明实施例提供的基于正交实验改善自动驾驶测试用例的方法，在原有的试验基础上通过设计正交试验，来筛选出测试用例中的有价值参数，然后再在该值的附近提高采样数，以此来提高自动驾驶测试用例的典型度，删去低价值的测试用例，提高测试用例的价值，在保证测试的覆盖度下，提高测试效率。
[0099]
至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
[0100]
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。