自动驾驶系统的测试方法、装置、电子设备及存储介质与流程

1.本技术涉及车辆智能驾驶测试技术领域，特别涉及一种自动驾驶系统的测试方法、装置、电子设备及存储介质。


背景技术：

2.随着汽车行业的快速发展，自动驾驶技术的愈发成熟，自动驾驶车辆所面临的驾驶系统也将会越来越复杂，因此，对于车辆自动驾驶系统的测试尤为重要。
3.相关技术中，自动驾驶系统算法的测试评价方法，一方面依靠于实车封闭场地测试和道路测试，另一方面依靠虚拟仿真测试技术加速测试，将被测算法闭环到仿真软件中进行测试，其主要是基于功能需求的评价指标和基于场景的性能评价指标。针对功能需求的评价指标需依赖于案例设计，首先判断算法是否能够应对这些工况，再根据工况的难度进行加权打分，最后基于场景的性能评价会根据车辆运动的数据，对算法的鲁棒性，安全性进行评估，最终得出算法在真实环境中的表现评分。
4.然而，现有的测试评价方法无法完全满足智能驾驶测试需求，一方面是对于感知部分，希望测试到算法根据摄像头图像和雷达点云感知到的目标列表、车道线、交通标识等信息是否与仿真软件的真值信息是否一致，根据一致性进行评分；另一方面，l2级的算法无法应对所有的长尾工况，因此在危险工况下不同的时机报了接管后，后续的评分应按照区别对待给分以及合适的结果，从而提示以实现更高效率的发现问题和算法的针对性优化。因此，智能驾驶汽车算法需要一种更为细致，有针对性的方法来进行较为全面和科学的仿真测试。


技术实现要素：

5.本技术提供一种自动驾驶系统的测试方法、装置、车辆及存储介质，以解决相关技术中的测试评价方法无法满足自动驾驶测试需求，获取的测试信息与仿真真值信息不匹配、缺乏针对性等问题。
6.本技术第一方面实施例提供一种自动驾驶系统的测试方法，包括以下步骤：
7.获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息；根据所述真值环境信息、所述感知信息和所述输入输出信息构建所述仿真环境，并在所述仿真环境下，获取多个行驶工况下所述自动驾驶系统的安全性数据、舒适性数据和违规数据；以及对所述多个行驶工况下所述自动驾驶系统的安全性数据、舒适性数据和违规数据按照时间比例加权计算每个数据的测试得分，根据所述每个数据的测试得分得到所述自动驾驶系统的测试结果。
8.根据上述技术手段，根据在仿真环境下获取的各种测试数据信息，以及得到的相关数据，进行加权计算后进行最终分析，得到测试结果，提高了测试信息与仿真环境下真值信息的匹配度，使测试更为全面科学。
9.进一步地，在本技术的一个实施例中，所述获取多个行驶工况下所述自动驾驶系
统的安全性数据、舒适性数据和违规数据，包括：获取所述多个行驶工况下的车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度；根据所述车辆与车道中心线的偏离信息、所述车辆横纵向速度、所述车辆航向角、所述车辆方向盘转角、所述车辆方向盘转角速率和所述车辆加速度得到所述自动驾驶系统的安全性数据、舒适性数据和违规数据。
10.根据上述技术手段，通过在多种工况下测试获得取的车辆信息，提高了车辆自动驾驶系统的精度，使测试更具有针对性。
11.进一步地，在本技术的一个实施例中，所述行驶工况包括自由巡航工况、弯道行驶工况、主动换道工况、驾驶员接管工况中的至少两种。
12.根据上述技术手段，通过在不同工况下对车辆自动驾驶系统进行测试，使测试结果更为全面、精细。
13.进一步地，在本技术的一个实施例中，所述真值环境信息包括车辆周围动静态交通参与者的当前位置、当前速度、当前几何信息、当前分类信息，以及静态路网的车道线信息、静态路网的道路拓扑信息中的至少一种。
14.根据上述技术手段，通过对真值环境信息多方面进行测试，使测试结果更具有针对性，能够及时发现问题并针对问题进行优化。
15.进一步地，在本技术的一个实施例中，所述目标传感器包括摄像头、毫米波雷达、超声波雷达、激光雷达、高精度地图和组合导航中的至少一种。
16.根据上述技术手段通过多个传感器进行采集测试信息，确保了测试精度、提高了测试效率。
17.本技术第二方面实施例提供一种自动驾驶系统的测试装置，包括：获取模块，用于获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息；构建模块，用于根据所述真值环境信息、所述感知信息和所述输入输出信息构建所述仿真环境，并在所述仿真环境下，获取多个行驶工况下所述自动驾驶系统的安全性数据、舒适性数据和违规数据；以及计算模块，用于对所述多个行驶工况下所述自动驾驶系统的安全性数据、舒适性数据和违规数据按照时间比例加权计算每个数据的测试得分，根据所述每个数据的测试得分得到所述自动驾驶系统的测试结果。
18.进一步地，在本技术的一个实施例中，所述构建模块，包括：第一获取单元，用于获取所述多个行驶工况下的车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度；第二获取单元，用于根据所述车辆与车道中心线的偏离信息、所述车辆横纵向速度、所述车辆航向角、所述车辆方向盘转角、所述车辆方向盘转角速率和所述车辆加速度得到所述自动驾驶系统的安全性数据、舒适性数据和违规数据。
19.进一步地，在本技术的一个实施例中，所述真值环境信息包括车辆周围动静态交通参与者的当前位置、当前速度、当前几何信息、当前分类信息，以及静态路网的车道线信息、静态路网的道路拓扑信息中的至少一种。
20.进一步地，在本技术的一个实施例中，所述真值环境信息包括车辆周围动静态交通参与者的当前位置、当前速度、当前几何信息、当前分类信息，以及静态路网的车道线信息、静态路网的道路拓扑信息中的至少一种。
21.进一步地，在本技术的一个实施例中，所述目标传感器包括摄像头、毫米波雷达、超声波雷达、激光雷达、高精度地图和组合导航中的至少一种。
22.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的自动驾驶系统的测试方法。
23.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的自动驾驶系统的测试方法。
24.本技术实施例通过获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息，在仿真环境下，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据，并按照时间比例加权计算每个数据的测试得分，根据每个数据的测试得分得到自动驾驶系统的测试结果，通过数据采集程序自动化地收集数据，并经过多个维度的评价程序生成量化的评估结果，对问题进行自动化分析，以减少人工介入，从而节约了成本、加快了试验速度。由此，解决了相关技术中的测试评价方法无法满足自动驾驶测试需求，获取的测试信息与仿真真值信息不匹配、缺乏针对性等问题。
25.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
26.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
27.图1为根据本技术实施例提供的一种自动驾驶系统的测试方法的流程图；
28.图2为根据本技术一个实施例的仿真执行过程流程示例图；
29.图3为根据本技术一个实施例的自动化测试执行流程图；
30.图4为根据本技术一个实施例的弯道行驶时舒适性和安全性评价指标示例图；
31.图5为根据本技术实施例的自动驾驶系统的测试装置的示例图；
32.图6为根据本技术实施例的电子设备的结构示意图。
33.附图标记：10-自动驾驶系统的测试装置；100-获取模块、200-构建模块、300-计算模块。
具体实施方式
34.下面详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
35.下面参考附图描述本技术实施例的自动驾驶系统的测试方法、装置、车辆及存储介质。针对上述背景技术中提到的测试评价方法无法满足自动驾驶测试需求，获取的测试信息与仿真真值信息不匹配、缺乏针对性的问题，本技术提供了一种自动驾驶系统的测试方法，在该方法中，通过获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息，在仿真环境下，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据，并按照时间比例加权计算每个数据的测试得分，根据每个数据的测
试得分得到自动驾驶系统的测试结果，通过数据采集程序自动化地收集数据，并经过多个维度的评价程序生成量化的评估结果，对问题进行自动化分析，以减少人工介入，从而节约了成本、加快了试验速度。由此，解决了相关技术中的测试评价方法无法满足自动驾驶测试需求，获取的测试信息与仿真真值信息不匹配、缺乏针对性等问题。
36.具体而言，图1为本技术实施例所提供的一种自动驾驶系统的测试方法的流程示意图。
37.如图1所示，该自动驾驶系统的测试方法包括以下步骤：
38.在步骤s101中，获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息。
39.可选地，本技术实施例的真值环境信息可以包括车辆周围动静态交通参与者的当前位置、当前速度、当前几何信息、当前分类信息，以及静态路网的车道线信息、静态路网的道路拓扑信息中的至少一种；目标传感器可以包括摄像头、毫米波雷达、超声波雷达、激光雷达、高精度地图和组合导航中的至少一种。
40.具体地，本技术实施例在仿真测试过程中，通过利用通信技术获取到仿真环境的真值环境信息、目标传感器的感知信息以及自动驾驶系统的输入输出信息，以此进行实时的功能性需求的评估，即通过案例设计生成的执行脚本在仿真运行中判断是否进入了该步骤事件，是否满足该事件的验证准则等。
41.具体来说，本技术实施例对于l3(有条件自动驾驶)及以下级别的自动驾驶系统的测试中，需测试其功能逻辑是否正常，若逻辑功能正常，即进一步判断在可执行范围域内的场景是否按照需求设计来正确应对，在算法满足一定的测试条件时(包括但不限于外部场景信息、算法内部状态)触发某个事件，如驾驶员操作、故障注入、控制交通参与者运动等事件，观测算法输出结果是否满足需求。需要说明的是，上述的观测算法输出结果包括但不限于感知是否准确，决策是否合理，控制是否正常执行。
42.进一步地，如图2所示，对于仿真执行过程，既是对上述不同步骤在时间域上的广延
43.具体而言，本技术实施例的仿真执行过程完成时，该案例的执行过程会有通过或未通过两个状态。对于通过的案例，在算法满足一定的测试条件并触发某个事件时，需进一步判断该触发事件是否为测试最后步骤，若是，则案例通过，否则需重新判断该事件是否满足进入测试步骤条件；对于未通过的案例，会根据读取该步骤的进入条件来查看外部场景信息、算法内部状态进行区分案例阻塞或失败的原因，也就是说，可以通过读取该步骤的进入条件来查看外部场景信息、算法内部状态进一步该案例是因为场景搭建不符合设计导致的阻塞或者是因为算法并未正常识别场景信息，从而未正确做出预期的决策且未进行正确控制而导致的案例失败。
44.一方面，对于上述因为场景搭建不符合设计导致的案例阻塞的情况，需要通过测试人员进一步分析测试场景搭建是否合理，案例设计是否有误。
45.另一方面，对于上述未正确做出预期决策而导致案例失败的情况，也需要开发人员结合感知一致性的评分和数据进行失败错误分析。
46.仿真测试结束后，会根据仿真过程中识别到的工况进行时间域上的划分，并根据预先设定的对不同工况的评价模块进行评分。
47.在步骤s102中，根据真值环境信息、感知信息和输入输出信息构建仿真环境，并在仿真环境下，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据。
48.可选地，在本技术的一个实施例中，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据，包括：获取多个行驶工况下的车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度；根据车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度得到自动驾驶系统的安全性数据、舒适性数据和违规数据。
49.可选地，本技术实施例所采用的行驶工况可以包括自由巡航工况、弯道行驶工况、主动换道工况、驾驶员接管工况中的至少两种。需要说明的是，上述工况仅为根据算法本身的逻辑优选的提供分类，其目的是针对不同的工况去调用不同的评价准则来实现合理的评分；对于普通工况来说会进行交规的评价，而对于驾驶员接管工况则只进行安全性的评价。
50.进一步地，本技术实施例在仿真测试环境下可以获取到不同工况下的车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度，并根据车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度进而得到自动驾驶系统的安全性数据、舒适性数据和违规数据。
51.在步骤s103中，对多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据按照时间比例加权计算每个数据的测试得分，根据每个数据的测试得分得到自动驾驶系统的测试结果。
52.具体地，本技术实施例获得自动驾驶系统的安全性数据、舒适性数据和违规数据后，还需对算法的舒适性数据、安全性数据和违规数据按照时间比例加权的方式计算每个数据的测试得分。
53.举例而言，如图3所示，若本技术实施例的行驶工况处于自由巡航的工况中，则在仿真测试环境下对轨迹对中，急动度(加速度变化率)的要求较高，会特殊的对该部分数据阈值进行收窄得到体验得分；然后会对压虚线，与车道中心线的偏离情况进行扣分处理。优选的，其得分公式为，1-∫vtotdt/∫vtdt，其中，v为速度，t为时间，o为当前时间点上本车偏离车道中心点的距离。
54.可选地，如图3、图4所示，若本技术实施例的行驶工况处于弯道行驶工况，则会对速度和加速度的要求较高，针对不同的弯道半径，其安全指标、舒适指标的速度和侧向加速度分别有不同的评分细则。
55.可选地，如图3所示，若本技术实施例的行驶工况处于主动换道行驶工况，此时使用轨迹对中评分就会不合适，因此，需要针对驾驶员体验的车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率、车辆加速度的评价以及车间距等安全性能进行打分。其中，具体的阈值选取可以根据实际车型的性能酌情标定，在此不做具体限定。
56.可选地，如图3所示，若本技术实施例的行驶工况处于驾驶员接管工况，此时则只适用安全性评分，而不适用舒适性评分以及是否违反交通规则评分等。需要说明的是，本技术实施例中所有具有接管工况的案例都需要显著标明触发接管，以对自动驾驶系统测试的算法进行针对性优化。
57.可选地，除了上述工况所对应的不同评分标准，还可以通过对感知输出的信息与
环境真值信息进行对比，从而一致性进行打分，以充当额外的分数作为优化方向的参考。
58.综上，针对功能需求的评价指标进行案例设计，并根据算法所应对的不同工况，再根据工况的难度进行加权打分，最后基于场景的性能评价、车辆运动的数据，算法的鲁棒性以及安全性进行评估，最终得出算法在真实环境中的表现评分。
59.根据本技术实施例提出的自动驾驶系统的测试方法，通过获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息，在仿真环境下，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据，并按照时间比例加权计算每个数据的测试得分，根据每个数据的测试得分得到自动驾驶系统的测试结果，通过数据采集程序自动化地收集数据，并经过多个维度的评价程序生成量化的评估结果，对问题进行自动化分析，以减少人工介入，从而节约了成本、加快了试验速度。由此，解决了相关技术中的测试评价方法无法满足自动驾驶测试需求，获取的测试信息与仿真真值信息不匹配、缺乏针对性等问题。
60.其次参照附图描述根据本技术实施例提出的自动驾驶系统的测试装置。
61.图5是本技术实施例的自动驾驶系统的测试装置的方框示意图。
62.如图5所示，该自动驾驶系统的测试装置10包括：获取模块100、构建模块200和计算模块300。
63.其中，获取模块100，用于获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息；
64.构建模块200，用于根据真值环境信息、感知信息和输入输出信息构建仿真环境，并在仿真环境下，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据；以及
65.计算模块300，用于对多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据按照时间比例加权计算每个数据的测试得分，根据每个数据的测试得分得到自动驾驶系统的测试结果。
66.可选地，在本技术的一个实施例中，构建模块200，包括：第一获取单元和第二获取单元。
67.其中，第一获取单元，用于获取多个行驶工况下的车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度；
68.第二获取单元，用于根据车辆与车道中心线的偏离信息、车辆横纵向速度、车辆航向角、车辆方向盘转角、车辆方向盘转角速率和车辆加速度得到自动驾驶系统的安全性数据、舒适性数据和违规数据。
69.可选地，在本技术的一个实施例中，真值环境信息包括车辆周围动静态交通参与者的当前位置、当前速度、当前几何信息、当前分类信息，以及静态路网的车道线信息、静态路网的道路拓扑信息中的至少一种。
70.可选地，在本技术的一个实施例中，真值环境信息包括车辆周围动静态交通参与者的当前位置、当前速度、当前几何信息、当前分类信息，以及静态路网的车道线信息、静态路网的道路拓扑信息中的至少一种。
71.可选地，在本技术的一个实施例中，目标传感器包括摄像头、毫米波雷达、超声波雷达、激光雷达、高精度地图和组合导航中的至少一种。
72.根据本技术实施例提出的自动驾驶系统的测试装置，通过获取仿真环境的真值环境信息、目标传感器的感知信息和自动驾驶系统的输入输出信息，在仿真环境下，获取多个行驶工况下自动驾驶系统的安全性数据、舒适性数据和违规数据，并按照时间比例加权计算每个数据的测试得分，根据每个数据的测试得分得到自动驾驶系统的测试结果，通过数据采集程序自动化地收集数据，并经过多个维度的评价程序生成量化的评估结果，对问题进行自动化分析，以减少人工介入，从而节约了成本、加快了试验速度。由此，解决了相关技术中的测试评价方法无法满足自动驾驶测试需求，获取的测试信息与仿真真值信息不匹配、缺乏针对性等问题。
73.图6为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
74.存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
75.处理器602执行程序时实现上述实施例中提供的自动驾驶系统的测试方法。
76.可选地，电子设备还包括：
77.通信接口603，用于存储器601和处理器602之间的通信。
78.存储器601，用于存放可在处理器602上运行的计算机程序。
79.存储器601可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
80.如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
81.可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
82.处理器602可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
83.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的自动驾驶系统的测试方法。
84.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
85.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
86.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
87.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
88.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
89.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。