一种辅助驾驶产品测试系统和方法与流程

1.本发明涉及辅助驾驶技术领域，尤其涉及一种辅助驾驶产品测试系统和方法。


背景技术：

2.随着车辆自动驾驶技术的迅速发展，车辆辅助驾驶日益成为最主要的车辆功能。在研发的过程中需要多次测试车辆辅助驾驶产品的各项性能。目前对于车辆辅助驾驶系统的测试手段主要为实车测试。然而，实车测试难以实现对极端天气场景、危险场景和难复原现场场景的可重复性测试，从而造成测试风险和成本较高，同时获得的测试数据不准确。


技术实现要素：

3.本发明提供了一种辅助驾驶产品测试系统和方法，以降低测试风险和测试成本，同时提高测试数据的准确性。
4.根据本发明的一方面，提供了一种辅助驾驶产品测试系统，所述系统包括：虚拟场景仿真模块、场景数据提取模块、感知数据获取模块、产品测试评价模块和评价报告生成模块；其中，所述虚拟场景仿真模块，用于构建用于测试辅助驾驶产品的虚拟场景；所述场景数据提取模块，与所述虚拟场景仿真模块连接，用于提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至所述产品测试评价模块；所述感知数据获取模块，与所述虚拟场景仿真模块连接，用于获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至所述产品测试评价模块；所述产品测试评价模块，分别与所述场景数据提取模块和所述感知数据获取模块连接，用于接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，并根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至所述评价报告生成模块；所述评价报告生成模块，用于接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。
5.根据本发明的另一方面，提供了一种辅助驾驶产品测试方法，所述方法包括：通过虚拟场景仿真模块，构建用于测试辅助驾驶产品的虚拟场景；通过场景数据提取模块，提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至产品测试评价模块；通过感知数据获取模块，获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至产品测试评价模块；通过产品测试评价模块，接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，根据关键评价指标，将所
述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至评价报告生成模块；通过评价报告生成模块，接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。
6.本发明实施例的技术方案，通过虚拟场景仿真模块，构建用于测试辅助驾驶产品的虚拟场景。通过场景数据提取模块，提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至产品测试评价模块，从而可以获得目标车辆在仿真环境中的各项真实数据信息。通过感知数据获取模块，获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至产品测试评价模块，从而可以获得目标车辆的各项感知数据信息。通过产品测试评价模块，接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至评价报告生成模块。通过评价报告生成模块，接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。通过虚拟场景对辅助驾驶产品进行测试，可以避免实车进行测试的测试风险，可以各种场景可以重复构建进行测试，降低了测试成本，同时提高测试数据的准确性。
7.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
8.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
9.图1是本发明实施例一提供的一种辅助驾驶产品测试系统示意图；图2是本发明实施例二提供的一种辅助驾驶产品测试方法流程示意图。
具体实施方式
10.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
11.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
12.实施例一图1为本发明实施例一提供了一种辅助驾驶产品测试系统的示意图，本实施例可适用于对辅助驾驶产品进行产品测试的情况。如图1所示，该系统包括：虚拟场景仿真模块101、场景数据提取模块102、感知数据获取模块103、产品测试评价模块104和评价报告生成模块105。
13.其中，所述虚拟场景仿真模块101，用于构建用于测试辅助驾驶产品的虚拟场景。所述场景数据提取模块102，与所述虚拟场景仿真模块101连接，用于提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至所述产品测试评价模块104。所述感知数据获取模块103，与所述虚拟场景仿真模块101连接，用于获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至所述产品测试评价模块104。所述产品测试评价模块104，分别与所述场景数据提取模块102和所述感知数据获取模块103连接，用于接收所述场景数据提取模块102发送的所述场景真值数据信息，和接收所述感知数据获取模块103发送的所述车辆感知数据信息，并根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至所述评价报告生成模块105。所述评价报告生成模块105，用于接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。
14.其中，在本发明实施例中，将在虚拟场景中配置所述辅助驾驶产品的车辆确定为目标车辆。所述场景真值数据信息可以是指所述虚拟场景中的真实数据信息。例如，场景真值数据信息可以包括目标车辆的参数信息、目标车辆与障碍物之间的各项数据信息和目标车辆在虚拟道路中的各项信息等。所述车辆感知数据信息可以是指在虚拟场景中目标车辆通过虚拟传感器获取的各项感知数据信息。例如，车辆感知信息可以包括目标车辆与障碍物之间的距离信息，目标车辆所在的车道信息和目标车辆获取的限速信息等。关键评价指标可以是指用户或开发人员关注的关键评价项目。示例性地，所述关键评价指标包括数据类型匹配度、漏检率、数据精度、所述目标车辆的纵向位置、所述目标车辆的横向位置、所述目标车辆的纵向速度、所述目标车辆的横向速度、所述目标车辆的纵向加速度和所述目标车辆的横向加速度中的至少一种。产品测试评价结果可以是指通过测试所述辅助驾驶产品获得的评价结果。产品测试评价报告可以是指根据所述产品测试评价结果生成的评价报告。
15.在本发明实施例中，所述虚拟场景仿真模块101可以选择通用的场景仿真软件，比如vtd。其中，所述虚拟场景的格式不限，在构建完毕的虚拟场景中包含完美传感器radar、lidar、camera等。场景仿真软件能够输出场景中各项数据信息。radar传感器可以输出二维图像的原始点，lidar传感器可以输出三维原始点云，camera可以输出当前视场角下的视频数据。场景数据提取模块102支持各种板卡总线要求、例如can、canfd、flexray、eth、lin总线等。感知数据获取模块103可以是已下载软件感知算法的控制设备。
16.具体地，当开发人员需要对辅助驾驶产品进行测试时，通过虚拟场景仿真模块101构建用于测试辅助驾驶产品的虚拟场景。通过所述系统中的场景数据提取模块102提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至产品测试评价模块104中。通过系统中的感知数据获取模块103获取所述辅助驾驶产品在所述虚拟场景中采集
的各项车辆感知数据信息，将所述车辆感知数据信息发送至产品测试评价模块104中。通过产品测试评价模块104，根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至评价报告生成模块105，以使评价报告生成模块105根据所述产品测试评价结果，生成产品测试评价报告。
17.示例性地，所述虚拟场景仿真模块101包括虚拟道路配置单元、虚拟交通配置单元、虚拟障碍配置单元、虚拟天气配置单元和目标车辆配置单元中的至少一个；其中，所述虚拟道路配置单元，用于配置所述虚拟场景中的虚拟道路信息；所述虚拟交通配置单元，用于配置所述虚拟场景中所述目标车辆行驶的虚拟交通信息；所述虚拟障碍配置单元，用于配置所述虚拟场景中影响所述目标车辆行驶的虚拟障碍物信息；所述虚拟天气配置单元，用于配置所述虚拟场景中的虚拟天气信息；所述目标车辆配置单元，用于配置所述目标车辆的车辆参数信息。
18.其中，虚拟道路信息可以包括道路类型信息（如高速道路、城市快速路、国道、省道等）和道路车道信息（如单车道、多车道、车道宽度、车道线颜色、类型、宽度、车道交叉位置、道路路边的房子、树木、路灯杆、交通信号灯和交通限速牌颜色等等）。虚拟交通信息可以包括道路的施工材料和摩擦系数等，例如道路表面类型可以为沥青或石灰路。虚拟障碍物信息包括多个交通参与者（如车辆、行人和其他障碍物）。通过所述虚拟障碍配置单元可以配置各个障碍物的数量、位置、速度和运行轨迹等。虚拟天气信息可以包括天气、云量、雨量、雪量、太阳位置和太阳光照等参数信息。车辆参数信息可以是指目标车辆的长、宽、高等车辆基本参数、车辆雷达、车载摄像头的安装位置以及车辆动力信息等。
19.具体地，根据所述虚拟道路配置单元配置所述虚拟场景中的虚拟道路信息。根据所述虚拟交通配置单元配置所述虚拟场景中所述目标车辆行驶的虚拟交通信息。根据所述虚拟障碍配置单元配置所述虚拟场景中影响所述目标车辆行驶的虚拟障碍物信息。根据虚拟天气配置单元配置所述虚拟场景中的虚拟天气信息。根据目标车辆配置单元目标车辆的车辆参数信息。
20.示例性地，所述产品测试评价模块104包括：可视化单元、数据对比单元和评价指标操作单元；其中，所述可视化单元，用于接收所述注入盒子发送的所述视频数据，展示所述视频数据；所述数据对比单元，用于接收所述场景数据提取模块102发送的所述场景真值数据信息，和接收所述感知数据获取模块103发送的所述车辆感知数据信息，将所述场景真值数据信息和所述车辆感知数据信息的对比结果进行显示；所述评价指标操作单元，用于根据用户触发的评价指标操作指令，对所述关键评价指标进行指标修改，其中，所述指标修改包括添加关键评价指标或删除关键评价指标。
21.其中，所述指标修改包括添加关键评价指标或删除关键评价指标。具体地，通过可视化单元接收所述注入盒子发送的所述视频数据，并可以将虚拟场景对应的视频数据向用户或开发者进行实时显示。通过数据对比单元接收所述场景真值数据信息和接收所述车辆感知数据信息，将所述场景真值数据信息和所述车辆感知数据信息进行对比，并以不同的颜色将对比结果向用户或开发者进行显示。通过所述评价指标操作单元根据用户触发的评价指标操作指令对所述关键评价指标进行指标修改，从而可以选择用户关注的关键评价指标。
22.示例性地，所述数据对比单元，还用于将所述车辆感知数据信息发送至所述可视化单元；所述可视化单元，还用于以信息框的形式展示所述车辆感知数据信息。
23.在本发明实施例中，还可以将所述车辆感知数据信息进行实时展示。具体地，通过所述数据对比单元将所述车辆感知数据信息发送至所述可视化单元，并通过所述可视化单元以信息框的形式展示所述车辆感知数据信息，使得所述车辆感知数据信息更加明显直观。
24.示例性地，所述评价报告生成模块105包括报告形式操作单元；其中，所述报告形式选择单元，用于根据用户触发的报告形式选择指令，确定评价报告形式，并基于所述评价报告形式，生成产品测试评价报告。
25.其中，所述评价报告形式可以包括曲线图和饼状统计图中的至少一种。具体地，报告形式选择单元可以根据用户触发的报告形式选择指令，确定出评价报告形式。基于所述评价报告形式，报告形式操作单元可以根据产品测试评价结果生成产品测试评价报告。
26.本发明实施例的技术方案，通过虚拟场景仿真模块，构建用于测试辅助驾驶产品的虚拟场景。通过场景数据提取模块，提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至产品测试评价模块，从而可以获得目标车辆在仿真环境中的各项真实数据信息。通过感知数据获取模块，获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至产品测试评价模块，从而可以获得目标车辆的各项感知数据信息。通过产品测试评价模块，接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至评价报告生成模块。通过评价报告生成模块，接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。通过虚拟场景对辅助驾驶产品进行测试，可以避免实车进行测试的测试风险，可以各种场景可以重复构建进行测试，降低了测试成本，同时提高测试数据的准确性。
27.在上述实施例的基础上，所述系统还包括注入盒子模块；其中，所述注入盒子模块，与所述虚拟场景仿真模块101连接，用于获取所述虚拟场景的视频数据，将所述视频数据发送至所述产品测试评价模块104，以使所述产品测试评价模块104展示所述视频数据。
28.其中，注入盒子模块可以支持不同文件格式的注入，例如，视频文件格式（.yuv/bayer/.mp4/.mkv）和原始点云数据格式(.pcap)等。
29.具体地，所述注入盒子模块可以和虚拟场景仿真模块101连接，注入盒子模块可以将虚拟场景仿真模块101输出的视频数据，发送至所述产品测试评价模块104，所述产品测试评价模块104可以展示虚拟场景中的视频数据。
30.在上述实施例的基础上，所述场景数据提取模块120，还用于：确定所述产品测试评价模块104对应的真值数据信息的顺序格式；基于所述顺序格式将所述场景真值数据信息进行数据信息排序，并将数据信息排序后的场景真值数据信息发送至所述产品测试评价模块104。
31.具体地，场景数据提取模块102可以以rdb总线形式通过以太网确定产品测试评价模块104对应的真值数据信息的顺序格式，场景数据提取模块102按照顺序格式对所述场景真值数据信息进行数据信息排序，并将数据信息排序后的场景真值数据信息发送至所述产
品测试评价模块104，以使产品测试评价模块104可以读取数据信息排序后的场景真值数据信息。
32.在上述实施例的基础上，所述系统还包括感知数据融合模块；其中，所述感知数据融合模块，与所述感知数据获取模块103连接，用于接收所述感知数据获取模块103发送的所述车辆感知数据信息，将目标车辆中多个传感器采集的车辆感知数据信息进行融合处理，确定车辆融合数据信息，并将所述车辆融合数据信息发送至所述产品测试评价模块104；所述产品测试评价模块104，用于根据关键评价指标，将所述场景真值数据信息和所述车辆融合数据信息进行对比，确定产品测试评价结果。
33.其中，感知数据融合模块可以为存储软件融合算法程序的处理器。所述车辆感知数据信息可以是指在虚拟场景中目标车辆通过虚拟感知传感器采集的各项感知数据信息。车辆融合数据信息可以是指多个虚拟感知传感器采集的车辆感知数据信息进行融合后的融合感知数据信息。
34.本发明实施例技术方案，在虚拟场景的配置过程中，还可以为目标车辆配置各类虚拟感知传感器，虚拟感知传感器用于采集各项车辆感知数据信息。在本发明实施例中，辅助驾驶产品测试系统还包括感知数据融合模块，用于将多个虚拟感知传感器采集的各项车辆感知数据信息进行融合处理，确定车辆融合数据信息。所述产品测试评价模块104根据关键评价指标，将所述场景真值数据信息和所述车辆融合数据信息进行对比，从而可以确定车辆融合数据信息对应的产品测试评价结果，本发明实施例技术方案可以对辅助驾驶产品的多个感知传感器的感知数据进行融合并确定产品测试评价结果，从而可以降低产品测试成本，同时提高测试数据的准确性。
35.实施例二图2为本发明实施例二提供的一种辅助驾驶产品测试方法的流程图。如图2所示，该方法包括：s301、通过虚拟场景仿真模块，构建用于测试辅助驾驶产品的虚拟场景。
36.s302、通过场景数据提取模块，提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至产品测试评价模块。
37.s303、通过感知数据获取模块，获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至产品测试评价模块。
38.s304、通过产品测试评价模块，接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至评价报告生成模块。
39.s305、通过评价报告生成模块，接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。
40.本发明实施例的技术方案，通过虚拟场景仿真模块，构建用于测试辅助驾驶产品的虚拟场景。通过场景数据提取模块，提取所述虚拟场景中的场景真值数据信息，将所述场景真值数据信息发送至产品测试评价模块，从而可以获得目标车辆在仿真环境中的各项真实数据信息。通过感知数据获取模块，获取所述辅助驾驶产品在所述虚拟场景中采集的车辆感知数据信息，将所述车辆感知数据信息发送至产品测试评价模块，从而可以获得目标
车辆的各项感知数据信息。通过产品测试评价模块，接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，根据关键评价指标，将所述场景真值数据信息和所述车辆感知数据信息进行对比，确定产品测试评价结果，并将所述产品测试评价结果发送至评价报告生成模块。通过评价报告生成模块，接收所述产品测试评价结果，并根据所述产品测试评价结果，生成产品测试评价报告。通过虚拟场景对辅助驾驶产品进行测试，可以避免实车进行测试的测试风险，可以各种场景可以重复构建进行测试，降低了测试成本，同时提高测试数据的准确性。
41.在本发明任一可选技术方案的基础上，可选地，所述辅助驾驶产品测试系统还包括注入盒子模块；其中，辅助驾驶产品测试方法还包括：通过注入盒子模块，与所述虚拟场景仿真模块连接，获取所述虚拟场景的视频数据，将所述视频数据发送至所述产品测试评价模块，以使所述产品测试评价模块展示所述视频数据。
42.在本发明任一可选技术方案的基础上，可选地，所述系统还包括感知数据融合模块。所述方法还可以包括：通过所述感知数据融合模块，与所述感知数据获取模块连接，接收所述感知数据获取模块发送的所述车辆感知数据信息，将目标车辆中多个传感器采集的车辆感知数据信息进行融合处理，确定车辆融合数据信息，并将所述车辆融合数据信息发送至所述产品测试评价模块；通过所述产品测试评价模块，根据关键评价指标，将所述场景真值数据信息和所述车辆融合数据信息进行对比，确定产品测试评价结果。
43.在本发明任一可选技术方案的基础上，可选地，所述虚拟场景仿真模块包括虚拟道路配置单元、虚拟交通配置单元、虚拟障碍配置单元、虚拟天气配置单元和目标车辆配置单元中的至少一个。相应的，所述方法还可以包括：通过所述虚拟道路配置单元配置所述虚拟场景中的虚拟道路信息；通过所述虚拟交通配置单元配置所述虚拟场景中所述目标车辆行驶的虚拟交通信息；通过所述虚拟障碍配置单元配置所述虚拟场景中影响所述目标车辆行驶的虚拟障碍物信息；通过所述虚拟天气配置单元配置所述虚拟场景中的虚拟天气信息；通过所述目标车辆配置单元配置所述目标车辆的车辆参数信息。
44.在本发明任一可选技术方案的基础上，可选地，所述产品测试评价模块包括：可视化单元、数据对比单元和评价指标操作单元。相应地，所述方法还包括：通过所述可视化单元接收所述注入盒子发送的所述视频数据，展示所述视频数据；通过所述数据对比单元，接收所述场景数据提取模块发送的所述场景真值数据信息，和接收所述感知数据获取模块发送的所述车辆感知数据信息，将所述场景真值数据信息和所述车辆感知数据信息的对比结果进行显示；通过所述评价指标操作单元，根据用户触发的评价指标操作指令，对所述关键评价指标进行指标修改，其中，所述指标修改包括添加关键评价指标或删除关键评价指标。
45.在本发明任一可选技术方案的基础上，可选地，所述方法还包括通过所述数据对比单元将所述车辆感知数据信息发送至所述可视化单元。通过所述可视化单元以信息框的形式展示所述车辆感知数据信息。
46.在本发明任一可选技术方案的基础上，可选地，所述关键评价指标包括数据类型匹配度、漏检率、数据精度、所述目标车辆的纵向位置、所述目标车辆的横向位置、所述目标
车辆的纵向速度、所述目标车辆的横向速度、所述目标车辆的纵向加速度和所述目标车辆的横向加速度中的至少一种。
47.在本发明任一可选技术方案的基础上，可选地，所述评价报告生成模块包括报告形式操作单元。相应地，所述方法还包括：通过所述报告形式选择单元根据用户触发的报告形式选择指令，确定评价报告形式，并基于所述评价报告形式，生成产品测试评价报告。
48.在本发明任一可选技术方案的基础上，可选地，所述方法还包括：通过所述场景数据提取模块确定所述产品测试评价模块对应的真值数据信息的顺序格式；基于所述顺序格式将所述场景真值数据信息进行数据信息排序，并将数据信息排序后的场景真值数据信息发送至所述产品测试评价模块。
49.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
50.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。