多传感器仿真数据同步注入方法及系统与流程

1.本发明属于传感器数据处理技术领域，具体涉及多传感器仿真数据同步注入方法及系统。


背景技术：

2.随着自动驾驶的发展，车辆的自动驾驶功能越来越成熟，通过仿真的手段进行测试是解决自动驾驶测试的一个重要手段，但是当前自动驾驶的仿真测试中，存在测试问题较多，测试可信度低，运作效率低等问题。针对自动驾驶的感知算法仿真时，使用传感器的原始数据进行仿真最为贴近自动驾驶算法感知要求，并能够完全真实的回注传感器数据。
3.传感器回注包含的传感器包含摄像头、激光雷达、毫米波雷达、超声波雷达、imu、rtk等，传感器数量多且数据格式多样、频率不一。导致在数据回注时，只能单独对一种数据进行数据回注，进行仿真与测试，无法满足当前车辆布置的多传感器同时进行感知与融合，并确定最终的目标属性。
4.中国专利cn202110729913.7公开了一种通用型车载摄像头仿真数据注入装置，该装置包括：视频解码模块，用于和上位机连接，输入仿真视频数据并对视频数据解码装换为摄像头数据格式；加串解码模块，包括fpga单元和多个类型的加串解码单元，多个加串解码单元分别连接视频解码模块输出端和车载处理设备的输入端，用于对仿真数据进行加串解码；以及存储单元，与fpga单元、车载处理设备数据连接，带有对各类型加串解码单元对应的参数化数值。该专利能够根据车辆的摄像头类型来选定加串解码单元，从而能够满足各类型车辆的摄像头仿真数据的注入，实现全覆盖，应用场景广泛，能解决当前汽车摄像头仿真数据注入成本高的问题。但该专利中未能解决仿真过程中使用其他传感器的数据注入和多传感器的数据同步问题。


技术实现要素：

5.针对现有技术存在的上述不足，本发明的目的就在于提供多传感器仿真数据同步注入方法及系统，该方法能使多传感器数据回注过程中，能保证多传感器仿真数据同步注入。
6.本发明的技术方案是这样实现的：多传感器仿真数据同步注入方法，包括以下步骤：s1：多传感器采集获取车辆数据；s2：储存多传感器采集获取的多帧数据，从而得到与多传感器一一对应的多帧数据，所述多帧数据具有多种格式，并在储存过程中记录每帧数据的时间戳，从而使得储存的每帧数据均包含时间戳；s3：根据不同格式的数据，对所有数据进行解码，并读取每帧数据上的时间戳，控制多传感器对应的每帧数据，以使多传感器数据同步注入。
7.进一步地，多传感器采集获取的数据分为三种格式，分别为视频数据、点云数据和
can数据。
8.进一步地，步骤s3中，解码时，对视频数据进行数据解码，以将视频数据转换为.avi数据格式；对点云数据进行数据解码，以将点云数据转换为.pack数据格式；对can数据进行数据解码，以将can数据转换为.mf4数据格式。
9.进一步地，解码时，具体包括以下步骤：首先读取每帧数据的头文件，并对多传感器数据解出的头文件中的时间戳进行比对，挑选出各传感器数据中最开始一帧数据的时间戳中最晚时间点为基准；然后对其他在最晚时间点之前的各传感器数据向后解码，直至所有传感器数据解出的时间戳与最晚时间点一致时停止解码。
10.本发明还提供了一种多传感器仿真数据同步注入系统，包括：数据采集模块，所述数据采集模块由多个传感器组成，用于采集获取车辆数据，所述数据包括视频数据、点云数据和can数据。
11.数据储存模块，用于储存数据采集单元采集获取的数据。
12.时间戳生成模块，用于处理多传感器采集获取的数据，以得到包含时间戳的数据。
13.视频解码模块，用于对视频数据进行数据解码，以将视频数据转换为.avi数据格式。
14.点云解码模块，用于对点云数据进行数据解码，以将点云数据转换为.pack数据格式。
15.can解码模块，用于对can数据进行数据解码，以将can数据转换为.mf4数据格式。
16.同步控制模块，用于读取解码后的数据上的时间戳信息，控制多传感器对应的每帧数据，以对数据进行同步。
17.与现有技术相比，本发明具有如下有益效果：本发明采用时间戳为标志，在回注过程中以时间戳作为多传感器数据回注的标志，从而能够满足多传感器数据在回注过程中，保证多传感器数据的同步回放，实现汽车多传感器仿真数据同步注入。
附图说明
18.图1-本发明所述系统的结构示意图。
具体实施方式
19.下面结合附图和具体实施方式对本发明作进一步详细说明。
20.多传感器仿真数据同步注入方法，包括以下步骤：s1：多传感器采集获取车辆数据；s2：储存多传感器采集获取的多帧数据，从而得到与多传感器一一对应的多帧数据，所述多帧数据具有多种格式，并在储存过程中记录每帧数据的时间戳，从而使得储存的每帧数据均包含时间戳；s3：根据不同格式的数据，对所有数据进行解码，并读取每帧数据上的时间戳，控制多传感器对应的每帧数据，以使多传感器数据同步注入。
21.这里的传感器包括摄像头、激光雷达、毫米波雷达、超声波雷达、imu、rtk等，可以采集获取车辆的视频原始数据、点云数据、目标类型数据、车辆自身信息等数据。
22.这样在同一时间段内的不同传感器数据包含相同的数据前缀，这里的数据前缀为数据记录开始时的时间点，可在数据后面追加当前传感器的名称、位置和特征等进行区别，从而使得每帧数据均包含时间戳，且能将各传感器数据进行区别。
23.这样，在多传感器数据储存过程添加唯一和高频率的时间戳为标志，在回注过程中以时间戳作为多传感器数据回注的标志，从而能够满足多传感器数据在回注过程中，保证多传感器数据的同步回放，实现汽车多传感器仿真数据同步注入。
24.具体实施时，多传感器采集获取的数据分为三种格式，分别为视频数据、点云数据和can数据。
25.具体实施时，步骤s3中，解码时，对视频数据进行数据解码，以将视频数据转换为.avi数据格式；对点云数据进行数据解码，以将点云数据转换为.pack数据格式；对can数据进行数据解码，以将can数据转换为.mf4数据格式。
26.具体实施时，解码时，具体包括以下步骤：首先读取每帧数据的头文件，并对多传感器数据解出的头文件中的时间戳进行比对，挑选出各传感器数据中最开始一帧数据的时间戳中最晚时间点为基准；然后对其他在最晚时间点之前的各传感器数据向后解码，直至所有传感器数据解出的时间戳与最晚时间点一致时停止解码。
27.这样，就可以通过将多传感器数据的时间戳打入数据的头文件中，并在数据回注时将数据头文件中的时间戳信息，通过对齐时间戳信息，将多传感器数据同步的注入到控制器中。如此根据时间戳信息，就能够满足多传感器仿真数据的同步注入需求，实现多传感器的同步注入，应用场景广泛。
28.参见图1，多传感器仿真数据同步注入系统，包括：数据采集模块，所述数据采集模块由多个传感器组成，用于采集获取车辆数据，所述数据包括视频数据、点云数据和can数据。
29.数据储存模块，用于储存数据采集单元采集获取的数据。
30.时间戳生成模块，用于处理多传感器采集获取的数据，以得到包含时间戳的数据。
31.视频解码模块，用于对视频数据进行数据解码，以将视频数据转换为.avi数据格式。
32.点云解码模块，用于对点云数据进行数据解码，以将点云数据转换为.pack数据格式。
33.can解码模块，用于对can数据进行数据解码，以将can数据转换为.mf4数据格式。
34.同步控制模块，用于读取解码后的数据上的时间戳信息，控制多传感器对应的每帧数据，以对数据进行同步。
35.这样，视频解码模块就可以将上位机处获取的.avi视频数据流经过加串解串方式输出到控制器的视频摄像头接口；点云解码模块就可以将上位机处获取的.pack点云数据流经过解封装的方式输出到控制器的点云网络接口；can解码模块就可以将上位机处获取的.mf4格式数据经过解封装的can数据流方式输出到控制器的can网络接口。
36.这里的时间戳生成模块可以使多传感器数据按时间顺序高精度输出，并且时间戳生成模块可定期根据rtk信号中的卫星授时进行世界时间矫正，保证时间的本身精度。
37.最后需要说明的是，本发明的上述实施例仅是为说明本发明所作的举例，而并非是对本发明实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还
可以做出其他不同形式的变化和变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。