信息采集方法、装置、计算机设备和存储介质与流程

1.本技术涉及传感器技术领域，特别是涉及一种信息采集方法、装置、计算机设备和存储介质。


背景技术：

2.随着自动化驾驶、车路协同等技术的发展，传感器得到了越来越广泛的应用。自动化驾驶系统或者车路协同系统中，需要采集目标对象的不同类型的特征信息，使得系统根据特征信息做出的判断更准确。
3.为了采集不同类型的特征信息，上述系统可以部署多个传感器，例如，系统中可以部署摄像头，用于采集目标对象的颜色特征；系统中还可以部署激光雷达，用于采集目标对象的距离特征等。
4.但是，当其中一个传感器失效的情况下，系统不能通过该传感器获得相应类型的特征信息，导致自动化驾驶系统或者车路协同系统工作异常甚至引发安全事故。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提升系统可靠性的信息采集方法、装置、计算机设备和存储介质。
6.一种信息采集方法，上述方法包括：
7.获取第一传感器采集的道路对象的第一传感器数据；
8.将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；第一特征信息与第二特征信息的类型不同。
9.在其中一个实施例中，获取第一传感器采集的道路对象的第一传感器数据之前，方法还包括：
10.获取在同一时间段、同一场景下第一传感器采集的第一历史数据与第二传感器采集的第二历史数据；
11.对第一传感器采集的第一历史数据与第二传感器采集的第二历史数据进行时空同步处理，得到第一历史数据与第二历史数据的时空映射关系；
12.基于第一历史数据与第二历史数据的时空映射关系，建立深度学习模型。
13.在其中一个实施例中，第一历史数据包括多个第一数据帧，第二历史数据包括多个第二数据帧，对第一传感器采集的第一历史数据与第二传感器采集的第二历史数据进行时空同步处理，得到第一历史数据与第二历史数据的时空映射关系，包括：
14.对第一历史数据和第二历史数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧；
15.对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数
据。
16.在其中一个实施例中，第一传感器和第二传感器的相对位置固定，基于第一历史数据与第二历史数据的时空映射关系，建立深度学习模型，包括：
17.对第二历史数据进行特征提取，获得第二数据对应的第二特征信息；
18.将第一数据作为训练输入样本，将第一数据对应的第二数据所关联的第二特征信息作为训练输入样本的样本标签，获得训练数据集合；
19.将所述第一数据作为初始深度学习模型的输入，将所述第二数据所关联的第二特征信息作为所述初始深度学习模型的参考输出，对所述初始深度学习模型进行训练，获得所述深度学习模型。
20.在其中一个实施例中，第一传感器为激光雷达，第二传感器为图像传感器，第一采样点数据为道路对象的点云数据，第二采样点数据为道路对象的图像数据；第二特征信息为道路对象的rgb值；将所述第一数据作为初始深度学习模型的输入，将所述第二数据所关联的第二特征信息作为所述初始深度学习模型的参考输出，对所述初始深度学习模型进行训练，获得所述深度学习模型，包括：
21.将点云数据作为初始深度学习模型的输入，将图像数据对应的rgb值作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得第一深度学习模型。
22.在其中一个实施例中，第一传感器为图像传感器，第二传感器为激光雷达，第一采样点数据为道路对象的图像数据，第二采样点数据为道路对象的点云数据；第二特征信息为道路对象的深度信息，深度信息用于表征道路对象与激光雷达之间的距离；将将所述第一数据作为初始深度学习模型的输入，将所述第二数据所关联的第二特征信息作为所述初始深度学习模型的参考输出，对所述初始深度学习模型进行训练，获得所述深度学习模型，包括：
23.将图像数据作为初始深度学习模型的输入，将点云数据对应的深度信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得第二深度学习模型。
24.在其中一个实施例中，对第一历史数据和第二历史数据进行时间同步，获得时间同步的多个数据帧对，包括：
25.将第一历史数据和第二历史数据转换至同一时间轴下；
26.在时间轴下，获取第一历史数据中各第一数据帧的第一采样时刻，以及第二历史数据中各第二数据帧的第二采样时刻；
27.计算第一采样时刻与第二采样时刻之间的差值；
28.若差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
29.在其中一个实施例中，第一历史数据和第二历史数据的采样频率呈倍数关系。
30.在其中一个实施例中，对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，包括：
31.根据预设的转换矩阵，将数据帧对中的第二数据转换至第一传感器坐标系中，获得各第二数据在第一传感器坐标系下的映射坐标；
32.在数据帧对中，获取映射坐标对应的第一数据；
33.将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
34.一种信息采集方法，上述方法包括：
35.根据当前传感器状态，确定是否满足传感器切换条件；
36.若满足传感器切换条件，则将当前传感器作为第二传感器，执行如权利要求1-9任一项的信息采集方法的步骤，进行信息采集。
37.一种信息采集装置，装置包括：
38.获取模块，用于获取第一传感器采集的道路对象的第一传感器数据；
39.输入模块，用于将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；第一特征信息与第二特征信息的类型不同。
40.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
41.将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；第一特征信息与第二特征信息的类型不同。
42.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
43.将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；第一特征信息与第二特征信息的类型不同。
44.上述信息采集方法、装置、计算机设备和存储介质，计算机设备获取第一传感器采集的道路对象的第一传感器数据，将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；其中，深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；上述第一特征信息与第二特征信息的类型不同。由于深度学习模型为基于第一传感器采集的与第二传感器在同一时间段、同一场景下采集的数据训练得到的，使得深度学习模型具备了将第一传感器数据与第二特征信息进行关联的能力；进一步地，由于计算机设备将第一传感器数据输入深度学习模型，使得计算机设备可以通过深度学习模型获取道路对象的第二特征信息，从而可以避免第二传感器无法获取第二特征信息的情况下导致的系统工作异常，提升了系统的可靠性；或者当系统中对传感器的数量或重量有限制时，可以通过部署一个第一传感器获得道路对象的第一特征信息和第二特征信息，提升了系统传感器部署的灵活性。
附图说明
45.图1为一个实施例中信息采集方法的应用环境图；
46.图2为一个实施例中信息采集方法的流程示意图；
47.图3为一个实施例中信息采集方法的流程示意图；
48.图4为另一个实施例中信息采集方法的流程示意图；
49.图5为另一个实施例中信息采集方法的流程示意图；
50.图6为另一个实施例中信息采集方法的流程示意图；
51.图7为另一个实施例中信息采集方法的流程示意图；
52.图8为另一个实施例中信息采集方法的流程示意图；
53.图9为另一个实施例中信息采集方法的流程示意图；
54.图10为一个实施例中信息采集装置的结构框图；
55.图11为另一个实施例中信息采集装置的结构框图；
56.图12为另一个实施例中信息采集装置的结构框图；
57.图13为另一个实施例中信息采集装置的结构框图；
58.图14为一个实施例中计算机设备的内部结构图。
具体实施方式
59.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
60.本技术提供的信息采集方法，可以应用于如图1所示的应用环境中。计算机设备100与第一传感器200连接，计算机设备100可以设置在第一传感器200设备中，也可以是第一传感器200外部的独立设备；第一传感器200与第二传感器30可以是路侧系统中的传感器，也可以是车载系统中的传感器，在此不做限定。上述第一传感器200和第二传感器300可以但不限于是激光雷达、摄像头以及毫米波雷达等。上述计算机设备100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
61.在一个实施例中，如图2所示，提供了一种信息采集方法，以该方法应用于图1中的计算机设备100为例进行说明，包括：
62.s101、获取第一传感器采集的道路对象的第一传感器数据。
63.其中，上述第一传感器可以是激光雷达，也可以是摄像头，还可以是毫米波雷达，对于上述第一传感器的类型在此不做限定。上述第一传感器可以是设置在路侧系统中的传感器，也可以是车载系统中的传感器，对于上述第一传感器的应用场景在此不做限定。
64.上述第一传感器数据为第一传感器在当前场景下采集的数据，包含道路对象的信息。不同类型的第一传感器可以获得不同类型的第一传感器数据，上述第一传感器数据可以是点云数据，也可以是图像数据，还可以是视频数据，在此不做限定。
65.上述第一传感器具备获得道路对象的第一特征信息的能力，不同类型的第一传感器可以获得不同类型的第一特征信息。上述第一特征信息可以是道路对象的颜色特征，也可以是道路对象的距离特征，还可以是道路对象的速度特征、姿态特征、表面纹理特征等，对于上述第一特征信息的类型在此不做限定。例如，第一传感器为图像传感器时，具备获得道路对象的颜色特征的能力，第一传感器为激光雷达时，具备获得道路对象的距离特征的能力。
66.上述道路对象可以是道路中的交通参与者，例如车辆或者行人；另外，上述道路对象还可以是道路中的障碍物；对于上述道路对象的类型在此不做限定。
67.上述第一特征信息中还可以包含多种类型的特征，可以同时包括颜色特征和表面纹理特征，或者同时包括速度特征和距离特征，在此不做限定。例如，第一传感器为激光雷达时，可以同时具备获得道路对象的距离特征以及速度特征的能力。
68.具体地，计算机设备获取第一传感器采集的道路对象的第一传感器数据，可以通
过有线连接的方式接收第一传感器发送的第一传感器数据，也可以通过无线连接的方式接收上述第一传感器数据，在此不做限定。
69.计算机设备可以实时获取第一传感器发送的第一传感器数据，也可以向第一传感器发送采集指令之后，获得第一传感器基于采集指令返回的第一传感器数据，对于上述数据获取方式在此不做限定。
70.进一步地，计算机设备获取第一传感器数据之后，可以对第一传感器数据进行特征提取，获取道路对象的第一特征信息。具体地，第一传感器数据为点云数据时，计算机设备可以将点云数据输入目标识别模型，获取道路对象的轮廓，进而获得道路对象的距离特征；第一传感器数据为图像数据时，计算机设备可以根据图像数据获得道路对象的rgb值。
71.s102、将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；其中，深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；上述第一特征信息与第二特征信息的类型不同。
72.其中，上述第二传感器可以是激光雷达，也可以是摄像头，还可以是毫米波雷达，对于上述第二传感器的类型在此不做限定。相应地，第二传感器采集的第二历史数据可以是图像数据，也可以是点云数据等。上述第二特征信息也可以是道路对象的颜色特征、距离特征、速度特征、姿态特征、表面纹理特征等，对于上述第二特征信息的类型在此不做限定。
73.本技术中，第一传感器与第二传感器的类型不同，第一特征信息与第二特征信息的类型也不相同，通过第一传感器数据本身，不具备获取道路对象的第二特征信息的能力，通过第二传感器本身也不具备获取道路对象的第二特征信息的能力。例如，上述第一传感器为激光雷达，第二传感器为图像传感器，一般情况下通过激光雷达获得的点云数据无法直接得到道路对象的颜色特征，而通过图像传感器获得的图像数据，也不能直接得到道路对象的距离特征。
74.对于常规的路侧系统或者车载系统，可以分别通过第一传感器和第二传感器采集道路对象的第一特征信息和第二特征信息时，如果第二传感器失效，则系统无法获取道路对象的第二特征信息。本技术中，计算机设备基于第一传感器采集的第一历史数据与第二传感器采集的第二历史数据，训练得到的深度学习模型，使得深度学习获取了第一历史数据与第二历史数据之间的关联关系，从而可以根据第一传感器数据获得道路对象的第二特征信息。
75.其中，上述深度学习模型可以是有监督学习模型，也可以是无监督学习模型，还可以是半监督学习模型；上述深度学习模型可以是卷积神经网络模型，也可以是循环神经网络模型，对于深度学习模型的类型在此不做限定。
76.上述深度学习模型可以根据第一特征信息中的多个特征获得第二特征信息，也可以是根据第一特征信息中的单个特征获得第二特征信息，在此不做限定。上述第一历史数据和上述第二历史数据可以是对同一场景同时采集的数据，也可以先后采集并具有重叠时间段的数据，在此不做限定。上述深度学习模型可以仅应用于同一个场景，也可以迁移至其它场景使用。
77.具体地，计算机设备获取第一传感器数据之后，可以直接将第一传感器数据输入深度学习模型，也可根据第二传感器的工作状态来确定是否将第一传感器数据输入深度学习模型。例如，当系统中对传感器的数量或重量有限制时，可以仅部署一个第一传感器，通
过第一传感器获得道路对象的第一特征信息和第二特征信息。可选地，计算机设备可以先确定第二传感器是否失效，若是，则执行将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息的步骤。
78.上述失效可以是第二传感器与计算机设备之间的连接状态异常，也可以是第二传感器返回的数据异常，例如数据缺失或者数据失真；对于上述失效模式在此不做限定。
79.计算机设备在确定第二传感器是否失效时，可以根据第二传感器的状态监控日志来确定，也可以检测是否接收到了第二传感器返回的数据，若未接收到第二传感器返回的数据则可以确定第二传感器失效；对于上述失效确定方式在此不做限定。
80.上述信息采集方法，计算机设备获取第一传感器采集的道路对象的第一传感器数据，将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；其中，深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；上述第一特征信息与第二特征信息的类型不同。由于深度学习模型为基于第一传感器采集的与第二传感器在同一时间段、同一场景下采集的数据训练得到的，使得深度学习模型具备了将第一传感器数据与第二特征信息进行关联的能力；进一步地，由于计算机设备将第一传感器数据输入深度学习模型，使得计算机设备可以通过深度学习模型获取道路对象的第二特征信息，从而可以避免第二传感器无法获取第二特征信息的情况下导致的系统工作异常，提升了系统的可靠性；或者当系统中对传感器的数量或重量有限制时，可以通过部署一个第一传感器获得道路对象的第一特征信息和第二特征信息，提升了系统传感器部署的灵活性。此外需要说明的是，本实施例获取的第二特征信息可以直接被直接用于多传感数据融合、目标检测、目标追踪等，无需再进行对应的特征提取过程，当然如果该第二特征信息的格式不符合后续的多传感数据融合、目标检测、目标追踪数据运算，则需要进行对应的格式转换。
81.图3为另一个实施例中信息采集方法的流程示意图，本实施例涉及深度学习模型的一种建立方式，在上述实施例的基础上，如图3所示，上述方法还包括：
82.s201、获取在同一时间段、同一场景下第一传感器采集的第一历史数据与第二传感器采集的第二历史数据。
83.具体地，计算机设备可以在数据库中，根据采集时间段和采集场景，获取第一传感器和第二传感器在同一时间段内，以及同一场景下采集的第一历史数据和第二历史数据。
84.s202、对第一传感器采集的第一历史数据与第二传感器采集的第二历史数据进行时空同步处理，得到第一历史数据与第二历史数据的时空映射关系。
85.在获得第一历史数据与第二历史数据之后，计算机设备可以对第一历史数据与第二历史数据进行时空同步处理。
86.具体地，计算机设备可以对第一历史数据与第二历史数据首先进行时间同步，再进行空间同步；也可以对第一历史数据与第二历史数据首先进行空间同步，再进行时间同步；对于上述时空同步处理方式在此不做限定。对第一历史数据与第二历史数据进行时空同步处理之后，获得的时空映射关系中包含了同一时间对同一目标采集的第一历史数据与第二历史数据之间的对应关系。
87.s203、基于第一历史数据与第二历史数据的时空映射关系，建立深度学习模型。
88.计算机设备在获得第二历史数据与历史点云数据的时空对应关系之后，可以基于
该时空对应关系获取深度学习模型的训练数据集合。上述训练数据集合中可以包括正向样本，也可以包括负向样本。在获得训练数据集合的基础上，计算机设备可以基于训练数据集合进行模型训练，获得深度学习模型。计算机设备可以对训练数据集合中的各个样本进行数据清洗，也可以对训练数据集合中的各个样本进行处理以增加样本数量，对于样本处理方式在此不做限定。
89.上述信息采集方法，计算机设备对第一历史数据和第二历史数据进行时空同步处理，并基于建立的第一历史数据和第二历史数据的时空映射关系，建立深度学习模型，使得深度学习模型具备了将第一传感器数据与第二特征信息进行关联的能力，从而可以根据第一传感器数据获得道路对象的第二特征信息，提升了系统的稳定性和可靠性。
90.图4为另一个实施例中信息采集方法的流程示意图，本实施例涉及深度学习型的一种建立方式，在上述实施例的基础上，第一历史数据包括多个第一数据帧，每个第一数据帧包括多个第一数据，第二历史数据包括多个第二数据帧，每个第二数据帧包括多个第二数据，如图4所示，上述s202包括：
91.s301、对第一历史数据和第二历史数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧。
92.计算机设备在基于第一历史数据和第二历史数据建立深度学习模型时，可以将第一历史数据和第二历史数据进行时间同步，以便将同一时刻采集的第一历史数据和第二历史数据进行对应。
93.上述第一历史数据可以包括多个第一数据帧，第二历史数据可以包括多个第二数据帧。计算机设备可以根据第一数据帧和第二数据帧的采集时刻，确定第一数据帧和第二数据帧是否时间同步，然后将采样时刻同步的第一数据帧和第二数据帧确定为一个数据帧对。
94.具体地，计算机设备在根据采样时刻进行时间同步时，可以获得每个第一数据帧和每个第二数据帧的采样时刻，然后将获得的采样时刻进行对比以确定同步的数据帧；另外，计算机设备还可以先确定与第一个第一数据帧时间同步的第二数据帧，然后根据第一历史数据和第二历史数据的采样频率，依次计算其他第一数据帧时间同步的第二数据帧的位置；对于上述时间同步方式在此不做限定。
95.可选地，上述第一历史数据和第二历史数据的采样频率可以相同。计算机设备确定了第一个采样时刻同步的数据对之后，可以将第一历史数据中，位于该数据对中的第一数据帧之后的数据帧，与第二历史数据中位于该数据对中的第二数据帧之后的数据帧，确定为第二个数据帧对，并依次完成各数据帧的时间同步，可以提升第一历史数据和第二历史数据的时间同步效率。
96.s302、对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数据。
97.其中，每个第一数据帧可以包括多个第一数据，上述第一数据可以是第一数据帧中某一个采样点的数据，也可以是第一数据帧中某一个区域内的采样点的数据；另外，上述第一数据还可以是第一数据帧中某一个道路对象对应的第一历史数据，在此不做限定。每个第二数据帧可以包括多个第二数据，上述第二数据可以是第二数据帧中某一个采样点的
数据，也可以是第二数据帧中某一个区域内的采样点的数据；另外，上述第二数据还可以是第二数据帧中某一个道路对象对应的第二历史数据，在此不做限定。
98.计算机设备获得多个采样时刻同步的数据帧对之后，可以针对每个数据帧对中的第一数据和第二数据进行对应，得到不同传感器对同一个目标进行采集所获得的第一数据和第二数据。
99.具体地，计算机设备可以通过坐标转换的方式进行空间标定，使得第一传感器和第二传感器采集的数据可以标注在相同的坐标系下，从而获得第一数据和第二数据之间的对应关系。计算机设备可以将第一数据转换至第二数据所在的坐标下，也可以将第二数据转换至第一数据所在的坐标下，另外，计算机设备还可以将第一数据和第二数据均转换至其它坐标系下，例如地球坐标系等；对于上述空间标定方式在此不做限定。
100.相应地，计算机设备可以基于各数据对中，第一数据对应的第一特征信息与第二数据对应的第二特征信息之间的对应关系，建立深度学习模型。
101.具体地，计算机设备可以对第二数据进行特征提取，获取第二数据对应的第二特征信息；并基于第一数据和第二数据之间的对应关系，建立第一数据与第二数据关联的第二特征信息之间关联关系的深度学习模型。
102.上述信息采集方法，计算机设备对第一历史数据和第二历史数据先进行时间同步，然后进行空间对应，使得可以快速建立第一历史数据和第二历史数据的时空映射关系，提升深度学习模型的获取效率。
103.图5为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备获取深度学习模型的一种方式，在上述实施例的基础上，第一传感器和所述第二传感器的相对位置固定，上述s203包括：
104.s401、对所述第二历史数据进行特征提取，获得所述第二数据对应的第二特征信息。
105.计算机设备可以对第二历史数据进行特征提取，获取各第二数据帧中各第二数据对应的第二特征信息。具体地，计算机设备可以将第二历史数据输入预设的特征提取模型，通过特征提取模型获得各第二数据对应的第二特征信息。
106.s402、将所述第一数据作为训练输入样本，将所述第一数据对应的第二数据所关联的第一特征信息作为所述训练输入样本的样本标签，获得训练数据集合。
107.进一步地，计算机设备可以将第一数据作为训练输入样本，将上述时空对应关系中，与第一数据对应的第二数据所关联的第二特征信息作为该训练输入样本的样本标签，获得训练数据集合。
108.具体地，计算机设备可以基于每个数据对中的第一数据和第二数据获得一个训练样本；也可以根据部分数据对中的第一数据和第二数据获得训练样本，在此不做限定。计算机设备可以根据各数据对中的第一数据在第一历史数据中的重要程度，设置训练样本的训练权重。
109.s403、将所述第一数据作为初始深度学习模型的输入，将所述第二数据所关联的第二特征信息作为所述初始深度学习模型的参考输出，对所述初始深度学习模型进行训练，获得所述深度学习模型。
110.进一步地，计算机设备可以将训练数据集合中的第一数据作为初始深度学习模型
的输入，将第二数据关联的第二特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。例如，计算机设备可以根据初始深度学习模型的参考输出，调整模型的学习率、滑动平均系数等超参数，获得深度学习模型。
111.例如，计算机设备在第一数据帧中选择一个区域内的历史毫米波雷达数据作为第一数据，并确定第一数据所对应的点云数据的第一特征信息，对训练样本集进行归一化、翻转、打乱等预处理后输入初始深度学习模型；利用初始深度学习模型中下采样、上采样及多尺寸特征拼接等方法，提取历史毫米波雷达数据的多维度特征信息，形成多个大小不一的特征图；利用目标检测，对定位损失、分类损失、前景后景损失等进行损失计算；然后采用梯度下降算法迭代损失函数，使得损失函数低于一定阈值或达到迭代终止条件时，获得深度学习模型。
112.在一个应用场景中，上述第一传感器为激光雷达，第二传感器为图像传感器，第一采样点数据为道路对象的点云数据，第二采样点数据为道路对象的图像数据；第二特征信息为道路对象的rgb值；计算机设备在获得深度学习模型时，可以将点云数据作为初始深度学习模型的输入，将图像数据对应的rgb值作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得第一深度学习模型。计算机设备输入至深度学习模型的点云数据，可以是一个目标对象的点云数据，也可以是预设坐标范围内的点云数据。
113.在另一个应用场景中，第一传感器为图像传感器，第二传感器为激光雷达，第一采样点数据为道路对象的图像数据，第二采样点数据为道路对象的点云数据；第二特征信息为道路对象的深度信息，深度信息用于表征道路对象与激光雷达之间的距离；计算机设备在获得深度学习模型时，可以将图像数据作为初始深度学习模型的输入，将点云数据对应的深度信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得第二深度学习模型。
114.需要说明的是，计算机设备可以根据第一历史数据和第二历史数据，同时获得上述第一深度学习模型和第二深度学习模型。当图像传感器失效时，计算机设备可以根据激光雷达获得的点云数据，获得道路对象的rgb值；并且，当激光雷达失效时，计算机设备还可以根据图像传感器获得的图像数据，获得道路对象的深度信息。
115.上述信息采集方法，计算机设备对第一历史数据和第二历史数据进行时间同步处理以及空间标定，从而获得第一传感器和第二传感器同时对同一对象采集的第一数据和第二数据；进一步地，通过第一数据和第二数据之间的对应关系，计算机设备获得训练数据集合并对深度学习模型进行训练，使得深度学习模型建立了第一历史数据与第二历史数据之间的关联，从而可以根据第一传感器数据获得道路对象的第二特征信息，提升了系统的稳定性和可靠性。
116.图6为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备对第一历史数据和第二历史数据进行时间同步的一种方式，在上述实施例的基础上，如图6所示，上述s301包括：
117.s501、将第一历史数据和第二历史数据转换至同一时间轴下。
118.第一传感器和第二传感器作为两个独立的设备，所获得的第一历史数据和第二历史数据的时间轴可能是不同的。例如，第一传感器的时间轴为全球定位系统(global positioning system，简称gps)时间轴，而第二传感器的时间轴是设备自身确定的，存在一
定的时间轴差。计算机设备可以将第一历史数据和第二历史数据转换至同一时间轴下，以便系统获得采样时刻同步的第一数据帧和第二数据帧。
119.具体地，计算机设备可以将第一历史数据转换至第二历史数据的时间轴下，也可以将第二历史数据转换至第一历史数据的时间轴下，还可以将第一历史数据和第二历史数据均转换至另一个时间轴下，例如转换至gps时间轴下，对于上述转换方式在此不做限定。
120.s502、在时间轴下，获取第一历史数据中各第一数据帧的第一采样时刻，以及第二历史数据中各第二数据帧的第二采样时刻。
121.进一步地，计算机设备可以获取各第一数据帧的第一采样时刻，以及第二数据帧的第二采样时刻。上述第一采样时刻可以是第一传感器采集第一历史数据时在第一数据帧上标记的时间戳，也可以按照各个第一数据帧的顺序以及开始采样时刻获得的第一采样时刻，对于第一采样时刻的获取方式在此不做限定。第二采样时刻的获取方式与第一采样时刻的获取方式类似，在此不再赘述。
122.s503、计算第一采样时刻与第二采样时刻之间的差值。
123.s504、若差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
124.计算机设备可以认为第一采样时刻与第二采样时刻的差值在一定范围内时，也可以将第一数据帧和第二数据帧确定为一个数据对。计算机设备可以计算第一采样时刻与第二采样时刻之间的差值的绝对值；若差值的绝对值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
125.上述信息采集方法，计算机设备通过将第一历史数据和第二历史数据转换至同一时间轴下，使得计算机设备可以准确地对第一数据帧和第二数据帧进行同步；进一步地，计算机设备获取第一采样时刻与第二采样时刻的差值的绝对值，当上述差值的绝对值小于预设阈值时即确定第一数据帧和第二数据帧为一个数据帧对，避免由于采样频率等差异造成第一采样时刻与第二采样时刻不能完全相同时而导致的时间同步失败，提升了信息采集过程的稳定性。
126.图7为另一个实施例中信息采集方法的流程示意图，本实施例涉及计算机设备对每个数据对进行空间标定的一种方式，在上述实施例的基础上，如图7所示，上述s302包括：
127.s601、根据预设的转换矩阵，将数据帧对中的第二数据转换至第一传感器坐标系中，获得各第二数据在第一传感器坐标系下的映射坐标。
128.上述转换矩阵为将第二传感器采集的数据转换至第一传感器坐标下的矩阵，可以根据第一传感器与第二传感器之间的相对位姿确定，上述相对位姿可以包括第一传感器与第二传感器之间的平移量以及旋转角度。
129.上述转换矩阵可以是工作人员手工测量后获得，然后输入计算机设备中的；也可以是计算机设备根据第一传感器与第二传感器在当前相对位姿关系下，进行自动标定获得的，在此不做限定。计算机设备根据预设的转换矩阵，将数据对中的第二数据转换至第一传感器坐标系中，可以获得各第二数据在第一传感器坐标系下的映射坐标。
130.上述第二数据可以是二维数据，也可以是第二传感器坐标系下的三维数据，在此不做限定。在上述第二数据为二维数据时，计算机设备可以先将第二数据映射至第二传感器坐标系中，获得各个三维空间点对应的第二数据。例如第二数据为一张二维图像，计算机
设备可以根据预设的像素转换算法，将二维图像中目标对象的像素值，映射至该目标对象在三维空间中的相应位置处。进一步地，计算机设备可以将第二传感器坐标系下的各个三维空间点对应的第二数据，通过转换矩阵转换至第一传感器坐标系下，获得各第二数据在第一传感器坐标系下的映射坐标。
131.在一个实施例中，上述第二采样点数据为激光雷达的点云数据，上述第二传感器坐标系为激光雷达所采用的世界坐标系，上述第一采样点数据为二维图像数据，上述第一传感器坐标为二维图像的像素坐标系。上述点云数据与二维图像数据的转换关系为：
[0132][0133]
其中，该转换关系中，为第一传感器的内参矩阵，为第一传感器的外参矩阵；其中，r
11
,r
12
,
…r33
表征第一传感器和第二传感器之间的旋转角度，上述t
1-t3表征第一传感器和第二传感器之间的平移量。为世界坐标系中第二采样点数据的坐标，为像素坐标系中第二采样点数据的坐标。
[0134]
s602、在数据帧对中，获取映射坐标对应的第一数据。
[0135]
上述第一数据可以是二维数据，也可以是第一传感器坐标系下的三维数据，在此不做限定。在上述第一数据为二维数据时，计算机设备可以先将第一数据映射至第一传感器坐标系中，获得各个三维空间点对应的第一数据；或者计算机设备将坐标与第一数据在二维坐标系下的坐标进行对应，确定该坐标对应的二维坐标以及该二维坐标对应的第一数据。
[0136]
进一步地，计算机设备可以根据各映射坐标，确定各映射坐标对应的第一数据。具体地，计算机设备可以在数据对中，查找与该映射坐标对应的第一数据；若数据对中不包含该映射坐标对应的数据，那么计算机设备可以将根据映射坐标与第一数据对应的坐标值之间的距离，来确定该映射坐标对应的第一数据。例如，当映射坐标与第一数据对应的坐标值之间的距离小于预设距离阈值，那么计算机设备可以将第一数据确定为该映射坐标对应的第一数据。
[0137]
s603、将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
[0138]
在上述步骤的基础上，计算机设备确定了各映射坐标对应的第二数据，以及各映
射坐标对应的第一数据，可以将第二数据与第一数据通过映射坐标进行关联，从而建立了第一数据与第二数据的对应关系。
[0139]
上述信息采集方法，计算机设备通过转换矩阵完成数据对的空间标定，使得计算机设备可以获得各映射坐标对应的第二数据，以及各映射坐标对应的第一数据，从而可以根据映射坐标建立上述第一数据和第二数据的对应关系，利于快速准确地建立拟合映射模型。
[0140]
图8为一个实施例中信息采集方法的流程示意图，如图8，信息采集方法包括：
[0141]
s701、将第一历史数据和第二历史数据转换至同一时间轴下。
[0142]
s702、在时间轴下，获取第一历史数据中各第一数据帧的第一采样时刻，以及第二历史数据中各第二数据帧的第二采样时刻。
[0143]
s703、计算第一采样时刻与第二采样时刻之间的差值，若上述差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
[0144]
s704、根据预设的转换矩阵，将数据对中的第二数据转换至第一传感器坐标系中，获得各第二数据在第一传感器坐标系下的映射坐标。
[0145]
s705、在数据帧对中，获取映射坐标对应的第一数据。
[0146]
s706、将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
[0147]
s707、对第二历史数据进行特征提取，获得第二数据对应的第二特征信息。
[0148]
s708、将第一数据作为训练输入样本，将第一数据对应的第二数据所关联的第二特征信息作为训练输入样本的样本标签，获得训练数据集合。
[0149]
s709、将训练数据集合中的第一数据作为初始深度学习模型的输入，将第二数据关联的第二特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。
[0150]
s710、获取第一传感器采集的道路对象的第一传感器数据。
[0151]
s711、确定第二传感器是否失效，若是则执行s712。
[0152]
s712、将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息。
[0153]
上述信息采集方法，其实现原理和技术效果与上述实施例类似，在此不再赘述。
[0154]
在一个实施例中，提供一种信息采集方法，如图9所示，上述方法包括：
[0155]
s801、根据当前传感器状态，确定是否满足传感器切换条件。
[0156]
其中，上述传感器切换条件可以是传感器失效，也可以是计算机设备控制传感器停止工作等，在此不做限定。上述传感器失效可以是传感器设备损坏、传感器采集的数据异常等。计算机设备可以根据传感器返回的信息确定传感器是否失效，也可以根据传感器采集的数据判断激光雷达是否失效，在此不做限定。
[0157]
s802、若满足传感器切换条件，则将当前传感器作为第二传感器，执行上述实施例对应的信息采集方法的步骤，进行信息采集。
[0158]
上述信息采集方法，其实现原理和技术效果与上述实施例类似，在此不再赘述。
[0159]
应该理解的是，虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示，但是
这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0160]
在一个实施例中，如图10所示，提供了一种信息采集装置，包括：获取模块10和输入模块20，其中：
[0161]
获取模块10，用于获取第一传感器采集的道路对象的第一传感器数据；
[0162]
输入模块20，用于将第一传感器数据输入预设的深度学习模型，获得道路对象的第二特征信息；深度学习模型为基于第一传感器与第二传感器在同一时间段、同一场景下采集的数据进行训练获得的；第一特征信息与第二特征信息的类型不同。
[0163]
在一个实施例中，在上述实施例的基础上，上述装置还包括建立模块30，如图11所示，建立模块30包括：
[0164]
获取单元301，用于获取在同一时间段、同一场景下第一传感器采集的第一历史数据与第二传感器采集的第二历史数据；
[0165]
同步单元302，用于对第一传感器采集的第一历史数据与第二传感器采集的第二历史数据进行时空同步处理，得到第一历史数据与第二历史数据的时空映射关系；
[0166]
建立单元303，用于基于第一历史数据与第二历史数据的时空映射关系，建立深度学习模型。
[0167]
在一个实施例中，在上述实施例的基础上，上述第一历史数据包括多个第一数据帧，第二历史数据包括多个第二数据帧，如图12所示，上述同步单元302包括：
[0168]
同步子单元3021，用于对第一历史数据和第二历史数据进行时间同步，获得时间同步的多个数据帧对；每个数据帧对包括采样时刻同步的第一数据帧和第二数据帧；
[0169]
转换子单元3022，用于对每个数据帧对中的第一数据帧和第二数据帧进行坐标系转换，获得空间同步的数据对，每个数据对包括空间同步的第一数据帧中的第一数据以及第二数据帧中的第二数据。
[0170]
在一个实施例中，在上述实施例的基础上，第一传感器和第二传感器的相对位置固定，上述建立单元303具体用于：对第二历史数据进行特征提取，获得第二数据对应的第二特征信息；将第一数据作为训练输入样本，将第一数据对应的第二数据所关联的第二特征信息作为训练输入样本的样本标签，获得训练数据集合；将第一数据作为初始深度学习模型的输入，将第二数据所关联的第二特征信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得深度学习模型。
[0171]
在一个实施例中，在上述实施例的基础上，第一传感器为激光雷达，第二传感器为图像传感器，第一采样点数据为道路对象的点云数据，第二采样点数据为道路对象的图像数据；第二特征信息为道路对象的rgb值；上述建立单元303具体用于：将点云数据作为初始深度学习模型的输入，将图像数据对应的rgb值作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得第一深度学习模型。
[0172]
在一个实施例中，在上述实施例的基础上，第一传感器为图像传感器，第二传感器为激光雷达，第一采样点数据为道路对象的图像数据，第二采样点数据为道路对象的点云
数据；第二特征信息为道路对象的深度信息，深度信息用于表征道路对象与激光雷达之间的距离；上述建立单元303具体用于：将图像数据作为初始深度学习模型的输入，将点云数据对应的深度信息作为初始深度学习模型的参考输出，对初始深度学习模型进行训练，获得第二深度学习模型。
[0173]
在一个实施例中，在上述实施例的基础上，上述转同步子单元3021具体用于：将第一历史数据和第二历史数据转换至同一时间轴下；在时间轴下，获取第一历史数据中各第一数据帧的第一采样时刻，以及第二历史数据中各第二数据帧的第二采样时刻；计算第一采样时刻与第二采样时刻之间的差值；若差值小于预设阈值，则确定第一采样时刻对应的第一数据帧，与第二采样时刻对应的第二数据帧为一个数据帧对。
[0174]
在一个实施例中，在上述实施例的基础上，第一历史数据和第二历史数据的采样频率呈倍数关系。
[0175]
在一个实施例中，在上述实施例的基础上，上述转换子单元3022具体用于：根据预设的转换矩阵，将数据帧对中的第二数据转换至第一传感器坐标系中，获得各第二数据在第一传感器坐标系下的映射坐标；在数据帧对中，获取映射坐标对应的第一数据；将各映射坐标对应的第二数据，与映射坐标对应的第一数据确定为一个数据对。
[0176]
上述各实施例提供的信息采集装置，可以执行上述信息采集方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0177]
在一个实施例中，提供一种信息采集装置，如图13所示，上述装置包括：
[0178]
确定模块110，用于根据当前传感器状态，确定是否满足传感器切换条件；
[0179]
采集模块120，用于当前传感器状态满足传感器切换条件时，将当前传感器作为第二传感器，执行上述信息采集方法的步骤，进行信息采集。
[0180]
上述实施例提供的信息采集装置，可以执行上述信息采集方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0181]
关于信息采集装置的具体限定可以参见上文中对于信息采集方法的限定，在此不再赘述。上述信息采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0182]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储信息采集数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息采集方法。
[0183]
本领域技术人员可以理解，图14中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0184]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述信息采集方法的步骤。
[0185]
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0186]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述信息采集方法的步骤。
[0187]
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0188]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0189]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0190]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。