一种数据匹配方法、装置、电子设备以及存储介质与流程

1.本公开涉及自动驾驶技术领域，具体而言，涉及一种数据匹配方法、装置、电子设备以及存储介质。


背景技术：

2.3d目标检测的目标是识别出物体的3d包围盒信息，主要包括位置、朝向、尺寸、置信度等信息。近年来，在3d目标检测领域，基于激光雷达或相机传感器的单模态方法取得了越来越大的进步。然而，由于数据结构特点，图像单模态方法的目标检测效果受当前环境影响，曝光或过暗的照片都会影响目标信息的获取，并且还受前后遮挡的影响；点云单模态方法需要解决点云稀疏、不规则、缺乏纹理和语义信息以及小物体、远处物体的点数太少等问题。
3.基于此，亟需一种稳定、可靠、精准和鲁棒性高的多模态匹配算法。


技术实现要素：

4.本公开实施例至少提供一种数据匹配方法、装置、电子设备以及存储介质。
5.第一方面，本公开实施例提供了一种数据匹配方法，包括：分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果；其中，所述目标检测结果包括检测出的目标对象的包围框信息；根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息；根据所述图像数据的目标检测结果，确定所述图像数据对应的目标特征信息；所述目标特征信息包括检测出的目标对象的包围框的几何特征信息，以及所述包围框内的目标对象的外观特征信息；根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配。
6.上述实施方式中，通过结合图像数据和点云数据进行目标检测的方式，可以通过点云数据弥补图像数据容易受到光照和遮挡影响的缺陷，同时通过图像数据可以弥补点云数据稀疏以及无纹理的缺陷。因此，将图像数据和点云数据进行结合来检测3d目标，可以提高3d目标的检测准确性，进而得到更加准确的目标检测结果。
7.一种可选的实施方式中，所述根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息，包括：将所述点云数据的目标检测结果投影至所述图像数据中，得到所述点云数据所对应的包围框的投影框；根据所述投影框的顶点在所述图像数据中的像素坐标，确定所述点云数据的几何特征信息。
8.上述实施例中，通过将点云数据所对应的3d包围框投影至图像数据中，以得到2d投影框，可以实现数据格式的统一，从而能够快速的根据图像数据所对应的2d包围框和2d投影框之间的相对位置进行目标对象的匹配，进而得到相应的匹配结果。
9.一种可选的实施方式中，所述几何特征信息包括所述包围框的位置信息和/或尺寸信息。
10.上述实施例中，通过将包围框的位置信息和/或尺寸信息扩充至几何特征信息中，
可以丰富几何特征信息，进一步提高了数据匹配的准确度。
11.一种可选的实施方式中，所述根据所述图像数据的目标检测结果，确定所述图像数据对应的目标特征信息，包括：确定所述图像数据中位于检测出的包围框内的目标图像数据；提取所述目标图像数据的图像特征，并将提取到的所述图像特征确定为所述图像数据对应的外观特征信息。
12.上述实施方式中，通过提取图像数据所对应的包围框内的目标图像数据的图像特征，可以实现在根据位置信息对包围框进行匹配的基础上，进一步根据外观特征信息校验位置相匹配的包围框内对象是否为同一个对象。通过上述处理方式，可以弥补由于图像数据和点云数据之间的弱同步所导致的匹配错误，从而提高了数据匹配的精度，进而提高了自动驾驶的安全系数。
13.一种可选的实施方式中，所述根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息，包括：确定所述点云数据中位于检测出的包围框内的目标点云数据；其中，所述目标点云数据包括：位于该包围盒内目标点云的数量和/或所述目标点云在点云坐标系下的坐标信息；基于所述目标点云数据，确定用于描述所述目标点云的整体特征的全局点云特征，并根据所述全局点云特征确定所述点云数据对应的外观特征信息。
14.上述实施方式中，通过提取点云数据所对应的包围框内的目标点云数据的全局点云特征，可以实现在根据位置信息对包围框进行匹配的基础上，进一步根据外观特征信息校验位置相匹配的包围框内对象是否为同一个对象。通过上述处理方式，可以弥补由于图像数据和点云数据之间的弱同步所导致的匹配错误，从而提高了数据匹配的精度，进而提高了自动驾驶的安全系数。
15.一种可选的实施方式中，所述根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配，包括：对所述图像数据的目标特征信息和所述点云数据的目标特征信息进行相关性计算，得到相关性计算结果，得到相关性计算结果；根据所述相关性计算结果确定所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果。
16.上述实施方式中，通过结合几何图像信息和外观特征信息，对点云数据目标特征信息和图像数据的目标特征信息进行相关性计算，可以准确的确定出m个2d包围框所对应的特征信息中的每个特征信息与n个3d包围框所对应的特征信息中各个特征信息之间的相关性，从而在根据相关性计算结果对包围框进行匹配时，得到提高包围框的匹配准确度。
17.一种可选的实施方式中，所述对所述图像数据的目标特征信息和所述点云数据的目标特征信息进行相关性计算，得到相关性计算结果，包括：对所述图像数据对应的几何特征信息和所述图像数据对应的外观特征信息进行拼接，得到目标图像特征；对所述点云数据对应的几何特征信息和所述点云数据对应的外观特征信息进行拼接，得到目标点云特征；对所述目标图像特征和所述目标点云特征进行相关性运算，得到所述相关性计算结果。
18.上述实施方式中，通过将几何特征信息和外观特征信息进行拼接，得到相应的目标图像特征和目标点云特征，再对目标图像特征和目标点云特征进行相关性计算，从而根据相关性计算结果确定包围框的匹配结果的方式，可以弥补由于图像数据和点云数据之间的弱同步所导致的匹配错误，从而提高了数据匹配的精度，进而提高了自动驾驶的安全系数。
19.一种可选的实施方式中，所述根据所述相关性计算结果确定所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果，包括：对所述相关性计算结果进行卷积计算，得到相似度矩阵，其中，所述相似度矩阵用于表征所述点云数据中的包围框和所述图像数据中的包围框之间的相似程度；对所述相似度矩阵进行取反计算，得到匹配代价矩阵；对所述匹配代价矩阵进行二分图匹配处理，得到所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果。
20.上述实施方式中，可以通过对上述相关性计算结果进行卷积、取反和二分图匹配处理等操作，可以提高匹配结果的处理效率，并得到准确度较高的匹配结果。
21.一种可选的实施方式中，所述分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果，包括：通过训练好的单模态检测模型分别对所述点云数据和所述图像数据进行目标检测，得到所述点云数据的目标检测结果和所述图像数据的目标检测结果。
22.上述实施方式中，通过训练好的点云单模态检测模型对点云数据进行目标检测，并通过图像单模态检测模型对图像数据进行目标检测，可以提高目标检测结果的准确性，从而得到包含完整目标对象的准确性更高的包围框信息。
23.一种可选的实施方式中，根据以下步骤训练所述单模态检测模型确定包含多个训练样本的训练样本集；其中，每个训练样本中包含：携带有样本标签的样本图像数据和样本点云数据；通过待训练的单模态检测模型对所述训练样本集进行目标检测，得到样本目标检测结果；根据所述样本目标检测结果和所述样本标签，确定标签匹配矩阵；根据所述标签匹配矩阵计算目标损失函数的函数值，并根据所述目标损失函数函数值调整所述单模态检测模型的模型参数，直至达到预设条件，得到训练完成的所述单模态检测模型。
24.上述实施方式中，通过上述所描述的方式对单模态检测模型进行训练，可以得到处理精度满足精度要求的单模态检测模型，在根据该单模态检测模型进行目标检测时，可以提高目标检测结果的准确性，从而提高数据匹配的准确率。
25.一种可选的实施方式中，所述根据所述样本目标检测结果和所述样本标签，确定标签匹配矩阵包括：计算所述样本目标检测结果中样本图像数据对应的至少一个预测包围框和所述样本标签中样本图像数据对应的标注包围框之间的交并比，得到第一交并比值；并根据所述第一交并比值对所述至少一个预测包围框进行筛选，得到目标预测包围框；计算所述样本目标检测结果中样本点云数据对应的至少一个预测包围盒和所述样本标签中样本点云数据对应的标注包围盒之间的交并比，得到第二交并比值；并根据所述第二交并比值对所述至少一个预测包围盒进行筛选，得到目标预测包围盒；将所述目标预测包围框和所述目标预测包围盒进行匹配，得到标签匹配结果，并根据所述标签匹配结果确定所述标签匹配矩阵。
26.上述实施方式中，通过上述处理方式，可以将准确的将预测包围框和预测包围盒进行匹配，得到标签匹配矩阵；在根据该标签匹配矩阵确定目标损失函数的函数值时，可以得到准确的函数值，从而提高单模态检测模型的训练精度。
27.一种可选的实施方式中，所述确定包含多个训练样本的训练样本集，包括：获取目标跟踪数据序列，其中，所述目标跟踪数据序列中包含在各个跟踪时刻获取到的图像数据和点云数据；在所述目标跟踪数据序列中确定至少一个数据组合，其中，每个所述数据组合
包括：目标图像数据和目标点云数据；所述目标图像数据的第一跟踪时刻和所述目标点云数据的第二跟踪时刻不相同，且所述第一跟踪时刻和所述第二跟踪时刻之间的时间间隔为预设间隔；将每个所述数据组合中的数据作为每个训练样本中的数据。
28.上述实施方式中，本公开技术方案提出了一种构建点云与图像弱同步多模态数据集的方法，通过该方法可以模拟自动驾驶实际场景可能出现的弱同步情况，在通过该训练样本集训练单模态检测模型时，就可以使得训练之后的单模态检测模型能够适应多模态数据集的弱同步场景。
29.第二方面，本公开实施例还提供一种数据匹配装置，包括：获取模块：用于分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果；其中，所述目标检测结果包括检测出的目标对象的包围框信息；确定模块：用于根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息；根据所述图像数据的目标检测结果，确定所述图像数据对应的目标特征信息；所述目标特征信息包括检测出的目标对象的包围框的几何特征信息，以及所述包围框内的目标对象的外观特征信息；匹配模块：用于根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配。
30.第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
31.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
32.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
33.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
34.图1示出了本公开实施例所提供的一种数据匹配方法的流程图；
35.图2示出了本公开实施例所提供的另一种数据匹配方法的流程图；
36.图3本公开实施例所提供的一种数据匹配方法中，根据样本目标检测结果和样本标签，确定标签匹配矩阵的流程图；
37.图4示出了本公开实施例所提供的一种数据匹配装置的示意图；
38.图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
39.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
40.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
41.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
42.经研究发现，在现有的自动驾驶领域，在进行3d目标检测时，通常是基于激光雷达或相机传感器的单模态检测方法，其中，上述单模态检测方法通常包括图像单模态方法和点云单模态方法。但由于数据结构特点，图像单模态方法的目标检测效果受当前环境影响，曝光或过暗的照片都会影响目标信息的获取，并且还受前后遮挡的影响；点云单模态方法需要解决点云稀疏、不规则、缺乏纹理和语义信息以及小物体、远处物体的点数太少等问题。
43.基于上述研究，本公开提供了一种数据匹配方法、装置、电子设备以及存储介质。在本公开实施例中，通过结合图像数据和点云数据进行目标检测的方式，可以通过点云数据弥补图像数据容易受到光照和遮挡影响的缺陷，同时通过图像数据可以弥补点云数据稀疏以及无纹理的缺陷。因此，将图像数据和点云数据进行结合来检测3d目标，可以提高3d目标的检测准确性，进而得到更加准确的目标检测结果。
44.为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据匹配方法进行详细介绍，本公开实施例所提供的数据匹配方法的执行主体一般为具有一定计算能力的电子设备。
45.参见图1所示，为本公开实施例提供的一种数据匹配方法的流程图，所述方法包括步骤s101～s105，其中：
46.s101：分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果；其中，所述目标检测结果包括检测出的目标对象的包围框信息。
47.在本公开实施例中，可以通过摄像装置采集图像数据，并通过激光雷达传感器采集点云数据，其中，摄像装置和激光雷达传感器为预先安装在目标车辆上的传感器。该目标车辆可以为具备自动驾驶功能的车辆，例如，小巴车，轿车等，本公开对目标车辆的类型不作具体限定。
48.针对点云数据来说，点云数据的目标检测结果包括检测出的目标对象的包围框信息，此处的包围框为3d包围框。比如，目标对象的数量为n个，那么包围框信息包括n个目标
对象的3d包围框的相关信息。
49.针对图像数据来说，图像数据的目标检测结果包括检测出的目标对象的包围框信息，此处的包围框为2d包围框。比如，目标对象的数量为m个，那么包围框信息包括m个目标对象的2d包围框的相关信息。
50.需要说明的是，n个目标对象和m个目标对象中可以包含相同的目标对象，还可以包含不相同的目标对象。
51.s103：根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息；根据所述图像数据的目标检测结果，确定所述图像数据对应的目标特征信息；所述目标特征信息包括检测出的目标对象的包围框的几何特征信息，以及所述包围框内的目标对象的外观特征信息。
52.在本公开实施例中，目标特征信息可以为上述点云数据对应的目标特征信息，还可以为图像数据对应的目标特征信息。
53.例如，点云数据对应的目标特征信息中可以包含检测出的目标对象的包围框的几何特征信息，以及该包围框内的目标对象的外观特征信息；图像数据对应的目标特征信息中同样可以包含检测出的目标对象的包围框的几何特征信息，以及该包围框内的目标对象的外观特征信息。
54.在本公开实施例中，外观特征信息可以为用于表征包围框所框选目标对象的属性特征，该属性特征可以为该目标对象的对象类别信息，其中，该类别信息为该目标对象的类别标签，例如，车辆，行人等。
55.s105：根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配。
56.在本公开实施例中，通过结合图像数据和点云数据进行目标检测的方式，可以通过点云数据弥补图像数据容易受到光照和遮挡影响的缺陷，同时通过图像数据可以弥补点云数据稀疏以及无纹理的缺陷。因此，将图像数据和点云数据进行结合来检测3d目标，可以提高3d目标的检测准确性，进而得到更加准确的目标检测结果。
57.在本公开实施例中，为了现有的单模态检测方法中所存在的目标检测的准确性差的技术问题，一种可选的实施方式是多模态检测方法，此处的多模态检测方法是指结合图像数据和点云数据来进行对象的检测。例如，多模态检测方法可以包含点云投影法、图像反投影法和相似度矩阵法。
58.点云投影法只考虑点云3d候选框的预测结果，严重依赖点云单模态检测器的效果。图像投影法只考虑了图像2d候选框的预测结果，严重依赖图像单模态检测器的效果。相似度矩阵法并未对弱同步情况下的多模态匹配问题有太多探究。
59.针对上述所描述的点云投影法、图像反投影法和相似度矩阵法的前提条件是激光雷达传感器和摄像装置之间的强同步性，因此，上述技术方案并未考虑激光雷达传感器和摄像装置之间出现弱同步的情况。
60.这里，摄像装置和激光雷达传感器之间具有强同步性是指点云数据和图像数据的采集时间高度同步，也可以理解为点云单模态检测器和图像单模态检测器在检测到同一个物体时，点云投影2d框与图像2d框会重合，或者图像反投影3d框与点云的3d框会重合。然而，在自动驾驶实际场景中，摄像装置和激光雷达传感器由于响应延迟或复杂的道路状况
可能会出现很弱的同步。此时，弱同步会导致图像数据和点云数据之间产生同步误差。一旦产生了同步误差，那么根据误差的传递性，一方投影的结果与另一方也会产生相应的同步误差，即可以理解为通过点云数据所检测到的物体的包围框和通过图像数据所检测到的该物体的包围框不会重合，此时，可能会产生错误的匹配结果，糟糕的匹配效果会给多模态融合带来比单模态下更差的检测结果。
61.基于此，本公开提供了一种数据匹配方法，在该数据匹配方法中，通过结合图像数据和点云数据进行目标检测的方式，可以通过点云数据弥补图像数据容易受到光照和遮挡影响的缺陷，同时通过图像数据可以弥补点云数据稀疏以及无纹理的缺陷。因此，将图像数据和点云数据进行结合来检测3d目标，可以提高3d目标的检测准确性，进而得到更加准确的目标检测结果。
62.在本公开实施例中，将对上述步骤s101至步骤s105所描述的步骤进行详细的描述，具体描述过程如下所述。
63.针对步骤s101，分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果，具体包括如下过程：
64.通过训练好的单模态检测模型分别对点云数据和所述图像数据进行目标检测，得到所述点云数据的目标检测结果和所述图像数据的目标检测结果。
65.这里，单模态检测模块包含点云单模态检测模型和图像单模态检测模型。其中，点云单模态检测模型用于对点云数据进行目标检测，得到相应的目标检测结果；图像单模态检测模型用于对图像数据进行目标检测，得到相应的目标检测结果。
66.在本公开实施例中，首先通过激光雷达传感器采集点云数据，并通过摄像装置采集图像数据。之后，通过点云单模态检测模型对点云数据进行目标检测，并通过图像单模态检测模型对图像数据进行目标检测。
67.需要说明的是，点云单模态检测模型包括但不限于second、pointpillars、pointrcnn、pv
‑
rcnn，图像单模态检测模型包括但不限于rrc、mscnn、cascade r
‑
cnn。
68.上述实施方式中，通过训练好的点云单模态检测模型对点云数据进行目标检测，并通过图像单模态检测模型对图像数据进行目标检测，可以提高目标检测结果的准确性，从而得到包含完整目标对象的准确性更高的包围框信息。
69.在步骤s103中，在确定出目标检测结果之后，就可以确定点云数据对应的目标特征信息和图像数据对应的目标特征信息。因此，针对步骤s103，可以描述为下述过程：
70.步骤s1031，根据点云数据的目标检测结果，确定点云数据所对应的几何特征信息和外观特征信息。
71.步骤s1032，根据图像数据的目标检测结果，确定图像数据所对应的几何特征信息和外观特征信息。
72.这里，步骤s1031和步骤s1032无先后顺序。可以同时执行步骤s1031和步骤s1032；还可以先执行步骤s1031，而后执行步骤s1032；或者先执行步骤s1032，而后执行步骤s1031。下面将具体介绍上述步骤s1031和步骤s1032。
73.针对s1032、可以通过下述过程确定图像数据所对应的几何特征信息，具体过程描述如下：
74.(1)、根据图像数据的目标检测结果，确定目标对象的包围框。
75.(2)、根据目标对象的包围框确定图像数据的几何特征信息。
76.在本公开实施例中，假设，图像数据中包含m个目标对象，那么图像数据的目标检测结果中包括m个目标对象的2d包围框。若每个2d包围框的包围框信息记为i
j
，则m个2d包围框的包围框信息可以记为其中，每个2d包围框的包围框信息可以表示为：i
j
＝{x
j1
，y
j1
，x
j2
，y
j2
}。
77.此时，可以将每个2d包围框的包围框信息确定为图像数据所对应的几何特征信息。
78.这里，(x
j1
，y
j1
)和(x
j2
，y
j2
)分别表示在摄像装置的外参坐标系下，每个2d包围框的左上角和右下角在图像数据中的坐标信息。
79.针对s1031、根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息，具体过程描述如下：
80.(1)、将所述点云数据的目标检测结果投影至所述图像数据中，得到所述点云数据所对应的包围框的投影框。
81.(2)、根据所述投影框的顶点在所述图像数据中的像素坐标，确定所述点云数据的几何特征信息。
82.在通过点云单模态检测模型对点云数据进行目标检测之后，得到目标检测结果，假设，该目标检测结果中包括：n个目标对象的3d包围框，若每个3d包围框的包围盒信息记为p
i
，则n个3d包围框的包围框信息可以记为其中，每个3d包围框的包围框信息p
i
＝{x
i
，y
i
，z
i
，h
i
，w
i
，l
i
，θ
i
}。
83.这里，x
i
，y
i
，z
i
表示3d包围框中心在激光雷达传感器坐标系上的坐标，h
i
，w
i
，l
i
表示点云3d包围框的三维尺寸长宽高，θ
i
表示点云3d包围盒在鸟瞰图上的朝向信息，即绕着激光雷达传感器坐标系y轴的转角。
84.在获得点云数据的目标检测结果p之后，就可以根据摄像装置的外参坐标系，以及激光雷达传感器和摄像装置之间的标定关系，将上述点云数据所对应的目标检测结果投影至图像数据中，得到点云数据所对应的包围框的2d投影框其中，
85.在本公开实施例中，在上述2d投影框中，为2d投影框的左上角和右下角在图像数据中的像素坐标。在得到2d投影框的坐标信息之后，可以将该坐标信息确定点云数据的几何特征信息。
86.需要说明的是，上述点云数据所对应的包围框的2d投影框的几何特征信息可以记为其中，此时，可以看出该几何特征信息中的数据维度d
g
为4，即包括中左上角点和右下角点的像素坐标，则上述点云数据所对应的包围框的2d投影框的几何特征信息的大小可以记为n
×
d
g
。
87.同理可得，上述图像数据的2d包围框的几何特征信息可以记为其中，此时，可以看出该几何特征信息中的数据维度d
g
为4，即
包括中左上角点和右下角点的像素坐标，则上述图像数据的几何特征的大小可以记为m
×
d
g
。
88.这里需要说明的是，几何特征信息中包围框信息除了是左上角点和右下角点的像素坐标之外，还可以为左下角点和右上角点的像素坐标，本公开对此不作具体限定。
89.在本公开实施例中，上述几何特征信息还可以包含包围框的位置信息和/或尺寸信息。
90.这里，在按照上述所描述的方式确定出点云数据的几何特征信息和图像数据的几何特征信息之后，还可以将包围框的位置信息和/或尺寸信息扩充至几何特征信息中，此时，扩充之后的几何特征信息包括所述包围框的位置信息和/或尺寸信息。
91.下面，可以分为对图像数据的几何特征信息的扩充和对点云数据的几何特征信息的扩充两种情况来对几何特征信息的扩充过程进行介绍。
92.情况一：对图像数据的几何特征信息的扩充过程。
93.在本公开实施例中，在对上述图像数据的几何特征信息进行扩充时，可以将该2d包围框的中心点的像素坐标(x
c
，y
c
)扩充至上述中，使得d
g
＝6，则扩充后的
94.此外，还可以将该2d包围框的尺寸信息(h，w)也扩充至上述中，使得d
g
＝8，则扩充后的其中，上述尺寸信息h、w分别为该2d包围框的高、宽的尺寸信息。
95.情况二：对点云数据的几何特征信息的扩充过程。
96.在本公开实施例中，在对上述点云数据的几何特征信息进行扩充时，可以将该2d投影框的中心点的像素坐标扩充至上述中，使得d
g
＝6，则扩充后的此外，还可以将该2d投影框的尺寸信息也扩充至上述中，使得d
g
＝8，则扩充后的其中，上述尺寸信息分别为该2d投影框的高、宽的尺寸信息。
97.上述实施例中，通过将点云数据所对应的3d包围框投影至图像数据中，以得到2d投影框，可以实现数据格式的统一，从而能够快速的根据图像数据所对应的2d包围框和2d投影框之间的相对位置进行目标对象的匹配，进而得到相应的匹配结果。
98.上述实施例中，通过将包围框的位置信息和/或尺寸信息扩充至几何特征信息中，可以丰富几何特征信息，进一步提高了数据匹配的准确度。
99.针对s1032、在目标特征信息包括外观特征信息的情况下，根据图像数据的目标检测结果，确定所述图像数据对应的目标特征信息，具体过程描述如下：
100.(1)、确定所述图像数据中位于检测出的包围框内的目标图像数据。
101.(2)、提取所述目标图像数据的图像特征，并将提取到的所述图像特征确定为所述图像数据对应的外观特征信息。
102.在本公开实施例中，在图像数据中确定位于图像数据所对应的m个2d包围框内的图像，并将确定出的图像进行裁剪得到目标图像数据；针对m个2d包围框，可以得到m个目标图像数据。之后，可以将裁剪下来的目标图像数据进行放缩，得到m个统一像素为r
×
r的rbg图像，放缩之后的目标图像数据可以表示为image，其中，放缩之后的目标图像数据image用于表征各个像素点的像素值，且该放缩之后的目标图像数据image的大小为r
×
r
×
3。在得到目标图像数据之后，可以将目标图像数据image输入到预设的图像特征提取网络中，提取得到该目标图像数据的d
a
维的图像特征然后根据该图像特征得到该目标图像数据的外观特征信息其中，该外观特征信息可以表示为大小为m
×
d
a
的向量形式。需要说明的是，上述图像特征提取网络包括但不限于vgg
‑
net、resnet、googlenet等能够实现上述图像特征提取的网络。
103.上述实施方式中，通过提取图像数据所对应的包围框内的目标图像数据的图像特征，可以实现在根据位置信息对包围框进行匹配的基础上，进一步根据外观特征信息校验位置相匹配的包围框内对象是否为同一个对象。通过上述处理方式，可以弥补由于图像数据和点云数据之间的弱同步所导致的匹配错误，从而提高了数据匹配的精度，进而提高了自动驾驶的安全系数。
104.针对s1031、在目标特征信息包括外观特征信息的情况下，步骤：根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息，具体过程描述如下：
105.(1)、确定所述点云数据中位于检测出的包围框内的目标点云数据；其中，所述目标点云数据包括：位于该包围框内目标点云的数量和/或所述目标点云在点云坐标系下的坐标信息。
106.(2)、基于所述目标点云数据，确定用于描述所述目标点云的整体特征的全局点云特征，并根据所述全局点云特征确定所述点云数据的外观特征信息。
107.在本公开实施例中，上述激光雷达传感器可以对扫描范围内的路况进行扫描，从而得到若干个用于表征采集范围内的物体特征的点云数据。在确定点云数据所对应的外观特征信息时，可以在点云数据中确定位于3d包围框内的目标点云数据，其中，目标点云数据包含位于该包围框内目标点云的数量l和/或目标点云在点云坐标系(也即，激光雷达坐标系)下的坐标信息c，其中c＝3。
108.这里，可以将提取到的目标点云数据记为pc，其中然后，将该目标点云数据输入到点云特征提取网络中，提取得到目标点云数据的d
a
维的全局点云特征然后根据该全局点云特征得到该点云数据的外观特征信息其中，该外观特征信息可以表示为大小为n
×
d
a
的向量形式。
109.需要说明的是，上述点云特征提取网络包括但不限于pointnet、pointnet 、pointsift等能够实现上述点云特征提取的提取网络。
110.上述实施方式中，通过提取点云数据所对应的包围框内的目标点云数据的全局点
云特征，可以实现在根据位置信息对包围框进行匹配的基础上，进一步根据外观特征信息校验位置相匹配的包围框内对象是否为同一个对象。通过上述处理方式，可以弥补由于图像数据和点云数据之间的弱同步所导致的匹配错误，从而提高了数据匹配的精度，进而提高了自动驾驶的安全系数。
111.针对步骤s105，根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配，具体过程描述如下：
112.(1)、对所述图像数据的目标特征信息和所述点云数据的目标特征信息进行相关性计算，得到相关性计算结果，得到相关性计算结果。
113.(2)、根据所述相关性计算结果确定所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果。
114.在本公开实施例中，在确定出目标特征信息之后，可以按照预设相关性算法对图像数据的目标特征信息和点云数据的目标特征信息进行相关性计算，得到相关性计算结果。
115.假设，图像数据的目标特征信息中包含m个2d包围框所对应的特征信息，点云数据的目标特征信息中包含n个3d包围框所对应的特征信息。此时，相关性计算结果可以理解为m个2d包围框所对应的特征信息中的每个特征信息与n个3d包围框所对应的特征信息中各个特征信息之间的相关性。
116.在得到上述相关性计算结果之后，可以根据该相关性计算结果确定基于点云数据所确定的包围框和基于图像数据所确定的包围框之间的匹配结果。
117.具体的，该匹配结果表征基于点云数据确定的包围框和基于图像数据确定的包围框是否匹配，其中，该匹配结果可以为一个n*m的匹配矩阵。当该匹配矩阵内的元素为1时，表征两个包围框为匹配的包围框，当该匹配矩阵内的元素为0时，表征两个包围框不是相互匹配的包围框。
118.上述实施方式中，通过结合几何图像信息和外观特征信息，对点云数据目标特征信息和图像数据的目标特征信息进行相关性计算，可以准确的确定出m个2d包围框所对应的特征信息中的每个特征信息与n个3d包围框所对应的特征信息中各个特征信息之间的相关性，从而在根据相关性计算结果对包围框进行匹配时，得到提高包围框的匹配准确度。
119.在本公开实施例中，上述步骤中：对所述图像数据的目标特征信息和所述点云数据的目标特征信息进行相关性计算，得到相关性计算结果，得到相关性计算结果，具体过程描述如下：
120.(1)、对所述图像数据对应的几何特征信息和所述图像数据对应的外观特征信息进行拼接，得到目标图像特征。
121.(2)、对所述点云数据对应的几何特征信息和所述点云数据对应的外观特征信息进行拼接，得到目标点云特征。
122.(3)、对所述目标图像特征和所述目标点云特征进行相关性运算，得到所述相关性计算结果。
123.在本公开实施例中，可以对上述图像数据的几何特征信息和该图像数据的外观特征信息进行拼接，从而得到该图像数据的目标图像特征。例如，可以将大小为m
×
d
a
外观特征向量(图像数据的外观特征信息)和大小为m
×
d
g
的几何特征向量(图像数据
的几何特征信息)进行拼接，从而得到大小为m
×
(d
a
d
g
)的图像特征向量f
img
，即上述目标图像特征。在本公开实施例中，可以对上述点云数据的几何特征信息和该点云数据的外观特征信息进行拼接，从而得到该点云数据的目标点云特征。例如，可以将大小为n
×
d
a
外观特征向量(点云数据的外观特征信息)和大小为n
×
d
g
的几何特征向量f
pc
(点云数据的几何特征信息)进行拼接，从而得到大小为n
×
(d
a
d
g
)的点云数据的点云特征向量f
pc
，即上述目标点云特征。之后，可以通过预设相关性算法，对目标图像特征和目标点云特征进行相关性运算。例如，可以通过预设相关性算法对上述图像特征向量f
img
和图像特征向量f
pc
进行计算，得到n
×
m
×
(d
a
d
g
)的相关性矩阵f
correlation
(也即，上述相关性计算结果)。
124.在一种可选的实施方式中，在根据预设相关性算法可以为如下任意一个计算公式所对应的算法：
[0125][0126][0127][0128][0129][0130]
上述实施方式中，通过将几何特征信息和外观特征信息进行拼接，得到相应的目标图像特征和目标点云特征，再对目标图像特征和目标点云特征进行相关性计算，从而根据相关性计算结果确定包围框的匹配结果的方式，可以弥补由于图像数据和点云数据之间的弱同步所导致的匹配错误，从而提高了数据匹配的精度，进而提高了自动驾驶的安全系数。
[0131]
在本公开实施例中，上述步骤中：根据所述相关性计算结果确定所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果，具体过程描述如下：
[0132]
(1)、对所述相关性计算结果进行卷积计算，得到相似度矩阵，其中，所述相似度矩阵用于表征所述点云数据中的包围框和所述图像数据中的包围框之间的相似程度。
[0133]
(2)、对所述相似度矩阵进行取反计算，得到匹配代价矩阵。
[0134]
(3)、对所述匹配代价矩阵进行二分图匹配处理，得到所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果。
[0135]
在本公开实施例中，在得到相关性计算结果之后，可以将上述相关性计算结果(也即，相关性矩阵f
correlation
)输入到若干个二维卷积网络中进行卷积计算，得到一个大小为n
×
m
×
1的相似度矩阵。其中，该相似度矩阵中的每个元素表示：n个3d包围框中的每个3d包围框与m个2d包围框中各个2d包围框之间的相似程度。
[0136]
这里，相似程度包含：基于几何特征信息确定的出相似程度，还包含基于外观特征信息确定出的相似程度。
[0137]
例如，第n个3d包围框与第m个2d包围框的几何特征信息相似程度较高，且第n个3d包围框与第m个2d包围框所框选对象的外观特征信息的相似程度较高，则可以确定出第n个3d包围框与第m个2d包围框为相互匹配的包围框。
[0138]
在得到相似矩阵之后，可以对相似度矩阵进行取反计算，得到匹配代价矩阵；进而，对匹配代价矩阵进行二分图匹配处理，得到点云数据中的包围框和图像数据中的包围框之间的匹配结果。
[0139]
假设两个单模态的检测结果之间(即，图像数据的目标检测结果和点云数据的目标检测结果)，每个检测结果最多只能构成一个匹配，而同一模态下的检测结果互不相同。
[0140]
这里，每个检测结果最多只能构成一个匹配可以理解为：基于图像数据确定的一个2d包围框最多能够匹配到一个基于点云数据确定的3d包围框。
[0141]
此时，可以将两个单模态检测结果的匹配问题当成二分图匹配问题。具体地，在一个无向图当中，图像数据的目标检测结果和点云数据的目标检测结果可以分成两个子集，例如，图像数据的目标检测结果作为一个子集，点云数据的目标检测结果作为另外一个子集。在每个子集中包含多个顶点，每个顶点对应一个包围框，且每个子集当中的顶点各自互不相交，并且无向图中的所有边关联的顶点都属于两个不同的集合。对于二分图而言，构成的匹配数量可以是不同的，而匹配目标是使得两个子集尽可能准确地两两匹配。因此通过匹配算法，将相似度矩阵逐个取反后作为匹配代价矩阵，然后设置匹配阈值δ，匹配代价高于δ不参与匹配，进而计算出最终的多模态匹配矩阵(即，点云数据中的包围框和所述图像数据中的包围框之间的匹配结果)。
[0142]
需要说明的是，上述所描述的匹配算法包括但不限于匈牙利匹配算法、kuhn
‑
munkres匹配算法。
[0143]
上述实施方式中，可以通过对上述相关性计算结果进行卷积、取反和二分图匹配处理等操作，可以提高匹配结果的处理效率，并得到准确度较高的匹配结果。
[0144]
在弱同步多模态数据集下，针对几何特征信息来说，由于是通过2d包围框和3d包围框的投影框的位置信息来进行对象的匹配，因此几何特征信息也会出现弱同步问题。特别是，对于小物体而言，几何特征信息的偏差会导致匹配效果的严重下降，因此现有常用iou相似度矩阵匹配算法并不能解决弱同步下的多模态匹配问题。而外观特征信息始终是跟随3d框和2d框内的对象进行特征提取到的，因此，外观特征信息不会受到弱同步问题的影响，因此外观特征信息有助于修正弱同步带来的误差。
[0145]
综上分析，本公开实施例提出的数据匹配方法可以同时适用于强同步和弱同步情况下的多对多的多模态数据的匹配过程。
[0146]
在本公开实施例中，如图2所示，还提供了另一种数据匹配方法的流程示意图，该方法具体描述如下：
[0147]
(1)、确定目标检测结果。
[0148]
通过摄像装置采集待匹配的图像数据；并通过图像单模态检测模型对图像数据进行检测，得到目标检测结果a1，其中，目标检测结果a1中包含图像数据中所包含的m个对象的2d包围框
[0149]
通过激光雷达传感器采集待匹配的点云数据；并通过点云单模态检测模型对点云数据进行检测，得到目标检测结果a2，其中，目标检测结果a2中包含点云数据中所感知到的n个对象的3d包围框
[0150]
(2)、根据目标检测结果a1确定图像数据所对应的目标特征信息。
[0151]
将m个对象的2d包围框的位置信息确定为图像数据所对应的目标特征信息中的几何特征信息。在图像数据中确定位于每个2d包围框内的目标图像数据，并通过图像特征提取网络提取上述目标图像数据的图像特征，将提取到的上述图像特征确定为上述图像数据所对应的目标特征信息中的外观特征信息m
×
d
a
。
[0152]
(3)、根据目标检测结果a2确定点云数据所对应的目标特征信息。
[0153]
将点云数据所对应的目标检测结果投影至图像数据中，得到点云数据所对应的3d包围框的投影框；根据投影框的顶点在图像数据中的像素坐标，确定点云数据的几何特征信息。
[0154]
在点云数据中确定位于检测出的3d包围框内的目标点云数据；其中，所述目标点云数据包括：位于该3d包围框内目标点云的数量和/或目标点云在点云坐标系下的坐标信息；基于目标点云数据，确定用于描述目标点云的整体特征的全局点云特征，并根据全局点云特征确定点云数据的外观特征信息。
[0155]
(4)相关性计算。
[0156]
对图像数据对应的几何特征信息和图像数据对应的外观特征信息进行拼接，得到目标图像特征；对点云数据对应的几何特征信息和点云数据对应的外观特征信息进行拼接，得到目标点云特征；对目标图像特征和目标点云特征进行相关性运算，得到相关性计算结果。
[0157]
(5)、数据匹配过程。
[0158]
对上述相关性计算结果进行卷积计算，得到相似度矩阵n
×
m
×
1；对上述相似度矩阵进行取反计算，得到匹配代价矩阵n
×
m；对上述匹配代价矩阵进行二分图匹配处理，得到上述点云数据中的包围框和上述图像数据中的包围框之间的匹配结果，其中，该匹配结果可以为大小是n
×
m的匹配矩阵。
[0159]
通过上述描述可知，在本公开实施例中，针对摄像装置和激光雷达传感器由于响应延迟或复杂道路状况出现的弱同步情况，提出了一种数据匹配方法，该方法利用点云单模态检测模型和图像单模态检测模型预测得到的包围框，先获取点云数据所对应的3d包围框的投影2d包围框与图像数据所对应的2d包围框的几何特征信息，再通过点云特征提取网络和图像特征提取网络提取出相应包围框内的外观特征信息，最后由几何特征信息和外观特征信息的联合特征，预测出点云数据的目标检测结果与图像数据的目标检测结果的相似度矩阵。
[0160]
在本公开实施例中，在通过训练好的单模态检测模型对所述点云数据和图像数据分别进行目标检测，得到所述点云数据的目标检测结果和所述图像数据的目标检测结果之前，还需要根据以下步骤训练所述单模态检测模型：
[0161]
(1)、确定包含多个训练样本的训练样本集；其中，每个训练样本中包含：携带有样本标签的样本图像数据和样本点云数据。
[0162]
(2)、通过待训练的单模态检测模型对所述训练样本集进行目标检测，得到样本目标检测结果。
[0163]
(3)、根据所述样本目标检测结果和所述样本标签，确定标签匹配矩阵。
[0164]
(4)、根据所述标签匹配矩阵计算目标损失函数的函数值，并根据所述目标损失函数的函数值调整所述单模态检测模型的模型参数，直至达到预设条件，得到训练完成的所
述单模态检测模型。
[0165]
在本公开实施例中，在对单模态检测模型进行训练时，首先需要构建包含多个训练样本的训练样本集，即包含样本标签的样本图像数据或者样本点云数据的样本合集。
[0166]
在本公开实施例中，可以通过将上述训练样本集输入到该待训练的单模态检测模型中的方式，训练上述单模态检测模型对上述点云数据和图像数据中的样本标签分别进行识别，从而得到样本目标检测结果。
[0167]
在得到样本目标检测结果之后，可以根据样本标签和样本目标检测结果确定标签匹配矩阵。进而，根据标签匹配矩阵计算目标损失函数，并根据目标损失函数调整所述单模态检测模型的模型参数，直至达到预设条件，得到训练完成的所述单模态检测模型，其中，上述预设条件可以为单模态检测模型训练次数满足预设次数要求，和/或，该单模态检测模型的训练精度满足预设精度要求。
[0168]
需要说明的是，目标损失函数包括但不限于均方误差损失(mse)、绝对误差损失(mae)、交叉熵损失(bce)等能够实现上述单模态检测模型训练的算法。
[0169]
通过上述描述可知，单模态检测模型包含点云单模态检测模型和图像单模态检测模型。在对点云单模态检测模型和图像单模态检测模型进行训练时，可以基于包含样本图像数据的样本训练集对图像单模态检测模型进行训练，并基于包含样本点云数据的样本训练集对点云单模态检测模型进行训练，具体训练过程如上所述，此处不再分开描述。
[0170]
上述实施方式中，通过上述所描述的方式对单模态检测模型进行训练，可以得到处理精度满足精度要求的单模态检测模型，在根据该单模态检测模型进行目标检测时，可以提高目标检测结果的准确性，从而提高数据匹配的准确率。
[0171]
在本公开实施例中，如图3所示，上述步骤：根据所述样本目标检测结果和所述样本标签，确定标签匹配矩阵，具体过程描述如下：
[0172]
(1)、计算所述样本目标检测结果中样本图像数据对应的至少一个预测包围框和所述样本标签中样本图像数据对应的标注包围框之间的交并比，得到第一交并比值；并根据所述第一交并比值对所述至少一个预测包围框进行筛选，得到目标预测包围框。
[0173]
具体地，在本公开实施例中，可以将训练样本所包含的样本图像数据输入至图像单模态检测模型中，得到包含至少一个预测包围框的样本目标检测结果，其中，至少一个预测包围框又可以称为预测2d包围框。
[0174]
之后，计算每个预测2d包围框和样本图像数据中各个标注包围框之间的交并比iou(intersection over union)，得到多个第一交并比值；然后，根据多个第一交并比值对至少一个预测包围框进行筛选，得到目标预测包围框，具体筛选过程描述如下：
[0175]
首先，针对每个预测2d包围框来说，判断多个第一交并比值中是否满足大于或者等于预设阈值的交并比值。若判断出包含，则将该预测2d包围框确定为目标预测包围框。此时，可以在多个第一交并比值中确定最大交并比值所对应的标注包围框，并将该标注包围框确定为与该预测2d包围框相匹配的包围框。若确定出不包含，则舍弃该预测2d包围框。
[0176]
(2)、计算所述样本目标检测结果中样本点云数据对应的至少一个预测包围盒和所述样本标签中样本点云数据对应的标注包围盒之间的交并比，得到第二交并比值；并根据所述第二交并比值对所述至少一个预测包围盒进行筛选，得到目标预测包围盒。
[0177]
具体地，在本公开实施例中，可以将训练样本所包含的样本点云数据输入至点云
单模态检测模型中，得到包含至少一个预测包围盒的样本目标检测结果，其中，至少一个预测包围盒又可以称为预测3d包围盒。
[0178]
之后，计算每个预测3d包围盒和样本点云数据中各个标注包围盒之间的交并比iou(intersection over union)，得到多个第二交并比值；然后，根据多个第二交并比值对至少一个预测包围盒进行筛选，得到目标预测包围盒，具体筛选过程描述如下：
[0179]
首先，针对每个预测3d包围盒来说，判断多个第二交并比值中是否满足大于或者等于预设阈值的交并比值。若判断出包含，则将该预测3d包围盒确定为目标预测包围盒。此时，可以在多个第二交并比值中确定最大交并比值所对应的标注包围盒，并将该标注包围盒确定为与该预测3d包围盒相匹配的包围盒。若确定出不包含，则舍弃该预测3d包围盒。
[0180]
(3)、将所述目标预测包围框和所述目标预测包围盒进行匹配，得到标签匹配结果，并根据所述标签匹配结果确定所述标签匹配矩阵。
[0181]
在确定出目标预测包围框和目标预测包围盒之后，将目标预测包围框和目标预测包围盒中对应相同对象的目标预测包围盒和目标预测包围框作为一个标签匹配对；并将标签匹配矩阵对应的位置设为1，而不匹配的位置为0，从而得到一个标签匹配矩阵。
[0182]
上述实施方式中，通过上述处理方式，可以将准确的将预测包围框和预测包围盒进行匹配，得到标签匹配矩阵；在根据该标签匹配矩阵确定目标损失函数的函数值时，可以得到准确的函数值，从而提高单模态检测模型的训练精度。
[0183]
在本公开实施例中，确定包含多个训练样本的训练样本集，具体过程描述如下：
[0184]
(1)、获取目标跟踪数据序列，其中，所述目标跟踪数据序列中包含在各个跟踪时刻获取到的图像数据和点云数据。
[0185]
(2)、在所述目标跟踪数据序列中确定至少一个数据组合，其中，每个所述数据组合包括：目标图像数据和目标点云数据；所述目标图像数据的第一跟踪时刻和所述目标点云数据的第二跟踪时刻不相同，且所述第一跟踪时刻和所述第二跟踪时刻之间的时间间隔为预设间隔。
[0186]
(3)、将每个所述数据组合中的数据作为每个训练样本中的数据。
[0187]
在本公开实施例中，首先分别获取包含图像数据和点云数据的目标跟踪数据序列，其中，上述目标跟踪数据序列中包含足够用于跟踪以及训练上述单模态检测模型的数据。
[0188]
在本公开实施例中，首先，在同一个目标跟踪数据序列里，选取第一跟踪时刻的目标图像数据image
k
，然后根据预设间隔，间隔若干帧确定出第二跟踪时刻并选取该时刻的目标点云数据pc
k n
，其构建原理为弱同步的传递性，当前帧的目标图像数据image
k
与间隔若干帧的图像数据image
k n
会出现时空的弱同步，则图像数据image
k n
对应的强同步目标点云数据pc
k n
也会与目标图像数据image
k
产生时空弱同步。
[0189]
在本公开实施例中，将上述目标图像数据image
k
和目标点云数据pc
k n
分别确定为训练样本中的样本图像数据和样本点云数据。
[0190]
上述实施方式中，本公开技术方案提出了一种构建点云与图像弱同步多模态数据集的方法，通过该方法可以模拟自动驾驶实际场景可能出现的弱同步情况，在通过该训练样本集训练单模态检测模型时，就可以使得训练之后的单模态检测模型能够适应多模态数据集的弱同步场景。
[0191]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0192]
基于同一发明构思，本公开实施例中还提供了与数据匹配方法对应的数据匹配装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据匹配方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0193]
参照图4所示，为本公开实施例提供的一种数据匹配装置的示意图，所述装置包括：获取模块41、确定模块42、匹配模块43；其中，
[0194]
获取模块41，用于分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果；其中，所述目标检测结果包括检测出的目标对象的包围框信息；
[0195]
确定模块42：用于根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息；根据所述图像数据的目标检测结果，确定所述图像数据对应的目标特征信息；所述目标特征信息包括检测出的目标对象的包围框的几何特征信息，以及所述包围框内的目标对象的外观特征信息；
[0196]
匹配模块43：用于根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配。
[0197]
本公开实施例中，通过结合图像数据和点云数据进行目标检测的方式，可以通过点云数据弥补图像数据容易受到光照和遮挡影响的缺陷，同时通过图像数据可以弥补点云数据稀疏以及无纹理的缺陷。因此，将图像数据和点云数据进行结合来检测3d目标，可以提高3d目标的检测准确性，进而得到更加准确的目标检测结果。
[0198]
一种可能的实施方式中，确定模块42，还用于：将所述点云数据的目标检测结果投影至所述图像数据中，得到所述点云数据的包围框的投影框；根据所述投影框的顶点在所述图像数据中的像素坐标，确定所述点云数据的几何特征信息。
[0199]
一种可能的实施方式中，所述几何特征信息包括所述包围框的位置信息和/或尺寸信息。
[0200]
一种可能的实施方式中，确定模块42，还用于：确定所述图像数据中位于检测出的包围框内的目标图像数据；提取所述目标图像数据的图像特征，并将提取到的所述图像特征确定为所述图像数据对应的外观特征信息。
[0201]
一种可能的实施方式中，确定模块42，还用于：确定所述点云数据中位于检测出的包围框内的目标点云数据；其中，所述目标点云数据包括：位于该包围盒内目标点云的数量和/或所述目标点云在点云坐标系下的坐标信息；基于所述目标点云数据，确定用于描述所述目标点云的整体特征的全局点云特征，并根据所述全局点云特征确定所述点云数据对应的外观特征信息。
[0202]
一种可能的实施方式中，匹配模块43，还用于：对所述图像数据的目标特征信息和所述点云数据的目标特征信息进行相关性计算，得到相关性计算结果，得到相关性计算结果；根据所述相关性计算结果确定所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果。
[0203]
一种可能的实施方式中，匹配模块43，还用于：对所述图像数据对应的几何特征信
息和所述图像数据对应的外观特征信息进行拼接，得到目标图像特征；对所述点云数据对应的几何特征信息和所述点云数据对应的外观特征信息进行拼接，得到目标点云特征；对所述目标图像特征和所述目标点云特征进行相关性运算，得到所述相关性计算结果。
[0204]
一种可能的实施方式中，匹配模块43，还用于：对所述相关性计算结果进行卷积计算，得到相似度矩阵，其中，所述相似度矩阵用于表征所述点云数据中的包围框和所述图像数据中的包围框之间的相似程度；对所述相似度矩阵进行取反计算，得到匹配代价矩阵；对所述匹配代价矩阵进行二分图匹配处理，得到所述点云数据中的包围框和所述图像数据中的包围框之间的匹配结果。
[0205]
一种可能的实施方式中，匹配模块43，还用于：通过训练好的单模态检测模型分别对所述点云数据和所述图像数据进行目标检测，得到所述点云数据的目标检测结果和所述图像数据的目标检测结果。
[0206]
一种可能的实施方式中，该装置，还用于：根据以下步骤训练所述单模态检测模型：确定包含多个训练样本的训练样本集；其中，每个训练样本中包含：携带有样本标签的样本图像数据和样本点云数据；通过待训练的单模态检测模型对所述训练样本集进行目标检测，得到样本目标检测结果；根据所述样本目标检测结果和所述样本标签，确定标签匹配矩阵；根据所述标签匹配矩阵计算目标损失函数，并根据所述目标损失函数调整所述单模态检测模型的模型参数，直至达到预设条件，得到训练完成的所述单模态检测模型。
[0207]
一种可能的实施方式中，该装置，还用于：计算所述样本目标检测结果中样本图像数据对应的至少一个预测包围框和所述样本标签中样本图像数据对应的标注包围框之间的交并比，得到第一交并比值；并根据所述第一交并比值对所述至少一个预测包围框进行筛选，得到目标预测包围框；计算所述样本目标检测结果中样本点云数据对应的至少一个预测包围盒和所述样本标签中样本点云数据对应的标注包围盒之间的交并比，得到第二交并比值；并根据所述第二交并比值对所述至少一个预测包围盒进行筛选，得到目标预测包围盒；将所述目标预测包围框和所述目标预测包围盒进行匹配，得到标签匹配结果，并根据所述标签匹配结果确定所述标签匹配矩阵。
[0208]
一种可能的实施方式中，该装置，还用于：获取目标跟踪数据序列，其中，所述目标跟踪数据序列中包含在各个跟踪时刻获取到的图像数据和点云数据；在所述目标跟踪数据序列中确定至少一个数据组合，其中，每个所述数据组合包括：目标图像数据和目标点云数据；所述目标图像数据的第一跟踪时刻和所述目标点云数据的第二跟踪时刻不相同，且所述第一跟踪时刻和所述第二跟踪时刻之间的时间间隔为预设间隔；将每个所述数据组合中的数据作为每个训练样本中的数据。
[0209]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0210]
对应于图1中的数据匹配方法，本公开实施例还提供了一种电子设备500，如图5所示，为本公开实施例提供的电子设备500结构示意图，包括：
[0211]
处理器51、存储器52、和总线53；存储器52用于存储执行指令，包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换，当所述电子设备500运行时，所述处理器51与所述存储器52之间通过总线53通信，使得所述处
理器51执行以下指令：
[0212]
分别对待匹配的点云数据和图像数据进行检测，得到所述点云数据的目标检测结果和图像数据的目标检测结果；其中，所述目标检测结果包括检测出的目标对象的包围框信息；根据所述点云数据的目标检测结果，确定所述点云数据对应的目标特征信息；根据所述图像数据的目标检测结果，确定所述图像数据对应的目标特征信息；所述目标特征信息包括检测出的目标对象的包围框的几何特征信息，以及所述包围框内的目标对象的外观特征信息；根据所述目标特征信息，对基于所述点云数据确定的包围框和基于所述图像数据确定的包围框进行匹配。
[0213]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0214]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0215]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0216]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0217]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。