三维数据增强、模型训练检测方法、设备及自动驾驶车辆与流程

1.本公开涉及数据处理技术领域，具体涉及深度学习、自动驾驶等技术领域。


背景技术：

2.数据增强(data augmentation)是指在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。其原理是，通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，加强本体特征的学习，减少模型过拟合，提升泛化能力。


技术实现要素：

3.本公开实施例提供了一种三维数据增强方法、模型训练方法、目标检测方法、装置、设备、存储介质、计算机程序产品及自动驾驶车辆，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。
4.第一方面，本公开实施例提供了一种三维数据增强方法，包括：
5.获取原始二维图像和所述原始二维图像匹配的真值标注数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据；
6.根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据；
7.根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵；
8.根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据；
9.根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。
10.第二方面，本公开实施例提供了一种模型训练方法，包括：
11.获取目标检测样本数据；其中，所述目标检测样本数据包括原始图像数据以及根据所述原始图像数据进行数据增强得到的三维增强图像数据；所述三维增强图像数据通过上述任一所述三维数据增强方法得到；
12.根据所述目标检测样本数据训练目标检测网络模型。
13.第三方面，本公开实施例提供了一种目标检测方法，包括：
14.获取待检测图像；
15.将所述待检测图像输入至目标检测网络模型，得到所述目标检测网络模型的目标检测结果；
16.其中，所述目标检测网络模型通过上述所述的模型训练方法训练得到。
17.第四方面，本公开实施例提供了一种三维数据增强装置，包括：
18.图像数据获取模块，用于获取原始二维图像和所述原始二维图像匹配的真值标注
数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据；
19.第一变换模块，用于根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据；
20.第二变换模块，用于根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵；
21.二维投影模块，用于根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据；
22.三维增强图像数据生成模块，用于根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。
23.第五方面，本公开实施例提供了一种模型训练装置，包括：
24.样本数据获取模块，用于获取目标检测样本数据；其中，所述目标检测样本数据包括原始图像数据以及根据所述原始图像数据进行数据增强得到的三维增强图像数据；所述三维增强图像数据通过上述任一所述三维数据增强装置得到；
25.模型训练模块，用于根据所述目标检测样本数据训练目标检测网络模型。
26.第六方面，本公开实施例提供了一种目标检测装置，包括：
27.待检测图像获取模块，用于获取待检测图像；
28.目标检测结果获取模块，用于将所述待检测图像输入至目标检测网络模型，得到所述目标检测网络模型的目标检测结果；
29.其中，所述目标检测网络模型通过上述所述的模型训练装置训练得到。
30.第七方面，本公开实施例提供了一种电子设备，包括：
31.至少一个处理器；以及
32.与所述至少一个处理器通信连接的存储器；其中，
33.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的三维数据增强方法，或执行第二方面实施例所提供的模型训练方法，或执行第三方面实施例所提供的目标检测方法。
34.第八方面，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的三维数据增强方法，或执行第二方面实施例所提供的模型训练方法，或执行第三方面实施例所提供的目标检测方法。
35.第九方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所提供的三维数据增强方法，或第二方面实施例所提供的模型训练方法，或第三方面实施例所提供的目标检测方法。
36.第十方面，本公开实施例还提供了一种自动驾驶车辆，包括第七方面所提供的电子设备。
37.本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值
标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强。在得到三维增强图像数据之后，可以将原始图像数据和三维增强图像数据作为目标检测样本数据训练目标检测网络模型，从而根据训练得到的目标检测网络模型对待检测图像进行三维目标检测，得到最终的目标检测结果，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，以及根据数据增强后的样本数据训练得到的目标检测网络模型进行三维目标检测时存在的精度和召回率较低等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。
38.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
39.附图用于更好地理解本方案，不构成对本公开的限定。其中：
40.图1是本公开实施例提供的一种三维数据增强方法的流程图；
41.图2是本公开实施例提供的一种三维数据增强方法的流程图；
42.图3是本公开实施例提供的一种三维数据增强方法的流程图；
43.图4是本公开实施例提供的一种模型训练方法的流程图；
44.图5是本公开实施例提供的一种目标检测方法的流程图；
45.图6是本公开实施例提供的一种三维数据增强装置的结构图；
46.图7是本公开实施例提供的一种模型训练装置的结构图；
47.图8是本公开实施例提供的一种目标检测装置的结构图；
48.图9是用来实现本公开实施例的三维数据增强方法、模型训练方法或目标检测方法的电子设备的结构示意图。
具体实施方式
49.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
50.三维目标检测是以物体表面朝向的三维信息来识别完整的三维物体模型，在车联网、智能座舱、智能交通以及自动驾驶等技术领域应用极为广泛。例如，在自动驾驶领域中，可以领用三维目标检测技术来实现对障碍物的3d识别和检测。在三维目标检测技术中，单目3d目标检测是一个重要的技术分支。单目3d目标检测是指利用单个摄像机采集图像，对图像中的检测对象的3d属性，包括位置{x,y,z}(也即检测对象的三维坐标)、大小{h,w,l}(也即检测对象的高、宽和长)以及朝向{theta}等信息进行估计的技术。
51.在进行单目3d目标检测之前，往往需要利用带有标注数据的图像样本数据训练目标检测网络模型，以根据训练得到的目标检测网络模型实现单目3d目标检测的目的。然而，在对训练的样本数据进行标注时，不仅需要对摄像头的图像数据进行二维标注，还需要对
检测对象的3d真值数据进行标注，导致实际的数据标注过程非常耗时，成本非常高。同时，由于在采集标注数据时，大部分数据都是相对重复的场景，比如很多连续帧中出现的障碍物都是相似的，因此样本数据的多样性也难以保证，进而降低了目标检测网络模型的精度和召回率。
52.为了解决上述问题，现有技术通常需要通过模拟改变相机参数的方法来对相机的等效内参进行变化或修正3d真值，如模拟改变相机焦距、模拟改变相机的感受野或模拟改变相机的位置。还有部分方法通过实例分割将实例级别的障碍物mask(掩膜)，通过粘贴的方法，进行3d数据增强。当上述三维数据增强方法处理过程较为繁琐，数据处理成本较高。
53.在一个示例中，图1是本公开实施例提供的一种三维数据增强方法的流程图，本实施例可适用于在不增加数据采集和数据标注成本的前提下，大量扩充多样性的三维样本数据的情况，该方法可以由三维数据增强装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是终端设备，也可以是服务器设备，本公开实施例并不对电子设备的具体设备类型进行限定。相应的，如图1所示，该方法包括如下操作：
54.s110、获取原始二维图像和所述原始二维图像匹配的真值标注数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据。
55.其中，原始二维图像可以是原始采集的二维图像，可以是任意类型的二维图像，如rgb(red，green，blue，三原色)图像、灰度图像或红外图像等，只要可以用于进行目标检测即可，本公开实施例并不对原始二维图像的图像类型和图像内容进行限定。真值标注数据可以是用于对原始二维图像进行标注的数据。二维真值标注数据可以是对原始二维图像的二维信息进行标注的数据，例如可以是二维形式的标注框(bbox)的坐标数据以及关键点的坐标数据等。三维真值标注数据可以是对原始二维图像的三维信息进行标注的数据，例如可以是障碍物的深度、长宽高以及朝向等三维信息。本公开实施例并不对二维真值标注数据和三维真值标注数据的标注对象和数据内容进行限定。可选的，真值标注数据可以是gt(ground truth)数据。相应的，二维真值标注数据可以是2d gt数据，三维真值标注数据可以是3d gt数据。
56.在本公开实施例中，在进行数据增强处理之前，可以获取原始二维图像和原始二维图像匹配的真值标注数据等原始图像数据。原始图像数据的获取方式可以是实时采集并标注，也可以是从存储原始图像数据的数据库下载导出获取。原始图像数据可以是用于自动驾驶的车辆摄像头采集的图像数据以及对图像数据进行标注得到的标注数据，或者还可以是监控摄像头采集的图像数据以及对图像数据进行标注得到的标注数据等，本公开实施例并不对原始二维图像和原始二维图像匹配的真值标注数据的获取方式和数据内容进行限定。
57.可选的，可以是在获取到原始二维图像之后，对原始二维图像的二维信息和三维信息进行标注，从而得到原始二维图像的二维真值标注数据和三维真值标注数据。
58.s120、根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据。
59.其中，目标变换元素可以是对原始图像数据进行变换的元素。示例性的，目标变换元素可以包括但不限于仿射变换矩阵、图像中检测对象的对称线或中心点等，只要能够实
现对原始图像数据的变换即可，本公开实施例并不对目标变换元素的元素类型进行限定。变换二维图像可以是根据目标变换元素对原始二维图像进行变换得到的二维图像。变换二维真值标注数据可以是根据目标变换元素对二维真值标注数据进行变换得到的二维真值标注数据。
60.相应的，在获取到原始二维图像和所述原始二维图像匹配的真值标注数据之后，可以开始对其进行数据增强处理。在数据增强处理过程中，首先需要确定对图像和标注数据进行转换的目标变换元素，进而根据目标变换元素对原始二维图像和二维真值标注数据进行变换，得到匹配的变换二维图像和变换二维真值标注数据。
61.可以理解的是，根据目标变换元素对原始二维图像进行变换时，可以是对图像进行不同角度的变换，以模拟从不同角度拍摄同一时刻的图像实现对图像数据的扩充。相应的，根据目标变换元素对原始二维图像进行变换后，需要根据相同的原始二维图像进行变换对该原始二维图像匹配的二维真值标注数据进行变换，以保证图像数据和标注数据的一致性和统一性，得到的变换二维图像和变换二维真值标注数据即为一组扩充后的二维图像数据。
62.可选的，在根据目标变换元素对原始二维图像和二维真值标注数据进行变换之前，还可以判断是否需要进行数据增强处理。可选的，可以通过随机数据的取值来判断是否需要进行数据增强处理。或者，也还可以根据样本数据的丰富程度来判断是否需要进行数据增强处理。
63.s130、根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵。
64.其中，内参矩阵是将3d相机坐标变换到2d齐次图像坐标的矩阵，矩阵内的参数可以由相机的相关参数和相机图像的中心点坐标构成。相应的，原始内参矩阵可以是用于对原始二维图像的3d相机坐标变换到2d齐次图像坐标的矩阵，变换内参矩阵可以是用于对变换二维图像的3d相机坐标变换到2d齐次图像坐标的矩阵。
65.s140、根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据。
66.其中，投影真值标注数据可以是需要进行二维投影的三维真值标注数据进行二维投影后所得到的二维真值标注数据。所谓二维投影也即将3d相机坐标变换到2d齐次图像坐标。
67.在根据确定的目标变换元素对原始二维图像和二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据之后，可以进一步根据相同的目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，并根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据。
68.可以理解的是，部分原始二维图像匹配的三维真值标注数据是不需要进行二维投影的，例如在对图像进行变换时，如果图像中检测对象的深度信息和大小信息没有发生变化，则深度数据和大小数据等三维真值标注数据无需进行二维投影，但需要对检测对象的朝向数据进行相应的变换。因此，可选的，根据变换内参矩阵对三维真值标注数据进行二维投影时，可以选择部分需要投影到2d图像的三维真值标注数据进行二维投影。
69.s150、根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。
70.其中，三维增强图像数据也即在原始二维图像和原始二维图像匹配的真值标注数据的基础上进行数据增强处理后所得到的扩充后的数据。
71.在本公开实施例中，根据目标变换元素对一组原始图像数据的原始二维图像和二维真值标注数据进行变换得到的变换二维图像和变换二维真值标注数据，并对该组原始图像数据的三维真值标注数据进行二维投影，得到投影真值标注数据之后，即可根据该组原始图像数据转换后得到的变换二维图像、变换二维真值标注数据和投影真值标注数据生成该组原始图像数据对应扩充的三维增强图像数据。
72.可以理解的是，根据目标变换元素类型的不同，一组原始图像数据可以对应扩充多组不同的三维增强图像数据。因此，本公开实施例所提供的三维数据增强方法可以在不进行人工标注的前提下，利用目标变换元素对原始图像数据扩充大量的三维增强图像数据。目标变换元素不同，其对应扩充得到的三维增强图像数据也不同，因此能够极大地提高三维增强图像数据的多样性。
73.本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性。
74.在一个示例中，图2是本公开实施例提供的一种三维数据增强方法的流程图，本公开实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了根据仿射变换矩阵对原始二维图像、二维真值标注数据以及原始内参矩阵进行变换的多种具体可选的实现方式。
75.如图2所示的一种三维数据增强方法，包括：
76.s210、获取原始二维图像和所述原始二维图像匹配的真值标注数据。
77.其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据
78.s220、根据所述仿射变换矩阵对所述原始二维图像和所述二维真值标注数据进行仿射变换，得到所述变换二维图像和所述变换二维真值标注数据。
79.在本公开实施例中，可选的，可以将仿射变换矩阵作为目标变换元素，对原始二维图像和二维真值标注数据进行仿射变换，得到对应的变换二维图像和变换二维真值标注数据。
80.s230、根据所述仿射变换矩阵对所述原始内参矩阵进行仿射变换，得到所述变换内参矩阵。
81.相应的，在根据仿射变换矩阵对原始二维图像和二维真值标注数据进行仿射变换后，可以利用相同的仿射变换矩阵对原始内参矩阵进行仿射变换，得到变换内参矩阵，以保证变换操作的一致性。
82.可以理解的是，仿射变换是一种二维坐标到二维坐标之间的线性变换，它保持了二维图形的“平直性”(即：直线经过变换之后依然是直线)和“平行性”(即：二维图形之间的
相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变)。由于仿射变换可以采用多种不同的仿射变换矩阵对原始图像数据进行变换，因此可以得到大量的变换图像数据，从而大幅提高样本数据的数据量。
83.在本公开的一个可选实施例中，所述仿射变换矩阵包括以下至少一项：缩放变换矩阵、平移变换矩阵、旋转变换矩阵、水平方向错切矩阵、竖直方向错切矩阵、相对原点反射矩阵、沿水平方向反射矩阵以及沿竖直方向反射矩阵。
84.其中，缩放变换矩阵可以用于对原始图像数据进行缩放变换；平移变换矩阵可以用于对原始图像数据进行平移变换；旋转变换矩阵可以用于对原始图像数据进行旋转变换；水平方向错切矩阵可以用于对原始图像数据进行水平方向错切变换，也即沿x轴方向错切变换；竖直方向错切矩阵可以用于对原始图像数据进行竖直方向错切变换，也即沿y轴方向错切变换；相对原点反射矩阵可以用于对原始图像数据进行相对坐标原点的反射变换；沿水平方向反射矩阵可以用于对原始图像数据进行沿水平方向反射变换，也即沿x轴方向反射变换；沿竖直方向反射矩阵可以用于对原始图像数据进行沿竖直方向反射变换，也即沿y轴方向反射变换。
85.假设仿射变换矩阵为a，则矩阵a的通用表达方式为：其中，a、b、c、d、e、f为矩阵a的参数，根据仿射变换矩阵类型的不同，上述矩阵a的参数取值也不同。具体的，当仿射变换矩阵为缩放变换矩阵时，矩阵a的表达方式具体可以为：其中，w表示在x轴方向上的缩放比例，h表示在y轴方向上的缩放比例。当仿射变换矩阵为旋转变换矩阵时，矩阵a的表达方式具体可以为：其中，x
δ
表示在x轴方向上的平移距离，y
δ
表示在y轴方向上的平移距离。当仿射变换矩阵为平移变换矩阵时，矩阵a的表达方式具体可以为：其中，θ表示沿y轴旋转的角度。当仿射变换矩阵为水平方向错切矩阵时，矩阵a的表达方式具体可以为：其中，表示沿y轴错切的角度。当仿射变换矩阵为竖直方向错切矩阵时，矩阵a的表达方式具体可以为：其中，γ表示沿x轴错切的角度。当仿射变换矩阵为相对原点反射矩阵时，矩阵a的表达方式具体可以为：当仿射变换矩阵为沿水平方向反射矩阵时，矩阵a的表达方式具体可以为：当仿射变换矩阵为沿竖直方向反射矩阵时，矩阵a的表达方式具体可以为：
86.具体的，根据仿射变换矩阵对原始二维图像和二维真值标注数据进行仿射变换时，可以将原始二维图像和二维真值标注数据转换为匹配的矩阵形式。示例性的，原始二维图像的矩阵b可以为：其中，像素点11坐标表示第一行第一列像素点的坐标，像素点1n坐标表示第一行第n列像素点的坐标，像素点n1坐标表示第n行第一列像素点的坐标，像素点nn坐标表示第n行第n列像素点的坐标。以像素点11坐标为例说明，像素点11坐标的表达式可以为(x
11
，y
11
，1)。二维真值标注数据的矩阵c可以为：[xb yb 1]，其中，xb表示二维真值标注数据的横坐标，yb表示二维真值标注数据的纵坐标。相应的，可以基于表达式：a
·
b对原始二维图像进行仿射变换，并基于表达式：a
·
c对二维真值标注数据进行仿射变换。
[0087]
假设原始内参矩阵为k，则矩阵k的通用表达方式为：其中，f
x
表示相机在x方向的焦距，fy表示相机在y方向的焦距，f
x
和fy的值近似于相等。c
x
表示图像中心点的横坐标，cy表示图像中心点的纵坐标。
[0088]
相应的，根据仿射变换矩阵对原始内参矩阵进行变换时，可以基于表达式：a
·
k对原始二维图像进行仿射变换，得到变换内参矩阵k’。也即k’＝a
·
k。具体的，k’的矩阵形式为：
[0089]
示例性的，以沿竖直方向反射矩阵作为目标变换元素为例说明，根据沿竖直方向反射矩阵对原始内参矩阵进行变换得到的k’具体为：
[0090]
s240、根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据。
[0091]
如果对原始二维图像进行二维投影，则可以基于表达式e＝k
·
d实现原始二维图像中三维点到二维点的投影变换。其中，e表示三维点投影为二维点的坐标，可以为(xe，ye，1)，xe为三维点投影为二维点的横坐标，ye为三维点投影为二维点的纵坐标。d为三维点的坐标，可以为(x，y，z)。
[0092]
相应的，根据变换内参矩阵对三维真值标注数据进行二维投影，则可以基于表达式e’＝k’·
d实现变换二维图像中三维点到二维点的投影变换。
[0093]
s250、根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。
[0094]
本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹
配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性。
[0095]
在一个示例中，图3是本公开实施例提供的一种三维数据增强方法的流程图，本公开实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了根据中心对称轴线对原始二维图像、二维真值标注数据以及原始内参矩阵进行变换的多种具体可选的实现方式。
[0096]
如图3所示的一种三维数据增强方法，包括：
[0097]
s310、获取原始二维图像和所述原始二维图像匹配的真值标注数据。
[0098]
其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据。
[0099]
s320、根据所述中心对称轴线对所述原始二维图像和所述二维真值标注数据进行翻转变换，得到所述变换二维图像和所述变换二维真值标注数据。
[0100]
其中，中心对称轴线可以是图像中心点所在的竖直线。
[0101]
除了可以采用仿射变换矩阵实现对二维图像数据的增强处理，还可以采用3d flip(翻转)的方式对二维图像数据的增强处理。3d flip的增强处理方式类似于对二维图像数据进行镜像翻转。
[0102]
s330、根据所述中心对称轴线对所述三维真值标注数据进行翻转变换，得到变换三维真值标注数据。
[0103]
其中，变换三维真值标注数据可以是是根据中心对称轴线对三维真值标注数据进行变换得到的三维真值标注数据。
[0104]
具体的，可以以原始二维图像的中心对称轴线为基准，根据中心对称轴线对原始二维图像和二维真值标注数据进行翻转变换，得到变换二维图像和变换二维真值标注数据。在此基础上，还需要根据中心对称轴线对三维真值标注数据进行翻转变换，得到变换三维真值标注数据。
[0105]
示例性的，假设某一原始二维图像的其中一个二维真值标注数据的坐标值为(x,y)，该原始二维图像的其中一个三维真值标注数据的坐标值为(x,y,z)，该原始二维图像的宽为w0，高为h0，则根据中心对称轴线对二维真值标注数据进行翻转变换得到的变换二维真值标注数据的坐标为(w0-x,h0-y)。根据中心对称轴线对三维真值标注数据进行翻转变换得到的变换三维真值标注数据的坐标为(-x,y,z)。
[0106]
s340、获取所述原始二维图像中目标检测对象的对象中心点的目标变换三维真值标注数据。
[0107]
其中，目标检测对象也即原始二维图像中需要检测识别的对象，可以是障碍物等任意类型的检测对象，本公开实施例并不对目标检测对象的类型进行限定。对象中心点可以是目标检测对象的中心点。目标变换三维真值标注数据可以是原始二维图像中目标检测对象的对象中心点的三维真值标注数据进行翻转变换后得到的变换三维真值标注数据。
[0108]
s350、根据所述目标变换三维真值标注数据对所述原始内参矩阵进行变换，得到所述变换内参矩阵。
[0109]
在本公开实施例中，根据中心对称轴线对原始内参矩阵进行变换时，需要以原始二维图像中目标检测对象的对象中心点的目标变换三维真值标注数据为基准，在目标检测对象的对象中心点的目标变换三维真值标注数据的基础上对原始内参矩阵进行变换，得到变换内参矩阵。
[0110]
上述技术方案，通过利用中心对称轴线对原始图像数据进行翻转变换，丰富了数据增强的处理方式，可以得到大量的变换图像数据，从而大幅提高样本数据的数据量。
[0111]
在本公开的一个可选实施例中，所述根据所述目标变换三维真值标注数据对所述原始内参矩阵进行变换，得到所述变换内参矩阵，可以包括：根据所述目标变换三维真值标注数据将所述原始内参矩阵变换为转换方程组；根据所述转换方程组和所述变换内参矩阵的变换矩阵参数构建目标矩阵方程；对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果；根据所述目标矩阵方程求解结果生成所述变换内参矩阵。
[0112]
其中，转换方程组可以是根据原始内参矩阵的矩阵参数构建的方程组，变换矩阵参数也即变换内参矩阵的参数。目标矩阵方程可以是在转换方程组的基础上，根据变换内参矩阵的变换矩阵参数所构建的矩阵方程，用于求解变换内参矩阵的矩阵参数。目标矩阵方程求解结果也即目标矩阵方程中的未知参数的求解结果。
[0113]
具体的，为了确定用于翻转变换所采用的变换内参矩阵，可以首先根据目标变换三维真值标注数据将原始内参矩阵变换为转换方程组，进而根据原始内参矩阵和变换内参矩阵的参数对应关系，利用变换内参矩阵的变换矩阵参数对转换方程组中原始内参矩阵的矩阵参数进行替换，得到由变换内参矩阵的变换矩阵参数构建的目标矩阵方程。进一步的，可以对构建的目标矩阵方程求解，得到目标矩阵方程求解结果。由于目标矩阵方程求解结果也即变换内参矩阵的变换矩阵参数的求解结果，因此可以直接根据求解得到的目标矩阵方程求解结果生成变换内参矩阵。
[0114]
上述技术方案，通过构建方程组的方式将变换内参矩阵的变换矩阵参数引入矩阵方程，可以实现采用数据推导的流程快速求解变换内参矩阵的变换矩阵参数。
[0115]
在本公开的一个可选实施例中，所述根据所述目标变换三维真值标注数据将所述原始内参矩阵变换为转换方程组，可以包括：根据所述目标变换三维真值标注数据和所述原始内参矩阵，获取所述目标检测对象的对象中心点在所述原始二维图像的目标归一化投影坐标；根据所述目标归一化投影坐标和所述目标变换三维真值标注数据将所述原始内参矩阵变换为所述转换方程组。
[0116]
其中，目标归一化投影坐标也即目标检测对象的对象中心点在二维图像上的归一化投影坐标。
[0117]
具体的，假设目标检测对象的对象中心点的三维真值标注数据为(x0,y0,z0)，则目标变换三维真值标注数据为(-x0,y0,z0)，为已知量。原始内参矩阵为由于f
x
≈fy
，因此，原始内参矩阵可以近似表示为所以，可以根据目标变换三维真值标注数据和原始内参矩阵构建一个原始公式：其中，u和v是两个未知量，具体是目标检测对象的对象中心点在原始二维图像的目标归一化投影坐标。将上述原始公式进行变形，即可得到转换方程组：转换方程组的构建可以有效将原始内参矩阵通过方程组的形式进行表达，有利于后续推导求解变换内参矩阵的变换矩阵参数。
[0118]
在本公开的一个可选实施例中，所述根据所述转换方程组和所述变换内参矩阵的变换矩阵参数构建目标矩阵方程，可以包括：根据所述转换方程组、和所述变换内参矩阵的变换矩阵参数构建目标方程组；根据所述目标方程组构建基准矩阵方程；根据所述变换三维真值标注数据对所述基准矩阵方程的矩阵元素进行扩充，得到所述目标矩阵方程。
[0119]
其中，目标方程组可以是由转换方程组进一步转换的方程组。基准矩阵方程可以是由目标方程组转换得到的矩阵方程。
[0120]
可以理解的是，由于经过翻转变换后，原始内参矩阵同样需要翻转变换为变换内参矩阵，因此，上述原始公式中需要采用变换内参矩阵求解目标检测对象的对象中心点在原始二维图像的目标归一化投影坐标。相应的，转换方程组内的原始内参矩阵的矩阵参数被变换内参矩阵的变换矩阵参数替换，得到对应的目标方程组：其中，f'、c
x
'和cy'为变换矩阵参数。也即变换内参矩阵具体为：进一步的，目标方程组可以抽象为px
–
b＝0，其中，p为未知量的矩阵形式的系数，b为常数项。px
–
b＝0可以进一步转换为矩阵方程：其中，对该矩阵方程进一步进行变形，将b的相关取值左移，得到基准矩阵方程：其中，p的值更新为
[0121]
由于基准矩阵方程中存在多个未知数，包括目标归一化投影坐标和变换内参矩阵的变换矩阵参数，因此，需要对基准矩阵方程进行扩充，提高基准矩阵方程的维度，才能够对基准矩阵方程中的未知数进行求解。因此，可以从已知的变换三维真值标注数据中选取多组已知量对基准矩阵方程的矩阵元素进行扩充。可选的，为了得到更好的求解效果，可以选取8组已知的变换三维真值标注数据对基准矩阵方程的矩阵元素进行扩充，得到最终的
目标矩阵方程：其中，(-x1,y1,z1)表示其中一组已知的变换三维真值标注数据。
[0122]
上述技术方案，通过利用多组变换三维真值标注数据对目标方程组构建基准矩阵方程的矩阵元素进行扩充，可以保证目标矩阵方程能够被有效求解，从而提高目标矩阵方程的求解效率。
[0123]
在本公开的一个可选实施例中，所述对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果，可以包括：确定目标最小二乘求解方法；根据所述目标最小二乘求解方法对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果。
[0124]
其中，目标最小二乘求解方法可以是任意一种最小二乘求解方法。
[0125]
在本公开实施例中，可以采用一种最小二乘求解方法作为目标最小二乘求解方法对目标矩阵方程进行求解，得到目标矩阵方程求解结果。
[0126]
示例性的，针对目标矩阵方程：可以采用svd(singular value decomposition，奇异值分解)的方式进行最小二乘求解，得到的最终求解结果。进而可以根据已知的构建变换内参矩阵：
[0127]
上述技术方案，通过利用最小二乘求解方法可以简便快速地求解变换内参矩阵的变换矩阵参数。
[0128]
s360、根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据。
[0129]
s370、根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。
[0130]
本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真
值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性。
[0131]
在一个示例中，图4是本公开实施例提供的一种模型训练方法的流程图，本实施例可适用于利用上述数据增强处理方法处理得到的三维样本数据训练目标检测网络模型的情况，该方法可以由模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是终端设备，也可以是服务器设备，本公开实施例并不对电子设备的具体设备类型进行限定。相应的，如图4所示，该方法包括如下操作：
[0132]
s410、获取目标检测样本数据。
[0133]
其中，目标检测样本数据也即用于训练目标检测网络模型的样本数据。可选的，目标检测样本数据可以包括原始图像数据以及根据原始图像数据进行数据增强得到的三维增强图像数据；三维增强图像数据可以通过上述任一所述三维数据增强方法得到。
[0134]
其中，原始图像数据可以是原始二维图像和原始二维图像匹配的真值标注数据等未经数据增强处理的数据。
[0135]
s420、根据所述目标检测样本数据训练目标检测网络模型。
[0136]
其中，目标检测网络模型可以用于根据获取的图像进行三维目标检测，可以用于检测三维的障碍物或追踪对象等任意类型的检测对象。可选的，目标检测网络模型可以是任意类型经深度学习得到的网络模型，如卷积神经网络模型等，本公开实施例并不对目标检测网络模型的模型类型进行限定。
[0137]
在本公开实施例中，在获取到原始图像数据后，可以将原始图像数据中的原始二维图像和原始二维图像匹配的真值标注数据采用上述任一所述三维数据增强方法进行数据增强处理，得到扩充的三维增强图像数据。该三维增强图像数据可以包括转换的二维图像以及该转换的二维图像匹配的转换的二维真值标注数据和转换的三维真值标注数据。相应的，在得到三维增强图像数据之后，即可将原始图像数据以及根据原始图像数据进行数据增强得到的三维增强图像数据同时作为目标检测样本数据，并将目标检测样本数据输入至目标检测网络模型，以训练目标检测网络模型。
[0138]
由于三维增强图像数据实现了对原始图像数据的大量扩充，其数据量和数据的多样性更丰富，因此能够满足目标检测网络模型的训练需求，从而保证目标检测网络模型的精度和召回率。
[0139]
本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强。在得到三维增强图像数据之后，可以将原始图像数据和三维增强图像数据作为目标检测样本数据训练目标检测网络模型，从而根据训练得到的目标检测网络模型对待检测图像进行三维目标检测，得到最终的目标检测结果，解决现有根据数据
增强后的样本数据训练得到的目标检测网络模型进行三维目标检测时存在的精度和召回率较低等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。
[0140]
在一个示例中，图5是本公开实施例提供的一种目标检测方法的流程图，本实施例可适用于利用上述模型训练方法训练得到的目标检测网络模型进行三维目标检测的情况，该方法可以由目标检测装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是终端设备，也可以是服务器设备，本公开实施例并不对电子设备的具体设备类型进行限定。相应的，如图5所示，该方法包括如下操作：
[0141]
s510、获取待检测图像。
[0142]
其中，待检测图像可以是需要进行三维目标检测的图像。
[0143]
s520、将所述待检测图像输入至目标检测网络模型，得到所述目标检测网络模型的目标检测结果。
[0144]
其中，所述目标检测网络模型通过上述所述的模型训练方法训练得到。
[0145]
在本公开实施例中，当目标检测网络模型训练完成后，即可获取需要进行三维目标检测的待检测图像，并将待检测图像输入至目标检测网络模型，通过目标检测网络模型输出的目标检测结果实现对待检测图像的自动检测。
[0146]
由于训练目标检测网络模型的样本数据采用了原始图像数据以及根据原始图像数据进行数据增强得到的三维增强图像数据，而三维增强图像数据实现了对原始图像数据的大量扩充，其数据量和数据的多样性更丰富，因此能够满足目标检测网络模型的训练需求，从而保证目标检测网络模型的精度和召回率。
[0147]
本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强。在得到三维增强图像数据之后，可以将原始图像数据和三维增强图像数据作为目标检测样本数据训练目标检测网络模型，从而根据训练得到的目标检测网络模型对待检测图像进行三维目标检测，得到最终的目标检测结果，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，以及根据数据增强后的样本数据训练得到的目标检测网络模型进行三维目标检测时存在的精度和召回率较低等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。
[0148]
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本公开的保护范围。
[0149]
在一个示例中，图6是本公开实施例提供的一种三维数据增强装置的结构图，本公开实施例可适用于在不增加数据采集和数据标注成本的前提下，大量扩充多样性的三维样本数据的情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是终端设备，也可以是服务器设备，本公开实施例并不对电子设备的具体设备类型进行
限定。
[0150]
如图6所示的一种三维数据增强装置600，包括：图像数据获取模块610、第一变换模块620、第二变换模块630、二维投影模块640和三维增强图像数据生成模块650。其中，
[0151]
图像数据获取模块610，用于获取原始二维图像和所述原始二维图像匹配的真值标注数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据；
[0152]
第一变换模块620，用于根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据；
[0153]
第二变换模块630，用于根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵；
[0154]
二维投影模块640，用于根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据；
[0155]
三维增强图像数据生成模块650，用于根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。
[0156]
本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性。
[0157]
可选的，所述目标变换元素包括仿射变换矩阵；第一变换模块620具体用于：根据所述仿射变换矩阵对所述原始二维图像和所述二维真值标注数据进行仿射变换，得到所述变换二维图像和所述变换二维真值标注数据；第二变换模块630具体用于：根据所述仿射变换矩阵对所述原始内参矩阵进行仿射变换，得到所述变换内参矩阵。
[0158]
可选的，所述仿射变换矩阵包括以下至少一项：缩放变换矩阵、平移变换矩阵、旋转变换矩阵、水平方向错切矩阵、竖直方向错切矩阵、相对原点反射矩阵、沿水平方向反射矩阵以及沿竖直方向反射矩阵。
[0159]
可选的，所述目标变换元素包括中心对称轴线；第一变换模块620具体用于：根据所述中心对称轴线对所述原始二维图像和所述二维真值标注数据进行翻转变换，得到所述变换二维图像和所述变换二维真值标注数据；第二变换模块630具体用于：根据所述中心对称轴线对所述三维真值标注数据进行翻转变换，得到变换三维真值标注数据；获取所述原始二维图像中目标检测对象的对象中心点的目标变换三维真值标注数据；根据所述目标变换三维真值标注数据对所述原始内参矩阵进行变换，得到所述变换内参矩阵。
[0160]
可选的，第二变换模块630具体用于：根据所述目标变换三维真值标注数据将所述原始内参矩阵变换为转换方程组；根据所述转换方程组和所述变换内参矩阵的变换矩阵参数构建目标矩阵方程；对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果；根据所述目标矩阵方程求解结果生成所述变换内参矩阵。
[0161]
可选的，第二变换模块630具体用于：根据所述目标变换三维真值标注数据和所述
原始内参矩阵，获取所述目标检测对象的对象中心点在所述原始二维图像的目标归一化投影坐标；根据所述目标归一化投影坐标和所述目标变换三维真值标注数据将所述原始内参矩阵变换为所述转换方程组。
[0162]
可选的，第二变换模块630具体用于：根据所述转换方程组、和所述变换内参矩阵的变换矩阵参数构建目标方程组；根据所述目标方程组构建基准矩阵方程；根据所述变换三维真值标注数据对所述基准矩阵方程的矩阵元素进行扩充，得到所述目标矩阵方程。
[0163]
可选的，第二变换模块630具体用于：确定目标最小二乘求解方法；根据所述目标最小二乘求解方法对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果。
[0164]
上述三维数据增强装置可执行本公开任意实施例所提供的三维数据增强方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开任意实施例提供的三维数据增强方法。
[0165]
由于上述所介绍的三维数据增强装置为可以执行本公开实施例中的三维数据增强方法的装置，故而基于本公开实施例中所介绍的三维数据增强方法，本领域所属技术人员能够了解本实施例的三维数据增强装置的具体实施方式以及其各种变化形式，所以在此对于该三维数据增强装置如何实现本公开实施例中的三维数据增强方法不再详细介绍。只要本领域所属技术人员实施本公开实施例中三维数据增强方法所采用的装置，都属于本公开所欲保护的范围。
[0166]
在一个示例中，图7是本公开实施例提供的一种模型训练装置的结构图，本公开实施例可适用于利用上述数据增强处理方法处理得到的三维样本数据训练目标检测网络模型的情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是终端设备，也可以是服务器设备，本公开实施例并不对电子设备的具体设备类型进行限定。
[0167]
如图7所示的一种模型训练装置700，包括：样本数据获取模块710和模型训练模块720。其中，
[0168]
样本数据获取模块710，用于获取目标检测样本数据；其中，所述目标检测样本数据包括原始图像数据以及根据所述原始图像数据进行数据增强得到的三维增强图像数据；所述三维增强图像数据通过上述任一所述三维数据增强装置得到；
[0169]
模型训练模块720，用于根据所述目标检测样本数据训练目标检测网络模型。
[0170]
上述模型训练装置可执行本公开任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开任意实施例提供的模型训练方法。
[0171]
由于上述所介绍的模型训练装置为可以执行本公开实施例中的模型训练方法的装置，故而基于本公开实施例中所介绍的模型训练方法，本领域所属技术人员能够了解本实施例的模型训练装置的具体实施方式以及其各种变化形式，所以在此对于该模型训练装置如何实现本公开实施例中的模型训练方法不再详细介绍。只要本领域所属技术人员实施本公开实施例中模型训练方法所采用的装置，都属于本公开所欲保护的范围。
[0172]
在一个示例中，图8是本公开实施例提供的一种目标检测装置的结构图，本公开实施例可适用于利用上述模型训练方法训练得到的目标检测网络模型进行三维目标检测的情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是终端设备，也可以是服务器设备，本公开实施例并不对电子设备的具体设备类型进行限定。
[0173]
如图8所示的一种目标检测装置800，包括：待检测图像获取模块810和目标检测结果获取模块820。其中，
[0174]
待检测图像获取模块810，用于获取待检测图像；
[0175]
目标检测结果获取模块820，用于将所述待检测图像输入至目标检测网络模型，得到所述目标检测网络模型的目标检测结果；
[0176]
其中，所述目标检测网络模型通过上述所述的模型训练装置训练得到。
[0177]
上述目标检测装置可执行本公开任意实施例所提供的目标检测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开任意实施例提供的目标检测方法。
[0178]
由于上述所介绍的目标检测装置为可以执行本公开实施例中的目标检测方法的装置，故而基于本公开实施例中所介绍的目标检测方法，本领域所属技术人员能够了解本实施例的目标检测装置的具体实施方式以及其各种变化形式，所以在此对于该目标检测装置如何实现本公开实施例中的目标检测方法不再详细介绍。只要本领域所属技术人员实施本公开实施例中目标检测方法所采用的装置，都属于本公开所欲保护的范围。
[0179]
在一个示例中，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0180]
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0181]
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0182]
设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0183]
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如三维数据增强方法、模型训练方法或目标检测方法。例如，在一些实施例中，三维数据增强方法、模型训练方法或目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903
并由计算单元901执行时，可以执行上文描述的三维数据增强方法、模型训练方法或目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行三维数据增强方法、模型训练方法或目标检测方法。
[0184]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0185]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0186]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0187]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0188]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0189]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通
过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器还可以分布式系统的服务器，或者是结合了区块链的服务器。
[0190]
本公开实施例通过利用目标变换元素对获取的原始二维图像和原始二维图像匹配的二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，并根据目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，以根据变换内参矩阵对三维真值标注数据进行二维投影，得到投影真值标注数据，最终根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据，实现对原始二维图像和其匹配的真值标注数据进行数据增强。在得到三维增强图像数据之后，可以将原始图像数据和三维增强图像数据作为目标检测样本数据训练目标检测网络模型，从而根据训练得到的目标检测网络模型对待检测图像进行三维目标检测，得到最终的目标检测结果，解决现有对三维目标检测的样本数据进行数据增强处理时存在的数据标注成本高以及难以保证数据多样性等问题，以及根据数据增强后的样本数据训练得到的目标检测网络模型进行三维目标检测时存在的精度和召回率较低等问题，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。
[0191]
在上述实施例的基础上，本公开实施例还提供了一种自动驾驶车辆，包括车体，还包括上述实施例所述的电子设备。
[0192]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0193]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。