一种图像检测方法和装置与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种图像检测方法和装置。


背景技术：

2.自动驾驶车辆通常配备多种类型的传感器用于检测障碍物，如激光雷达、rgb图像相机、毫米波雷达等。但是，由于不同的传感器成像原理、安装视角不同，因而获得的输出结果亦不同：比如安装在顶部的多线激光雷达，其输出为360度点云，而图像传感器则由若干个rgb相机组成，每个相机有一个固定的视场角，负责生成对应部分区域的rgb图像。由于这些传感器生成的数据模态不同，其产生的数据特性也不同：比如激光雷达对光线强度不敏感，可在夜晚使用，但是由于激光雷达成本较高，面向量产的自动驾驶车辆一般无法采用高线束的产品，因此获得的点云数据较稀疏，导致分辨率较低；而rgb图像相机成本低，分辨率高，纹理特征明显，但是容易受到天气变化，环境光线强度的影响。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
4.从算法方面来说，通常是将每一个模态对应的数据用一个专用的算法获得检测结果后，再将各个模型的检测结果融合起来，一般业界称之为后融合方法。与之相对应的称之为前融合方法，即用一个深度模型或算法将不同模态的数据一次性全部处理，直接获得最终的检测结果，比如avod算法对不同模态的数据使用深度神经网络进行特征提取获得特征图，然后再在特征图级别进行融合。由于不同模态数据的差异，很难将来自不同模态的特征图进行对齐，比如一个来自360度点云和一张前视相机所对应的两个特征图。但是，无论是后融合方法还是前融合方法，融合效果都不佳，导致图像检测性能较差。


技术实现要素：

5.有鉴于此，本发明实施例提供一种图像检测方法和装置，以解决图像检测性能较差的技术问题。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种图像检测方法，包括：
7.采用图像实例分割模型对待检测图像进行实例分割，得到所述待检测图像中的各个实例；
8.基于点云数据和所述各个实例计算所述各个实例的初步中心；
9.采用实例中心矫正模型对所述各个实例的初步中心进行矫正，得到所述各个实例的矫正中心；
10.将所述各个实例的矫正中心输入目标检测模型，以输出所述各个实例的框体和类别。
11.可选地，基于点云数据和所述各个实例计算所述各个实例的初步中心，包括：
12.将点云数据投影至所述各个实例；
13.根据所述各个实例中重叠部分的点云数据，合并出现在不同待检测图像中的同一
个实例的点云数据；
14.采用聚类算法计算出所述各个实例的主体的点云数据；
15.基于所述各个实例的主体的点云数据，计算所述各个实例的初步中心。
16.可选地，采用聚类算法计算出所述各个实例的主体的点云数据，包括：
17.采用空间聚类算法计算出所述各个实例的主体的点云数据，去除所述各个实例的主体之外的点云数据。
18.可选地，采用图像实例分割模型对待检测图像进行实例分割，得到所述待检测图像中的各个实例之前，还包括：
19.获取各个角度的样本图像，在所述各个角度的样本图像上标记出各个样本实例的位置、类别和轮廓，并采用第一模型训练得到图像实例分割模型；
20.计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型；
21.采用第三模型训练得到目标检测模型。
22.可选地，采用第一模型训练得到图像实例分割模型，包括：
23.将所述各个角度的样本图像及其各个样本实例的位置、类别和轮廓输入到第一模型中进行训练，从而训练得到图像实例分割模型；
24.其中，所述第一模型为mask r-cnn、hybrid task cascade或者blendmaskd。
25.可选地，计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型，包括：
26.基于样本点云数据和所述各个样本实例计算所述各个样本实例的初步中心；
27.在所述样本点云数据中标记出所述各个样本实例的框体，并计算所述各个样本实例的框体的中心；
28.将所述各个样本实例的初步中心和所述各个样本实例的框体的中心输入到第二模型中进行训练，从而训练得到实例中心矫正模型。
29.可选地，基于样本点云数据和所述各个样本实例计算所述各个样本实例的初步中心，包括：
30.将样本点云数据投影至所述各个样本实例；
31.根据所述各个样本实例中重叠部分的点云数据，合并出现在不同样本图像中的同一个样本实例的点云数据；
32.采用聚类算法计算出所述各个样本实例的主体的点云数据；
33.基于所述各个样本实例的主体的点云数据，计算所述各个样本实例的初步中心。
34.可选地，所述第二模型为pointnet、pointnet 、cylider3d或者rand-la。
35.可选地，采用第三模型训练得到目标检测模型，包括：
36.将所述各个样本实例的各个点云的属性数据和所述各个样本实例的框体输入到第三模型中进行训练，从而训练得到目标检测模型；
37.其中，每个点云的属性数据包括三维坐标、类别和所属框体的中心坐标。
38.可选地，所述第三模型为pointpillars、voxelnet、sparsely embedded convolutional detection或者centerpoint。
39.另外，根据本发明实施例的另一个方面，提供了一种图像检测装置，包括：
40.分割模块，用于采用图像实例分割模型对待检测图像进行实例分割，得到所述待检测图像中的各个实例；
41.计算模块，用于基于点云数据和所述各个实例计算所述各个实例的初步中心；
42.矫正模块，用于采用实例中心矫正模型对所述各个实例的初步中心进行矫正，得到所述各个实例的矫正中心；
43.检测模块，用于将所述各个实例的矫正中心输入目标检测模型，以输出所述各个实例的框体和类别。
44.可选地，所述计算模块还用于：
45.将点云数据投影至所述各个实例；
46.根据所述各个实例中重叠部分的点云数据，合并出现在不同待检测图像中的同一个实例的点云数据；
47.采用聚类算法计算出所述各个实例的主体的点云数据；
48.基于所述各个实例的主体的点云数据，计算所述各个实例的初步中心。
49.可选地，所述计算模块还用于：
50.采用空间聚类算法计算出所述各个实例的主体的点云数据，去除所述各个实例的主体之外的点云数据。
51.可选地，还包括训练模块，用于：
52.获取各个角度的样本图像，在所述各个角度的样本图像上标记出各个样本实例的位置、类别和轮廓，并采用第一模型训练得到图像实例分割模型；
53.计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型；
54.采用第三模型训练得到目标检测模型。
55.可选地，所述训练模块还用于：
56.将所述各个角度的样本图像及其各个样本实例的位置、类别和轮廓输入到第一模型中进行训练，从而训练得到图像实例分割模型；
57.其中，所述第一模型为mask r-cnn、hybrid task cascade或者blendmaskd。
58.可选地，所述训练模块还用于：
59.基于样本点云数据和所述各个样本实例计算所述各个样本实例的初步中心；
60.在所述样本点云数据中标记出所述各个样本实例的框体，并计算所述各个样本实例的框体的中心；
61.将所述各个样本实例的初步中心和所述各个样本实例的框体的中心输入到第二模型中进行训练，从而训练得到实例中心矫正模型。
62.可选地，所述训练模块还用于：
63.将样本点云数据投影至所述各个样本实例；
64.根据所述各个样本实例中重叠部分的点云数据，合并出现在不同样本图像中的同一个样本实例的点云数据；
65.采用聚类算法计算出所述各个样本实例的主体的点云数据；
66.基于所述各个样本实例的主体的点云数据，计算所述各个样本实例的初步中心。
67.可选地，所述第二模型为pointnet、pointnet 、cylider3d或者rand-la。
68.可选地，所述训练模块还用于：
69.将所述各个样本实例的各个点云的属性数据和所述各个样本实例的框体输入到第三模型中进行训练，从而训练得到目标检测模型；
70.其中，每个点云的属性数据包括三维坐标、类别和所属框体的中心坐标。
71.可选地，所述第三模型为pointpillars、voxelnet、sparsely embedded convolutional detection或者centerpoint。
72.根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
73.一个或多个处理器；
74.存储装置，用于存储一个或多个程序，
75.当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。
76.根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
77.上述发明中的一个实施例具有如下优点或有益效果：因为通过采用图像实例分割模型对待检测图像进行实例分割，采用实例中心矫正模型对各个实例的初步中心进行矫正，从而将各个实例的矫正中心输入目标检测模型的技术手段，所以克服了现有技术中图像检测性能较差的技术问题。本发明实施例使用图像的实例分割结果对点云中的每个点进行实例级别的标注，并进一步对每个实例的中心进行矫正，接着再点云检测算法进行目标检测，由于在送入点云检测算法之前就获得了点云的实例信息，因而使得检测算法的学习难度大大降低，从而大幅度地提升了检测性能。
78.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
79.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
80.图1是根据本发明实施例的图像检测方法的主要流程的示意图；
81.图2是根据本发明一个可参考实施例的图像检测方法的主要流程的示意图；
82.图3是根据本发明实施例的图像检测装置的主要模块的示意图；
83.图4是本发明实施例可以应用于其中的示例性系统架构图；
84.图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
85.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
86.本发明实施例使用图像的实例分割结果对点云中的每个点进行实例级别的标注，通过第一阶段的实例分割之后，每个点云数据带有类别的标签，如汽车、行人、自行车等，而
且还可以识别出同类别的不同实例，比如有10辆汽车，20个行人等，实例分割能够将这些同类别的实例区分开来，比如汽车1，汽车2，汽车3等。
87.本发明实施例将点云数据投影至实例分割模型的结果后，进一步使用图像实例分割模型来获取每个实例独立的信息，比如每个点云数据计算出其对应的实例中心(center)并对其进行校正，因此在第二阶段输入数据里使用这些信息可以进一步降低算法学习的难度，从而提高图像检测的准确性。因此，本发明实施例充分利用图像中的信息，降低第二阶段点云检测的难度，从而提升检测性能。
88.本发明实施例打破了后融合和前融合的绝对“隔阂”，巧妙地使用图像实例分割的结果，然后根据点云和相机之间的标定关系，将原始点云数据投影至图像实例分割的结果上，使得每个点云数据都获得了实体分类，如车、行人、自行车等，然后计算出每个实例在雷达坐标系的中心(center)，接着再使用传统的点云检测算法进行目标检测。由于在送入点云检测算法之前就获得了点云的实例信息，因而使得检测算法的学习难度大大降低，从而大幅度地提升了检测性能。本发明实施例与后融合方法不同，其并非在两个模态的检测结果上进行融合，也于前融合方法不同，因为其并不直接同时处理两个模态的数据，而是顺序处理。正是由于二者存在一个顺序承接的关系，因此可以视其为图像-点云的二段式检测方法。
89.图1是根据本发明实施例的图像检测方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述图像检测方法可以包括：
90.步骤101，采用图像实例分割模型对待检测图像进行实例分割，得到所述待检测图像中的各个实例。
91.在推理阶段，需要获得一帧点云数据和其对应的至少一张rgb图像(即为待检测图像，可以由安装在不同角度的rgb相机采集)。需要指出的是，待检测图像可能是一张，也可能是多张，由rgb相机的数量来决定。如果在不同角度安装了多台相机，那么每张相机采集一张待检测图像，则对多张待检测图像中的每一张待检测图像分别进行实例分割；如果只安装了一台相机，那么就对这台相机采用的一张图像进行实例分割。
92.在本发明的实施例中，首先采用图像实例分割模型对各个角度的待检测图像进行实例分割，分别得到每个待检测图像中的各个实例。图像实例分割模型识别出每个像素属于哪个实例，比如图像实例分割模型识别出哪些像素属于第一辆汽车、哪些像素属于第二辆汽车。
93.为了获得较好的实例分割结果，需要预先训练好图像实例分割模型。可选地，在步骤101之前，还可以包括：获取各个角度的样本图像，在所述各个角度的样本图像上标记出各个样本实例的位置、类别和轮廓，并采用第一模型训练得到图像实例分割模型；计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型；采用第三模型训练得到目标检测模型。首选通过安装在各个角度的rgb相机采集各个角度的样本图像，标记出样本图像中每个像素的所属实例的标签，并基于标记结果训练得到图像实例分割模型；然后计算出各个样本实例的初步中心，同时结合在样本点云数据中标记出的各个样本实例的框体，训练得到实例中心矫正模块；最后训练得到目标检测模型。在本发明的实施例中，需要预先训练好图像实例分割模型、实例中心矫正模型和目标检测模型，这样在后续检测步骤中可以准确地进行目标检测。
94.可选地，采用第一模型训练得到图像实例分割模型，包括：将所述各个角度的样本图像及其各个样本实例的位置、类别和轮廓输入到第一模型中进行训练，从而训练得到图像实例分割模型。首选通过安装在各个角度的rgb相机采集各个角度的样本图像，然后标记出样本图像中每个像素的所属实例的标签，接着将各个角度的样本图像及其标记结果输入到第一模型中进行训练，通过迭代训练得到图像实例分割模型。可选地，所述第一模型为mask r-cnn、hybrid task cascade或者blendmaskd，通过这些模型对每个角度的样本图像进行训练，可以取得较好的训练结果。
95.可选地，计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型，可以包括：基于样本点云数据和所述各个样本实例计算所述各个样本实例的初步中心；在所述样本点云数据中标记出所述各个样本实例的框体，并计算所述各个样本实例的框体的中心；将所述各个样本实例的初步中心和所述各个样本实例的框体的中心输入到第二模型中进行训练，从而训练得到实例中心矫正模型。为了在后续步骤中充分利用步骤101得到的图像信息进行点云检测，还需要预先训练实例中心矫正模型，训练实例中心矫正模型时，以各个样本实例的初步中心作为输入数据，标注数据中的各个样本实例的框体的中心作为回归目标，将这两部分数据送入第二模型中进行训练，通过迭代训练得到获得实例中心矫正模块，该模块用于对实例中心进行矫正，使得检测算法的学习难度大大降低，从而大幅度地提升了检测性能。
96.具体地，将整场点云数据分别投影至对应的rgb图像上，结合图像实例分割的结果，获得点云的实例，然后计算出各个实例的初步中心[c1,c2,c3]，同时在样本点云数据中标注出各个样本实例的框体，从而计算出各个样本实例的框体的中心。输入到第二模型的点云数据的格式为[x,y,z,r,c1,c2,c3]，对应的真值为[x,y,z,r,c1
*
,c2
*
,c3
*
]，输入到第二模型的各个样本实例的框体中心的格式为[x,y,z,r,c1
′
,c2
′
,c3
′
]，作为回归目标，其中[c1
′
,c2
′
,c3
′
]为标记出的样本实例的框体中心。
[0097]
可选地，基于样本点云数据和所述各个样本实例计算所述各个样本实例的初步中心，包括：将样本点云数据投影至所述各个样本实例；根据所述各个样本实例中重叠部分的点云数据，合并出现在不同样本图像中的同一个样本实例的点云数据；采用聚类算法计算出所述各个样本实例的主体的点云数据；基于所述各个样本实例的主体的点云数据，计算所述各个样本实例的初步中心。
[0098]
首先将样本点云数据投影至各个样本实例，然后根据各个样本实例中重叠部分的点云数据，将重叠部分的点云数据合并成同一个样本实例对应的点云数据，接着采用聚类算法计算出各个样本实例的主体的点云数据，最后计算出各个样本实例的初步中心。需要指出的是，由于同一个样本实例可能会出现在不同角度的多个样本图像，因此不同角度的多个样本图像中会存在重叠部分的点云，需要先将重叠部分的点云数据合并成同一个样本实例对应的点云数据，再计算各个样本实例的初步中心。
[0099]
可选地，采用聚类算法计算出所述各个样本实例的主体的点云数据之后，还需要去除地面点云数据，避免地面点云数据影响主体点云数据的聚类。
[0100]
可选地，采用聚类算法计算出所述各个样本实例的主体的点云数据，包括：采用空间聚类算法计算出所述各个样本实例的主体的点云数据，去除所述各个实例的主体之外的点云数据。通过聚类算法可以对点云数据进行聚类，每个簇代表一个样本实例，这样能够准
确地找出各个样本实例的主体，去除各个实例的主体之外的点云数据。
[0101]
可选地，所述聚类算法可以是dbscan、fn-dbscan、landmark fn-dbscan或者optics等，这些聚类算法可以准确地找出各个样本实例的主体。
[0102]
可选地，所述第二模型为pointnet、pointnet 、cylider3d或者rand-la，采用这些模型可以训练出实例中心矫正模型，从而对实例中心进行准确地矫正，使得点云检测算法的学习难度大大降低，从而大幅度地提升了点云检测性能。
[0103]
需要指出的是，准确地计算出各个样本实例的中心可以进一步降低点云检测算法的学习难度，但受激光雷达-相机标定准确性影响以及不同传感器的帧间同步时间差的问题，通常点云到图像的结果有一定偏差，这些因素最终会导致投影结果不准确，特别是在实例分割的边缘处。因此，本发明实施例使用一系列投影点云后处理和模型矫正的方法，以获得较好的实例的中心。
[0104]
可选地，采用第三模型训练得到目标检测模型，可以包括：将所述各个样本实例的各个点云的属性数据和所述各个样本实例的框体输入到第三模型中进行训练，从而训练得到目标检测模型；其中，每个点云的属性数据包括三维坐标、类别和所属框体的中心坐标。在训练目标检测模型的过程中，需要将每个点云的各个维度的属性数据输入到第三模型中，例如，输入第三模型的点云的格式为[x,y,z,r,cls,c1
′
,c2
′
,c3
′
]，其中，x,y,z为三维坐标，r为反射率，cls为图像实例分割对应的类别，c1
′
,c2
′
,c3
′
为点云所属框体的中心坐标。
[0105]
可选地，所述第三模型为pointpillars、voxelnet、sparsely embedded convolutional detection或者centerpoint，采用这些模型训练得到的目标检测模型，可以提高图像检测的准确性
[0106]
步骤102，基于点云数据和所述各个实例计算所述各个实例的初步中心。
[0107]
在步骤中，将通过激光雷电采集的整场点云数据投影至各个实例，从而计算出各个实例的初步中心[c1,c2,c3]。需要指出的是，本发明实施例在雷达坐标系中计算各个实例的初步中心，也可以在图像坐标系中计算初步中心，只要保证训练阶段和推理阶段在同一个坐标系中即可，本发明实施例不限制坐标系。
[0108]
可选地，步骤102可以包括：将点云数据投影至所述各个实例；根据所述各个实例中重叠部分的点云数据，合并出现在不同待检测图像中的同一个实例的点云数据；采用聚类算法计算出所述各个实例的主体的点云数据；基于所述各个实例的主体的点云数据，计算所述各个实例的初步中心。与训练阶段类似，首先将整场点云数据投影至各个实例，然后根据各个实例中重叠部分的点云数据，将重叠部分的点云数据合并成同一个样本实例对应的点云数据，接着采用聚类算法计算出各个实例的主体的点云数据，最后计算出各个样本实例的初步中心。需要指出的是，由于同一个实例可能会出现在不同角度的多个图像，因此不同角度的多个图像中会存在重叠部分的点云，需要先将重叠部分的点云数据合并成同一个实例对应的点云数据，再计算各个实例的初步中心。
[0109]
可选地，采用聚类算法计算出所述各个实例的主体的点云数据之后，还需要去除地面点云数据，避免地面点云数据影响主体点云数据的聚类。可选地，采用聚类算法计算出所述各个实例的主体的点云数据，包括：采用空间聚类算法计算出所述各个实例的主体的点云数据，去除所述各个实例的主体之外的点云数据。可选地，所述聚类算法可以是
dbscan、fn-dbscan、landmark fn-dbscan或者optics等，这些聚类算法可以准确地找出各个实例的主体。
[0110]
步骤103，采用实例中心矫正模型对所述各个实例的初步中心进行矫正，得到所述各个实例的矫正中心。
[0111]
计算出各个实例的初步中心[c1,c2,c3]之后，采用实例中心矫正模块对各个实例的初步中心进行校正，实例中心矫正模块的输出为[x,y,z,r,c1
′
,c2
′
,c3
′
]，其中[c1
′
,c2
′
,c3
′
]为校正后的实例中心。
[0112]
步骤104，将所述各个实例的矫正中心输入目标检测模型，以输出所述各个实例的框体和类别。
[0113]
将整场点云数据中的所有点，以[x,y,z,r,c1
′
,c2
′
,c3
′
]作为每个点的格式，输入到目标检测模型中，目标检测模型输出各个实例的框体和类别，也就是被测物体的框体和类别。
[0114]
根据上面所述的各种实施例，可以看出本发明实施例通过采用图像实例分割模型对待检测图像进行实例分割，采用实例中心矫正模型对各个实例的初步中心进行矫正，从而将各个实例的矫正中心输入目标检测模型的技术手段，解决了现有技术中图像检测性能较差的技术问题。本发明实施例使用图像的实例分割结果对点云中的每个点进行实例级别的标注，并进一步对每个实例的中心进行矫正，接着再点云检测算法进行目标检测，由于在送入点云检测算法之前就获得了点云的实例信息，因而使得检测算法的学习难度大大降低，从而大幅度地提升了检测性能。
[0115]
图2是根据本发明一个可参考实施例的图像检测方法的主要流程的示意图。作为本发明的又一个实施例，如图2所示，所述图像检测方法可以包括：
[0116]
步骤201，获取各个角度的样本图像，在所述各个角度的样本图像上标记出各个样本实例的位置、类别和轮廓，并采用第一模型训练得到图像实例分割模型。
[0117]
可以获取多帧样本点云数据以及每一帧样本点云数据对应的rgb图像，每一帧样本点云数据可以对应于多张rgb图像(即为样本图像，可以由安装在不同角度的rgb相机采集)。
[0118]
具体地，标记出样本图像中每个像素的所属实例的标签，并基于标记结果训练得到图像实例分割模型。可选地，采用第一模型训练得到图像实例分割模型，包括：将所述各个角度的样本图像及其各个样本实例的位置、类别和轮廓输入到第一模型中进行训练，从而训练得到图像实例分割模型。首选通过安装在各个角度的rgb相机采集各个角度的样本图像，然后标记出样本图像中每个像素的所属实例的标签，接着将各个角度的样本图像及其标记结果输入到第一模型中进行训练，通过迭代训练得到图像实例分割模型。可选地，所述第一模型为mask r-cnn、hybrid task cascade或者blendmaskd，通过这些模型对每个角度的样本图像进行训练，可以取得较好的训练结果。
[0119]
步骤202，计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型。
[0120]
计算出各个样本实例的初步中心，同时结合在样本点云数据中标记出的各个样本实例的框体，训练得到实例中心矫正模块。训练实例中心矫正模型时，以各个样本实例的初步中心作为输入数据，标注数据中的各个样本实例的框体的中心作为回归目标，将这两部
分数据送入第二模型中进行训练，通过迭代训练得到获得实例中心矫正模块，该模块用于对实例中心进行矫正，使得检测算法的学习难度大大降低，从而大幅度地提升了检测性能。输入到第二模型的点云数据的格式为[x,y,z,r,c1,c2,c3]，输入到第二模型的各个样本实例的框体中心的格式为[x,y,z,r,c1
′
,c2
′
,c3
′
]，作为回归目标，其中[c1
′
,c2
′
,c3
′
]为标记出的样本实例的框体中心。
[0121]
步骤203，采用第三模型训练得到目标检测模型。
[0122]
具体地，将所述各个样本实例的各个点云的属性数据和所述各个样本实例的框体输入到第三模型中进行训练，从而训练得到目标检测模型；其中，每个点云的属性数据包括三维坐标、类别和所属框体的中心坐标。在训练目标检测模型的过程中，需要将每个点云的各个维度的属性数据输入到第三模型中，例如，输入第三模型的点云的格式为[x,y,z,r,cls,c1
′
,c2
′
,c3
′
]，其中，x,y,z为三维坐标，r为反射率，cls为图像实例分割对应的类别，c1
′
,c2
′
,c3
′
为点云所属框体的中心坐标。
[0123]
步骤204，采用图像实例分割模型对各个待检测图像进行实例分割，分别得到所述各个待检测图像中的各个实例。
[0124]
在推理阶段，需要获得一帧点云数据和其对应的至少一张rgb图像(即为待检测图像，可以由安装在不同角度的rgb相机采集)。
[0125]
步骤205，基于点云数据和所述各个实例计算所述各个实例的初步中心。
[0126]
将通过激光雷电采集的整场点云数据投影至各个实例，从而计算出各个实例的初步中心[c1,c2,c3]。具体地，将点云数据投影至所述各个实例；根据所述各个实例中重叠部分的点云数据，合并出现在不同待检测图像中的同一个实例的点云数据；采用聚类算法计算出所述各个实例的主体的点云数据；基于所述各个实例的主体的点云数据，计算所述各个实例的初步中心。与训练阶段类似，首先将整场点云数据投影至各个实例，然后根据各个实例中重叠部分的点云数据，将重叠部分的点云数据合并成同一个样本实例对应的点云数据，接着采用聚类算法计算出各个实例的主体的点云数据，最后计算出各个样本实例的初步中心。需要指出的是，由于同一个实例可能会出现在不同角度的多个图像，因此不同角度的多个图像中会存在重叠部分的点云，需要先将重叠部分的点云数据合并成同一个实例对应的点云数据，再计算各个实例的初步中心。可选地，采用聚类算法计算出所述各个实例的主体的点云数据之后，还需要去除地面点云数据，避免地面点云数据影响主体点云数据的聚类。可选地，采用聚类算法计算出所述各个实例的主体的点云数据，包括：采用空间聚类算法计算出所述各个实例的主体的点云数据，去除所述各个实例的主体之外的点云数据。可选地，所述聚类算法可以是dbscan、fn-dbscan、landmark fn-dbscan或者optics等，这些聚类算法可以准确地找出各个实例的主体。
[0127]
步骤206，采用实例中心矫正模型对所述各个实例的初步中心进行矫正，得到所述各个实例的矫正中心。
[0128]
计算出各个实例的初步中心[c1,c2,c3]之后，采用实例中心矫正模块对各个实例的初步中心进行校正，实例中心矫正模块的输出为[x,y,z,r,c1
′
,c2
′
,c3
′
]，其中[c1
′
,c2
′
,c3
′
]为校正后的实例中心。
[0129]
步骤207，将所述各个实例的矫正中心输入目标检测模型，以输出所述各个实例的框体和类别。
[0130]
将整场点云数据中的所有点，以[x,y,z,r,c1
′
,c2
′
,c3
′
]作为每个点的格式，输入到目标检测模型中，目标检测模型输出各个实例的框体和类别，也就是被测物体的框体和类别。
[0131]
在该实施例中，步骤201-步骤203为训练阶段，步骤204-步骤207为推理阶段。
[0132]
另外，在本发明一个可参考实施例中图像检测方法的具体实施内容，在上面所述图像检测方法中已经详细说明了，故在此重复内容不再说明。
[0133]
图3是根据本发明实施例的图像检测装置的主要模块的示意图。如图3所示，所述图像检测装置300包括分割模块301、计算模块302、矫正模块303和检测模块304；其中，分割模块301用于采用图像实例分割模型对待检测图像进行实例分割，得到所述各个待检测图像中的各个实例；计算模块302用于基于点云数据和所述各个实例计算所述各个实例的初步中心；矫正模块303用于采用实例中心矫正模型对所述各个实例的初步中心进行矫正，得到所述各个实例的矫正中心；检测模块304用于将所述各个实例的矫正中心输入目标检测模型，以输出所述各个实例的框体和类别。
[0134]
可选地，所述计算模块302还用于：
[0135]
将点云数据投影至所述各个实例；
[0136]
根据所述各个实例中重叠部分的点云数据，合并出现在不同待检测图像中的同一个实例的点云数据；
[0137]
采用聚类算法计算出所述各个实例的主体的点云数据；
[0138]
基于所述各个实例的主体的点云数据，计算所述各个实例的初步中心。
[0139]
可选地，所述计算模块302还用于：
[0140]
采用空间聚类算法计算出所述各个实例的主体的点云数据，去除所述各个实例的主体之外的点云数据。
[0141]
可选地，还包括训练模块，用于：
[0142]
获取各个角度的样本图像，在所述各个角度的样本图像上标记出各个样本实例的位置、类别和轮廓，并采用第一模型训练得到图像实例分割模型；
[0143]
计算所述各个样本实例的初步中心，在样本点云数据中标记出所述各个样本实例的框体，并采用第二模型训练得到实例中心矫正模型；
[0144]
采用第三模型训练得到目标检测模型。
[0145]
可选地，所述训练模块还用于：
[0146]
将所述各个角度的样本图像及其各个样本实例的位置、类别和轮廓输入到第一模型中进行训练，从而训练得到图像实例分割模型；
[0147]
其中，所述第一模型为mask r-cnn、hybrid task cascade或者blendmaskd。
[0148]
可选地，所述训练模块还用于：
[0149]
基于样本点云数据和所述各个样本实例计算所述各个样本实例的初步中心；
[0150]
在所述样本点云数据中标记出所述各个样本实例的框体，并计算所述各个样本实例的框体的中心；
[0151]
将所述各个样本实例的初步中心和所述各个样本实例的框体的中心输入到第二模型中进行训练，从而训练得到实例中心矫正模型。
[0152]
可选地，所述训练模块还用于：
[0153]
将样本点云数据投影至所述各个样本实例；
[0154]
根据所述各个样本实例中重叠部分的点云数据，合并出现在不同样本图像中的同一个样本实例的点云数据；
[0155]
采用聚类算法计算出所述各个样本实例的主体的点云数据；
[0156]
基于所述各个样本实例的主体的点云数据，计算所述各个样本实例的初步中心。
[0157]
可选地，所述第二模型为pointnet、pointnet 、cylider3d或者rand-la。
[0158]
可选地，所述训练模块还用于：
[0159]
将所述各个样本实例的各个点云的属性数据和所述各个样本实例的框体输入到第三模型中进行训练，从而训练得到目标检测模型；
[0160]
其中，每个点云的属性数据包括三维坐标、类别和所属框体的中心坐标。
[0161]
可选地，所述第三模型为pointpillars、voxelnet、sparsely embedded convolutional detection或者centerpoint。
[0162]
需要说明的是，在本发明所述图像检测装置的具体实施内容，在上面所述图像检测方法中已经详细说明了，故在此重复内容不再说明。
[0163]
图4示出了可以应用本发明实施例的图像检测方法或图像检测装置的示例性系统架构400。
[0164]
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0165]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0166]
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0167]
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。
[0168]
需要说明的是，本发明实施例所提供的图像检测方法一般由服务器405执行，相应地，所述图像检测装置一般设置在服务器405中。本发明实施例所提供的图像检测方法也可以由终端设备401、402、403执行，相应地，所述图像检测装置可以设置在终端设备401、402、403中。
[0169]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0170]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0171]
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。
cpu 501、rom 502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0172]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0173]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
[0174]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0175]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0176]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬
件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括分割模块、计算模块、矫正模块和检测模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
[0177]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：采用图像实例分割模型对待检测图像进行实例分割，得到所述待检测图像中的各个实例；基于点云数据和所述各个实例计算所述各个实例的初步中心；采用实例中心矫正模型对所述各个实例的初步中心进行矫正，得到所述各个实例的矫正中心；将所述各个实例的矫正中心输入目标检测模型，以输出所述各个实例的框体和类别。
[0178]
根据本发明实施例的技术方案，因为通过采用图像实例分割模型对待检测图像进行实例分割，采用实例中心矫正模型对各个实例的初步中心进行矫正，从而将各个实例的矫正中心输入目标检测模型的技术手段，所以克服了现有技术中图像检测性能较差的技术问题。本发明实施例使用图像的实例分割结果对点云中的每个点进行实例级别的标注，并进一步对每个实例的中心进行矫正，接着再点云检测算法进行目标检测，由于在送入点云检测算法之前就获得了点云的实例信息，因而使得检测算法的学习难度大大降低，从而大幅度地提升了检测性能。
[0179]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。