一种物体检测方法及其相关设备与流程

1.本技术涉及人工智能(artificial intelligence，ai)技术领域，尤其涉及一种基于车联网的位置确定方法及其相关设备。


背景技术：

2.三维物体检测是计算机视觉的重要任务之一，在自动驾驶、工业视觉等领域都有重要应用。
3.目前，可通过激光雷达获取目标场景的点云数据，从而确定目标场景中目标物体所在的区域。具体地，在得到目标场景的点云数据后，可通过物体检测模型对这部分点云数据进行处理，预测出目标物体所在的初始区域。然后，物体检测模型可对初始区域内或附近的点云数据进行采样，并对采样得到的点云数据做进一步的处理，以得到目标物体所在的最终区域。
4.然而，物体检测模型在采样点云数据时，其采样尺度通常是单一的，故模型所采样得到的点云数据无法完整地表征目标物体所在的初始区域，导致模型基于这些点云数据所得到的目标物体所在的最终区域不够准确。


技术实现要素：

5.本技术实施例提供了一种物体检测方法及其相关设备,在物体检测的第二阶段中，物体检测模型所采样得到的点云数据能够完整地表征目标物体所在的初始区域，使得模型基于这些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
6.本技术实施例的第一方面提供了一种物体检测方法，该方法包括：
7.当用户需要对目标场景进行三维物体检测时，可先获取目标场景的点云数据，并将目标场景的点云数据输入物体检测模型中，以使得物体检测模型对目标场景的点云数据进行处理，得到目标场景中目标物体所在的第一区域，即目标场景中目标物体所在的初始区域。
8.接着，物体检测模型可在第一区域中构建多个网格点阵列。在这多个网格点阵列中，不同的网格点阵列具有不同的尺寸，其中一部分网格点阵列的尺寸可大于第一区域的尺寸，另一部分网格点阵列的尺寸可小于第一区域的尺寸，故这多个网格点阵列可用于对第一区域内或第一区域附近的点云数据进行不同尺度的采样。
9.然后，物体检测模型可获取多个网格点阵列中所有网格点的点云数据集合，每个网格点的点云数据集合包含该网格点周围的点云数据。
10.最后，物体检测模型可对所有网格点的点云数据集合进行处理，得到目标物体所在的第二区域，即目标场景中目标物体所在的最终区域，可作为目标场景的物体检测结果。至此，则完成对目标场景的三维物体检测，可将目标场景的物体检测结果反馈至用户，以供使用。
11.从上述方法可以看出：在获取目标场景的点云数据后，物体检测模型可对目标场
景的点云数据进行处理，从而得到目标场景中目标物体所在的第一区域。然后，物体检测模型可在第一区域中构建多个网格点阵列，并获取多个网格点阵列中所有网格点的点云数据集合，每个网格点的点云数据集合包含该网格点周围的点云数据。最后，物体检测模型可对所有网格点的点云数据集合进行处理，从而得到目标物体所在的第二区域。前述过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对第一区域内或第一区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的第一区域，使得模型基于这些点云数据所得到的目标物体所在的第二区域，可具备足够的准确度。
12.在一种可能的实现方式中，在第一区域中构建多个网格点阵列包括：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点阵列。前述实现方式中，对于多个网格点阵列中的任意一个网格点阵列，物体检测模型可基于该网格点阵列中所有网格点的序号、该网格点阵列的尺寸与第一区域的尺寸之间的比值、该网格点阵列的网格点数据以及第一区域的参数确定该网格点阵列中所有网格点的位置，从而在第一区域中构建该网格点阵列，如此一来，则可以在第一区域中构建多个网格点阵列，由于不同网格点阵列的尺寸与第一区域的尺寸之间的比值不同(即不同网格点阵列具有不同的尺寸)，且不同网格阵列的网格点数据既可以相同，也可以不同，故在第一区域中所构建的多个网格点阵列，可用于物体检测模型对第一区域内或第一区域附近的点云数据进行不同尺度的采样。
13.在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。前述实现方式中，物体检测模型所得到的目标物体所在的第一区域，可视为一个7维的向量，该向量包含第一区域的中心的横坐标，第一区域的中心的纵坐标，第一区域的中心的竖坐标，第一区域的宽，第一区域的搞，第一区域的长以及第一区域的偏航角这7个元素。
14.在一种可能的实现方式中，获取多个网格点阵列中网格点的点云数据集合包括：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。前述实现方式中，物体检测模型可根据第一区域中点云数据的分布情况调整各个网格点阵列的采样半径，从而实现点云数据采样范围的动态调整，可避免物体检测模型采集无效的点云数据的情况发生，从而减少物体检测模型在三维物体检测过程中的计算量，有利于节省计算资源。
15.在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。前述实现方式中，以目标网格点为球心，距离目标网格点在球的半径内的点云数据，其被采集到的概率一般很小，故可以此确定目标网格点的采样范围，物体检测模型对采样范围外的点云数据不予考虑，从而减少物体检测模型的计算量。
16.在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。前述实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸通常具备一定的关联关系，例如，网格点阵列的采样半径与网格点阵列的尺寸正相关，即网格点阵列的尺寸越大，网格点阵列的采样半径越大，例如，假设有网格点阵列1、网格点阵列2、网格点阵列3和网格点阵列4，网格点阵列的尺寸大小排序为：网格阵列1、网格阵列2、网格阵列3和网格阵列4，那么，网格点阵列的采样半径大小排序为：网格阵列1、网格阵列2、网格阵列3和网格阵列4。
17.在一种可能的实现方式中，对点云数据集合进行处理，得到目标物体所在的第二区域包括：对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到目标物体所在的第二区域。前述实现方式中，对于任意一个网格点，物体检测模型可计算该网格点的点云数据集合中所有点云数据的第一特征，并对该网格点的点云数据集合中所有点云数据的第一特征基进行加权求和处理，可得到该网格点的第二特征。如此一来，可以得到所有网格点的第二特征，故物体检测模型再对所有网格点的第二特征进行处理，可准确得到目标物体所在的第二区域。
18.在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。前述实现方式中，物体检测模型在计算目标网格点的特征时，可为目标网格点的点云数据集合中的每个点云数据赋予一定的权重，能够考虑到距离该网格点远近不同的点云数据，对目标网格点所造成的不同影响，故计算得到的目标网格点的特征可包含更多信息，从而进一步提高目标物体所在的第二区域的准确度。
19.在一种可能的实现方式中，对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征包括：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。前述实现方式中，物体检测模型在提取某个点云数据的特征时，使用了基于注意力机制的处理，取代了传统方式的池化处理，故处理得到的点云数据的特征可包含点云数据自身的信息、
点云数据与网格点之间的关系等更加丰富的信息，那么，基于这些点云数据的特征，有利于后续得到更优的网格点的特征。
20.在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
21.本技术实施例的第二方面提供了一种模型训练方法，该方法包括：获取目标场景的点云数据，以及目标场景中待检测物体所在的真实区域；将目标场景的点云数据输入至待训练模型，得到待检测物体所在的第二区域，待训练模型用于：对目标场景的点云数据进行处理，得到目标场景中待检测物体所在的第一区域；在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；对点云数据集合进行处理，得到待检测物体所在的第二区域；基于真实区域以及第二区域，对待训练模型进行训练，得到物体检测模型。
22.上述方法所得到物体检测模型，具备对检测目标场景中目标物体所在的区域的功能。物体检测模型在进行三维物体检测的过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对初始区域内或初始区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的初始区域，使得模型基于这些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
23.在一种可能的实现方式中，待训练模型用于：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点阵列。
24.在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。
25.在一种可能的实现方式中，待训练模型用于：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。
26.在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。
27.在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。
28.在一种可能的实现方式中，待训练模型用于：对目标点云数据进行第一特征提取
处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到待检测物体所在的第二区域。
29.在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。
30.在一种可能的实现方式中，待训练模型用于：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。
31.在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
32.本技术实施例的第三方面提供了一种物体检测装置，该装置包括：第一处理模块，用于对目标场景的点云数据进行处理，得到目标场景中目标物体所在的第一区域；构建模块，用于在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；获取模块，用于获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；第二处理模块，用于对点云数据集合进行处理，得到目标物体所在的第二区域，第二区域表征目标物体的检测结果。
33.从上述装置可以看出：在获取目标场景的点云数据后，物体检测模型可对目标场景的点云数据进行处理，从而得到目标场景中目标物体所在的第一区域。然后，物体检测模型可在第一区域中构建多个网格点阵列，并获取多个网格点阵列中所有网格点的点云数据集合，每个网格点的点云数据集合包含该网格点周围的点云数据。最后，物体检测模型可对所有网格点的点云数据集合进行处理，从而得到目标物体所在的第二区域。前述过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对第一区域内或第一区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的第一区域，使得模型基于这些点云数据所得到的目标物体所在的第二区域，可具备足够的准确度。
34.在一种可能的实现方式中，构建模块，用于：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点
阵列。
35.在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。
36.在一种可能的实现方式中，获取模块，用于：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。
37.在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。
38.在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。
39.在一种可能的实现方式中，第二处理模块，用于：对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到目标物体所在的第二区域。
40.在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。
41.在一种可能的实现方式中，第二处理模块，用于：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。
42.在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
43.本技术实施例的第四方面提供了一种模型训练装置，该装置包括：获取模块，用于获取目标场景的点云数据，以及目标场景中待检测物体所在的真实区域；处理模块，用于将目标场景的点云数据输入至待训练模型，得到待检测物体所在的第二区域，待训练模型用于：对目标场景的点云数据进行处理，得到目标场景中待检测物体所在的第一区域；在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；对点云数据集合进行处理，得到待检测物体所在的第二区域；训练模块，用于基于真实区域以及第二区域，对待
训练模型进行训练，得到物体检测模型。
44.上述装置所得到物体检测模型，具备对检测目标场景中目标物体所在的区域的功能。物体检测模型在进行三维物体检测的过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对初始区域内或初始区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的初始区域，使得模型基于这些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
45.在一种可能的实现方式中，待训练模型用于：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点阵列。
46.在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。
47.在一种可能的实现方式中，待训练模型用于：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。
48.在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。
49.在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。
50.在一种可能的实现方式中，待训练模型用于：对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到待检测物体所在的第二区域。
51.在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。
52.在一种可能的实现方式中，待训练模型用于：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
53.本技术实施例的第五方面提供了一种物体检测装置，该装置包括存储器和处理器；存储器存储有代码，处理器被配置为执行代码，当代码被执行时，物体检测装置执行如第一方面或第一方面中任意一种可能的实现方式所述的方法。
54.本技术实施例的第六方面提供了一种设备，该设备可以为车辆或可穿戴式设备或移动设备，该设备包括如第五方面所述的装置。
55.本技术实施例的第七方面提供了一种模型训练装置，该装置包括存储器和处理器；存储器存储有代码，处理器被配置为执行代码，当代码被执行时，模型训练装置执行如第二方面或第二方面中任意一种可能的实现方式所述的方法。
56.本技术实施例的第八方面提供了一种电路系统，该电路系统包括处理电路，该处理电路配置为执行如第一方面、第一方面中任意一种可能的实现方式、第二方面或第二方面中任意一种可能的实现方式所述的方法。
57.本技术实施例的第九方面提供了一种芯片系统，该芯片系统包括处理器，用于调用存储器中存储的计算机程序或计算机指令，以使得该处理器执行如第一方面、第一方面中任意一种可能的实现方式、第二方面或第二方面中任意一种可能的实现方式所述的方法。
58.在一种可能的实现方式中，该处理器通过接口与存储器耦合。
59.在一种可能的实现方式中，该芯片系统还包括存储器，该存储器中存储有计算机程序或计算机指令。
60.本技术实施例的第十方面提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，该程序在由计算机执行时，使得计算机实施如第一方面、第一方面中任意一种可能的实现方式、第二方面或第二方面中任意一种可能的实现方式所述的方法。
61.本技术实施例的第十一方面提供了一种计算机程序产品，该计算机程序产品存储有指令，该指令在由计算机执行时，使得计算机实施如第一方面、第一方面中任意一种可能的实现方式、第二方面或第二方面中任意一种可能的实现方式所述的方法。
62.本技术实施例中，在获取目标场景的点云数据后，物体检测模型可对目标场景的点云数据进行处理，从而得到目标场景中目标物体所在的初始区域。然后，物体检测模型可在初始区域中构建多个网格点阵列，并获取多个网格点阵列中所有网格点的点云数据集合，每个网格点的点云数据集合包含该网格点周围的点云数据。最后，物体检测模型可对所有网格点的点云数据集合进行处理，从而得到目标物体所在的最终区域。前述过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对初始区域内或初始区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的初始区域，使得模型基于这
些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
附图说明
63.图1为人工智能主体框架的一种结构示意图；
64.图2a为本技术实施例提供的物体检测系统的一个结构示意图；
65.图2b为本技术实施例提供的物体检测系统的另一结构示意图；
66.图2c为本技术实施例提供的物体检测的相关设备的一个示意图；
67.图3为本技术实施例提供的系统100架构的一个示意图；
68.图4为本技术实施例提供的物体检测方法的一个流程示意图；
69.图5a为本技术实施例提供的多个网格点阵列的一个示意图；
70.图5b为本技术实施例提供的网格点阵列的一个示意图；
71.图6a为本技术实施例为确定采样半径的一个示意图；
72.图6b为本技术实施例为确定采样半径的一个示意图；
73.图6c为本技术实施例为确定采样半径的一个示意图；
74.图6d为本技术实施例为确定采样半径的一个示意图；
75.图7为本技术实施例提供的模型训练方法的一个流程示意图；
76.图8为本技术实施例提供的物体检测装置的一个结构示意图；
77.图9为本技术实施例提供的模型训练装置的一个结构示意图；
78.图10为本技术实施例提供的执行设备的一个结构示意图；
79.图11为本技术实施例提供的训练设备的一个结构示意图；
80.图12为本技术实施例提供的芯片的一个结构示意图。
具体实施方式
81.本技术实施例提供了一种物体检测方法及其相关设备,在物体检测的第二阶段中，物体检测模型所采样得到的点云数据能够完整地表征目标物体所在的初始区域，使得模型基于这些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
82.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”并他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
83.三维物体检测是计算机视觉的重要任务之一，在自动驾驶、工业视觉等领域都有重要应用。
84.目前，可通过激光雷达获取目标场景的点云数据，从而确定目标场景中目标物体所在的区域。具体地，在得到目标场景的点云数据后，可将这部分点云数据输入至物体检测模型，以使得物体检测模型对这部分点云数据进行两阶段的处理，其中，第一阶段为预测出物体所在的初始区域的阶段，第二阶段为对物体所在的初始区域进行优化，从而得到物体所在的最终区域的阶段。在第一阶段中，物体检测模型可对目标场景的点云数据进行处理，
预测出目标物体所在的初始区域。在第二阶段中，物体检测模型可对初始区域内或初始区域附近的点云数据进行采样，并对采样得到的点云数据做进一步的处理，以得到目标物体所在的最终区域。
85.然而，物体检测模型在采样点云数据时，其采样尺度通常是单一的，故模型所采样得到的点云数据无法完整地表征目标物体所在的初始区域，导致模型基于这些点云数据所得到的目标物体所在的最终区域不够准确。
86.为了解决上述问题，本技术实施例提供了一种物体检测方法，该方法可结合人工智能(artificial intelligence，ai)技术实现。ai技术是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能的技术学科，ai技术通过感知环境、获取知识并使用知识获得最佳结果。换句话说，人工智能技术是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。利用人工智能实现偏微分方程求解是人工智能常见的一个应用方式。
87.首先对人工智能系统总体工作流程进行描述，请参见图1，图1为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“it价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“it价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
88.(1)基础设施
89.基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(cpu、npu、gpu、asic、fpga等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
90.(2)数据
91.基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
92.(3)数据处理
93.数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
94.其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
95.推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
96.决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
97.(4)通用能力
98.对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通
用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
99.(5)智能产品及行业应用
100.智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、智慧城市等。
101.接下来介绍几种本技术的应用场景。
102.图2a为本技术实施例提供的物体检测系统的一个结构示意图，该物体检测系统包括用户设备以及数据处理设备。其中，用户设备包括手机、个人电脑或者信息处理中心等智能终端。用户设备为物体检测的发起端，作为物体检测请求的发起方，通常由用户通过用户设备发起请求。
103.上述数据处理设备可以是云服务器、网络服务器、应用服务器以及管理服务器等具有数据处理功能的设备或服务器。数据处理设备通过交互接口接收来自智能终端的图像处理请求，再通过存储数据的存储器以及数据处理的处理器环节进行机器学习，深度学习，搜索，推理，决策等方式的图像处理。数据处理设备中的存储器可以是一个统称，包括本地存储以及存储历史数据的数据库，数据库可以在数据处理设备上，也可以在其它网络服务器上。
104.在图2a所示的物体检测系统中，用户设备可以接收用户的指令，例如用户设备可以获取用户输入/选择的目标场景的点云数据，然后向数据处理设备发起请求，使得数据处理设备针对用户设备得到的该点云数据执行物体检测应用(例如，三维物体检测等等)，从而得到针对该点云数据的对应的处理结果。示例性的，用户可通过激光雷达采集目标场景的点云数据，并将这部分点云数据输入至用户设备，然后向数据处理设备发起物体检测请求，使得数据处理设备对这部分点云数据进行物体检测，从而得到目标场景中目标物体所在的区域，即得到目标物体在目标场景中的位置和朝向等信息。
105.在图2a中，数据处理设备可以执行本技术实施例的物体检测方法。
106.图2b为本技术实施例提供的物体检测系统的另一结构示意图，在图2b中，用户设备直接作为数据处理设备，该用户设备能够直接获取来自用户的输入并直接由用户设备本身的硬件进行处理，具体过程与图2a相似，可参考上面的描述，在此不再赘述。
107.在图2b所示的物体检测系统中，用户设备可以接收用户的指令，例如用户设备可以获取用户在用户设备中所输入的目标场景的点云数据，然后再由用户设备自身针对该点云数据执行物体检测应用(例如三维目标检测等)，从而得到针对该点云数据的对应的处理结果。
108.在图2b中，用户设备自身就可以执行本技术实施例的物体检测方法。
109.图2c为本技术实施例提供的物体检测的相关设备的一个示意图。
110.上述图2a和图2b中的用户设备具体可以是图2c中的本地设备301或者本地设备302，图2a中的数据处理设备具体可以是图2c中的执行设备210，其中，数据存储系统250可以存储执行设备210的待处理数据，数据存储系统250可以集成在执行设备210上，也可以设置在云上或其它网络服务器上。
111.图2a和图2b中的处理器可以通过神经网络模型或者其它模型(例如，基于支持向
量机的模型)进行数据训练/机器学习/深度学习，并利用数据最终训练或者学习得到的模型针对图像执行图像处理应用，从而得到相应的处理结果。
112.图3为本技术实施例提供的系统100架构的一个示意图，在图3中，执行设备110配置输入/输出(input/output，i/o)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向i/o接口112输入数据，所述输入数据在本技术实施例中可以包括：各个待调度任务、可调用资源以及其他参数。
113.在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理(比如进行本技术中神经网络的功能实现)过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
114.最后，i/o接口112将处理结果返回给客户设备140，从而提供给用户。
115.值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则，该相应的目标模型/规则即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。其中，训练数据可以存储在数据库130中，且来自于数据采集设备160采集的训练样本。
116.在图3中所示情况下，用户可以手动给定输入数据，该手动给定可以通过i/o接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向i/o接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入i/o接口112的输入数据及输出i/o接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由i/o接口112直接将如图所示输入i/o接口112的输入数据及输出i/o接口112的输出结果，作为新的样本数据存入数据库130。
117.值得注意的是，图3仅是本技术实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图3中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。如图3所示，可以根据训练设备120训练得到神经网络。
118.本技术实施例还提供的一种芯片，该芯片包括神经网络处理器npu。该芯片可以被设置在如图3所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图3所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则。
119.神经网络处理器npu，npu作为协处理器挂载到主中央处理器(central processing unit，cpu)(host cpu)上，由主cpu分配任务。npu的核心部分为运算电路，控制器控制运算电路提取存储器(权重存储器或输入存储器)中的数据并进行运算。
120.在一些实现中，运算电路内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路是二维脉动阵列。运算电路还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路是通用的矩阵处理器。
121.举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器中取
矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器中取矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)中。
122.向量计算单元可以对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元可以用于神经网络中非卷积/非fc层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
123.在一些实现种，向量计算单元能将经处理的输出的向量存储到统一缓存器。例如，向量计算单元可以将非线性函数应用到运算电路的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路的激活输入，例如用于在神经网络中的后续层中的使用。
124.统一存储器用于存放输入数据以及输出数据。
125.权重数据直接通过存储单元访问控制器(direct memory access controller，dmac)将外部存储器中的输入数据搬运到输入存储器和/或统一存储器、将外部存储器中的权重数据存入权重存储器，以及将统一存储器中的数据存入外部存储器。
126.总线接口单元(bus interface unit，biu)，用于通过总线实现主cpu、dmac和取指存储器之间进行交互。
127.与控制器连接的取指存储器(instruction fetch buffer)，用于存储控制器使用的指令；
128.控制器，用于调用指存储器中缓存的指令，实现控制该运算加速器的工作过程。
129.一般地，统一存储器，输入存储器，权重存储器以及取指存储器均为片上(on-chip)存储器，外部存储器为该npu外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random access memory，ddr sdram)、高带宽存储器(high bandwidth memory，hbm)或其他可读可写的存储器。
130.由于本技术实施例涉及大量神经网络的应用，为了便于理解，下面先对本技术实施例涉及的相关术语及神经网络等相关概念进行介绍。
131.(1)神经网络
132.神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
[0133][0134]
其中，s＝1、2、
……
n，n为大于1的自然数，ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
[0135]
神经网络中的每一层的工作可以用数学表达式y＝a(wx b)来描述：从物理层面神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括：1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、“弯曲”。其中1、2、3的操作由wx完成，4的操作由 b完成，5的操作则由a()来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合。其中，w是权重向量，该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量w决定着上文所述的输入空间到输出空间的空间变换，即每一层的权重w控制着如何变换空间。训练神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量w形成的权重矩阵)。因此，神经网络的训练过程本质上就是学习控制空间变换的方式，更具体的就是学习权重矩阵。
[0136]
因为希望神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过程。
[0137]
(2)反向传播算法
[0138]
神经网络可以采用误差反向传播(back propagation，bp)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
[0139]
下面从神经网络的训练侧和神经网络的应用侧对本技术提供的方法进行描述。
[0140]
本技术实施例提供的模型训练方法，涉及图像的处理，具体可以应用于数据训练、机器学习、深度学习等数据处理方法，对训练数据(如本技术实施例的模型训练方法中的目标场景的点云数据)进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最终得到训练好的神经网络(如本技术实施例中的物体检测模型)；并且，本技术实施例提供的物体检测方法可以运用上述训练好的神经网络，将输入数据(如本技术实施例的物体检测方法中的目标场景的点云数据)输入到所述训练好的神经网络中，得到输出数据(如本技术实施例中的目标物体所在的第二区域等等)。需要说明的是，本技术实施例提供的模型训练方法和图像处理方法是基于同一个构思产生的发明，也可以理解为一个系统中的两个部分，或一个整体流程的两个阶段：如模型训练阶段和模型应用阶段。
[0141]
图4为本技术实施例提供的物体检测方法的一个流程示意图，该方法可通过物体检测模型实现，物体检测模型可对目标场景的点云数据进行处理，从而确定目标场景中目标物体所在的区域，即目标物体在目标场景中的位置和朝向等信息。如图4所示，该方法包
括：
[0142]
401、对目标场景的点云数据进行处理，得到目标场景中目标物体所在的第一区域。
[0143]
本实施例中，当用户需要对目标场景进行物体检测时，可获取目标场景的点云数据，并将目标场景的点云数据输入至物体检测模型中，以使得物体检测模型对目标场景的点云数据进行处理，以确定目标场景中目标物体所在的区域。例如，用户在开启车辆的自动驾驶功能后，车辆的激光雷达可采集周围环境的点云数据，并将这些点云数据发送至车辆中具备数据处理功能的车载设备(例如，远程信息处理器(telematics box，t-box)等等等)，车载设备内置有物体检测模型，故可对这些点云数据进行处理，以检测出车辆周围的其余车辆所在的区域，即确定车辆周围的其余车辆的位置和朝向等信息。
[0144]
具体地，物体检测模型接收到目标场景的点云数据后，可通过多种方式对目标场景的点云数据进行处理，从而确定目标场景中目标物体所在的第一区域(也可以称为目标场景中目标物体所在的初始区域，还可以称为目标场景中包围目标物体的初始检测框等等)，下文将分别进行介绍：
[0145]
在一种可能的实现方式中，物体检测模型可获取预置的关键点数量以及预置的采样半径，基于最远点采样(farthest point sampling，fps)算法在目标场景的点云数据中选择多个点云数据作为关键点。确定多个关键点后，对于任意一个关键点，物体检测模型以该关键点为采样中心，获取位于采样半径内的点云数据，并对这些点云数据进行特征提取处理，可得到该关键点的特征，需要说明的是，其余关键点也可执行如同该关键点的操作，故可得到多个关键点的特征。得到多个关键点的特征后，物体检测模型可对多个关键点的特征做进一步的特征提取处理，可得到目标场景中目标物体所在的第一区域。
[0146]
在另一种可能的实现方式中，物体检测模型可获取预置的体素(voxel)尺寸，将目标场景(整个检测空间)均等划分为多个体素，可以理解的是，每个体素可包含一定量的点云数据。完成体素划分后，对于任意一个体素，物体检测模型可对该体素中的点云数据进行特征提取处理，从而得到该体素的特征，需要说明的是，其余体素也可执行如同该体素的操作，故可得到多个体素的特征。得到多个体素的特征后，物体检测模型可对多个体素的特征做进一步的特征提取处理，可得到目标场景中目标物体所在的第一区域。
[0147]
得到目标物体所在的第一区域后，物体检测模型可以初步确定目标物体在目标场景中的位置和朝向等信息。可以理解的是，目标物体所在的第一区域可视为一个长方体，故其包含多个参数，例如，目标物体所在的第一区域可表示为一个7维的向量，即(x，y，z，w，h，l，θ)，其中，x为第一区域的中心的横坐标，y为第一区域的中心的纵坐标，z为第一区域的中心的竖坐标，w为第一区域的宽，h为第一区域的高，l为第一区域的长，θ为第一区域的偏航角。
[0148]
应理解，前述的第一种实现方式中，若以某个关键点为采样中心采样不到任何点云数据(说明该关键点周围不存在点云数据)，该关键点的特征可视为一个空特征，即一个零向量。同样地，前述的第二种实现方式中，若某个体素内不包含任何点云数据，该体素的特征可视为一个空特征，即一个零向量。
[0149]
还应理解，本实施例仅以自动驾驶场景进行示意性说明，并不对本技术的应用场景构成限制，例如，本技术还可应用于增强现实(augmented reality，ar)场景或混合现实
(mixed reality，mr)场景中，相应地，前述的具备数据处理功能的设备可以为可穿戴式设备等等。又如，本技术还可用于智能家居场景中，相应地，前述的具备数据处理功能的设备可以为扫地机器人等等。
[0150]
402、在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸。
[0151]
确定目标物体所在的第一区域后，物体检测模型可在第一区域中构建多个网格点(grid point)阵列，在这多个网格点阵列中，每个网格点阵列均包含多个网格点，且每个网格点阵列均为三维阵列，不同的网格点阵列具有不同的尺寸，一部分网格点阵列的尺寸可大于第一区域的尺寸，另一部分网格点阵列的尺寸可小于第一区域的尺寸，故这多个网格点阵列可用于对第一区域内或第一区域附近的点云数据进行不同尺度的采样。如图5a所示(图5a为本技术实施例提供的多个网格点阵列的一个示意图)，第一区域中构建了4个网格点阵列，分别为网格点阵列1，网格点阵列2、网格点阵列3以及网格点阵列4，在网格点阵列1，网格点阵列2以及网格点阵列3这3个网格点阵列中，每个网格点阵列均包含4
×4×
4个网格点(即每个网格点阵列均为4行4列4竖的阵列)，网格点阵列4包含6
×6×
6个网格点(即该网格点阵列均为6行6列6竖的阵列)。但在这4个网格点阵列中，不同网格点阵列的尺寸(即长、宽、高)不同，网格点阵列1的尺寸最大，网格点阵列4的尺寸最小。
[0152]
为了进一步理解网格点阵列的尺寸，下文结合图5b对网格点阵列的尺寸进行说明，如图5b所示(图5b为本技术实施例提供的网格点阵列的一个示意图)，设第一区域中仅构建了网格点阵列1，该网格点阵列均包含4
×4×
4个网格点，那么，图5b中大于第一区域的长方体为网格点阵列1所占的区域，且该区域的尺寸可视为网格点阵列1的尺寸，即该区域的长可视为网格点阵列1的长，该区域的宽可视为网格点阵列1的宽，该区域的高可视为网格点阵列1的高。
[0153]
具体地，物体检测模型可通过以下方式在第一区域内构建多个网格点阵列：
[0154]
在多个网格点阵列中，对于任意一个网格点阵列中的任意一个网格点而言，下文将该网格点阵列称为目标网格点阵列，并将该网格点阵列中的该网格点称为目标网格点。
[0155]
首先，物体检测模型可获取目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数等信息，其中，目标网格点的序号可包含目标网格点在目标网格点阵列的长、宽、高这三个维度上的序号(即目标网格点为目标网格点阵列中某一行某一列某一竖的网格点)，目标网格点阵列的尺寸与第一区域的尺寸之间的比值可包含目标网格点阵列的长与第一区域的长之间的比值、目标网格点阵列的宽与第一区域的宽之间的比值、目标网格点阵列的高与第一区域的高之间的比值，目标网格点阵列的网格点数量可包含目标网格点阵列在其各个维度方向上的网格点数量(即目标网格点阵列为若干行若干列若干竖的阵列)，第一区域的参数包含第一区域的中心的横坐标、第一区域的中心的纵坐标、第一区域的中心的竖坐标、第一区域的长、第一区域的宽、第一区域的高以及第一区域的偏航角。
[0156]
然后，物体检测模型可基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置(即目标网格点的三维坐标)。依旧如上述例子，设需要在第一区域中构建m个网格点阵列，以其中任意一个网格点阵列进行示意性介绍，设该网格点阵列为第m个网格点阵列，m＝1，...，m。那么，第m个网格点阵列中任意一个网格点的坐标可以通过
以下公式表示：
[0157][0158][0159]
上式中，为第m个网格点阵列中第i行第j列第k竖上的网格点的三维坐标，为第m个网格点阵列在宽方向上的网格点数量(即第m个网格点阵列的行数)，为第m个网格点阵列在长方向上的网格点数量(即第m个网格点阵列的列数)，为第m个网格点阵列在高方向上的网格点数量(即第m个网格点阵列的竖数)，为第m个网格点阵列的宽与第一区域的宽之间的比值，为第m个网格点阵列的长与第一区域的长之间的比值，为第m个网格点阵列的高与第一区域的高之间的比值，x为第一区域的中心的横坐标，y为第一区域的中心的纵坐标，z为第一区域的中心的竖坐标，w为第一区域的宽，l为第一区域的长，h为第一区域的高，θ为第一区域的偏航角。
[0160]
需要说明的是，除了目标网格点之外，物体检测模型对目标网格点阵列中其余网格点也可执行如同对目标网格点的操作，故可得到目标网格点阵列中所有网格点的位置。
[0161]
最后，物体检测模型可基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列。需要说明的是，除了目标网格点阵列之外，物体检测模型对多个网格点阵列中的其余网格点阵列也可执行如同对目标网格点阵列的操作，故物体检测模型可在第一区域中成功构建多个网格点阵列。
[0162]
应理解，图5a所示的例子中，仅以部分网格点阵列包含相同数量的网格点进行示意性说明，并不对本技术实施例中网格点阵列中的网格点数量构成限制。在实际应用中，所有网格点阵列也可包含不同数量的网格点，例如，网格点阵列1包含4
×4×
4个网格点，网格点阵列2包含6
×6×
6个网格点、网格点阵列3包含8
×8×
8个网格点、网格点阵列4包含10
×
10
×
10个网格点等等。当前，所有网格点阵列也可包含相同数量的网格点，例如，网格点阵列1包含4
×4×
4个网格点，网格点阵列2包含4
×4×
4个网格点、网格点阵列3包含4
×4×
4个网格点、网格点阵列4包含4
×4×
4个网格点等等。
[0163]
403、获取多个网格点阵列中网格点的点云数据集合，网格点的点云数据集合包含网格点周围的点云数据。
[0164]
在第一区域中构建多个网格点阵列后，由于每个网格点阵列均包含多个网格点，故对于任意一个网格点而言，物体检测模型可获取该网格点周围的点云数据，作为该网格点的点云数据集合。
[0165]
具体地，物体检测模型可通过以下方式获取网格点的点云数据集合：
[0166]
首先，物体检测模型可获取多个网格点阵列的采样半径，其中，不同网格点阵列的采样半径不同。在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸通常具备一定的关联关系，例如，网格点阵列的采样半径与网格点阵列的尺寸正相关，即网格点阵列的尺寸越大，网格点阵列的采样半径越大，例如，假设有网格点阵列1、网格点阵列2、网格点阵列3和网格点阵列4，网格点阵列的尺寸大小排序为：网格阵列1、网格阵列2、网格阵列3
和网格阵列4，那么，网格点阵列的采样半径大小排序为：网格阵列1、网格阵列2、网格阵列3和网格阵列4。当然，网格点阵列的采样半径与网格点阵列的尺寸之间也可具备其它的数学关系，此处不做限制。
[0167]
值得注意的是，对于多个网格点阵列中的目标网格点阵列而言，物体检测模型可基于第一区域中点云数据的分布情况，确定目标网格点阵列的采样半径(即对于任意一个网格点阵列，物体检测模型可基于第一区域中点云数据的分布情况，确定该网格点阵列的采样半径的大小)，那么，目标网格点阵列中的所有网格点可共用目标网格点阵列的采样半径。为了便于理解，下文结合图6a、图6b、图6c以及图6d对采样半径的确定过程做进一步的介绍(图6a为本技术实施例为确定采样半径的一个示意图，图6b为本技术实施例为确定采样半径的一个示意图，图6c为本技术实施例为确定采样半径的一个示意图，图6d为本技术实施例为确定采样半径的一个示意图)。如图6a所示，第一区域中点云数据的分布最稠密，目标网格点阵列的采样半径最小。如图6b所示，第一区域中点云数据的分布较为稠密，目标网格点阵列的采样半径较小。如图6c所示，第一区域中点云数据的分布较为稀疏，目标网格点阵列的采样半径较大。如图6d所示，第一区域中点云数据的分布最稀疏，目标网格点阵列的采样半径最大。可见，第一区域中点云数据的分布越稠密，目标网格点阵列的采样半径越小。同样地，物体检测模型也可基于第一区域中点云数据的分布情况，确定其他网格点阵列的采样半径，其确定过程可参考目标网格点阵列的采样半径的确定过程，此处不再赘述。
[0168]
然后，对于目标网格点阵列中的目标网格点而言，物体检测模型可基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围。如图6a所示，目标网格点的采样范围通常为一个球体，该球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径，需要说明的是，该参数通常是一个固定值，其大小可根据实际需求进行设置，此处不做限制。
[0169]
最后，物体检测模型获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合。依旧如上述例子，在第一区域中构建m个网格点阵列后，设第m个网格点阵列的采样半径为r，对于第m个网格点阵列中第i行第j列第k竖上的网格点，设该网格点的采样范围为u(r)，采样范围u(r)以该网格点为球心，且以r 5τ为球的半径，那么，位于采样范围u(r)内的点云数据，可视为该网格点的点云数据集合。
[0170]
至于为何取r 5τ作为球体半径，可通过对采样范围u(r)中点云数据被采集到的概率进行分析。举例而言，对于采样范围u(r)中的第t个点云数据，第t个点云数据被采集到的概率可以通过以下公式进行计算：
[0171][0172]
上式中，s(t|r)为该网格点的采样范围u(r)中第t个点云数据被采集到的概率，p
t
为第t个点云数据的坐标，为第t个点云数据与该网格点之间的距离，sigmoid(a)＝(1 e-a
)-1
，τ为预置值。通过实际测试可知，采样范围u(r)包含了距离该网格点r 5τ以内的点云数据，取采样范围u(r)中的第t个点云数据进行计算，s(t|r)大于0.001(即，第t个点云数据被采集到的概率大于0.001)，取采样范围u(r)外的某个点云数据进行计算，该点云数据被采集到的概率小于或等于0.001。可见，位于采样范围u(r)外的点云数据可不予考
虑，可减小后续计算该网格点的特征时所需的计算量。
[0173]
需要说明的是，除了目标网格点之外，物体检测模型对目标网格点阵列中其余网格点也可执行如同对目标网格点的操作，故可得到目标网格点阵列中所有网格点的点云数据集合。进一步地，除了目标网格点阵列之外，物体检测模型对多个网格点阵列中的其余网格点阵列也可执行如同对目标网格点阵列的操作，故物体检测模型可得到多个网格点阵列中所有网格点的点云数据集合。
[0174]
应理解，图6a至图6d所示的例子中，仅以第一区域中点云数据的分布越稠密，网格点阵列的采样半径越小进行示意性说明，并不对本技术实施例中第一区域中点云数据的分布情况与网格点阵列的采样半径之间的关联关系构成限制。
[0175]
还应理解，前述例子中，仅以r 5τ进行示意性说明，并不对本技术中网格点的采样范围的半径大小构成限制，其大小可根据实际需求进行设置。
[0176]
404、对点云数据集合进行处理，得到目标物体所在的第二区域。
[0177]
得到多个网格点阵列中所有网格点的点云数据集合后，物体检测模型可对所有网格点的点云数据集合进行处理，从而得到目标场景中目标物体所在的第二区域(也可以称为目标场景中目标物体所在的最终区域，还可以称为目标场景中包围目标物体的最终检测框等等)。
[0178]
具体地，物体检测模型可通过以下方式获取目标物体所在的第二区域：
[0179]
在多个网格点阵列中，对于目标网格点阵列的目标网格点的点云数据集合中的任意一个点云数据而言，下文可将该点云数据称为目标点云数据。
[0180]
首先，物体检测模型可对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征。值得注意的是，物体检测模型所执行的第一特征提取处理可为基于注意力机制的处理，包括：
[0181]
(1)物体检测模型可对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征，即注意力机制中的q特征。依旧如上述例子，对于第m个网格点阵列中第i行第j列第k竖上的网格点，从该网格点的采样范围u(r)中取第t个点云数据，故可计算第t个点云数据与该网格点之间的距离，并对二者之间的距离进行线性变换，得到第t个点云数据的q特征
[0182]
(2)物体检测模型也可对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征，即注意力机制中的k特征。依旧如上述例子，可对第t个点云数据进行特征提取，得到第t个点云数据的特征f
t
。接着，再对第t个点云数据的初始特征f
t
进行线性变换，得到第t个点云数据的k特征k
t
＝linear(f
t
)。
[0183]
(3)物体检测模型还可对目标点云数据进行特征提取处理，得到目标点云数据的第五特征，即注意力机制中的v特征。依旧如上述例子，可对第t个点云数据进行特征提取，得到第t个点云数据的特征f
t
。接着，再利用多层感知机对第t个点云数据的初始特征f
t
进行多次特征提取，得到第t个点云数据的v特征v
t
＝mlp(f
t
)。
[0184]
(4)得到目标点云数据的第二特征、第三特征和第四特征后，物体检测模型对目标点云数据的第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。依旧如上述例子，得到第t个点云数据的q特征q
t
、k特征k
t
和v特征v
t
后，可对通过以下公式对这三个特征进行融合处理，得到第t个点云数据的最终特征(即前述的第一特征)：
[0185]rt
＝w(σkk
t
σqq
t
σ
qkqtkt
)
⊙
(v
t
σ
vqt
)
ꢀꢀꢀꢀ
(4)
[0186]
上式中，r
t
为第t个点云数据的最终特征，σk、σq、σ
qk
和σv为权重(这些权重的大小可根据第t个点云数据的q特征q
t
、k特征k
t
和v特征v
t
进行设置，此处不做限制)，w为映射处理，可把向量映射为向量或标量，
⊙
为相乘处理，可表示对位点乘、矩阵乘法或标量-向量相乘等等，取决于符号两侧的数值类型。
[0187]
需要说明的是，除了目标点云数据之外，物体检测模型对目标网格点的点云数据集合中的其余点云数据也可执行如同对目标点云数据的操作，故可得到目标网格点的点云数据集合中所有点云数据的第一特征。
[0188]
然后，物体检测模型可对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征。在前述加权求和处理中，对于目标网格点的点云数据集中的任意一个点云数据而言，该点云数据的权重基于该点云数据与目标网格点之间的距离以及目标网格点的阵列采样半径确定，也就是该点云数据被采集到的概率。依旧如上述例子，对于第m个网格点阵列中第i行第j列第k竖上的网格点，可对该网格点的采样范围u(r)中所有点云数据的最终特征进行加权求和处理，从而得到该网格点的特征(即前述的第二特征)，即：
[0189][0190]
上式中，为该网格点的特征，s(t|r)为该网格点的采样范围u(r)中的第t个点云数据的权重，也就是第t个点云数据被采集到的概率。
[0191]
需要说明的是，除了目标网格点之外，物体检测模型对目标网格点阵列中其余网格点也可执行如同对目标网格点的操作，故可得到目标网格点阵列中所有网格点的第二特征。进一步地，除了目标网格点阵列之外，物体检测模型对多个网格点阵列中的其余网格点阵列也可执行如同对目标网格点阵列的操作，故物体检测模型可得到多个网格点阵列中所有网格点的第二特征。
[0192]
最后，物体检测模型可对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理(例如，相乘处理、相加处理、级联处理、级联卷积处理、池化处理、归一化处理中的至少一种等等)，得到目标物体所在的第二区域。
[0193]
得到目标物体所在的第二区域后，物体检测模型可以最终确定目标物体在目标场景中的位置和朝向等信息。可以理解的是，目标物体所在的第二区域也可视为一个长方体，故其包含多个参数。关于第二区域的参数的介绍可参考前述第一区域的参数的相关说明部分，此处不再赘述。
[0194]
值得注意的是，确定目标物体所在的第二区域后，物体检测模型还可对第二区域进行优化处理，从而输出优化后的目标物体所在的第二区域，以供用户使用。例如，车载设备的物体检测模型检测出车辆周围的其余车辆所在的区域后，可利用非极大值抑(non-maximum supression，nms)算法对其余车辆所在的区域进行过滤，从而避免该区域中出现重叠的物体，并将过滤后的结果返回至车载设备，以使得车载设备实现自动驾驶功能。
[0195]
此外，本技术实施例主要对物体检测模型的第二阶段的处理进行了改进，为了证明改进的效果，可将本技术实施例提供的物体检测模型与相关技术的物体检测模型进行比较，无论是本技术实施例提供的物体检测模型还是相关技术的物体检测模型，第一阶段的
处理均是相同的，但第二阶段的处理是不同的。在比较实验中，使用相同的测试数据集(包含多帧点云数据)输入至本技术实施例提供的物体检测模型与相关技术的物体检测模型，基于两者输出的物体检测结果可知，本技术实施例提供的物体检测模型具备以下优点：(1)能够捕获更多的背景信息，有助于对较远的稀疏目标的识别和位置预测；(2)在不同的数据集上的检测结果一致，即具有较强的泛化性，对于不同的数据采集条件和场景，都能获得比较准确的检测效果；(3)能够取得各项性能的提升，说明本技术实施例提供的模型具有较好的骨干网络的适应性。
[0196]
本技术实施例中，在获取目标场景的点云数据后，物体检测模型可对目标场景的点云数据进行处理，从而得到目标场景中目标物体所在的初始区域。然后，物体检测模型可在初始区域中构建多个网格点阵列，并获取多个网格点阵列中所有网格点的点云数据集合，每个网格点的点云数据集合包含该网格点周围的点云数据。最后，物体检测模型可对所有网格点的点云数据集合进行处理，从而得到目标物体所在的最终区域。前述过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对初始区域内或初始区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的初始区域，使得模型基于这些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
[0197]
进一步地，物体检测模型可根据初始区域中点云数据的分布情况调整各个网格点阵列的采样半径，从而实现点云数据采样范围的动态调整，可避免物体检测模型采集无效的点云数据的情况发生，从而减少模型的计算量，有利于节省计算资源。
[0198]
更进一步地，物体检测模型在计算某个网格点的特征时，可为该网格点的点云数据集合中的每个点云数据赋予一定的权重，能够考虑到距离该网格点远近不同的点云数据，对该网格点所造成的不同影响，故计算得到的该网格点的特征可包含更多信息，从而进一步提高目标物体所在的最终区域的准确度。
[0199]
以上是对本技术实施例提供的物体检测方法所进行的详细说明，以下将对本技术实施例提供的模型训练方法进行介绍。图7为本技术实施例提供的模型训练方法的一个流程示意图。如图7所示，该方法包括:
[0200]
701、获取目标场景的点云数据，以及目标场景中待检测物体所在的真实区域。
[0201]
在需要对待训练模型进行训练时，可获取一批训练样本，即用于训练的目标场景的点云数据。值得注意的是，目标场景中待检测物体所在的真实区域是已知的，故待检测物体所在的真实区域可直接获取。
[0202]
702、将目标场景的点云数据输入至待训练模型，得到待检测物体所在的第二区域，待训练模型用于：对目标场景的点云数据进行处理，得到目标场景中待检测物体所在的第一区域；在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；对点云数据集合进行处理，得到待检测物体所在的第二区域。
[0203]
得到目标场景的点云数据后，可将目标场景的点云数据输入至待训练模型，以通过待训练模型对这些点云数据进行处理，得到待检测物体所在的第二区域。其中，待训练模型可执行以下步骤：对目标场景的点云数据进行处理，得到目标场景中待检测物体所在的
第一区域；在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；对点云数据集合进行处理，得到待检测物体所在的第二区域(即待检测物体所在的预测区域)。
[0204]
在一种可能的实现方式中，待训练模型用于：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点阵列。
[0205]
在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。
[0206]
在一种可能的实现方式中，待训练模型用于：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。
[0207]
在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。
[0208]
在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。
[0209]
在一种可能的实现方式中，待训练模型用于：对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到待检测物体所在的第二区域。
[0210]
在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。
[0211]
在一种可能的实现方式中，待训练模型用于：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。
[0212]
在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
[0213]
关于待训练模型所执行的各个步骤的说明，可参考前述图4所示实施例中步骤401至步骤404的相关说明部分，此处不再赘述。
[0214]
703、基于真实区域以及第二区域，对待训练模型进行训练，得到物体检测模型。
[0215]
得到待检测物体所在的真实区域以及待检测物体所在的预测区域后，可通过目标损失函数对待检测物体所在的真实区域以及待检测物体所在的预测区域进行计算，得到目标损失，目标损失用于指示待检测物体所在的真实区域以及待检测物体所在的预测区域之间的差异。
[0216]
得到目标损失后，可基于目标损失对待训练模型的模型参数进行更新，并利用下一批训练样本对更新参数后的待训练模型进行训练(即重新执行步骤702至步骤703)，直至满足模型训练条件(例如，目标损失达到收敛等等)，可得到物体检测模型。
[0217]
本技术实施例所得到物体检测模型，具备对检测目标场景中目标物体所在的区域的功能。物体检测模型在进行三维物体检测的过程中，由于多个网格点阵列中的不同网格点阵列具有不同尺寸，一部分网格点阵列的尺寸可大于初始区域的尺寸，另一部分网格点阵列的尺寸可小于初始区域的尺寸，故物体检测模型基于这多个网格点阵列，可对初始区域内或初始区域附近的点云数据进行多尺度的采样，如此一来，模型所采样得到的点云数据可完整地表征目标物体所在的初始区域，使得模型基于这些点云数据所得到的目标物体所在的最终区域，可具备足够的准确度。
[0218]
以上是对本技术实施例提供的模型训练方法所进行的详细说明，以下将对本技术实施例提供的物体检测装置和模型训练装置分别进行介绍。图8为本技术实施例提供的物体检测装置的一个结构示意图。如图8所示，该装置包括：
[0219]
第一处理模块801，用于对目标场景的点云数据进行处理，得到目标场景中目标物体所在的第一区域；
[0220]
构建模块802，用于在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；
[0221]
获取模块803，用于获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；
[0222]
第二处理模块804，用于对点云数据集合进行处理，得到目标物体所在的第二区域，第二区域表征目标物体的检测结果。
[0223]
在一种可能的实现方式中，构建模块802，用于：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点阵列。
[0224]
在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。
[0225]
在一种可能的实现方式中，获取模块803，用于：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。
[0226]
在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。
[0227]
在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。
[0228]
在一种可能的实现方式中，第二处理模块804，用于：对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到目标物体所在的第二区域。
[0229]
在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。
[0230]
在一种可能的实现方式中，第二处理模块804，用于：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。
[0231]
在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
[0232]
图9为本技术实施例提供的模型训练装置的一个结构示意图。如图9所示，该装置包括：
[0233]
获取模块901，用于获取目标场景的点云数据，以及目标场景中待检测物体所在的真实区域；
[0234]
处理模块902，用于将目标场景的点云数据输入至待训练模型，得到待检测物体所在的第二区域，待训练模型用于：对目标场景的点云数据进行处理，得到目标场景中待检测物体所在的第一区域；在第一区域中构建多个网格点阵列，不同的网格点阵列具有不同的尺寸；获取多个网格点阵列中网格点的点云数据集合，点云数据集合包含网格点周围的点云数据；对点云数据集合进行处理，得到待检测物体所在的第二区域；
[0235]
训练模块903，用于基于真实区域以及第二区域，对待训练模型进行训练，得到物
体检测模型。
[0236]
在一种可能的实现方式中，待训练模型用于：基于目标网格点阵列中目标网格点的序号、目标网格点阵列的尺寸与第一区域的尺寸之间的比值、目标网格点阵列的网格点数量以及第一区域的参数，确定目标网格点的位置，目标网格点阵列为多个网格点阵列中的任意一个阵列，目标网格点为目标网格点阵列中的任意一个网格点；基于目标网格点阵列中所有网格点的位置，在第一区域中构建目标网格点阵列；对多个网格点阵列中除目标网格点阵列之外的其余网格点阵列，重复执行以上步骤，直至在第一区域中构建多个网格点阵列。
[0237]
在一种可能的实现方式中，第一区域的参数包括第一区域的尺寸、第一区域的中心位置以及第一区域的偏航角。
[0238]
在一种可能的实现方式中，待训练模型用于：基于第一区域中点云数据的分布情况，获取目标网格点阵列的采样半径，目标网格点阵列的采样半径与其它网格点阵列的采样半径不同，目标网格点阵列为多个网格点阵列中的任意一个阵列；基于目标网格点以及目标网格点阵列的采样半径，确定目标网格点的采样范围，目标网格点为目标网格点阵列中的任意一个网格点；获取目标网格点的采样范围中的点云数据，得到目标网格点的点云数据集合；对多个网格点阵列中除目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的点云数据集合。
[0239]
在一种可能的实现方式中，目标网格点的采样范围为球体，球体以目标网格点为球心，且以目标网格点阵列的采样半径与预置的参数之间的和为球的半径。
[0240]
在一种可能的实现方式中，在多个网格点阵列中，网格点阵列的采样半径与网格点阵列的尺寸正相关。
[0241]
在一种可能的实现方式中，待训练模型用于：对目标点云数据进行第一特征提取处理，得到目标点云数据的第一特征，目标点云数据为目标网格点的点云数据集合中的任意一个点云数据，目标网格点为目标网格点阵列中的任意一个网格点，目标网格点阵列为多个网格点阵列中的任意一个阵列；对目标网格点的点云数据集合中除目标点云数据之外的其余点云数据，重复执行以上步骤，得到目标网格点的点云数据集合中所有点云数据的第一特征；对目标网格点的点云数据集合中所有点云数据的第一特征进行加权求和处理，得到目标网格点的第二特征；对多个网格点阵列中除所述目标网格点之外的其余网格点，重复执行以上步骤，得到多个网格点阵列中所有网格点的第二特征；对多个网格点阵列中所有网格点的第二特征进行第二特征提取处理，得到待检测物体所在的第二区域。
[0242]
在一种可能的实现方式中，目标点云数据的权重基于目标点云数据与目标网格点之间的距离和/或目标网格点阵列的采样半径确定。
[0243]
在一种可能的实现方式中，待训练模型用于：对目标点云数据与目标网格点之间的距离进行线性变换处理，得到目标点云数据的第三特征；对目标点云数据进行特征提取处理和线性变换处理，得到目标点云数据的第四特征；对目标点云数据进行特征提取处理，得到目标点云数据的第五特征；对第三特征、第四特征和第五特征进行融合处理，得到目标点云数据的第一特征。
[0244]
在一种可能的实现方式中，融合处理包含相加处理、相乘处理以及映射处理中的至少一种。
[0245]
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其带来的技术效果与本技术方法实施例相同，具体内容可参考本技术实施例前述所示的方法实施例中的叙述，此处不再赘述。
[0246]
本技术实施例还涉及一种执行设备，图10为本技术实施例提供的执行设备的一个结构示意图。如图10所示，执行设备1000具体可以表现为手机、平板、笔记本电脑、智能穿戴设备、服务器等，此处不做限定。其中，执行设备1000上可部署有图8对应实施例中所描述的物体检测装置，用于实现图4对应实施例中物体检测的功能。具体的，执行设备1000包括：接收器1001、发射器1002、处理器1003和存储器1004(其中执行设备1000中的处理器1003的数量可以一个或多个，图10中以一个处理器为例)，其中，处理器1003可以包括应用处理器10031和通信处理器10032。在本技术的一些实施例中，接收器1001、发射器1002、处理器1003和存储器1004可通过总线或其它方式连接。
[0247]
存储器1004可以包括只读存储器和随机存取存储器，并向处理器1003提供指令和数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。存储器1004存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
[0248]
处理器1003控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0249]
上述本技术实施例揭示的方法可以应用于处理器1003中，或者由处理器1003实现。处理器1003可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(digital signal processing，dsp)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1003可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1004，处理器1003读取存储器1004中的信息，结合其硬件完成上述方法的步骤。
[0250]
接收器1001可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1002可用于通过第一接口输出数字或字符信息；发射器1002还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1002还可以包括显示屏等显示设备。
[0251]
本技术实施例中，在一种情况下，处理器1003，用于通过图4对应实施例中的物体检测模型，对目标场景的点云数据进行处理。
[0252]
本技术实施例还涉及一种训练设备，图11为本技术实施例提供的训练设备的一个
结构示意图。如图11所示，训练设备1100由一个或多个服务器实现，训练设备1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1114(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1114可以设置为与存储介质1130通信，在训练设备1100上执行存储介质1130中的一系列指令操作。
[0253]
训练设备1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158；或，一个或一个以上操作系统1141，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0254]
具体的，训练设备可以执行图7对应实施例中的模型训练方法。
[0255]
本技术实施例还涉及一种计算机存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
[0256]
本技术实施例还涉及一种计算机程序产品，该计算机程序产品存储有指令，该指令在由计算机执行时使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
[0257]
本技术实施例提供的执行设备、训练设备或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)等。
[0258]
具体的，请参阅图12，图12为本技术实施例提供的芯片的一个结构示意图，所述芯片可以表现为神经网络处理器npu 1200，npu 1200作为协处理器挂载到主cpu(host cpu)上，由host cpu分配任务。npu的核心部分为运算电路1203，通过控制器1204控制运算电路1203提取存储器中的矩阵数据并进行乘法运算。
[0259]
在一些实现中，运算电路1203内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路1203是二维脉动阵列。运算电路1203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1203是通用的矩阵处理器。
[0260]
举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器1202中取矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器1201中取矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1208中。
[0261]
统一存储器1206用于存放输入数据以及输出数据。权重数据直接通过存储单元访
问控制器(direct memory access controller，dmac)1205，dmac被搬运到权重存储器1202中。输入数据也通过dmac被搬运到统一存储器1206中。
[0262]
biu为bus interface unit即，总线接口单元1213，用于axi总线与dmac和取指存储器(instruction fetch buffer，ifb)1209的交互。
[0263]
总线接口单元1213(bus interface unit，简称biu)，用于取指存储器1209从外部存储器获取指令，还用于存储单元访问控制器1205从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0264]
dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器1206或将权重数据搬运到权重存储器1202中或将输入数据数据搬运到输入存储器1201中。
[0265]
向量计算单元1207包括多个运算处理单元，在需要的情况下，对运算电路1203的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如batch normalization(批归一化)，像素级求和，对预测标签平面进行上采样等。
[0266]
在一些实现中，向量计算单元1207能将经处理的输出的向量存储到统一存储器1206。例如，向量计算单元1207可以将线性函数；或，非线性函数应用到运算电路1203的输出，例如对卷积层提取的预测标签平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1207生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1203的激活输入，例如用于在神经网络中的后续层中的使用。
[0267]
控制器1204连接的取指存储器(instruction fetch buffer)1209，用于存储控制器1204使用的指令；
[0268]
统一存储器1206，输入存储器1201，权重存储器1202以及取指存储器1209均为on-chip存储器。外部存储器私有于该npu硬件架构。
[0269]
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，asic，或一个或多个用于控制上述程序执行的集成电路。
[0270]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0271]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一
台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本技术各个实施例所述的方法。
[0272]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0273]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。