点云数据处理方法及装置与流程

1.本技术涉及数据挖掘技术领域，尤其涉及一种点云数据处理方法及装置。


背景技术：

2.现阶段无人驾驶技术被广泛关注，其感知模块需要使用基于数据驱动的深度学习目标检测网络分析从激光雷达获取的点云数据，解析出点云目标，例如车，人等点云目标(或对象)。具体地，基于数据驱动的深度学习目标检测网络是分析从激光雷达获取的点云数据，得到车、人等点云目标的位置信息与类别信息的方法。其通常包括训练与推理两个阶段。其中训练阶段是模型(或网络)对应的算法学习数据用以优化模型的过程，推理阶段是利用训练阶段算法输出分析点云数据中包含信息的阶段。
3.难例数据指的就是深度神经网络在推理阶段难以检出的数据。使用难例数据作为关键样本进行训练可以节约训练成本，且可以有效提高基于数据驱动目标检测网络在难例检测方面的表现。现有难例数据检测的过程中，存在强依赖目标检测网络的性能，对于远距离目标的难例挖掘性能较差的问题。另外目标检测网络进行检测后，获得的实际为检测出的全部目标，最终的难例目标还需要人工标注。如何在不使用人工标注数据的情况下，实现有效的难例挖掘是亟待解决的技术问题。


技术实现要素：

4.本技术实施例提供了一种点云数据处理方法及装置，通过对上一帧图像的目标检测网络获得的检测结果进行追踪获得追踪预测结果，再将追踪预测结果与当前帧图像的点云分割目标进行类聚获得难例目标区域，最后根据难例目标区域和对当前帧图像采用目标检测网络获得的检测结果结合获得难例目标，提升了难例目标检测的准确性和智能性。
5.第一方面，提供一种点云数据处理方法，该方法包括：采用目标检测网络对第一帧图像进行针对检测对象的目标检测，获得第一目标边界框，第一帧图像包括点云数据，第一目标边界框为可能包括检测对象的区域；对第一目标边界框进行追踪预测，获得第一目标边界框在第二帧图像上的目标检测区域，第二帧图像为与第一帧图像相邻的后一帧图像；根据目标检测区域和分割目标类聚获得难例目标区域，分割目标为针对第二帧图像进行点云分割获得的；根据难例目标区域和候选目标边界框获得难例目标，候选目标边界框为采用目标检测网络对第二帧图像进行针对检测对象进行检测获得的第二目标边界框中，置信度小于或等于第一预设阈值的目标边界框。
6.在本技术实施例中，通过对第一帧图像进行目标检测获得的检测结果进行追踪获得追踪预测结果，再将追踪预测结果与当前帧图像的点云分割目标进行类聚获得难例目标区域，最后根据难例目标区域和对第二帧图像采用目标检测获得的候选目标边界框结合获得难例目标。这个过程一方面由于点云分割网络的召回率针对远距离点云数据进行处理时召回率更好，可以确定追踪预测结果中确实包括检测对象，降低难例挖掘的失误率。另一方面，由于对第二帧图像采用目标检测获得的候选目标边界框置信度小于第一预设阈值，可
以确定候选目标边界框为难例目标实际可能所在区域，根据难例目标实际可能所在区域与预测难例目标所在区域进行结合，最终确定难例目标，提升了难例目标检测的准确性和智能性。
7.在一种可能的示例中，根据难例目标区域和候选目标边界框获得难例目标，包括：根据t个候选目标边界框和n个难例目标区域获取r个第一数据对，每个第一数据对包括一个候选目标边界框和一个难例目标区域，其中r≤t*n；计算每个第一数据对中候选目标边界框和难例目标区域的交并比，确定交并比大于第二预设阈值的数据对为第二数据对；获取第二数据对中的候选目标边界框所在区域作为难例目标。
8.在一种可能的示例中，该方法还包括：获取第二数据对中的难例目标区域对应的第二目标检测区域，第二目标检测区域为通过类聚生成第二数据对中的难例目标区域时采用的目标检测区域；根据第二目标检测区域的尺寸调整难例目标的尺寸，获得调整后的难例目标。
9.在本技术实施例中，根据第二目标检测区域的尺寸调整难例目标的尺寸，实际是根据前一帧图像中实际检测出的检测对象的尺寸来确定检测对象在第二帧图像中可能对应的尺寸，因为对第二帧图像进行检测获得的候选目标边界框中实际并没有检测出检测对象，那么根据第二目标检测区域的尺寸调整难例目标尺寸，可以提升难例目标尺寸的准确性。
10.在一种可能的示例中，该方法还包括对难例目标区域进行评分，具体包括：将难例目标区域映射到第二帧图像对应的点云特征图上，获得难例目标区域对应的第一向量，第一向量由难例目标区域映射到点云特征图时对应的特征向量，高斯峰数量以及峰值旁瓣比组成；将第一向量输入难例评分网络，获得第一向量对应的预设难例目标区域的评分，预设难例目标区域评分表示预设难例目标区域被确定为包括检测对象的困难程度。
11.在本技术实施例中，通过对难例目标区域评分实现对难例目标的评分，以确定该难例目标被挖掘出来的困难程度，在后续选择难例目标对目标检测网络进行训练时，可以参照难例目标的评分进行选择，提升目标检测网络的训练效率。
12.在一种可能的示例中，该方法还包括生成第二帧点图像对应的点云特征图，具体包括：采用第一训练数据集和第一目标函数对特征提取网络进行训练，获得训练后的特征提取网络，第一训练数据集包括第三帧图像的点云数据，以及第三帧图像对应的标注数据，标注数据包括第三帧图像采用目标检测网络进行针对检测对象的检测获得的第三目标边界框；将第二帧图像输入调整后的特征提取网络，获得第二帧图像对应的点云特征图，点云特征图包括第二帧图像中的高斯峰，用于表征第二帧图像中的第二目标边界框中心点。
13.在一种可能的示例中，第一目标函数为：
[0014][0015]
其中，l
fm
表示生成点云特征图的损失值，y
p
表示标注数据中的第三目标边界框中心点，表示特征提取网络预测的第三目标边界框中心点，α和β为超参数，n为第三帧图像中的第三目标边界框个数。
[0016]
在一种可能的示例中，计算y
p
的公式为：
[0017][0018]
其中p表示第三目标边界框中每个点云数据的坐标，qi表示第三目标边界框中心点坐标，σ是与边界框半径负相关的函数。
[0019]
在一种可能的示例中，该方法还包括训练难例评分网络，具体包括：获取第二训练数据集，第二训练数据集中包括训练难例目标区域的第一向量，以及训练难例目标区域的标注难例评分；将训练难例目标区域的第一向量输入难例评分网络，获得训练难例目标区域对应的预测难例评分；将预测难例评分和标注难例评分输入第二目标函数训练，根据第一目标函数的训练结果调整难例评分网络，获得训练后的难例评分网络，第一目标函数为交叉熵损失函数。
[0020]
在一种可能的示例中，该方法还包括：根据第一难例目标区域的评分确定第一难例目标的评分，第一难例目标区域为生成第一难例目标的第二数据对中包括的难例目标区域；根据第一难例目标的评分选择第一难例目标进行目标检测网络的训练。
[0021]
第二方面，提供一种点云数据处理装置，该装置包括：
[0022]
检测模块，用于采用目标检测网络对第一帧图像进行针对检测对象的目标检测，获得第一目标边界框，第一帧图像包括点云数据，第一目标边界框为可能包括检测对象的区域；
[0023]
追踪模块，用于对第一目标边界框进行追踪预测，获得第一目标边界框在第二帧图像上的目标检测区域，第二帧图像为与第一帧图像相邻的后一帧图像；
[0024]
类聚模块，用于根据目标检测区域和分割目标类聚获得难例目标区域，分割目标为针对第二帧图像进行点云分割获得的；
[0025]
确定模块，用于根据难例目标区域和候选目标边界框获得难例目标，候选目标边界框为采用目标检测网络对第二帧图像进行针对检测对象进行检测获得的第二目标边界框中，置信度小于或等于第一预设阈值的目标边界框。
[0026]
在一种可能的示例中，确定模块具体用于：根据t个候选目标边界框和n个难例目标区域获取r个第一数据对，每个第一数据对包括一个候选目标边界框和一个难例目标区域，其中r≤t*n；计算每个第一数据对中候选目标边界框和难例目标区域的交并比，确定交并比大于第二预设阈值的数据对为第二数据对；获取第二数据对中的候选目标边界框所在区域作为难例目标。
[0027]
在一种可能的示例中，确定模块还用于：获取第二数据对中的难例目标区域对应的第二目标检测区域，第二目标检测区域为通过类聚生成第二数据对中的难例目标区域时，所采用的目标检测区域；根据第二目标检测区域的尺寸调整难例目标的尺寸，获得调整后的难例目标。
[0028]
在一种可能的示例中，装置还包括评分模块，用于对难例目标区域进行评分，具体用于：将难例目标区域映射到第二帧图像对应的点云特征图上，获得难例目标区域对应的第一向量，第一向量由难例目标区域映射到点云特征图时对应的特征向量，高斯峰数量以及峰值旁瓣比组成；将第一向量输入难例评分网络，获得第一向量对应的预设难例目标区域的评分，预设难例目标区域评分表示预设难例目标区域被确定为包括检测对象的困难程
度。
[0029]
在一种可能的示例中，评分模块还用于生成第二帧点图像对应的点云特征图，具体用于：采用第一训练数据集和第一目标函数对特征提取网络进行训练，获得训练后的特征提取网络，第一训练数据集包括第三帧图像的点云数据，以及第三帧图像对应的标注数据，标注数据包括第三帧图像采用目标检测网络进行针对检测对象的检测获得的第三目标边界框；将第二帧图像输入调整后的特征提取网络，获得第二帧图像对应的点云特征图，点云特征图包括第二帧图像中的高斯峰，用于表征第二帧图像中的第二目标边界框中心点。
[0030]
在一种可能的示例中，第一目标函数为：
[0031][0032]
其中，l
fm
表示生成点云特征图的损失值，y
p
表示标注数据中的第三目标边界框中心点，表示特征提取网络预测的第三目标边界框中心点，α和β为超参数，n为第三帧图像中的第三目标边界框个数。
[0033]
在一种可能的示例中，计算y
p
的公式为：
[0034][0035]
其中p表示第三目标边界框中每个点云数据的坐标，qi表示第三目标边界框中心点坐标，σ是与边界框半径负相关的函数。
[0036]
在一种可能的示例中，评分模块还用于训练难例评分网络，具体用于：获取第二训练数据集，第二训练数据集中包括训练难例目标区域的第一向量，以及训练难例目标区域的标注难例评分；将训练难例目标区域的第一向量输入难例评分网络，获得训练难例目标区域对应的预测难例评分；将预测难例评分和标注难例评分输入第二目标函数训练，根据第一目标函数的训练结果调整难例评分网络，获得训练后的难例评分网络，第一目标函数为交叉熵损失函数。
[0037]
在一种可能的示例中，评分模块还用于：根据第一难例目标区域的评分确定第一难例目标的评分，第一难例目标区域为生成第一难例目标的第二数据对中包括的难例目标区域；根据第一难例目标的评分选择第一难例目标进行目标检测网络的训练。
[0038]
第三方面，本技术实施例提供一种电子装置，该装置包括通信接口和处理器，该通信接口用于该装置与其它设备进行通信，例如数据或信号的收发。示例性的，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口，其它设备可以为网络设备。处理器用于调用一组程序、指令或数据，执行上述第一方面描述的方法。该装置还可以包括存储器，用于存储处理器调用的程序、指令或数据。存储器与处理器耦合，该处理器执行该存储器中存储的、指令或数据时，可以实现上述第一方面描述的方法。
[0039]
第四方面，本技术实施例中还提供一种电子装置，其特征在于，该通信装置包括处理器、收发器、存储器以及存储在该存储器上并可在该处理器上运行的计算机执行指令，当计算机执行指令被运行时，使得该通信装置执行如第一方面或第一方面中任一种可能的实现方式中的方法。
[0040]
第五方面，本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机可读指令，当该计算机可读指令在计算机上运行时，使得计算机执行如第一方面或第一方面中任一种可能的实现方式中的方法。
[0041]
第六方面，本技术实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述第一方面或第一方面中任一种可能的实现方式中的方法，该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
[0042]
可选的，该芯片系统还包括收发器。
[0043]
第七方面，本技术实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行如第一方面或第一方面中任一种可能的实现方式中的方法。
附图说明
[0044]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。
[0045]
图1a为本技术实施例提供的一种难例挖掘应用场景示意图；
[0046]
图1b为现有技术中提供的一种难例挖掘方案流程图；
[0047]
图2a为本技术实施例提供的一种点云数据处理方法流程图；
[0048]
图2b为本技术实施例提供的一种第一目标边界框示意图；
[0049]
图2c为本技术实施例提供的一种类聚过程示意图；
[0050]
图2d为本技术实施例中提供的一种确定难例目标的过程示意图；
[0051]
图2e为本技术实施例提供的一种点云特征图示意图；
[0052]
图3为本技术实施例提供的一种点云数据处理装置结构框图；
[0053]
图4为本技术实施例提供的另一种点云数据处理装置结构框图；
[0054]
图5为本技术实施例提供的一种电子装置的结构示意图。
具体实施方式
[0055]
本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
[0056]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0057]“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0058]
首先对本技术实施例中可能涉及的应用场景进行介绍。
[0059]
请参阅图1a，图1a为本技术实施例提供的一种难例挖掘应用场景示意图，如图1a
所示，本技术实施例中的难例挖掘方法运用于车联网系统，在车辆上包括激光雷达，用于获取智能车相关的点云数据，智能车通过车联网通信将点云数据发送至云端难例挖掘系统。点云数据中的目标对象(本技术实施例中以车辆为例)可以通过目标检测网络进行检测，但是检测结果并非完全可靠，可能存在误检，漏检等问题，这些难以确定的目标对象被称为难例(或难例目标)。云端难例挖掘系统通过深度学习等方式对点云数据进行处理分析，挖掘出难例。挖掘出的难例用于训练目标检测网络，可以提升目标检测网络的性能，使得目标检测网络能够更准确地检测出目标对象。
[0060]
以下对本技术实施例中可能涉及的专业术语进行介绍。
[0061]
三维激光雷达技术：是指由雷达向目标发射激光束，然后接收目标反射回来的信号，并将其与发射信号对比，获得目标的距离、速度以及姿态等参数。三维激光扫描仪利用三维激光雷达技术对物体进行扫描，形成三维立体影像，可称为点云帧图像，其中点云帧图像由点云数据组成。
[0062]
点云数据：是指通过对物体进行三维激光扫描后获得的记录形式，点云数据可以包括三维坐标，有些还可能含有颜色信息(rgb)或反射强度信息(intensity)等。
[0063]
难例数据：是指深度神经网络在推理阶段难以检出的数据。例如在目标检测时无法正确检测出(包括未检测出或错误检测出)的目标对象为难例目标。
[0064]
深度学习：深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
[0065]
在线学习：在在线学习中，在线算法按照顺序处理数据。它们产生一个模型，并在把这个模型放入实际操作中，而不需要在一开始就提供完整的训练数据集。随着更多的实时数据到达，模型会在操作中不断地更新。
[0066]
离线学习：在离线学习中，所有的训练数据在模型训练期间必须是可用的。只有训练完成了之后，模型才能被使用。简而言之，先训练，再使用模型，不训练完就不使用模型。
[0067]
卷积神经网络：卷积神经网络(convolutional neural networks，cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。对图像(不同的数据窗口数据)和滤波矩阵(一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter)做内积(逐个元素相乘再求和)的操作就是所谓的卷积操作。
[0068]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
[0069]
图1b为现有技术中提供的一种难例挖掘方案流程图，如图1b中所示，该方案的实现过程为：首先选取一定时间片段的点云帧图像针对检测对象采用目标检测网络进行检测，获得点云目标；接着利用自动编码器提取点云目标的特征，分析这些帧中的目标的相关性，进行前后帧目标关联；最后，如果检测对象在邻近帧中均出现，却在当前帧未出现，则判定为漏检难例；如果检测对象在邻近帧中均未出现，却在当前帧出现，则判定为误检难例。
[0070]
这个过程中难例检测的效果高度依赖目标检测网络的性能，对于远距离检测对象，目标检测网络检测性能较差，难例挖掘效果也会较差。另外上述难例检测过程中，实际
通过目标检测网络获得的检测结果为所有可能的点云目标，其中的难例目标还需要人工标注，效率低且智能性差。并且，由于现有过程中的难例检测过程判断漏检难例时，是根据邻近帧图像中的检测结果判断的，在一些情况下，邻近帧中出现的目标，在当前帧中可能已经离开，预测可能出现目标的位置已经被其他对象取代，而难例检测时误将其他对象作为检测对象的难例目标，难例挖掘准确性也得不到保障。
[0071]
基于此，请参阅图2a，图2a为本技术实施例提供的一种点云数据处理方法流程图，如图2a所示，该方法包括如下步骤：
[0072]
201、采用目标检测网络对第一帧图像进行针对检测对象的目标检测，获得第一目标边界框，第一帧图像包括点云数据，第一目标边界框为可能包括检测对象的区域。
[0073]
在本技术实施例中，可以按照一定的时间段获取连续的多帧点云帧图像，其中相邻的两帧点云图像可以分别为第一帧图像和第二帧图像。采用目标检测网络对第一帧图像进行针对检测对象的目标检测，检测对象可以为车，人，路灯等，获得的检测结果为一个或多个目标边界框，被称为第一目标边界框，第一目标边界框为可能包括检测对象的区域，即该区域中的某些或全部点云数据为检测对象对应的点云数据。以检测对象为车辆为例，如图2b所示，图2b为本技术实施例提供的一种第一目标边界框示意图，如图2b所示，对第一帧图像进行检测后，获得三个第一目标边界框，目标边界框的大小可以根据检测对象可能占用的空间面积确定，例如对于同一个帧图像，由于车辆占用的空间面积通常比人物大，那么车辆对应的目标边界框大于人物对应的目标边界框。生成的目标边界框表示目标边界框内的区域可能包括车辆，并且每个目标边界框还可能包括其对应的置信度，用于表示该区域包括检测对象的可能性。例如图2b中，第一目标边界框101对应的置信度为90％，表示101中包含车辆的可能性为90％，第一目标边界框102对应的置信度为60％，表示101中包含车辆的可能性为60％，第一目标边界框103对应的置信度为80％，表示101中包含车辆的可能性为80％。假设目标检测网络的置信水平为80％，那么可以确定第一目标边界框101和102中包括车辆，而103中不包括车辆。
[0074]
202、对第一目标边界框进行追踪预测，获得第一目标边界框在第二帧图像上的目标检测区域，第二帧图像为与第一帧图像相邻的后一帧图像。
[0075]
第二帧图像为与第一帧图像相邻的下一帧图像，那么第二帧图像与第一帧图像在时间上具有一定的流动性和连续性，通过对第一帧图像上检测出的第一目标边界框进行追踪，可以获得其对应的目标检测区域。具体可以为：对第一帧图像和第二帧图像进行运动分析，确定第一帧图像运动到第二帧图像的运动向量，然后结合检测对象本身的运动趋势，预测第一目标边界框运动到第二帧图像上时对应的目标检测区域。例如第一目标边界框101运动到第二帧图像上时对应目标检测区域101’，第一目标边界框102对应目标检测区域102’，第一目标边界框103对应目标检测区域103’。由于检测对象的运动，目标检测区域中的点云数据与第一目标边界框中的点云数据对比可能发生变化，例如车辆由远及近地行驶，那么在第一目标边界框中车辆对应的点云数据可能更少，而在其对应的目标检测区域中，车辆对应的点云数据更多。反之，也可能车辆由近及远地行驶，在第一目标边界框中包括车辆的点云数据，而在对应的目标检测区域中，已经不再包括车辆的点云数据。
[0076]
203、根据目标检测区域和分割目标类聚获得难例目标区域，分割目标为针对第二帧图像进行点云分割获得的。
[0077]
由于目标检测区域实际为根据第一目标边界框预测出来的区域，其中是否包括检测对象并不能确定。点云分割网络对远距离点云数据进行处理时，召回率更好，因此可以采用点云分割网络处理第二帧图像，确定可能为检测对象的点云数据，即分割目标。该过程与前述针对第一帧图像的目标检测过程可以由同一个设备执行，也可以由不同的设备执行。具体请参阅图2c，图2c为本技术实施例提供的一种类聚过程示意图，如图2c中的(a)所示，灰色填充的点云数据即为进行点云分割处理后获得的分割目标。
[0078]
然后，在确定目标检测区域中的点云数据类型与分割目标的类型相同时，将目标检测区域和分割目标进行类聚，点云数据的类型表示该点云数据表征的物体类型，例如本技术实施例中，目标检测区域为可能包括车辆的区域，如果分割目标的类型为车辆，那么可以确定目标检测区域中的点云数据类型与分割目标的类型相同。将目标检测区域和分割目标进行类聚的过程可参阅图2c中的(b)，分割目标所在的区域与目标检测区域之间的交集被类聚为难例目标区域，图中目标检测区域101’与点云目标类聚生成难例目标区域111，目标检测区域102’与点云目标类聚生成难例目标区域112，目标检测区域103’与点云目标类聚生成难例目标区域113。
[0079]
204、根据难例目标区域和候选目标边界框获得难例目标，候选目标边界框为采用目标检测网络对第二帧图像进行针对检测对象进行检测获得的第二目标边界框中，置信度小于或等于第一预设阈值的目标边界框。
[0080]
在获得难例目标区域之后，由于其是根据所有第一目标区域的追踪结果(目标检测区域)与分割目标类聚获得的区域，每个区域是否为难例并不能直接确定。因此，在本技术实施例中，再次采用目标检测网络对第二帧图像针对检测对象进行检测，获得第二目标边界框，并选择第二目标边界框中的置信度小于或等于第一预设阈值的目标边界框作为候选目标边界框，然后根据候选目标边界框和难例目标区域确定难例目标。具体可参阅图2d，图2d为本技术实施例中提供的一种确定难例目标的过程示意图，如图2d中的(a)所示，对第二帧图像进行检测后，获得的第二目标边界框为001,002和003，每个第二目标边界框同样可以有其对应的置信度，表示该区域包含检测对象(本实施例中为车辆)的可能性，例如第二目标边界框001的置信度为90％，第二目标边界框002的置信度为80％，第二目标边界框001的置信度为60％。假设目标检测算法的置信水平为80％，那么可以确定第二目标边界框001和002为检测出车辆的区域。第一预设阈值为一个小于置信水平的值，即小于或等于第一预设阈值的候选目标区域为实际未检测出目标的区域。假设第一预设阈值为60％，第二目标边界框003为置信度小于或等于第一预设阈值的目标边界框，则可以确定第二目标边界框003为候选目标边界框。
[0081]
对第二帧图像进行目标检测的设备与前述获得目标检测区域的设备可以为同一个设备，也可以为不同设备。在为不同设备的情况下，其他设备对第二帧图像进行目标检测获得第二目标边界框后即将结果发送给前述获得目标检测区域的设备，或者也可以在确定候选目标边界框后将结果发送给前述获得目标检测区域的设备。
[0082]
根据难例目标区域和候选目标边界框获得难例目标，例如可以是根据两者之前有交集则认为候选目标边界框内为难例目标；或者是两者的交集大于预设阈值的时候认为候选目标边界框内为难例目标；或者也可以是多组有交集的难例目标区域和候选目标边界框中，确定交集较大的前几组中的候选目标边界框内为难例目标等。
[0083]
可选地，根据难例目标区域和候选目标边界框获得难例目标，包括：根据t个候选目标边界框和n个难例目标区域获取r个第一数据对，每个第一数据对包括一个候选目标边界框和一个难例目标区域，其中r≤t*n；计算每个第一数据对中候选目标边界框和难例目标区域的交并比，确定交并比大于或等于第二预设阈值的数据对为第二数据对；获取第二数据对中的候选目标边界框所在区域作为难例目标。
[0084]
对第二帧图像进行检测获得的置信度小于或等于第一预设阈值的候选目标边界框为t个，t可以为大于或等于1的值。n也可以为大于或等于1的值。如图2d中的(b)所示，假设t＝1，n＝3，那么可以根据每一个候选目标边界框和每一个难例目标区域生成一个第一数据对，此时生成的第一数据对个数r＝t*n。对应的第一数据对为：(候选目标边界框003，难例目标区域111)，(候选目标边界框003，难例目标区域112)，(候选目标边界框003，难例目标区域113)。然后计算每一组第一数据对中候选目标边界框和难例目标区域的交并比(intersection over union，iou)，对应公式为：
[0085][0086]
其中a表示候选目标边界框的面积，b表示难例目标区域的面积，选择这三组第一数据对中，计算获得的交并比大于或等于第二预设阈值的数据对为第二数据对，并获取该第二数据对中的候选目标边界框所在区域作为难例目标即可，如图2d中的(b)所示，第一数据对(候选目标边界框003，难例目标区域113)对应的交并比大于或等于第二预设阈值，选择候选目标边界框003所在区域为难例目标。
[0087]
在一些情况下，可以根据候选目标边界框与难例目标区域的距离初步筛选，生成的第一数据对为与候选目标边界框距离最近一个或多个难例目标区域组成，此时，第一数据对个数r＜t*n，如果只生成候选目标边界框与距离最近的难例目标区域的第一数据对，则第一数据对个数r＝t。
[0088]
根据上述方法确定的难例目标，为根据前一帧图像(第一帧图像)追踪预测结果结合点云分割获得的可能包括目标的区域(难例目标区域)，与根据当前帧图像(第二帧图像)实际检测出的难例目标(置信度小于或等于第一预设阈值)进行结合后最终获得的难例目标，即在前一帧中出现了的检测对象，在当前帧中检测结果为没出现，最终获得的难例目标为漏检难例目标。
[0089]
可见，在本技术实施例中，通过对第一帧图像进行目标检测获得的检测结果进行追踪获得追踪预测结果，再将追踪预测结果与当前帧图像的点云分割目标进行类聚获得难例目标区域，最后根据难例目标区域和对第二帧图像采用目标检测获得的候选目标边界框结合获得难例目标。这个过程一方面由于点云分割网络的召回率针对远距离点云数据进行处理时召回率更好，可以确定追踪预测结果中确实包括检测对象，降低难例挖掘的失误率。另一方面，由于对第二帧图像采用目标检测获得的候选目标边界框置信度小于第一预设阈值，可以确定候选目标边界框为难例目标实际可能所在区域，根据难例目标实际可能所在区域与预测难例目标所在区域进行结合，最终确定难例目标，提升了难例目标检测的准确性和智能性。
[0090]
可选地，该方法还包括：获取第二数据对中的难例目标区域对应的第二目标检测区域，第二目标检测区域为通过类聚生成第二数据对中的难例目标区域时，所采用的目标
检测区域；根据第二目标检测区域的尺寸调整难例目标的尺寸，获得调整后的难例目标。
[0091]
根据前述方法确定的难例目标，其尺寸由候选目标边界框的尺寸确定，在可能的情况下，可以根据对第一帧图像进行检测获得的第一目标边界框，或者其追踪后获得的目标检测区域的尺寸(这两者的尺寸通常相同)来确定。具体地，例如已经确定第一数据对(候选目标边界框003，难例目标区域113)为满足iou值大于或等于第二阈值阈值的第二数据对，那么，第二数据对中的难例目标区域为难例目标区域113，获取第二数据对中的难例目标区域对应的第二目标检测区域，为通过类聚生成第二数据对中的难例目标区域时，所采用的目标检测区域，通过类聚生成难例目标区域113时所采用的目标检测区域为目标检测区域103’，即为第二目标检测区域。
[0092]
根据第二目标检测区域的尺寸调整难例目标的尺寸，实际是根据前一帧图像中实际检测出的检测对象的尺寸来确定检测对象在第二帧图像中可能对应的尺寸，因为对第二帧图像进行检测获得的候选目标边界框中实际并没有检测出检测对象，那么根据第二目标检测区域的尺寸调整难例目标尺寸，可以提升难例目标尺寸的准确性。
[0093]
根据前述方法获得难例目标后，可以将难例目标输入目标检测网络进行训练，以便提升目标检测网络的检测准确率。但是，如何选择难例目标是一个亟待解决的问题。
[0094]
在本技术实施例，采用对难例目标进行评分(或评级)的方式来确定如何选择难例目标用于训练，对难例目标进行评分表示该难例目标被确定为包括检测对象的困难程度，例如评分越高，表示难例目标越难并确定为包括检测对象，即越容易被漏检，成为漏检难例。那么可以选择评分越高的难例目标用于目标检测网络的训练。
[0095]
可选地，方法还包括对难例目标区域进行评分，具体包括：将难例目标区域映射到第二帧图像对应的点云特征图上，获得难例目标区域对应的第一向量，第一向量由难例目标区域映射到点云特征图时对应的特征向量，高斯峰数量以及峰值旁瓣比组成；将第一向量输入难例评分网络，获得第一向量对应的预设难例目标区域的评分，预设难例目标区域评分表示预设难例目标区域被确定为包括检测对象的困难程度。
[0096]
可选地，方法还包括生成第二帧点图像对应的点云特征图，具体包括：采用第一训练数据集和第一目标函数对特征提取网络进行训练，获得训练后的特征提取网络，第一训练数据集包括第三帧图像的点云数据，以及第三帧图像对应的标注数据，标注数据包括第三帧图像采用目标检测网络进行针对检测对象的检测获得的第三目标边界框；将第二帧图像输入调整后的特征提取网络，获得第二帧图像对应的点云特征图，点云特征图包括第二帧图像中的高斯峰，用于表征第二帧图像中的第二目标边界框中心点。
[0097]
对难例目标进行评分的过程，可以采用特征提取和特征分析的方式进行。具体地，如图1a中的点云帧图像，可以进行特征提取，生成点云特征图，具体请参阅图2e，图2e为本技术实施例提供的一种点云特征图示意图，如图2e所示，点云特征图位于三维坐标系中，包括波峰和波谷，其中波峰用于表示第二帧图像中第二目标边界框的中心点。那么在生成点云特征图的过程中，所采用的特征提取网络可以进行设置，为对第二帧图像中的第二目标边界框中心点进行提取，振动幅度的高低根据对应位置包括第二目标边界框中心点的可能性大小确定，包括第二目标边界框的中心点的可能性越大，对应的振动幅度越大，即第二目标边界框对应区域形成高斯峰，中心点形成波峰，反之则形成波谷。
[0098]
在这个过程中，特征提取网络需要进行训练，输入第一训练数据集，第一训练数据
集为已经标注了第三目标边界框，以及第三目标边界框中心点的第三帧图像，第三目标边界框为对第三帧图像采用目标检测网络进行针对检测对象的检测获得的。将第三帧图像输入特征提取网络，获得第三帧图像的第三目标边界框的预测结果，将预测结果与标注数据(标注了第三目标边界框，以及第三目标边界框中心点)采用第一目标函数进行训练，确定训练后的特征提取网络。
[0099]
第一目标函数用于对特征提取网络的预测结果进行评价，如果预测结果与标注数据之间的损失值越小，说明特征提取网络的性能越好，否则越差。
[0100]
可选地，第一目标函数可以为：
[0101][0102]
其中，l
fm
表示特征提取网络生成点云特征图时的损失值，y
p
表示标注数据中第三目标边界框的中心点，表示特征提取网络预测的第三目标边界框中心点，α和β为超参数，n为第三帧图像中的第三目标边界框个数。
[0103]
在l
fm
达到预设阈值的情况下，可以认为特征提取网络已经达成训练效果，获得训练后的目标提取网络。将第二帧图像输入训练后的目标提取网络，则可以获得预测的第二目标边界框的中心点，生成点云特征图，在点云特征图中，第二目标边界框的中心点以高斯峰的峰值表征。
[0104]
可选情况下，计算所述y
p
的公式为：
[0105][0106]
其中p表示第三目标边界框中每个点云数据的坐标，qi表示第三目标边界框中心点坐标，σ是与边界框半径负相关的函数。根据公式(3)可以计算获得第三帧图像的标注数据，并将标注数据用于对特征提取网络的训练。
[0107]
生成第二帧图像的点云特征图后，难例目标区域为第二帧图像上的部分区域，可以映射到第二帧图像的点云特征图上，然后获取这部分的相关参数作为该难例目标区域的相关参数。例如将难例目标区域映射到点云特征图上后，获取第一向量，第一向量由难例目标区域映射到点云特征图时对应的特征向量，高斯峰数量以及峰值旁瓣比组成，峰值旁瓣比就是旁瓣峰值的幅度与主瓣峰值的幅度的比值。将第一向量输入难例评分网络可以获得第一向量对应的预设难例目标区域的评分，也即该预设难例目标区域对应的难例目标的评分。
[0108]
可选地，第一向量可以用来形容难例目标区域与第二目标边界框之间的关联关系，关联关系越大，表示难例目标区域越容易被目标检测网络检测出来，越难被判定为难例目标，难例目标区域对应的难例目标评分也就越低。
[0109]
可选情况下，难例评分网络用于进行难例目标区域的评分，评分的准确性取决于难例评分网络的性能，因此也可以对难例评分网络进行训练。该过程具体可以包括如下步骤：
[0110]
211、获取第二训练数据集，第二训练数据集中包括训练难例目标区域的第一向
量，以及训练难例目标区域的标注难例评分；
[0111]
212、将训练难例目标区域的第一向量输入难例评分网络，获得训练难例目标区域对应的预测难例评分；
[0112]
213、将预测难例评分和标注难例评分输入第二目标函数训练，根据第一目标函数的训练结果调整难例评分网络，获得训练后的难例评分网络，第一目标函数为交叉熵损失函数。
[0113]
其中，第二训练数据集为第二帧图像，或者其他帧图像上选取的训练难例区域映射到点云特征图上后，获得的其对应的第一向量，以及该难例目标区域的标注难例评分，即该难例目标区域已经根据人工评估或者其他方法进行了难例评分，获得了对应的标注难例评分。
[0114]
然后将训练难例目标区域的第一向量输入难例评分网络，可以获得对应的预测难例评分，再将预测难例评分和该训练难例目标区域的标注难例评分输入第二目标函数，根据损失值的大小确定难例评分网络的性能，如果损失值小于预设阈值，则可以确定难例评分网络达到了预想的效果，可以将需要进行难例评分的难例目标区域的第一向量输入训练后的难例评分网络，获得该难例目标区域的难例评分。
[0115]
这个过程中，第二目标函数可以为交叉熵损失函数：
[0116][0117]
其中表示训练难例目标区域的预测难例评分，y表示训练难例目标区域的标注难例评分。
[0118]
本技术实施例中的训练过程都为离线训练，以保证训练后的网络的性能。
[0119]
可选情况下，第二目标函数也可以是其他损失函数，例如平方误差损失函数，绝对值损失函数等，在本技术实施例中不做具体限定。
[0120]
可见，在本技术实施例中，通过对难例目标区域评分实现对难例目标的评分，以确定该难例目标被挖掘出来的困难程度，在后续选择难例目标对目标检测网络进行训练时，也可以参照难例目标的评分进行选择，提升目标检测网络的训练效率。
[0121]
图3为本技术实施例提供的一种点云数据处理装置300，其可以用于执行上述图2a～图2e的点云数据处理方法和具体实施例。在一种可能的实现方式中，如图3所示，该装置300包括检测模块301，追踪模块302，类聚模块303，和确定模块304。
[0122]
检测模块301，用于采用目标检测网络对第一帧图像进行针对检测对象的目标检测，获得第一目标边界框，第一帧图像包括点云数据，第一目标边界框为可能包括检测对象的区域；
[0123]
追踪模块302，用于对第一目标边界框进行追踪预测，获得第一目标边界框在第二帧图像上的目标检测区域，第二帧图像为与第一帧图像相邻的后一帧图像；
[0124]
类聚模块303，用于根据目标检测区域和分割目标类聚获得难例目标区域，分割目标为针对第二帧图像进行点云分割获得的；
[0125]
确定模块304，用于根据难例目标区域和候选目标边界框获得难例目标，候选目标边界框为采用目标检测网络对第二帧图像进行针对检测对象进行检测获得的第二目标边界框中，置信度小于或等于第一预设阈值的目标边界框。
[0126]
可选地，确定模块304具体用于：根据t个候选目标边界框和n个难例目标区域获取
r个第一数据对，每个第一数据对包括一个候选目标边界框和一个难例目标区域，其中r≤t*n；计算每个第一数据对中候选目标边界框和难例目标区域的交并比，确定交并比大于第二预设阈值的数据对为第二数据对；获取第二数据对中的候选目标边界框所在区域作为难例目标。
[0127]
可选地，确定模块304还用于：获取第二数据对中的难例目标区域对应的第二目标检测区域，第二目标检测区域为通过类聚生成第二数据对中的难例目标区域时，所采用的目标检测区域；根据第二目标检测区域的尺寸调整难例目标的尺寸，获得调整后的难例目标。
[0128]
可选地，如图4所示，装置300还包括评分模块305，用于对难例目标区域进行评分，具体用于：将难例目标区域映射到第二帧图像对应的点云特征图上，获得难例目标区域对应的第一向量，第一向量由难例目标区域映射到点云特征图时对应的特征向量，高斯峰数量以及峰值旁瓣比组成；将第一向量输入难例评分网络，获得第一向量对应的预设难例目标区域的评分，预设难例目标区域评分表示预设难例目标区域被确定为包括检测对象的困难程度。
[0129]
可选地，评分模块305还用于生成第二帧点图像对应的点云特征图，具体用于：采用第一训练数据集和第一目标函数对特征提取网络进行训练，获得训练后的特征提取网络，第一训练数据集包括第三帧图像的点云数据，以及第三帧图像对应的标注数据，标注数据包括第三帧图像采用目标检测网络进行针对检测对象的检测获得的第三目标边界框；将第二帧图像输入调整后的特征提取网络，获得第二帧图像对应的点云特征图，点云特征图包括第二帧图像中的高斯峰，用于表征第二帧图像中的第二目标边界框中心点。
[0130]
可选地，第一目标函数为：
[0131][0132]
其中，l
fm
表示生成点云特征图的损失值，y
p
表示标注数据中的第三目标边界框中心点，表示特征提取网络预测的第三目标边界框中心点，α和β为超参数，n为第三帧图像中的第三目标边界框个数。
[0133]
可选地，计算y
p
的公式为：
[0134][0135]
其中p表示第三目标边界框中每个点云数据的坐标，qi表示第三目标边界框中心点坐标，σ是与边界框半径负相关的函数。
[0136]
可选地，评分模块305还用于训练难例评分网络，具体用于：获取第二训练数据集，第二训练数据集中包括训练难例目标区域的第一向量，以及训练难例目标区域的标注难例评分；将训练难例目标区域的第一向量输入难例评分网络，获得训练难例目标区域对应的预测难例评分；将预测难例评分和标注难例评分输入第二目标函数训练，根据第一目标函数的训练结果调整难例评分网络，获得训练后的难例评分网络，第一目标函数为交叉熵损失函数。
[0137]
可选地，评分模块305还用于：根据第一难例目标区域的评分确定第一难例目标的评分，第一难例目标区域为生成第一难例目标的第二数据对中包括的难例目标区域；根据第一难例目标的评分选择第一难例目标进行目标检测网络的训练。
[0138]
可选的，上述检测模块301，追踪模块302，类聚模块303，确定模块304和评分模块305可以是中央处理器(central processing unit，cpu)，或者可以是图形处理器(graphics processing unit，gpu)，也可以是cpu和gpu的结合，可用于进行图像处理，本技术不做具体限制。
[0139]
可选的，点云数据处理装置300还可以包括接口电路或者收发器。用于从其他电子装置获取数据或接收指令。例如上述聚类模块处理过程中所需要的分割目标可以从其他电子设备获取，或者上述确定模块处理过程中所需要的候选目标边界框可以从其他电子设备获取，或者两者都从其他电子设备获取。
[0140]
可选的，点云数据处理装置300还可以包括存储模块(图中未示出)，该存储模块可以用于存储数据和/或信令，存储模块可以和检测模块301，追踪模块302，类聚模块303，确定模块304或耦合。例如，检测模块301可以用于读取存储模块中的数据和/或信令，使得前述方法实施例中的目标检测过程被执行。
[0141]
如图5所示，图5示出了本技术实施例中的一种电子装置的硬件结构示意图。点云数据处理装置300的结构可以参考图5所示的结构。电子装置800包括：存储器801、处理器802、通信接口803以及总线804。其中，存储器801、处理器802、通信接口803通过总线804实现彼此之间的通信连接。
[0142]
存储器801可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器801可以存储程序，当存储器801中存储的程序被处理器802执行时，处理器802和通信接口803用于执行本技术实施例的xx网络的训练方法的各个步骤。
[0143]
处理器802可以采用通用的cpu，微处理器，应用专用集成电路(application specific integrated circuit，asic)，gpu或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例的点云数据处理装置800中的检测模块301，追踪模块302，类聚模块303，确定模块304和评分模块305所需执行的功能，或者执行本技术方法实施例的点云数据处理方法。
[0144]
处理器802还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术的点云数据处理方法的各个步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器802还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器802读取存储器801中的信息，结合其硬件完成本技术实施例的点云数据处理装置300
中包括的模块所需执行的功能，或者执行本技术方法实施例的视频传输方法。
[0145]
通信接口803使用例如但不限于收发器一类的收发装置，来实现电子装置800与其他设备或通信网络之间的通信。例如，可以通过通信接口803获取确定的分割目标和/或候选目标边界框。总线804可包括在电子装置800各个部件(例如，存储器801、处理器802、通信接口803)之间传送信息的通路。
[0146]
应注意，尽管图5所示的电子装置800仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，电子装置800还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，电子装置800还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，电子装置800也可仅仅包括实现本技术实施例所必须的器件，而不必包括图5中所示的全部器件。
[0147]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0148]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本技术的范围。
[0149]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0150]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0151]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0152]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0153]
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。