识别目标的方法、装置和计算可读存储介质与流程

1.本技术涉及智能驾驶技术领域，尤其涉及识别目标的方法、装置和计算可读存储介质。


背景技术：

2.目标识别是智能驾驶领域的重要课题，原因在于，目标识别的精度和实时关系到驾驶的安全。相关技术中，主要采用视觉设备(例如，单目相机、双目相机或深度相机等)采集智能汽车周边环境物图像，然后，结合神经网络模型以预设算法识别出其中的目标物体。然而，上述方法的缺陷在于受天气等环境因素的影响比较大，在环境比较恶劣(例如，大雾、大雪或大风等天气)时，由于采集的图像模糊，识别精度较差。针对上述问题，一种改进方式是将图像传感器(例如，摄像头)结合雷达，即融合两种传感器采集的数据来进行目标的识别。然而，由于雷达采集的数据量通常较大，这种方式带来了计算资源的大量消耗，从而带来实时性较差的缺陷。


技术实现要素：

3.为解决或部分解决相关技术中存在的问题，本技术提供一种识别目标的方法、装置和计算可读存储介质，可以较高的精度识别出目标，并提升识别的实时性。
4.本技术第一方面提供一种识别目标的方法，应用于智能驾驶，包括：
5.获取图像传感器采集的行驶环境图像和雷达扫描得到的探测数据，所述雷达包括激光雷达和毫米波雷达，所述雷达扫描得到的探测数据包括所述激光雷达扫描得到的点云数据和所述毫米波雷达扫描得到的毫米波雷达数据，所述行驶环境图像为智能车辆周围环境的图像；
6.将所述行驶环境图像、毫米波雷达数据和点云数据进行时空对齐；根据所述时空对齐后的毫米波雷达数据，生成3d感兴趣区域；
7.采用已训练神经网络，分别生成所述点云数据对应的第一特征图和行驶环境图像对应的第二特征图；
8.将所述3d感兴趣区域投影至第一特征图和第二特征图，得到所述3d感兴趣区域的投影感兴趣区域；
9.对所述投影感兴趣区域、第一特征图和第二特征图进行融合，识别所述行驶环境图像中的目标。
10.本技术第二方面提供一种识别目标的装置，应用于智能驾驶，包括：
11.获取模块，用于获取图像传感器采集的行驶环境图像和雷达扫描得到的探测数据，所述雷达包括激光雷达和毫米波雷达，所述雷达扫描得到的探测数据包括所述激光雷达扫描得到的点云数据和所述毫米波雷达扫描得到的毫米波雷达数据，所述行驶环境图像为智能车辆周围环境的图像；
12.同步模块，用于将所述行驶环境图像、毫米波雷达数据和点云数据进行时空对齐；
13.第一生成模块，用于根据所述时空对齐后的毫米波雷达数据，生成3d感兴趣区域；
14.第二生成模块，用于采用已训练神经网络，分别生成所述点云数据对应的第一特征图和行驶环境图像对应的第二特征图；
15.投影模块，用于将所述3d感兴趣区域投影至第一特征图和第二特征图，得到所述3d感兴趣区域的投影感兴趣区域；
16.融合模块，用于对所述投影感兴趣区域、第一特征图和第二特征图进行融合，识别所述行驶环境图像中的目标。
17.本技术第三方面提供一种电子设备，包括：
18.处理器；以及
19.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
20.本技术第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
21.本技术提供的技术方案可以包括以下有益效果：在根据毫米波雷达数据生成的3d感兴趣区域时，可以根据反射面积来确定3d感兴趣区域的大小，这种方式一方面减少了3d感兴趣区域的数量，从而减轻计算，使得目标识别的实时性得到了提升；另一方面，由于不同的物体，反射面积不同，从而对不同尺寸大小的目标确定合适尺寸的3d感兴趣区域，在目标的识别精度上更高；第三方面，多种传感器数据的融合，系统的冗余度得到提高，从而智能车的安全性也能得到提升。
22.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
23.通过结合附图对本技术示例性实施方式进行更详细地描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
24.图1是本技术实施例示出的识别目标的方法的流程示意图；
25.图2是本技术实施例示出的识别目标的装置的结构示意图；
26.图3是本技术实施例示出的电子设备的结构示意图。
具体实施方式
27.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
28.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
29.应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
30.在智能驾驶领域，相关技术要么采用视觉设备(例如，单目相机、双目相机或深度相机等)采集智能汽车周边环境物图像，结合神经网络模型以预设算法识别出其中的目标物体，其缺陷在于受天气等环境因素的影响比较大，在环境比较恶劣(例如，大雾、大雪或大风等天气)时，由于采集的图像模糊，识别精度较差；要么是将图像传感器(例如，摄像头)结合雷达，即融合两种传感器采集的数据来进行目标的识别，而雷达采集的数据量通常较大，这种方式带来了计算资源的大量消耗，从而带来实时性较差的缺陷。
31.针对上述问题，本技术实施例提供一种识别目标的方法，可以较高的精度识别出目标，并提升识别的实时性。
32.以下结合附图详细描述本技术实施例的技术方案。
33.参见图1，是本技术实施例示出的识别目标的方法的流程示意图，该方法应用于智能驾驶，主要包括步骤s101至步骤s106，说明如下：
34.步骤s101：获取图像传感器采集的行驶环境图像和雷达扫描得到的探测数据，其中，雷达包括激光雷达和毫米波雷达，雷达扫描得到的探测数据包括激光雷达扫描得到的点云数据和毫米波雷达扫描得到的毫米波雷达数据，行驶环境图像为智能车辆行驶时周围环境的图像。
35.在本技术实施例中，图像传感器可以是单目相机、双目相机或深度相机等视觉设备，雷达包括激光雷达和毫米波雷达，图像传感器和雷达均可以搭载在智能车辆上。这些传感器在性能上各有优劣，例如，由图像传感器采集的行驶环境图像，很容易识别到其中的目标的类型等信息，但对目标的位置、尺寸信息不甚敏感；激光雷达抗干扰能力较强、分辨率高，测距精确度高，但是在雨雾雪等恶劣天气下适用性较差，且数据以点云格式输出，计算量较大；毫米波雷达测距精度较低，但是毫米波的穿透性强，具有全天候、全天时的特点，适用于相对恶劣环境，且数据量小。因此，在本技术实施例中，可以获取三种传感器采集的数据，融合后输出目标识别的结果。
36.步骤s102：将行驶环境图像、毫米波雷达数据和点云数据进行时空对齐。
37.需要说明的是，将图像传感器(例如，单目相机)和雷达(包括激光雷达和毫米波雷达)采集的数据进行融合的前提是行驶环境图像、毫米波雷达数据和点云数据在时间域和空间域都需要对齐。一方面，由于智能车上搭载的这些传感器各自具有各自的坐标系，即各种传感器采集的数据是基于自身的坐标系，数据在不同的空间域上；另一方面，由于不同的传感器即使硬件同步以后也存在采样频率不一致的差异，即存在传感器获取的数据在时间戳上不同步的问题。因此，在本技术实施例中，在数据融合之前，将行驶环境图像、毫米波雷达数据和点云数据进行时空对齐。
38.作为本技术一个实施例，将行驶环境图像、毫米波雷达数据和点云数据进行时空对齐可以通过如下步骤s1021至步骤s1023实现：
39.步骤s1021：将图像传感器坐标系下的数据转换至图像像素坐标系下，以及根据雷达和图像传感器的相对位置关系，将雷达坐标系下的数据转换至图像像素坐标系下，其中，雷达坐标系包括激光雷达坐标系和毫米波雷达坐标系。
40.无论是将图像传感器坐标系下的数据转换至图像像素坐标系下，还是将雷达坐标系下的数据转换至图像像素坐标系下，本质上都是需要得到从图像传感器坐标系至图像像素坐标系的转换关系以及雷达坐标系至图像像素坐标系的转换关系。以图像传感器是相机为例，假设相机的焦距为f，则根据相机成像原理以及图像与像素坐标系的关系，从图像传感器坐标系至图像像素坐标系的转换关系如下：
41.而
42.其中，x
p
和y
p
是像传感器坐标系下点的坐标，u和v是以图像左上角为原点建立的图像像素坐标系下点的坐标，d
x
和dy分别为一个像素的长度和官渡，u0和v0分别是图像的中心像素坐标和图像的原点像素坐标之间相差的横向和纵向像素数量。
43.至于根据雷达和图像传感器的相对位置关系，将雷达坐标系下的数据转换至图像像素坐标系下，首先是通过联合标定，获取雷达和图像传感器的相对位置关系，这种相对位置关系体现为图像传感器和雷达的安装位置在沿智能车前进方向上的距离(该距离在后续描述中使用δl表示)以及图像传感器和雷达的安装位置在垂直方向上的距离(该距离在后续描述中使用δh表示)。从雷达坐标系至图像像素坐标系的转换关系如下：
[0044][0045]
其中，和分别为x轴和y轴上的归一化焦距，可通过相机标定得到。
[0046]
步骤s1022：使用与行驶环境图像当前帧前后相邻帧的毫米波雷达数据对毫米波雷达数据进行插值，以使插值后所得毫米波雷达数据与图像传感器采集的行驶环境图像当前帧在时间上对齐。
[0047]
由于每一帧行驶环境图像或者毫米波雷达数据均包含有采集该帧数据的时间戳，因此，从时间戳可以获知与行驶环境图像当前帧前后相邻帧的毫米波雷达数据。至于具体的插值方法，可以采用线性插值算法或者其他插值算法。
[0048]
步骤s1023：使用与行驶环境图像当前帧前后相邻帧的点云数据对该点云数据进行插值，以使插值后所得点云数据与图像传感器采集的行驶环境图像当前帧在时间上对齐。
[0049]
与步骤s1022的实现方案类似，每一帧行驶环境图像或者云数据均包含有采集该帧数据的时间戳，因此，从时间戳可以获知与行驶环境图像当前帧前后相邻帧的云数据。至于具体的插值方法，可以采用线性插值算法或者其他插值算法。
[0050]
需要说明的是，上述数据对齐方案是以行驶环境图像的时间戳为对齐的基准。实际上，也可以毫米波雷达数据的时间戳为对齐的基准，使用与毫米波雷达数据当前帧前后相邻帧的点云数据对该点云数据进行插值，以使插值后所得点云数据与毫米波雷达采集的毫米波雷达数据当前帧在时间上对齐，以及使用与毫米波雷达数据当前帧前后相邻帧的图像传感器对该图像传感器进行插值，以使插值后所得图像传感器与毫米波雷达采集的毫米波雷达数据当前帧在时间上对齐；或者，可以点云数据的时间戳为对齐的基准，使用与点云数据当前帧前后相邻帧的毫米波雷达数据对该毫米波雷达数据进行插值，以使插值后所得毫米波雷达数据与激光雷达采集的点云数据当前帧在时间上对齐，以及使用与点云数据当前帧前后相邻帧的图像传感器对该图像传感器进行插值，以使插值后所得图像传感器与激光雷达采集的点云数据当前帧在时间上对齐。
[0051]
为了减小对计算资源的无谓消耗，提升算法的实时性，在上述实施例中，在将行驶环境图像、毫米波雷达数据和点云数据进行时空对齐之前，还可以对毫米波雷达和激光雷达扫描得到的探测数据进行预处理，具体可以是滤除这些探测数据中的空目标信号和无效目标信号，保留雷达所扫描区域之内的目标信号并剔除这些扫描区域以外的目标物。
[0052]
步骤s103：根据时空对齐后的毫米波雷达数据，生成3d感兴趣区域。
[0053]
具体地，可以通过解算时空对齐后的毫米波雷达数据，得到反射体的位置、速度和反射面积，然后，根据反射体的位置、速度和反射面积，得到3d感兴趣区域。反射体是可能的目标，其位置可以作为3d感兴趣区域(例如，正方体感兴趣区域)的中心点，而3d感兴趣区域的大小，实际上可以由解算出来的反射面积来确定。一般而言，反射面积越大，则需要生成的3d感兴趣区域的尺寸越大，这是因为，反射面积越大，意味着目标的尺寸越大，因而相应地，3d感兴趣区域的尺寸应该越大。
[0054]
步骤s104：采用已训练神经网络，分别生成点云数据对应的第一特征图和行驶环境图像对应的第二特征图。
[0055]
对于激光雷达获取的点云数据，可以先通过将其处理为俯视图，然后，将这些俯视图输入已训练神经网络，提取其中的特征，生成点云数据对应的第一特征图；同样地，也可以将图像传感器采集的行驶环境图像输入已训练神经网络，提取其中的特征，生成行驶环境图像对应的第二特征图。
[0056]
步骤s105：将3d感兴趣区域投影至第一特征图和第二特征图，得到3d感兴趣区域的投影感兴趣区域。
[0057]
当将3d感兴趣区域投影至第一特征图和第二特征图时，在两个特征图上各得到一个3d感兴趣区域的投影感兴趣区域。显然，两个特征图上的投影感兴趣区域均是二维区域。
[0058]
步骤s106：对投影感兴趣区域、第一特征图和第二特征图进行融合，识别行驶环境图像中的目标。
[0059]
由于对目标类型的识别，相对于以雷达扫描得到的探测数据作为处理对象，以图像传感器得到的行驶环境图像作为处理的对象时识别的精度更高，而对目标位置、尺寸等信息的检测，则相对于以图像传感器得到的行驶环境图像作为处理对象，以雷达扫描得到的探测数据作为处理对象时检测的精度更高。因此，为了将两种数据的取长补短，在本技术实施例中，可以对投影感兴趣区域、第一特征图和第二特征图进行融合，从而识别行驶环境图像中的目标。
[0060]
作为本技术一个实施例，对投影感兴趣区域、第一特征图和第二特征图进行融合，识别行驶环境图像中的目标可以通过如下步骤s1061至步骤s1063：
[0061]
步骤s 1061：通过深度学习网络，检测第一特征图中第一感兴趣区域和第二特征图中第二感兴趣区域。
[0062]
通过深度学习网络，检测得到的第一特征图中第一感兴趣区域和第二特征图中第二感兴趣区域，是目标可能出现的区域或者候选目标方框，这些目标可能出现的区域或者候选目标方框在第一特征图或第二特征图上均占据一定的面积。记第一特征图中第一感兴趣区域为s
roi-1
，第二特征图中第二感兴趣区域为s
roi-2
。
[0063]
步骤s1062：根据投影感兴趣区域、第一感兴趣区域和第二感兴趣区域，计算交小比。
[0064]
此处记投影感兴趣区域为s
roi-3
。理论上，只要根据激光雷达和毫米波雷达中一种雷达的探测数据对应感兴趣区域与图像传感器的行驶环境图像对应感兴趣区域计算交小比，即可通过匹配得到行驶环境图像中的目标。然而，由于毫米波雷达在探测精度上要弱于激光雷达的探测精度，因此，在本技术一个实施例中，可以对激光雷达的探测数据对应感兴趣区域即第一感兴趣区域和毫米波雷达的探测数据对应感兴趣区域即投影感兴趣区域赋予不同的权值，例如，对第一感兴趣区域s
roi-1
赋予的权值为α，对投影感兴趣区域s
roi-3
赋予的权值为β，其中，α的取值范围可在[80％，90％]，β的取值范围可在[10％，20％]，且α β＝1。记交小比为p
intersection
，则：
[0065]
其中，符号∩表示前后两个运算对象的重叠，(α*s
roi-1
β*s
roi-3
)∩s
roi-2
的值表示(α*s
roi-1
β*s
roi-3
)和s
roi-2
重叠区域的面积，min{(α*s
roi-1
β*s
roi-3
)，s
roi-2
}表示取(α*s
roi-1
β*s
roi-3
)和s
roi-2
中较小的一个。
[0066]
步骤s1063：若交小比大于预设阈值，则输出第二感兴趣区域对应的目标类型和第一感兴趣区域对应的目标位姿。
[0067]
若步骤p
intersection
中计算得到的交小比大于预设阈值，则说明通过图像传感器采集的行驶环境图像识别到的目标和通过雷达(激光雷达和毫米波雷达)扫描的探测数据识别到的目标已经匹配上，即，通过图像传感器采集的行驶环境图像识别到的目标和通过雷达(激光雷达和毫米波雷达)扫描的探测数据识别到的目标为同一目标。如前所述，由于通过图像传感器采集的行驶环境图像能够较为精确地识别目标的类型，而通过雷达扫描到的探测数据能够较为精确地检测目标的位姿(位置和姿态)，因此，当通过图像传感器采集的行驶环境图像识别到的目标和通过雷达(激光雷达和毫米波雷达)扫描的探测数据识别到的目标为同一目标时，则输出第二感兴趣区域对应的目标类型和第一感兴趣区域对应的目标位姿，即输出目标是何种目标以及该目标的位置和姿态等信息。
[0068]
上述实施例中，若计算所得交小比p
intersection
不大于预设阈值，则保存第二感兴趣区域对应的目标与有效雷达目标，并分别记录第二感兴趣区域对应的目标与有效雷达目标单独出现的次数；判断第二感兴趣区域对应的目标或有效雷达目标单独出现的次数是否大于预设次数；若第二感兴趣区域对应的相机目标或有效雷达目标单独出现的次数大于预设次数，则剔除第二感兴趣区域对应的目标或有效雷达目标；若第二感兴趣区域对应的相机目标或有效雷达目标单独出现的次数不大于上述预设次数，则保留第二感兴趣区域对应的
相机目标或有效雷达目标，重新执行上述步骤s1061至步骤s1063，其中，上述有效雷达目标包括投影感兴趣区域对应的有效目标和第一感兴趣区域对应的有效目标，其判断方法是将该目标与雷达坐标系原点的真实距离减去该目标与雷达坐标系的预测距离，得到一个差值，若该差值的绝对值小于预设阈值，则确定该目标为有效雷达目标，否则，确定该目标为一个无效雷达目标。
[0069]
上述对目标的检测过程中还存在一种情形，即，当某目标在行驶环境中被其它物体遮挡，或者识别失败没有被检测出，那么该物体在当前时间就处于一种暂时“丢失”的状态，即不知道它在哪儿。然而，由于之前已经将点云数据中对应的物体和行驶环境图像中对应物体进行了关联或匹配，因此，只要此时激光雷达或/和毫米波雷达检测到了该物体，仍然可以知道该物体的位置。基于上述事实，因此，在本技术上述实施例中，对于临时消失目标，从融合的结果中选定其中一个目标作为参考目标，根据该参考目标的底边的图像像素坐标推算出该参考目标的底边的空间位置坐标，然后，基于参考目标的底边的空间位置坐标以及临时消失目标的图像像素坐标推算出临时消失目标的空间位置坐标，此处，临时消失目标为点云数据对应的第一特征图中存在而行驶环境图像对应的第二特征图中暂时消失的目标。
[0070]
从上述图1示例的识别目标的方法可知，在根据毫米波雷达数据生成的3d感兴趣区域时，可以根据反射面积来确定3d感兴趣区域的大小，这种方式一方面减少了3d感兴趣区域的数量，从而减轻计算，使得目标识别的实时性得到了提升；另一方面，由于不同的物体，反射面积不同，从而对不同尺寸大小的目标确定合适尺寸的3d感兴趣区域，在目标的识别精度上更高；第三方面，多种传感器数据的融合，系统的冗余度得到提高，从而智能车的安全性也能得到提升。
[0071]
与前述应用功能实现方法实施例相对应，本技术还提供了一种识别目标的装置、电子设备及相应的实施例。
[0072]
参见图2，是本技术实施例示出的识别目标的装置的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分。图2示例的识别目标的装置可应用于智能驾驶，该装置主要包括获取模块201、同步模块202、第一生成模块203、第二生成模块204、投影模块205和融合模块206，其中：
[0073]
获取模块201，用于获取图像传感器采集的行驶环境图像和雷达扫描得到的探测数据，其中，雷达包括激光雷达和毫米波雷达，雷达扫描得到的探测数据包括激光雷达扫描得到的点云数据和毫米波雷达扫描得到的毫米波雷达数据，行驶环境图像为智能车辆行驶时周围环境的图像；
[0074]
同步模块202，用于将行驶环境图像、毫米波雷达数据和点云数据进行时空对齐；
[0075]
第一生成模块203，用于根据时空对齐后的毫米波雷达数据，生成3d感兴趣区域；
[0076]
第二生成模块204，用于采用已训练神经网络，分别生成所述点云数据对应的第一特征图和行驶环境图像对应的第二特征图；
[0077]
投影模块205，用于将所述3d感兴趣区域投影至第一特征图和第二特征图，得到3d感兴趣区域的投影感兴趣区域；
[0078]
融合模块206，用于对投影感兴趣区域、第一特征图和第二特征图进行融合，识别行驶环境图像中的目标。
[0079]
可选地，上述图2示例的同步模块202可包括转换单元、第一插值单元和第二插值单元，其中：
[0080]
转换单元，用于将图像传感器坐标系下的数据转换至图像像素坐标系下，以及根据雷达和图像传感器的相对位置关系，将雷达坐标系下的数据转换至所述图像像素坐标系下，其中，雷达坐标系包括激光雷达坐标系和毫米波雷达坐标系；
[0081]
第一插值单元，用于使用与行驶环境图像当前帧前后相邻帧的毫米波雷达数据对毫米波雷达数据进行插值，以使插值后所得毫米波雷达数据与图像传感器采集的行驶环境图像当前帧在时间上对齐；
[0082]
第二插值单元，用于使用与行驶环境图像当前帧前后相邻帧的点云数据对点云数据进行插值，以使插值后所得点云数据与图像传感器采集的行驶环境图像当前帧在时间上对齐。
[0083]
可选地，上述图2示例的第一生成模块203可以包括解算单元和第一确定单元，其中：
[0084]
解算单元，用于解算时空对齐后的毫米波雷达数据，得到反射体的位置、速度和反射面积；
[0085]
第一确定单元，用于根据反射体的位置、速度和反射面积，得到3d感兴趣区域。
[0086]
可选地，上述图2示例的装置还可以包括过滤模块和去留模块，其中：
[0087]
过滤模块，用于同步模块202将行驶环境图像、毫米波雷达数据和点云数据进行时空对齐之前，滤除探测数据中的空目标信号和无效目标信号；
[0088]
去留模块，用于保留雷达扫描区域之内的目标信号并剔除扫描区域以外的目标物。
[0089]
可选地，上述图2示例的融合模块206可以包括检测单元、计算单元和第二确定单元，其中：
[0090]
检测单元，用于通过深度学习网络，检测第一特征图中第一感兴趣区域和第二特征图中第二感兴趣区域；
[0091]
计算单元，用于根据投影感兴趣区域、第一感兴趣区域和第二感兴趣区域，计算交小比；
[0092]
第二确定单元，用于若交小比大于预设阈值，则输出第二感兴趣区域对应的目标类型和第一感兴趣区域对应的目标位姿。
[0093]
可选地，上述图2示例的装置还可以包括保存模块、判断模块、剔除模块和保留模块，其中：
[0094]
保存模块，用于若交小比不大于预设阈值，则保存第二感兴趣区域对应的目标与有效雷达目标，并分别记录第二感兴趣区域对应的目标与有效雷达目标单独出现的次数，其中，有效雷达目标包括投影感兴趣区域对应的有效目标和第一感兴趣区域对应的有效目标；
[0095]
判断模块，用于判断第二感兴趣区域对应的目标或有效雷达目标单独出现的次数是否大于预设次数；
[0096]
剔除模块，用于若第二感兴趣区域对应的相机目标或有效雷达目标单独出现的次数大于预设次数，则剔除第二感兴趣区域对应的目标或有效雷达目标；
[0097]
保留模块，用于若第二感兴趣区域对应的相机目标或有效雷达目标单独出现的次数不大于预设次数，则保留第二感兴趣区域对应的相机目标或有效雷达目标，由上述检测单元、计算单元和第二确定单元重新相应步骤。
[0098]
可选地，上述图2示例的装置还可以包括第一推算模块和第二推算模块，其中：
[0099]
第一推算模块，用于对于临时消失目标，从融合的结果中选定其中一个目标作为参考目标，根据参考目标的底边的图像像素坐标推算出参考目标的底边的空间位置坐标，其中，临时消失目标为点云数据对应的第一特征图中存在而行驶环境图像对应的第二特征图中暂时消失目标；
[0100]
第二推算模块，用于基于参考目标的底边的空间位置坐标以及临时消失目标的图像像素坐标推算出临时消失目标的空间位置坐标。
[0101]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
[0102]
图3是本技术实施例示出的电子设备的结构示意图。
[0103]
参见图3，电子设备300包括存储器310和处理器320。
[0104]
处理器320可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0105]
存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0106]
存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
[0107]
此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
[0108]
或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储
介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
[0109]
以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。