障碍物信息检测方法、装置、电子设备及存储介质与流程

1.本公开涉及人工智能领域，具体涉及自动驾驶技术领域，尤其涉及一种障碍物信息检测方法、装置、电子设备及存储介质。


背景技术：

2.目前，随着自动驾驶相关技术的发展，自动驾驶车辆逐渐走入人们的视野。其中，自动驾驶车辆的自动驾驶功能对于改善个人出行方式，推动汽车产业升级，减少交通事故等具有重要意义。
3.为了保证自动驾驶车辆在自动行驶过程中的安全性，如何准确地检测车辆周围的障碍物，并预测与障碍物相关的信息是非常重要的。


技术实现要素：

4.本公开旨在至少在一定程度上解决上述技术中的技术问题之一。
5.为此，本公开的第一个目的在于提出一种障碍物信息检测方法，以实现采用参考图像的原始特征图对目标图像的原始特征图进行更新，并根据更新后的目标特征图实现障碍物信息检测，可实现利用参考图像中的障碍物特征对目标图像的障碍物信息检测提供指导作用，提高了目标图像中障碍物信息检测的准确性，从而提高车辆行驶的安全性。
6.本公开的第二个目的在于提出一种障碍物信息检测装置。
7.本公开的第三个目的在于提出一种电子设备。
8.本公开的第四个目的在于提出一种非临时性计算机可读存储介质。
9.本公开的第五个目的在于提出一种计算机程序产品。
10.为达上述目的，本公开第一方面实施例提出了一种障碍物信息检测方法，包括：获取车载摄像头采集的多帧图像；对所述多帧图像分别进行特征提取，以得到各帧图像的原始特征图；针对所述多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对所述目标图像的原始特征图进行更新，以得到所述目标图像的目标特征图；其中，所述至少一帧参考图像是所述多帧图像中在所述目标图像之前采集的图像；根据各帧目标图像的所述目标特征图，检测障碍物信息。
11.本公开实施例的障碍物信息检测方法，通过获取车载摄像头采集的多帧图像；对多帧图像分别进行特征提取，以得到各帧图像的原始特征图；针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对所述目标图像的原始特征图进行更新，以得到目标图像的目标特征图；其中，至少一帧参考图像是多帧图像中在所述目标图像之前采集的图像；根据各帧目标图像的目标特征图，检测障碍物信息，由此，采用参考图像的原始特征图对目标图像的原始特征图进行更新，并根据更新后的目标特征图实现障碍物信息检测，可实现利用参考图像中的障碍物特征指导目标图像的障碍物信息检测，提高了目标图像中障碍物信息检测的准确性，从而提高车辆行驶的安全性。
12.为达上述目的，本公开第二方面实施例提出了一种障碍物信息检测装置，包括：第
一获取模块，用于获取车载摄像头采集的多帧图像；提取模块，用于对所述多帧图像分别进行特征提取，以得到各帧图像的原始特征图；更新模块，用于针对所述多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对所述目标图像的原始特征图进行更新，以得到所述目标图像的目标特征图；其中，所述至少一帧参考图像是所述多帧图像中在所述目标图像之前采集的图像；检测模块，用于根据各帧目标图像的所述目标特征图，检测障碍物信息。
13.为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的方法。
14.为了实现上述目的，本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面实施例所述的方法。
15.为了实现上述目的，本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现本公开第一方面实施例所述的方法。
16.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
17.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本公开一个实施例所提供的障碍物信息检测方法的流程示意图；图2为本公开一个实施例所提供的障碍物信息检测方法的流程示意图；图3为本公开一个实施例所提供的障碍物信息检测方法的流程示意图；图4为本公开一个实施例所提供的障碍物信息检测方法的流程示意图；图5为本公开一个实施例所提供的障碍物信息检测方法的流程示意图；图6为本公开一个实施例所提供的障碍物信息检测方法的流程示意图；图7为本公开一个实施例提供的障碍物信息检测装置的结构示意图；图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
18.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
19.自动驾驶对于改善个人出行方式，推动汽车产业升级，减少交通事故等具有重要意义。自动驾驶功能首先要能够准确地检测车辆周围的障碍物，并预测与障碍物相关的信息。一般来讲，对于自动驾驶车辆，均具备有主动安全系统，如前视防碰撞系统、变道防碰撞系统等，大多是通过各类传感器如视觉传感器、雷达传感器、超声波传感器等感知车辆周边环境信息，例如：车辆前方静态和动态障碍物，车辆两侧盲区运动物体，车辆后部逐渐靠近
的物体等，然后依据设定的参数判断车辆行驶的安全性，由控制系统自行执行车辆智能控制行为，包括减速、刹车、变道避让等操作，达到车辆主动安全控制的目标；其中，准确地区分动态与静态障碍物对于预测障碍物的未来运动轨迹，合理地进行车辆的轨迹规划具有重要意义，与此同时，障碍物的动态和静态区分还可用于前车的启停判断；相对速度估计对于主动安全感知来讲比较重要，通过计算障碍物与车辆之间的距离、相对速度、相对加速度，从而计算出车辆与其他车辆或障碍物在横向和纵向上的碰撞发生时间，做出合理的车辆碰撞预警，从而提高车辆之间碰撞和主动控制的可靠性和精度，因此，如何准确地检测车辆周围的障碍物，并预测与障碍物相关的信息是非常重要的。
20.针对上述问题，本公开提出一种障碍物信息检测方法、装置、电子设备及存储介质。
21.下面参考附图描述本公开实施例的障碍物信息检测方法、装置、电子设备及存储介质。
22.图1为本公开一个实施例所提供的障碍物信息检测方法的流程示意图。本公开实施例以该障碍物信息检测方法被配置于障碍物信息检测装置中来举例说明，该障碍物信息检测装置可以应用于任一电子设备中，以使该电子设备可以执行障碍物信息检测功能。
23.其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑（personal computer，简称pc）、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
24.如图1所示，该障碍物信息检测方法可包括以下步骤：步骤101，获取车载摄像头采集的多帧图像。
25.作为一种示例，直接从车载摄像头采集的连续的多帧图像中获取连续的多帧图像。
26.作为另一种示例，将车辆上车载摄像头采集的连续的多帧图像进行关键帧图像抽取，可得到多个关键帧图像。
27.作为又一种示例，将车辆上车载摄像头采集的连续的多帧图像进行等间隔抽取，可得到多帧图像。比如，从连续的多帧图像中，以间隔为1进行抽取，可得到多帧图像。
28.步骤102，对多帧图像分别进行特征提取，以得到各帧图像的原始特征图。
29.在本公开实施例中，针对每帧图像，可以对该图像进行特征提取，得到该图像对应的原始特征图。
30.在本公开实施例的一种可能的实现方式中，为了提升特征提取结果的准确性和可靠性，可以基于深度学习技术，对图像进行特征提取，得到该图像对应的原始特征图。
31.作为一种示例，可以使用主流的主干网络（backbone network）对图像进行特征提取，得到原始特征图。例如，主干网络可以包括残差网络（resnet）系列（比如resnet 34，resnet 50，resnet 101等网络）、darknet（使用c和cuda编写的开源的神经网络框架）系列（比如darknet19，darknet53）等。
32.步骤103，针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对目标图像的原始特征图进行更新，以得到目标图像的目标特征图。
33.其中，至少一帧参考图像是多帧图像中在目标图像之前采集的图像。
34.在本公开实施例中，为了提高目标图像中障碍物信息检测的准确性，可采用参考
图像中的障碍物特征对目标图像的障碍物信息检测进行指导。
35.作为一种示例，针对多帧图像中除首帧图像之外的任一目标图像，获取在该任一目标图像之前采集的至少一帧参考图像，采用至少一帧参考图像的原始特征图对目标图像的原始特征图进行融合，可得到该任一目标图像的目标特征图。
36.也就是说，可基于第一融合算法将至少一帧参考图像的原始特征图与任一目标图像的原始特征图进行融合，将融合后的特征图作为任一目标图像的目标特征图。
37.作为另一种示例，针对至少一帧参考图像中的任意两帧相邻参考图像，将两帧相邻参考图像中前一帧参考图像的目标特征图与后一帧参考图像的原始特征图进行融合，以得到后一帧参考图像的目标特征图；其中，至少一帧参考图像中的首帧参考图像的目标特征图为首帧参考图像的原始特征图；将目标图像的原始特征图与目标图像的相邻前一帧参考图像的目标特征图进行融合，以得到目标图像的目标特征图。
38.也就是说，可基于第二融合算法将参考图像中的第一帧参考图像的原始特征图与第二帧参考图像的原始特征图进行融合，得到第二帧参考图像的目标特征图，并基于第二融合算法将第二帧参考图像的目标特征图与第三帧参考图像的原始特征图进行融合，得到第三帧参考图像的目标特征图，以此类推，基于第二融合算法将第n-1帧参考图像的目标特征图与第n帧参考图像的原始特征图进行融合，可得到第n帧参考图像的目标特征图，将目标图像的原始特征图与目标图像的相邻前一帧参考图像的目标特征图进行融合，以得到目标图像的目标特征图。
39.其中，第一融合算法与第二融合算法可以相同，也可以不同，本公开对此并不限制。
40.步骤104，根据各帧目标图像的目标特征图，检测障碍物信息。
41.进而，可以根据各帧目标图像的目标特征图进行障碍物信息检测，以得到各帧目标图像对应的障碍物信息检测结果。其中，障碍物信息检测结果可包括障碍物预测框的位置信息、障碍物中心坐标偏移预测信息和障碍物运动属性预测信息中的至少一项。
42.综上，采用参考图像的原始特征图对目标图像的原始特征图进行更新，并根据更新后的目标特征图实现障碍物信息检测，可实现利用参考图像中的障碍物特征指导目标图像的障碍物信息检测，提高了目标图像中障碍物信息检测的准确性，从而提高车辆行驶的安全性。
43.为了检测各目标图像中的障碍物信息，如图2所示，图2为本公开一个实施例所提供的障碍物信息检测方法的流程示意图，在本公开实施例中，可将各帧目标图像的目标特征输入到障碍物信息识别模型中，以得到各目标图像的障碍物信息，图2所示实施例可包括如下步骤：步骤201，获取车载摄像头采集的多帧图像。
44.步骤202，对多帧图像分别进行特征提取，以得到各帧图像的原始特征图。
45.步骤203，针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对目标图像的原始特征图进行更新，以得到目标图像的目标特征图。
46.其中，至少一帧参考图像是多帧图像中在目标图像之前采集的图像。
47.步骤204，采用障碍物信息识别模型的编码层对各帧目标图像的目标特征图进行编码，以得到各帧目标图像的编码特征。
48.在本公开实施例中，障碍物信息识别模型为经过训练的模型，比如可以基于机器学习技术或深度学习技术，对初始的障碍物信息识别模型进行训练，使得经过训练的障碍物信息识别模型能够学习得到特征图与障碍物信息检测结果之间的对应关系。
49.在本公开实施例中，针对每一帧目标图像，可以利用障碍物信息识别模型中的编码层对该目标图像的目标特征图进行编码，得到编码特征。
50.步骤205，采用障碍物信息识别模型的解码层对各帧目标图像的编码特征进行解码，以得到各帧目标图像的解码特征。
51.在本公开实施例中，可以采用障碍物信息识别模型中的解码层，对编码层输出的编码特征进行解码，得到解码特征。例如，可以根据解码层中的模型参数对编码特征执行矩阵乘法运算，得到注意力机制中的q、k、v分量，根据q、k、v分量，确定解码特征。
52.步骤206，采用障碍物信息识别模型的预测层对各帧目标图像的解码特征进行预测，以得到各帧目标图像的障碍物预测信息。
53.其中，障碍物预测信息包括障碍物预测框的位置信息、障碍物中心坐标偏移预测信息和障碍物运动属性预测信息中的至少一项。
54.在本公开实施例中，可以利用障碍物信息识别模型中的预测层对解码特征进行障碍物信息预测，得到障碍物预测信息，其中，障碍物预测信息包括障碍物预测框的位置信息、障碍物中心坐标偏移预测信息和障碍物运动属性预测信息中的至少一项，障碍物运动属性预测信息包括障碍物相对速度预测信息和障碍物状态预测信息中的至少一项。
55.需要说明的是，步骤201至203的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
56.综上，通过采用障碍物信息识别模型的编码层对各帧目标图像的目标特征图进行编码，以得到各帧目标图像的编码特征；采用障碍物信息识别模型的解码层对各帧目标图像的编码特征进行解码，以得到各帧目标图像的解码特征；采用障碍物信息识别模型的预测层对各帧目标图像的解码特征进行预测，以得到各帧目标图像的障碍物预测信息，由此，基于深度学习技术进行障碍物信息预测，可提升障碍物信息预测的准确性。
57.为了提高车辆行驶的安全性，如图3所示，图3为本公开一个实施例所提供的障碍物信息检测方法的流程示意图，在本公开实施例中，障碍物预测信息包括障碍物预测框的位置信息和障碍物中心坐标偏移预测信息，可采用障碍物信息识别模型的预测层对各帧目标图像的解码特征进行预测，得到各帧目标图像的障碍物预测框的位置信息，进而，根据各帧目标图像的障碍物预测框的位置信息以及首帧图像的障碍物预测框的位置信息，确定任意两帧相邻图像中的后一帧图像相对前一帧图像的障碍物中心坐标偏移预测信息，图3所示实施例可包括如下步骤：步骤301，获取车载摄像头采集的多帧图像。
58.步骤302，对多帧图像分别进行特征提取，以得到各帧图像的原始特征图。
59.步骤303，针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对目标图像的原始特征图进行更新，以得到目标图像的目标特征图。
60.其中，至少一帧参考图像是多帧图像中在目标图像之前采集的图像。
61.步骤304，采用障碍物信息识别模型的编码层对各帧目标图像的目标特征图进行编码，以得到各帧目标图像的编码特征。
62.步骤305，采用障碍物信息识别模型的解码层对各帧目标图像的编码特征进行解码，以得到各帧目标图像的解码特征。
63.步骤306，采用障碍物信息识别模型的第一预测层对各帧目标图像的解码特征进行预测，以得到各帧目标图像的障碍物预测框的位置信息。
64.作为一种示例，获取各帧目标图像对应的解码特征中的多个预测维度，将各解码特征中各预测维度的特征分别输入至对应的第一预测层，以得到各帧目标图像中的障碍物预测框的位置信息。
65.在本公开实施例中，预测维度的个数与一帧目标图像中能够被识别的障碍物个数有关，例如，预测维度的个数可以与一帧目标图像中能够被识别的障碍物个数的上限值相关。比如，预测维度的个数可以处于100至200之间。
66.在本公开实施例中，可以预先设置预测维度的个数。
67.应当理解的是，障碍物信息识别模型可以识别数量较多的障碍物，然而受限于图像或视频帧的取景画面，图像中包含的障碍物个数有限，为了兼顾障碍物信息检测结果的准确性，以及避免资源浪费，可以根据预测维度的个数，确定预测层的个数。其中，预测层的个数与预测维度的个数相同。
68.在本公开实施例中，可以将解码特征中各预测维度的特征分别输入至对应的预测层，以得到各预测层输出的障碍物预测框的位置信息。
69.其中，障碍物预测框的位置信息可为障碍物三维预测框的位置信息，障碍物预测框的位置信息可包括但不限于障碍物预测框中的障碍物的中心点坐标信息、朝向角以及尺寸信息。
70.步骤307，对多帧图像中任意两帧相邻图像，将两帧相邻图像对应的障碍物预测框的位置信息输入至对应的第二预测层，以得到两帧相邻图像中的后一帧图像相对前一帧图像的障碍物中心坐标偏移预测信息。
71.其中，首帧图像的障碍物预测框的位置信息是根据首帧图像的原始特征图确定的。
72.作为一种示例，获取首帧图像的原始特征图的解码特征，并采用障碍物信息识别模型的第一预测层对首帧图像的解码特征进行预测，以得到首帧图像的障碍物预测框的位置信息。
73.在本公开实施例中，可对首帧图像的原始特征图进行编码，得到首帧图像的编码特征，并对该编码特征进行解码，得到首帧图像的解码特征，采用障碍物信息识别模型的第一预测层对首帧图像的解码特征进行预测，可得到首帧图像的障碍物预测框的位置信息。
74.进一步地，对多帧图像中任意两帧相邻图像，可将两帧相邻图像对应的障碍物预测框的位置信息输入至对应的第二预测层，第二预测层可根据两帧相邻图像中后一帧图像的障碍物预测框的位置信息中的障碍物的中心点坐标信息，与前一帧图像的障碍物预测框的位置信息中的障碍物的中心点坐标信息之间的差异，确定两帧相邻图像中的后一帧图像相对前一帧图像的障碍物中心坐标偏移预测信息。
75.需要说明的是，步骤301至305的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
76.综上，通过采用障碍物信息识别模型的第一预测层对各帧目标图像的解码特征进
行预测，以得到各帧目标图像的障碍物预测框的位置信息；获取首帧图像的原始特征图的解码特征，并采用障碍物信息识别模型的第一预测层对首帧图像的解码特征进行预测，以得到首帧图像的障碍物预测框的位置信息；对多帧图像中任意两帧相邻图像，将两帧相邻图像对应的障碍物预测框的位置信息输入至对应的第二预测层，以得到两帧相邻图像中的后一帧图像相对前一帧图像的障碍物中心坐标偏移预测信息，由此，根据深度学习技术可获取障碍物预测信息中的障碍物预测框的位置信息和障碍物中心坐标偏移预测信息，提高了障碍物预测信息的丰富性，可进一步提高车辆行驶的安全性。
77.为了进一步提高车辆行驶的安全性，如图4所示，图4为本公开一个实施例所提供的障碍物信息检测方法的流程示意图，在本公开实施例中，障碍物预测信息还包括障碍物运动属性预测信息，障碍物运动属性预测信息包括障碍物相对速度预测信息和障碍物状态预测信息中的至少一项，可根据两帧相邻图像对应的障碍物预测框的位置信息以及两帧相邻图像的采样时间间隔，确定对应的障碍物运动属性预测信息，图4所示实施例可包括如下步骤：步骤401，获取车载摄像头采集的多帧图像。
78.步骤402，对多帧图像分别进行特征提取，以得到各帧图像的原始特征图。
79.步骤403，针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对目标图像的原始特征图进行更新，以得到目标图像的目标特征图。
80.其中，至少一帧参考图像是多帧图像中在目标图像之前采集的图像。
81.步骤404，采用障碍物信息识别模型的编码层对各帧目标图像的目标特征图进行编码，以得到各帧目标图像的编码特征。
82.步骤405，采用障碍物信息识别模型的解码层对各帧目标图像的编码特征进行解码，以得到各帧目标图像的解码特征。
83.步骤406，采用障碍物信息识别模型的第一预测层对各帧目标图像的解码特征进行预测，以得到各帧目标图像的障碍物预测框的位置信息。
84.步骤407，对多帧图像中任意两帧相邻图像，将两帧相邻图像对应的障碍物预测框的位置信息以及两帧相邻图像的采样时间间隔输入至对应的第三预测层，以得到两帧相邻图像中的后一帧图像对应的障碍物运动属性预测信息。
85.其中，首帧图像的障碍物预测框的位置信息是根据首帧图像的原始特征图确定的，障碍物运动属性预测信息包括障碍物相对速度预测信息和障碍物状态预测信息中的至少一项。
86.作为一种示例，将两帧相邻图像对应的障碍物预测框的位置信息、两帧相邻图像的采样时间间隔以及设定速度阈值输入至对应的第三预测层的第一预测分支，以得到两帧相邻图像中的后一帧图像的障碍物状态预测信息。
87.在本公开实施例中，障碍物状态预测信息可为障碍物为运动状态，或者，障碍物为静止状态，第三预测层的第一预测分支可根据两帧相邻图像对应的障碍物预测框的位置信息之间的位置差异，根据该位置差异与该两帧相邻图像的采样时间间隔之间的比例，可确定该两帧相邻图像中的后一帧图像的障碍物的绝对速度预测信息，将绝对速度预测信息与设定速度阈值进行比对，可确定该两帧相邻图像中的后一帧图像的障碍物状态预测信息。比如，在绝对速度预测信息大于对应的设定速度阈值时，可确定障碍物状态预测信息为障
碍物为运动动态；在绝对速度预测信息小于或等于对应的设定速度阈值时，可确定障碍物状态预测信息为障碍物为静止动态。
88.作为另一种示例，将两帧相邻图像对应的障碍物预测框的位置信息、两帧相邻图像的采样时间间隔以及车辆速度信息输入至对应的第三预测层的第二预测分支，以得到两帧相邻图像中的后一帧图像对应的障碍物相对速度预测信息。
89.在本公开实施例中，第三预测层的第二预测分支可根据两帧相邻图像对应的障碍物预测框的位置信息之间的位置差异，根据该位置差异与该两帧相邻图像的采样时间间隔之间的比例，可确定该两帧相邻图像中的后一帧图像的障碍物的绝对速度预测信息，将绝对速度信息车辆速度信息进行比对，可确定两帧相邻图像中的后一帧图像对应的障碍物相对速度预测信息。
90.需要说明的是，步骤401至406的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
91.综上，通过对多帧图像中任意两帧相邻图像，将两帧相邻图像对应的障碍物预测框的位置信息以及两帧相邻图像的采样时间间隔输入至对应的第三预测层，以得到两帧相邻图像中的后一帧图像对应的障碍物运动属性预测信息，由此，根据深度学习技术可获取障碍物预测信息中的障碍物运动属性预测信息，提高了障碍物预测信息的丰富性，可进一步提高车辆行驶的安全性。
92.为了可通过障碍物信息识别模型获取障碍物预测信息，如图5所示，图5为本公开一个实施例所提供的障碍物信息检测方法的流程示意图，在本公开实施例中，在根据各帧目标图像的目标特征图，检测障碍物信息之前，可对障碍物信息识别模型进行训练，以使障碍物信息识别模型学习得到特征图与障碍物信息检测结果之间的对应关系，图5所示实施例可包括如下步骤：步骤501，获取车载摄像头采集的多帧图像。
93.步骤502，对多帧图像分别进行特征提取，以得到各帧图像的原始特征图。
94.步骤503，针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对目标图像的原始特征图进行更新，以得到目标图像的目标特征图。
95.其中，至少一帧参考图像是多帧图像中在目标图像之前采集的图像。
96.步骤504，获取多帧样本图像。
97.在本公开实施例中，可以获取多帧样本图像，其中，多帧样本图像可以从现有的训练集获取，或者，多帧样本图像也可以在线采集，比如可以通过网络爬虫技术在线采集多帧样本图像，或者，多帧样本图像也可以为线下采集，比如可采用车载摄像头进行图像采集，或者，样本图像也可以为人工合成的图像，以得到多帧样本图像，等等，本公开对此不作限制。
98.针对每帧样本图像，可根据激光雷达对每帧样本图像进行障碍物三维信息检测，同时结合目标跟踪算法，可确定每帧样本图像中的各障碍物检测框的位置信息，并确定任意两帧相邻样本图像中的后一帧样本图像中每个障碍物的绝对速度、相对速度、障碍物中心坐标偏移信息以及状态信息。从而，还可对每帧样本图像中的障碍物进行障碍物检测框的位置信息、绝对速度信息、相对速度信息、障碍物中心坐标偏移信息以及状态信息标注，以得到各个信息对应的标注标签。
99.需要说明的是，为了提升模型的训练效果，标签可以通过人工标注，或者，为了降低人工成本，提升模型的训练效率，标签也可以自动标注，比如可以通过标注模型，对每帧样本图像中的障碍物进行各信息自动标注，本公开对此并不做限制。进一步地，在对样本图像的中的障碍物进行自动标注后，还可以通过人工审核的方式，对样本图像中标注的标签进行审核，以提升样本标注结果的准确性，从而提升模型的训练效果。
100.步骤505，采用初始的障碍物信息识别模型对多帧样本图像进行障碍物信息预测，以得到多帧样本图像的障碍物预测信息。
101.将多帧样本图像进行特征提取，以得到各帧样本图像的原始样本特征图，针对多帧样本图像中除首帧样本图像之外的任一目标样本图像，根据至少一帧参考样本图像的原始样本特征图对目标样本图像的原始样本特征图进行更新，以得到目标样本图像的目标样本特征图；其中，至少一帧参考样本图像是多帧样本图像中在目标样本图像之前采集的图像，将各目标样本图像的目标样本特征图输入至初始的障碍物信息识别模型中，该初始的障碍物信息识别模型可输出多帧样本图像的障碍物预测信息。
102.步骤506，根据多帧样本图像的障碍物预测信息与多帧样本图像上标注的障碍物标注信息之间的差异，对初始的障碍物信息识别模型进行训练。
103.进而，根据初始的障碍物信息识别模型输出的障碍物预测信息与多帧样本图像上标注的障碍物标注信息之间的差异，对初始的障碍物信息识别模型进行训练。比如，根据障碍物预测信息中的相对速度预测信息与对应的标注的相对速度信息之间的差异，对初始的障碍物信息识别模型进行训练。其中，需要说明的是，对于障碍物运动状态或静止状态的判定，可采用二分类交叉熵损失进行初始的障碍物信息识别模型的训练。
104.步骤507，采用障碍物信息识别模型对各帧目标图像的目标特征图进行障碍物信息检测。
105.进而，可采用经过训练的障碍物信息识别模型对各帧目标图像的目标特征图进行障碍物信息检测。
106.需要说明的是，步骤501至503的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
107.综上，通过获取多帧样本图像；采用初始的障碍物信息识别模型对多帧样本图像进行障碍物信息预测，以得到多帧样本图像的障碍物预测信息；根据多帧样本图像的障碍物预测信息与多帧样本图像上标注的障碍物标注信息之间的差异，对初始的障碍物信息识别模型进行训练，由此，采用多帧样本图像对初始的障碍物信息识别模型进行训练，可使障碍物信息识别模型学习障碍物检测框的同时，学习得到障碍物的状态信息和相对速度信息，提高了障碍物信息检测的效率和准确性。
108.为了更加清楚地说明上述实施例，现举例进行说明。
109.举例而言，如图6所示，图6为本公开一个实施例所提供的障碍物信息检测方法的流程示意图，障碍物信息检测方法的流程可如下：1、将连续帧单目图像序列(大于或等于两帧)送入到特征提取网络（如，主干网络backbone network）提取每帧图像的特征，2、由卷积时序模块（如，卷积门控循环单元convgru）得到当前帧的增强特征，基于该增强特征，由网络输出的多个网络头分别学习障碍物的三维检测框信息、障碍物的中心
坐标偏移信息、障碍物的动静态信息和相对自车的速度信息。其中，根据当前帧图像帧和历史的图像帧，使用同一深度学习网络完成图像特征的提取，将这些特征送入卷积时序模块(如，图6中convgru网络)，将历史帧中包含的障碍物特征建模进当前帧的特征中，用于增强当前帧的图像特征表示，基于该增强特征，可以使用历史帧的障碍物特征来指导它们在当前帧的定位、动静态属性的学习和相对速度估计，从而对输入图像序列中障碍物的时空变化信息进行建模，基于增强特征，使用多个网络头分别解码得到当前帧障碍物的三维检测信息(b=(x, y, z, roty,l, w, h))、前后帧对应障碍物间的中心坐标偏移量(tracking offset)、障碍物的动、静态(state)和相对速度信息(velocity)；其中，障碍物检测信息主要为障碍物的三维检测框信息，包括障碍物的三维中心点(x, y, z)、朝向角(roty)和长(l)、宽(w)、高(h)信息。
110.本公开实施例的障碍物信息检测方法，通过获取车载摄像头采集的多帧图像；对多帧图像分别进行特征提取，以得到各帧图像的原始特征图；针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对所述目标图像的原始特征图进行更新，以得到目标图像的目标特征图；其中，至少一帧参考图像是多帧图像中在所述目标图像之前采集的图像；根据各帧目标图像的目标特征图，检测障碍物信息，由此，采用参考图像的原始特征图对目标图像的原始特征图进行更新，并根据更新后的目标特征图实现障碍物信息检测，可实现利用参考图像中的障碍物特征指导目标图像的障碍物信息检测，提高了目标图像中障碍物信息检测的准确性，从而提高车辆行驶的安全性。
111.为了实现上述实施例，本公开还提出一种障碍物信息检测装置。
112.图7为本公开一个实施例提供的障碍物信息检测装置的结构示意图。
113.如图7所示，该障碍物信息检测装置700包括：第一获取模块710、提取模块720、更新模块730和检测模块740。
114.其中，第一获取模块710，用于获取车载摄像头采集的多帧图像；提取模块720，用于对多帧图像分别进行特征提取，以得到各帧图像的原始特征图；更新模块730，用于针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对目标图像的原始特征图进行更新，以得到目标图像的目标特征图；其中，至少一帧参考图像是多帧图像中在目标图像之前采集的图像；检测模块740，用于根据各帧目标图像的目标特征图，检测障碍物信息。
115.作为本公开实施例的一种可能的实现方式，检测模块740，还用于：采用障碍物信息识别模型的编码层对各帧目标图像的目标特征图进行编码，以得到各帧目标图像的编码特征；采用障碍物信息识别模型的解码层对各帧目标图像的编码特征进行解码，以得到各帧目标图像的解码特征；采用障碍物信息识别模型的预测层对各帧目标图像的解码特征进行预测，以得到各帧目标图像的障碍物预测信息，其中，障碍物预测信息包括障碍物预测框的位置信息、障碍物中心坐标偏移预测信息和障碍物运动属性预测信息中的至少一项。
116.作为本公开实施例的一种可能的实现方式，障碍物预测信息包括障碍物预测框的位置信息和障碍物的中心坐标偏移预测信息，检测模块740，还用于：采用所述障碍物信息识别模型的第一预测层对各帧目标图像的解码特征进行预测，以得到各帧目标图像的障碍物预测框的位置信息；对多帧图像中任意两帧相邻图像，将两帧相邻图像对应的障碍物预测框的位置信息输入至对应的第二预测层，以得到两帧相邻图像中的后一帧图像相对前一
帧图像的障碍物中心坐标偏移预测信息；其中，首帧图像的障碍物预测框的位置信息是根据首帧图像的原始特征图确定的。
117.作为本公开实施例的一种可能的实现方式，障碍物预测信息还包括障碍物运动属性预测信息，检测模块740，还用于：对多帧图像中任意两帧相邻图像，将两帧相邻图像对应的障碍物预测框的位置信息以及两帧相邻图像的采样时间间隔输入至对应的第三预测层，以得到两帧相邻图像中的后一帧图像对应的障碍物运动属性预测信息。
118.作为本公开实施例的一种可能的实现方式，障碍物运动属性预测信息包括障碍物相对速度预测信息和障碍物状态预测信息中的至少一项，检测模块740，还用于：将两帧相邻图像对应的障碍物预测框的位置信息、两帧相邻图像的采样时间间隔以及设定速度阈值输入至对应的第三预测层的第一预测分支，以得到两帧相邻图像中的后一帧图像的障碍物状态预测信息；和/或，将两帧相邻图像对应的障碍物预测框的位置信息、两帧相邻图像的采样时间间隔以及车辆速度信息输入至对应的第三预测层的第二预测分支，以得到两帧相邻图像中的后一帧图像对应的障碍物相对速度预测信息。
119.作为本公开实施例的一种可能的实现方式，障碍物信息识别模型采用以下模块训练得到：第二获取模块、预测模块和训练模块。
120.其中，第二获取模块，用于获取多帧样本图像；预测模块，用于采用初始的障碍物信息识别模型对所述多帧样本图像进行障碍物信息预测，以得到所述多帧样本图像的障碍物预测信息；训练模块，用于根据多帧样本图像的障碍物预测信息与多帧样本图像上标注的障碍物标注信息之间的差异，对初始的障碍物信息识别模型进行训练。
121.作为本公开实施例的一种可能的实现方式，更新模块730还用于：针对至少一帧参考图像中的任意两帧相邻参考图像，将两帧相邻参考图像中前一帧参考图像的目标特征图与后一帧参考图像的原始特征图进行融合，以得到后一帧参考图像的目标特征图；其中，至少一帧参考图像中的首帧参考图像的目标特征图为首帧参考图像的原始特征图；将目标图像的原始特征图与目标图像的相邻前一帧参考图像的目标特征图进行融合，以得到目标图像的目标特征图。
122.作为本公开实施例的一种可能的实现方式，更新模块还用于：将至少一帧参考图像的原始特征图与目标图像的原始特征图进行融合，将融合后的特征图作为目标图像的目标特征图。
123.需要说明的是，前述对障碍物信息检测方法实施例的解释说明也适用于该实施例的障碍物信息检测装置，此处不再赘述。
124.本公开实施例的障碍物信息检测装置，通过获取车载摄像头采集的多帧图像；对多帧图像分别进行特征提取，以得到各帧图像的原始特征图；针对多帧图像中除首帧图像之外的任一目标图像，根据至少一帧参考图像的原始特征图对所述目标图像的原始特征图进行更新，以得到目标图像的目标特征图；其中，至少一帧参考图像是多帧图像中在所述目标图像之前采集的图像；根据各帧目标图像的目标特征图，检测障碍物信息，由此，采用参考图像的原始特征图对目标图像的原始特征图进行更新，并根据更新后的目标特征图实现障碍物信息检测，可实现利用参考图像中的障碍物特征指导目标图像的障碍物信息检测，提高了目标图像中障碍物信息检测的准确性，从而提高车辆行驶的安全性。
125.为了实现上述实施例，本公开还提出一种电子设备，包括：至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开图1至图6实施例所述的障碍物信息检测方法。
126.为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1至图6实施例所述的障碍物信息检测方法。
127.为了实现上述实施例，本公开还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现图1至图6实施例所述的障碍物信息检测方法。
128.图8是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
129.参照图8，终端设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。
130.处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
131.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
132.电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
133.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
134.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（mic），当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
135.输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
136.传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
137.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，4g或5g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
138.在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路（asic）、数字信号处理器（dsp）、数字信号处理设备（dspd）、可编程逻辑器件（pld）、现场可编程门阵列（fpga）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
139.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
140.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
141.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
142.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开
的实施例所属技术领域的技术人员所理解。
143.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
144.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
145.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
146.此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
147.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。