端到端Bev感知的信息处理方法和电子设备与流程

本申请属于计算机，更具体地说，是涉及一种端到端bev感知的信息处理方法和电子设备。

背景技术：

1、自动驾驶车辆需要环境感知。一般情况下，自动驾驶车辆能够基于环视相机的鸟瞰图感知周围环境中的物体。鸟瞰图感知是自动驾驶环境感知中的一项核心技术，鸟瞰图感知技术能够将车辆周围多个传感器（例如摄像头）捕捉到的图像信息，统一转换到一个从上向下俯视的三维坐标系中，并进行理解和表达的技术。为了准确感知环境，自动驾驶车辆可能会设置多个图像传感器，然后对多个图像传感器获得的图像进行处理，但是往往图像处理量大，计算复杂。

技术实现思路

1、本申请实施例的目的在于提供一种端到端bev感知的信息处理方法和电子设备，能够简化计算复杂度。

2、第一方面，本申请实施例提供了一种端到端bev感知的信息处理方法，包括：基于预先设置于主体的相机的视角对应的当前画面信息进行三维检测，获得三维框的候选组合；基于所述当前画面信息进行二维检测，获得所述当前画面信息中，每个目标对应的位置信息；获得所述当前画面信息的上一帧的目标实例，与所述当前画面信息之间的时序信息；基于所述三维框的候选组合、所述位置信息和所述时序信息，获得所述当前画面的初始查询信息；基于所述初始查询信息，获得端到端bev感知的信息处理结果。

3、在一种实施方式中，所述基于预先设置于主体的相机的视角对当前画面信息进行三维检测，获得三维框的候选组合，包括：将所述预先设置于主体的相机视角对应的画面信息，输入三维图处理模型的单目三维检测分支；获得所述单目三维检测分支输出的所述视角对应的三维框的组合；基于所述三维框的组合，确定所述三维框的候选组合。

4、在一种实施方式中，所述基于所述当前画面信息进行二维检测，获得所述当前画面信息中，每个目标对应的位置信息，包括：将所述当前画面信息输入三维图处理模型的单目二维检测分支；获得所述单目二维检测分支输出的二维框的组合；基于所述二维框的组合，所述预先设置于主体的相机的俯仰角，以及所述预先设置于主体的相机相对位置，确定所述当前画面信息中，每个目标对应的位置信息。

5、在一种实施方式中，所述获得所述当前画面信息的上一帧的目标实例，与当前画面信息之间的时序信息，包括：获得三维图处理模型的主干网络输出的所述当前画面信息的上一帧的目标实例；基于传感器信息，确定所述主体的上一帧与当前帧之间的位姿变化信息；基于所述位姿变化信息和预先设置的速度信息，获得所述时序信息。

6、在一种实施方式中，所述基于所述三维框的候选组合、所述位置信息和所述时序信息，获得所述当前画面的初始查询信息，包括：将所述三维框的候选组合、所述位置信息和所述时序信息进行去重，融合去重后的三维框的候选组合、去重后的位置信息和去重后的时序信息，获得融合信息；基于所述融合信息，以及预先设置的均匀分布的背景锚框集合，获得所述当前画面的初始查询信息。

7、在一种实施方式中，所述基于所述融合信息，以及预先设置的均匀分布的背景锚框集合，获得所述当前画面的初始查询信息，包括：基于所述融合信息，获得预设数目个候选锚框；将所述候选锚框以及所述背景锚框集合结合，得到所述当前画面的初始查询信息。

8、在一种实施方式中，所述基于所述初始查询信息，获得所述鸟瞰感知图的信息处理结果，包括：将所述初始查询信息输入三维图处理模型的解码分支；获得所述解码分支输出的所述初始查询信息的修正信息，所述修正信息为基于所述初始查询信息的预测类别确定的；基于所述修正信息，获得端到端bev感知的处理结果。

9、在一种实施方式中，所述三维图处理模型包括单目三维分支、单目二维分支，所述单目三维分支和单目二维分支共享所述三维图处理模型的主干网络和解码分支。

10、第二方面，本申请实施例提供一种端到端bev感知的信息处理装置，包括：候选组合模块，用于基于预先设置于主体的相机的视角对应的当前画面信息进行三维检测，获得三维框的候选组合；位置信息模块，用于基于所述当前画面信息进行二维检测，获得所述当前画面信息中，每个三维框对应的位置信息；时序信息模块，用于获得所述当前画面信息的上一帧的目标实例，与所述当前画面信息之间的时序信息；初始查询信息模块，用于基于所述三维框的候选组合、所述位置信息和所述时序信息，获得所述当前画面的初始查询信息；处理结果模块，用于基于所述初始查询信息，获得端到端bev感知的信息处理结果。

11、第三方面，本申请实施例还提供一种电子设备，所述电子设备包括：处理器和存储器；所述存储器用于存储所述电子设备执行本申请任意一项实施例所提供的方法的程序，以及存储用于实现本申请任意一项实施例所提供的方法所涉及的数据；所述处理器被配置为用于执行所述存储器中存储的程序。

12、第四方面，本申请实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本申请任意一项实施例提供的方法。

13、通过本申请实施例提供的方法，能够在获得端到端bev感知的信息处理结果之前，对查询获得的信息进行处理和过滤，能够有效地对相机产生的原始查询信息进行精简，降低模型处理画面信息的数据量，在不降低查询精度的情况下，提高信息处理速度。

1.一种端到端bev感知的信息处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于预先设置于主体的相机的视角对当前画面信息进行三维检测，获得三维框的候选组合，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述当前画面信息进行二维检测，获得所述当前画面信息中，每个目标对应的位置信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述获得所述当前画面信息的上一帧的目标实例，与当前画面信息之间的时序信息，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述三维框的候选组合、所述位置信息和所述时序信息，获得所述当前画面的初始查询信息，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述融合信息，以及预先设置的均匀分布的背景锚框集合，获得所述当前画面的初始查询信息，包括：

7.根据权利要求5所述的方法，其特征在于，所述基于所述初始查询信息，获得端到端bev感知的信息处理结果，包括：

8.根据权利要求2-4、7所述的方法，其特征在于，所述三维图处理模型包括单目三维分支、单目二维分支，所述单目三维分支和单目二维分支共享所述三维图处理模型的主干网络和解码分支。

9.一种端到端bev感知的信息处理装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；