驾驶图像数据处理方法、设备、介质及产品与流程

本申请涉及图像处理，尤其涉及一种驾驶图像数据处理方法、设备、介质及产品。

背景技术：

1、在自动驾驶技术的研发与测试过程中，基于真实道路场景的高精度三维重建与闭环仿真测试是验证算法鲁棒性的核心手段。当前自动化标注大多依赖于多传感器复杂的级联拼接处理，或是基于单帧图像的独立二维到三维的投影转换。

2、然而，多数纯视觉方案聚焦于单帧图像的空间特征提取，缺乏对长时序目标运动轨迹的建模能力，导致在遮挡或复杂场景下出现目标漏检或标识跳变，轨迹数据存在断层。

技术实现思路

1、本申请实施例提供一种驾驶图像数据处理方法、设备、介质及产品，以解决上述技术问题。该方案按时序依次接收环视图像，结合预设参照向量和历史物体特征得到融合特征，依托融合特征求解三维边界框，并借助匹配算法持续更新追踪队列，以此得到时序连贯的物体轨迹，提升遮挡场景下轨迹结果的可靠性。

2、第一方面，本申请实施例提供一种驾驶图像数据处理方法，方法包括：

3、接收按照时序逐帧输入的环视图像数据；

4、针对环视图像数据中的各帧图像，循环执行以下步骤，直至全部帧图像均处理完成，以生成各物体的轨迹数据：

5、基于预设参照向量集合和上一帧图像中的物体特征生成当前帧图像中各物体的融合特征；

6、根据融合特征计算各物体的三维边界框特征，所述三维边界框特征包括物体对应的几何与物理属性；

7、采用预设匹配算法基于三维边界框特征更新活跃队列，所述活跃队列中包括至少一个追踪物体。

8、在一个可能的实施例中，生成融合特征，包括：

9、提取当前帧图像的全局数字特征；

10、将预设参照向量集合、全局数字特征、上一帧物体特征输入预设解码器分层结构中，进行特征交互与迭代融合，以生成当前帧图像中各物体的融合特征。

11、在一个可能的实施例中，计算三维边界框特征，包括：

12、基于图像采集设备参数计算中心点坐标；

13、基于历史物体参数和物体占当前帧图像比例计算三维包围盒尺寸和偏航角；

14、基于与上一帧图像中的物体特征差值计算三维运动速度。

15、在一个可能的实施例中，更新活跃队列，包括：

16、基于上一帧图像的帧号、物体的坐标和速度计算各物体当前帧预测坐标；

17、采用预设匹配算法根据各物体当前帧实际坐标和预测坐标进行匹配；

18、将匹配上的物体的当前帧坐标、速度更新至活跃队列中。

19、在一个可能的实施例中，进行匹配，包括：

20、在当前帧物体与追踪物体的类别一致时，计算物体当前帧实际坐标和预测坐标的欧氏距离；

21、当欧式距离小于预设距离阈值时，确定匹配成功。

22、在一个可能的实施例中，还包括：

23、若匹配成功，将当前物体对应的漏检计数清零；

24、若追踪物体未与当前帧物体匹配上，将该追踪物体的漏检计数加一；

25、若物体的漏检计数达到预设计数阈值，则将其从活跃队列中删除。

26、在一个可能的实施例中，还包括：

27、获取历史数据处理集合，并将中心到自车原点的欧氏距离大于预设半径阈值的物体从集合中删除；

28、采用预设聚类算法基于处理后的历史数据处理集合进行聚类迭代，以生成预设参照向量集合。

29、在一个可能的实施例中，计算出三维边界框特征后，还包括：

30、将类别为预设屏蔽类别的物体删除；

31、将各物体的三维包围盒尺寸膨胀预设系数；

32、删除各物体的重复包围盒。

33、在一个可能的实施例中，删除重复包围盒，包括：

34、把包围盒的底部四个角投影到俯视平面图，以得到物体俯视图；

35、依次计算各置信度俯视图与最大值置信度俯视图的重叠面积比；

36、将重叠面积比大于预设比例阈值的包围盒删除。

37、在一个可能的实施例中，还包括：

38、从各物体的轨迹数据中确定轨迹空缺位置；

39、基于轨迹空缺位置的前后帧的三维边界框特征，按时间比例线性插值，以生成空缺位置的三维边界框特征。

40、在一个可能的实施例中，还包括：

41、计算各物体出现的总帧数；

42、将仅出现一帧的物体确定为虚假物体，并删除该物体。

43、第二方面，本申请实施例提供一种电子设备，包括：存储器，处理器；

44、存储器存储计算机执行指令；

45、处理器执行存储器存储的计算机执行指令，使得处理器执行上述提供的方法。

46、第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述提供的方法。

47、第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述提供的方法。

48、本申请实施例提供的驾驶图像数据处理方法、设备、介质及产品，按时序获取环视图像，依托多方位画面消除单目相机视野缺陷，为特征提取、三维求解和目标跟踪提供图像基础。借助预设参照向量锁定检索范围，通过特征相似度定位目标，缩减全域遍历的计算开销，提高目标检出效果。结合前一帧物体特征完成特征融合，改善物体遮挡情形下的漏检问题，并构建帧间特征关联，为目标匹配提供支撑。基于融合特征回归得到坐标、尺寸、偏航角及三维速度，还原物体在雷达坐标系中的真实空间状态。再依据位置与速度完成帧间配对，动态维护活跃队列，对持续目标更新参数、新增物体分配跟踪标识，对长期未匹配的物体进行移除，完成跨帧关联绑定。依靠逐帧对应的跟踪编号积累时序信息，最终生成物体完整轨迹，满足自动驾驶的数据使用的时空连贯性。

1.一种驾驶图像数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，生成融合特征，包括：

3.根据权利要求1所述的方法，其特征在于，计算三维边界框特征，包括：

4.根据权利要求3所述的方法，其特征在于，更新活跃队列，包括：

5.根据权利要求4所述的方法，其特征在于，进行匹配，包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.根据权利要求3所述的方法，其特征在于，计算出三维边界框特征后，还包括：

9.根据权利要求8所述的方法，其特征在于，删除重复包围盒，包括：

10.根据权利要求1所述的方法，其特征在于，还包括：

11.根据权利要求1所述的方法，其特征在于，还包括：

12.一种电子设备，其特征在于，包括：存储器，处理器；

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-11任一项所述的方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的方法。