道路场景理解方法、装置、设备和存储介质

本发明涉及智能辅助驾驶，尤其涉及一种道路场景理解方法、装置、设备和存储介质。

背景技术：

1、在智能驾驶、智能驾驶辅助以及车路协同等领域，道路场景理解是实现车辆环境感知、行为决策与路径规划的重要基础。道路场景理解旨在从车载视觉传感器采集的道路图像中提取道路结构信息、识别交通参与者并评估场景风险，为自动驾驶系统的后续决策提供可靠的环境感知输入。

2、现有道路场景理解方法通常采用任务模块解耦的技术路线，将目标检测、道路结构解析以及风险评估分别设计为独立处理模块，并通过后续规则或几何计算实现信息融合。具体地，在道路目标感知方面，现有技术主要采用基于卷积神经网络（convolutionalneural network，cnn）或transformer架构的目标检测方法，通过对输入道路图像进行特征提取，并利用分类预测和位置回归分支实现车辆、行人及障碍物等交通参与者的类别识别和空间定位，例如只需看一次（you only look once，yolo）系列、更快速的基于区域的卷积神经网络（faster region-based convolutional neural network，faster r-cnn）以及基于查询机制的检测transformer（detection transformer，detr）、实时检测transformer（real-time detection transformer，rt-detr）等方法。在道路结构解析方面，现有技术通常采用语义分割、关键点检测或曲线参数化方法对道路结构进行建模，通过提取图像中的车道线、道路边界及可行驶区域信息，获得道路空间约束关系。在场景风险评估方面，现有技术通常在目标检测和道路结构检测结果的基础上，通过坐标变换、逆透视投影或高精地图辅助定位等后处理方式，计算目标与车道线之间的距离、区域重叠程度或碰撞时间等指标，当相关参数超过预设安全阈值时触发风险预警。

3、然而，现有方法通常采用目标检测、道路结构解析和规则判断的串联式处理流程，各任务之间缺少统一的特征交互机制，道路结构信息通常仅作为目标检测后的辅助约束。因此，在复杂道路环境、目标遮挡以及动态交通场景下，现有方法仍存在感知信息融合不足、风险判断依赖人工规则以及系统实时性受限等问题，导致场景理解能力受限。

技术实现思路

1、本发明提供一种道路场景理解方法、装置、设备和存储介质，在根本上解决了传统串联式处理流程中道路结构信息仅作为后处理辅助约束、多要素特征缺乏深层交互以及风险评估依赖人工规则的技术难题，提升了复杂道路环境下场景理解的准确性、鲁棒性和实时性。

2、本发明提供一种道路场景理解方法，该方法包括如下步骤：

3、基于道路场景图像对应的多尺度视觉特征，在网络的隐空间中初始化得到道路结构查询向量和目标查询向量，将所述道路结构查询向量和所述目标查询向量组合为异构查询序列；所述道路结构查询向量用于表征道路结构信息，所述目标查询向量用于表征交通参与者信息；

4、根据单目相机成像模型及道路透视关系生成空间感知位置编码，将所述空间感知位置编码融合至所述异构查询序列中，得到融合后的异构查询序列；

5、将所述融合后的异构查询序列输入transformer解码器，通过自注意力机制和交叉注意力机制对所述异构查询序列进行查询特征更新，获得更新后的道路结构查询和更新后的目标查询，根据所述更新后的道路结构查询和所述更新后的目标查询确定增强后的目标查询；

6、根据所述增强后的目标查询和所述更新后的道路结构查询，通过预测头进行多任务预测，输出道路场景理解结果；所述道路场景理解结果包括：道路拓扑结构参数、目标二维感知结果以及目标风险等级。

7、根据本发明提供的一种道路场景理解方法，所述将所述道路结构查询向量和所述目标查询向量组合为异构查询序列，包括：

8、将所述道路结构查询向量与所述目标查询向量在实例数量维度上级联拼接，获得所述异构查询序列。

9、根据本发明提供的一种道路场景理解方法，所述根据单目相机成像模型及道路透视关系生成空间感知位置编码，包括：

10、根据相机内参获取图像的视平线纵坐标；

11、根据图像坐标系纵坐标与所述视平线纵坐标的差值，构建透视深度缩放因子；

12、针对图像域内的任意二维坐标，利用所述透视深度缩放因子对所述二维坐标的坐标值进行透视空间校正，并经过多频正余弦位置编码，生成所述空间感知位置编码。

13、根据本发明提供的一种道路场景理解方法，所述通过自注意力机制和交叉注意力机制对所述异构查询序列进行查询特征更新，获得更新后的道路结构查询和更新后的目标查询，包括：

14、在所述transformer解码器的每一层中，对所述异构查询序列执行带掩码的多头自注意力机制，通过任务约束掩码矩阵将所述道路结构查询向量和所述目标查询向量之间的注意力交互强制归零，使所述道路结构查询向量和所述目标查询向量分别进行内部特征更新，获得自注意力更新后的查询序列；所述任务约束掩码矩阵为分块对角阵，所述分块对角阵中的第一分块对应于所述道路结构查询向量之间的自注意力位置，第二分块对应于所述目标查询向量之间的自注意力位置，其余位置为掩码位；所述掩码位在注意力权重归一化时被强制归零；

15、在所述空间感知位置编码的引导下，对所述自注意力更新后的查询序列与所述多尺度视觉特征执行交叉注意力计算，获得所述更新后的道路结构查询和所述更新后的目标查询。

16、根据本发明提供的一种道路场景理解方法，所述交叉注意力计算采用基于所述透视深度缩放因子调制的可变形交叉注意力；所述对所述自注意力更新后的查询序列与所述多尺度视觉特征执行交叉注意力计算，获得所述更新后的道路结构查询和所述更新后的目标查询，包括：

17、确定所述自注意力更新后的查询序列中各查询特征对应的二维参考点坐标；

18、预测各二维参考点周围的多个采样点对应的位置偏移量；

19、利用所述二维参考点坐标对应的透视深度缩放因子对各所述位置偏移量进行调制，得到调制后的各采样点位置；其中，所述透视深度缩放因子越小所述位置偏移量的调制放大程度越大；

20、根据所述调制后的各采样点位置从所述多尺度视觉特征中采样，获得各所述采样点的视觉特征；

21、将各所述采样点的视觉特征按照注意力权重加权求和，得到所述更新后的道路结构查询和所述更新后的目标查询。

22、根据本发明提供的一种道路场景理解方法，所述根据所述更新后的道路结构查询和所述更新后的目标查询确定增强后的目标查询，包括：

23、根据所述更新后的道路结构查询通过结构映射网络生成左右道路边界曲线；

24、根据所述左右道路边界曲线将道路区域划分为多个道路结构单元，并提取各所述道路结构单元对应的视觉语义特征；

25、根据所述更新后的目标查询预测目标的空间位置表示；

26、根据所述目标的空间位置表示与各所述道路结构单元之间的空间关联关系，计算各空间关联注意力权重，将各所述道路结构单元的视觉语义特征按照各所述空间关联注意力权重聚合至所述更新后的目标查询中，获得初步增强的目标查询；

27、根据目标与道路边界之间的相对几何关系生成透视几何约束位置编码；所述透视几何约束位置编码包含目标中心与左右道路边界之间的横向相对距离经所述透视深度缩放因子校正后的信息；

28、将所述透视几何约束位置编码注入所述初步增强的目标查询中，获得所述增强的目标查询。

29、根据本发明提供的一种道路场景理解方法，所述基于道路场景图像对应的多尺度视觉特征，在网络的隐空间中初始化得到道路结构查询向量和目标查询向量之前，还包括：

30、获取所述道路场景图像，对所述道路场景图像进行视觉特征提取，获得层级视觉特征；

31、将所述层级视觉特征输入特征金字塔网络进行多尺度特征对齐与跨层交互融合，获得所述多尺度视觉特征。

32、第二方面，本发明还提供一种道路场景理解装置，该装置包括如下模块：

33、查询初始化模块，用于基于道路场景图像对应的多尺度视觉特征，在网络的隐空间中初始化得到道路结构查询向量和目标查询向量，将所述道路结构查询向量和所述目标查询向量组合为异构查询序列；所述道路结构查询向量用于表征道路结构信息，所述目标查询向量用于表征交通参与者信息；

34、位置编码生成模块，用于根据单目相机成像模型及道路透视关系生成空间感知位置编码，将所述空间感知位置编码融合至所述异构查询序列中，得到融合后的异构查询序列；

35、解码处理模块，用于将所述融合后的异构查询序列输入transformer解码器，通过自注意力机制和交叉注意力机制对所述异构查询序列进行查询特征更新，获得更新后的道路结构查询和更新后的目标查询，根据所述更新后的道路结构查询和所述更新后的目标查询确定增强后的目标查询；

36、多任务预测模块，用于根据所述增强后的目标查询和所述更新后的道路结构查询，通过预测头进行多任务预测，输出道路场景理解结果；所述道路场景理解结果包括：道路拓扑结构参数、目标二维感知结果以及目标风险等级。

37、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述道路场景理解方法。

38、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述道路场景理解方法。

39、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述道路场景理解方法。

40、本发明提供的一种道路场景理解方法、装置、设备和存储介质，首先基于道路场景图像对应的多尺度视觉特征，在网络的隐空间中初始化得到道路结构查询向量和目标查询向量，将道路结构查询向量和目标查询向量组合为异构查询序列；道路结构查询向量用于表征道路结构信息，目标查询向量用于表征交通参与者信息；然后根据单目相机成像模型及道路透视关系生成空间感知位置编码，将空间感知位置编码融合至异构查询序列中，得到融合后的异构查询序列；进一步将融合后的异构查询序列输入transformer解码器，通过自注意力机制和交叉注意力机制对异构查询序列进行查询特征更新，获得更新后的道路结构查询和更新后的目标查询，根据更新后的道路结构查询和更新后的目标查询确定增强后的目标查询；进而根据增强后的目标查询和更新后的道路结构查询，通过预测头进行多任务预测，输出道路场景理解结果；道路场景理解结果包括：道路拓扑结构参数、目标二维感知结果以及目标风险等级。

41、本发明提供一种道路场景理解方法，通过在统一的端到端transformer网络框架内构建道路结构查询与目标查询之间的动态交互机制，使道路空间结构信息在特征学习阶段主动参与目标语义理解过程，并同步输出道路拓扑结构、目标感知结果和风险等级，实现道路结构解析、目标检测以及风险状态评估的一体化建模，从而在根本上解决了传统串联式处理流程中道路结构信息仅作为后处理辅助约束、多要素特征缺乏深层交互以及风险评估依赖人工规则的技术难题，提升了复杂道路环境下场景理解的准确性、鲁棒性和实时性。