一种基于时序风险感知的智能汽车端到端自动驾驶系统

本发明涉及一种智能汽车端到端自动驾驶系统，特别涉及一种基于时序风险感知的智能汽车端到端自动驾驶系统。

背景技术：

1、近年来，智能汽车自动驾驶技术发展迅速。通过采集和处理来自环境传感器的数据，自动驾驶系统能够获取并理解周围道路结构、交通参与者以及可通行区域等环境信息，并据此生成自车未来运动轨迹，为智能汽车安全、稳定行驶提供重要支撑。端到端自动驾驶系统通过统一模型直接建立环境传感器输入到规划轨迹输出之间的映射关系，减少了传统模块化系统中感知、预测与规划等环节之间的级联误差，具有系统结构简洁、任务目标一致以及整体优化能力强等优势，已逐渐成为智能汽车自动驾驶的重要技术路线。

2、然而，现阶段智能汽车端到端自动驾驶系统仍面临如下亟待解决的关键难题：

3、第一，环境传感器受限于交通场景目标遮挡、探测盲区及恶劣环境干扰等因素影响导致目标状态时序中断与空间结构信息缺失。这种数据不完备性会削弱端到端自动驾驶系统对道路结构、交通参与者运动状态及可通行区域的连续理解能力，进而影响规划轨迹生成的稳定性。因此，如何在信息缺失条件下有效重构被遮挡区域的环境结构与目标状态，恢复并保持系统对环境理解的时空连续性，已成为提升端到端自动驾驶系统稳定性的关键技术难题。

4、第二，在复杂交通场景中，道路拓扑结构、交通参与者运动状态以及车辆交互关系具有显著动态性和不确定性，自车周围不同空间位置的通行风险会随环境状态变化而快速改变。这种风险分布的动态变化不仅增加了端到端自动驾驶系统对安全通行区域判断的难度，还导致规划轨迹在高风险区域内缺少明确约束，严重影响智能汽车自动驾驶的安全性。因此，如何对复杂交通场景进行显式风险表征，为端到端自动驾驶提供可利用的风险约束，已成为提升智能汽车端到端自动驾驶系统安全性的关键技术难题。

5、第三，现有相关技术普遍通过固定规则采样或数据驱动的隐式学习方式生成候选轨迹，未能利用场景动态风险信息进行结构化引导，导致在低风险区域生成的候选轨迹分布稀疏，难以覆盖最优安全路径；而在高风险区域产生大量冗余轨迹，限制了智能汽车自动驾驶的可靠性。因此，如何利用场景风险分布引导轨迹在低风险区域中进行精细化生成，已成为提升端到端自动驾驶系统可靠性的关键技术难题。

技术实现思路

1、针对现有端到端自动驾驶系统在环境感知连续性、场景风险表征及轨迹生成可靠性方面存在的不足，本发明提供一种基于时序风险感知的智能汽车端到端自动驾驶系统，旨在实现以下目的：在信息缺失场景中有效重构被遮挡区域的环境结构与目标状态，保持系统对环境理解的时空连续性；对复杂交通场景进行显式风险表征，为端到端自动驾驶提供可利用的风险约束；利用场景风险分布引导轨迹在低风险区域中进行精细化生成，提高自动驾驶的可靠性。

2、为实现上述目的，本发明提供了一种基于时序风险感知的智能汽车端到端自动驾驶系统，包括图像特征提取模块、bev特征转换模块、时序融合模块、风险感知模块、候选轨迹生成模块和轨迹优化输出模块；

3、所述图像特征提取模块以相机图像为输入，提取多尺度层级图像特征并进行多级融合，输出多尺度融合特征；

4、所述bev特征转换模块以多尺度融合特征为输入，建立图像特征沿深度维度的特征分布，构建像素-深度特征与bev体素之间的映射关系，将图像特征投影至bev空间并进行聚合，生成bev特征；

5、所述时序融合模块以当前时刻bev特征及历史时刻bev特征为输入，建立bev时序特征队列，对历史bev特征、时间间隔、自车运动状态及bev空间位置进行联合编码，通过多方向时空序列扫描建立历史帧与当前帧的全局依赖关系，并将历史bev特征配准至当前自车坐标系进行跨帧聚合，生成时序融合bev特征；

6、所述风险感知模块以时序融合bev特征为输入，构建与bev空间位置对应的风险查询向量，通过多头交叉注意力机制建立风险查询向量与时序融合bev特征之间的交互建模，计算场景-风险关联权重，解码获得场景风险特征并映射为bev空间风险场；

7、所述候选轨迹生成模块以bev空间风险场为输入，以自车位置为中心逐层生成候选轨迹锚点，根据bev空间风险场对各候选轨迹锚点及其连接路径进行通行风险代价评估，选取风险代价低的候选轨迹锚点序列生成初始候选轨迹；

8、所述轨迹优化输出模块以初始候选轨迹和时序融合bev特征为输入，通过可变形交叉注意力机制建立候选轨迹锚点与bev场景特征之间的局部交互关系，对候选轨迹锚点位置进行自适应修正并平滑连接，输出自车未来规划轨迹。

9、进一步地，所述图像特征提取模块包括多尺度特征提取网络和多尺度特征融合网络两部分；

10、所述多尺度特征提取网络的输入为相机多视角图像数据，初始卷积阶段通过卷积层和最大池化层进行预处理，得到预处理后的图像特征，随后，图像特征依次通过四个残差阶段，提取多尺度图像特征；

11、所述多尺度特征融合网络以多尺度特征提取网络输出的多尺度图像特征为输入，采用特征金字塔网络结构，将深层图像特征依次上采样后与浅层图像特征拼接融合，输出多尺度融合特征。

12、进一步地，所述bev特征转换模块以所述图像特征提取模块输出的多尺度融合特征为输入，结合相机内外参，将图像像素在各深度假设下投影至三维空间中，并映射为bev体素索引，建立像素-深度与bev体素之间的映射关系；

13、根据相机与激光雷达之间的投影关系将雷达点云投影至图像平面，构建稀疏深度图，并编码为稀疏深度特征；将稀疏深度特征与多尺度融合特征在通道维度进行拼接，并通过深度预测网络进行融合，最终得到包含深度信息的图像特征；

14、将特征沿特征维度进行拆分，令其前个特征维度表示深度特征，其余通道用于表示深度条件下的图像语义特征；对深度特征执行操作，得到所有像素的深度概率；利用深度概率对图像语义特征进行加权，得到像素-深度特征：

15、

16、在获取像素-深度特征及其与bev体素之间的映射关系后，将各深度对应的图像特征投影至相应bev体素中，通过加权方式进行聚合，同时将高度维度折叠至通道维度，得到图像bev特征。

17、进一步地，所述时序融合模块在获得当前时刻图像bev特征后，将其写入历史bev特征队列，形成连续时序bev特征集合；

18、随后，分别对时间间隔信息、自车运动状态信息以及bev空间位置信息进行编码；对于第个历史时刻，其混合时空位置编码表示为：

19、

20、其中，表示第个历史时刻与当前时刻之间的时间间隔，和分别表示历史时刻和当前时刻的自车位姿矩阵，表示历史坐标系到当前自车坐标系的相对运动变换，表示矩阵展平操作，表示以自车为中心建立的bev空间网格位置，、和分别表示时间编码网络、自车运动编码网络和空间位置编码网络；

21、将编码结果与对应时刻的图像bev特征相加，得到带有时空位置信息的bev时序特征；

22、随后，将时序bev特征按照时间维度、bev横向维度和bev纵向维度展开为一维序列，各方向序列特征分别输入对应的时空序列扫描分支进行特征建模；通过隐状态递推对序列中的长距离依赖关系进行建模；将各分支输出恢复至原始bev时序结构，并进行融合，得到包含全局时空上下文信息的时序增强bev特征；

23、根据自车运动状态信息，将历史时刻图像bev特征配准至当前自车坐标系；在相同bev网格区域内对历史特征和当前特征进行聚合，输出时序融合bev特征。

24、进一步地，所述风险感知模块以时序融合模块输出的时序融合bev特征为输入，首先，构建与bev空间位置对应的风险查询向量，并分别在风险查询向量和时序融合bev特征中添加bev空间位置嵌入，得到具有空间位置感知能力的风险查询特征和bev场景特征；

25、随后，将风险查询特征作为查询向量，将bev场景特征作为键向量和值向量，通过多头注意力机制计算风险查询与时序融合bev特征之间的风险关联权重；在第个注意力头中，其注意力权重表示为：

26、

27、其中，为注意力头数，为特征总维度，为第个注意力头对应的风险关联权重，和为第个注意力头对应的查询特征和键特征，表示转置；

28、基于所述风险关联权重对值向量进行加权聚合，得到各注意力头对应的风险特征：

29、

30、其中，和为第个注意力头对应的风险特征和值特征；

31、随后，对各注意力头的风险特征结果进行拼接，得到场景风险特征；

32、通过门控连接机制将场景风险特征与时序融合bev特征进行融合，得到风险增强特征：

33、

34、其中，为门控权重矩阵，为激活函数，表示逐元素乘法，表示层归一化操作；

35、最后，通过多层感知机处理，将风险增强特征映射为bev空间风险场：

36、

37、其中，r表示bev空间风险场。

38、进一步地，所述候选轨迹生成模块以风险感知模块输出的bev空间风险场为输入，以自车当前位置为起始锚点，在自车前向预设距离处生成第一层候选轨迹锚点，并根据所述bev空间风险场读取各候选轨迹锚点对应位置的风险值；将风险值大于预设风险阈值的候选轨迹锚点剔除，其余的候选轨迹锚点作为有效锚点；

39、以有效锚点为新起点，沿自车前向行驶方向继续生成下一层候选轨迹锚点，并重复执行风险值计算、风险阈值筛选和有效锚点保留过程，直至达到预设锚点层数，得到多组候选锚点序列；

40、对每组候选锚点序列中相邻锚点之间的连接路径进行风险积分，获得候选锚点序列的累计通行风险代价；

41、最后，根据累计风险值对各候选锚点序列进行排序，选取风险代价低于阈值的若干组候选锚点序列，并对其进行平滑连接，生成初始候选轨迹。

42、进一步地，所述轨迹优化输出模块以候选轨迹生成模块的输出和时序融合模块的输出为输入，所述候选轨迹生成模块输出若干组初始候选轨迹，其中，每组初始候选轨迹由若干个按照未来行驶方向依次排列的候选轨迹锚点组成，表示为：

43、

44、其中，表示第条初始候选轨迹，表示第条初始候选轨迹中的第个候选轨迹锚点，表示输入至轨迹优化输出模块的初始候选轨迹数量；

45、对于第条初始候选轨迹，首先将该初始候选轨迹的锚点进行位置编码和序列编码，将离散的候选轨迹锚点转换为轨迹查询向量：

46、

47、其中，表示轨迹锚点编码网络，用于提取候选轨迹锚点的序列特征；表示轨迹锚点位置编码，用于表征各候选轨迹锚点在bev空间中的位置；表示第条初始候选轨迹对应的轨迹查询向量；

48、随后，以所述轨迹查询向量为查询，以时序融合bev特征为键向量和值向量，构建可变形交叉注意力机制；以候选轨迹锚点为参考位置，在每个候选轨迹锚点周围的局部邻域内生成若干可学习采样偏移点，并从所述时序融合bev特征中自适应采样与该候选轨迹锚点相关的局部场景特征；

49、对于第条初始候选轨迹中的第个候选轨迹锚点，其参考位置为，则可变形交叉注意力机制生成个采样偏移量为：

50、

51、其中，表示第条初始候选轨迹中第个候选轨迹锚点对应的轨迹查询特征，表示采样偏移预测网络，表示第个采样点相对于候选轨迹锚点的位置偏移量；对应的采样位置表示为：

52、

53、其中，表示围绕候选轨迹锚点生成的第个可变形采样位置。

54、进一步地，根据轨迹查询特征计算各采样位置的注意力权重：

55、

56、其中，表示注意力权重预测网络，表示第个采样位置对应的注意力权重；据此从时序融合bev特征中聚合与候选轨迹锚点相关的局部场景特征：

57、

58、其中，表示在采样位置处取得的bev特征，表示第个候选轨迹锚点对应的局部轨迹特征，为采样偏移量的数量；

59、然后，根据局部轨迹特征预测候选轨迹锚点的位置修正量：

60、

61、其中，表示轨迹锚点偏移预测网络，表示第个候选轨迹锚点在bev空间中的位置修正量；根据该位置修正量对候选轨迹锚点进行更新：

62、

63、从而得到修正后的候选轨迹锚点序列：

64、

65、其中，表示更新后的候选轨迹锚点，，表示第条修正后的候选轨迹锚点序列；

66、对修正后的候选轨迹锚点序列进行曲线拟合和平滑处理，得到连续轨迹曲线；

67、最后，对各连续候选轨迹进行综合评分：

68、

69、其中，表示第条候选轨迹的综合评分，表示第条候选轨迹在场景风险场中的累计风险代价，表示轨迹曲率或航向变化对应的平滑性代价，表示修正后轨迹相对于初始候选轨迹的偏移代价，、和为对应的权重系数；

70、选取综合评分最小的连续候选轨迹作为最终未来规划轨迹：

71、

72、其中，表示轨迹优化输出模块输出的自车未来规划轨迹。

73、本发明与现有技术相比，具有以下有益效果：

74、本发明设计了一种时序融合模块，通过将多个历史时刻的bev特征、对应时间间隔以及自车运动状态信息进行联合编码，利用多方向时空序列扫描机制对历史帧与当前帧之间的全局时空依赖关系进行建模，并将历史bev特征根据自车运动状态配准至当前时刻完成跨帧特征聚合，从而在信息缺失场景中有效重构被遮挡区域的环境结构与目标状态，保持了系统对环境理解的时空连续性，为实现智能汽车端到端自动驾驶提供技术支撑。

75、本发明通过构建基于风险查询的多头交叉注意力解码机制，实现风险查询向量与时序融合bev特征之间的交互建模，建立自车周围bev空间与场景风险分布之间的对应关系，并从时序融合bev特征中解码获得风险上下文特征，从而生成与bev空间对应的场景风险场，对复杂交通场景进行显式风险表征，为端到端自动驾驶系统提供可利用的风险约束，提升智能汽车端到端自动驾驶系统的安全性。

76、本发明通过构建风险引导的轨迹生成机制，实现场景风险场与未来候选轨迹点之间的关联建模，基于自车周围不同空间位置的风险分布对候选轨迹点及其连接路径进行通行代价评估，并选取低风险轨迹点序列作为未来规划轨迹的初始序列；进一步结合时序融合bev特征对所述轨迹点序列进行自适应修正，从而生成未来规划轨迹，提高智能汽车端到端自动驾驶系统的可靠性。