一种场景自适应时空协同的轻量化三维车道检测方法、训练方法、系统、电子设备及存储介质

本发明涉及自动驾驶环境感知、计算机视觉、三维几何重建及时序特征建模的，尤其涉及一种场景自适应时空协同的轻量化三维车道检测方法、训练方法、系统、电子设备及存储介质。

背景技术：

1、三维车道检测用于在车辆坐标系或道路坐标系中输出车道线的横向位置、纵向延伸、高度变化、可见性和语义属性，是车道保持、路径规划、车辆横向控制及道路拓扑理解的重要感知基础。与仅在图像平面输出车道像素坐标的二维车道检测相比，三维车道检测还需要处理单目尺度约束、道路坡度和起伏、远距离分辨率下降、复杂弯道表示及视频时序稳定性等问题。

2、现有基于稀疏查询或transformer解码器的三维车道检测方法通常采用固定数量且均匀分布的纵向采样点描述车道。固定张量维度便于批处理，但无法根据距离、曲率、坡度和可见性合理分配表示能力，容易在远距离、大曲率弯道和起伏道路处出现欠采样。部分方法采用单一多项式或单一样条表示整条车道，在车道标线局部磨损、长区段遮挡、分流或合流场景下，难以同时兼顾局部形态保持、整体平滑性及遮挡区段连续补全。

3、为利用视频连续性，现有方法可将历史帧特征或历史检测结果传递至当前帧。然而，车辆运动、相机机械振动、名义安装外参残差及帧间运动估计误差会导致历史信息与当前帧空间位置不一致。若在对齐之前直接累加历史图像特征或查询特征，会形成车道重影、横向漂移及错误累积。仅利用位姿变换三维坐标也不能自动解决跨帧车道身份对应问题，历史帧中的不同车道查询可能与当前帧查询发生交换，因此还需要在坐标对齐后建立跨帧车道关联。

4、传统双向时序网络通常同时读取过去帧和未来帧，不适用于要求当前帧即时输出的在线驾驶感知。仅使用历史结果进行单向平滑虽然满足因果性，但无法利用当前观测反向抑制历史误差。因而，需要在仅包含当前帧和历史帧的因果窗口内建立当前与历史之间的双向信息交互，并明确双向交互的数据流顺序。

5、此外，道路直线、弯曲、坡道、路口、隧道、低照度和眩光等属性并不互斥。若使用互斥场景分类，会丢失同时存在的道路几何和光照属性。车道平滑、相邻车道方向一致性、车道宽度及拓扑等几何先验在不同场景中的适用强度也不同。固定先验权重缺少场景适应性，而完全自由的可学习权重又可能趋近于零，使先验失效。

技术实现思路

1、针对现有车道检测方法固定采样、映射缺失、历史错位、双向依赖、基函数单一、生成滞后、训练检测混杂及权重退化的技术问题，本发明提出一种场景自适应时空协同的轻量化三维车道检测方法、训练方法、系统、电子设备及存储介质，本发明在明确坐标和尺度基准的条件下，先由当前帧生成粗三维车道、坐标不确定性和场景属性，再估计帧间相对位姿并进行坐标及特征对齐，在建立跨帧车道关联后执行因果双层时序交互，并将非均匀参数位置进一步映射为可计算的精细三维支撑点，最终通过局部多基函数软门控输出精细三维车道的完整方案，能够在不读取未来帧的条件下提高弯道、坡道、遮挡及相机扰动场景中的检测稳定性。

2、为了达到上述目的，本发明的技术方案是这样实现的：一种场景自适应时空协同的轻量化三维车道检测方法，步骤包括：

3、s1：通过轻量骨干网络提取当前帧多尺度图像特征与历史帧多尺度图像特征；在车辆坐标系下设置三维参考锚点并投影至当前帧图像，在投影位置处稀疏采样图像特征，并预测三维坐标偏移量，得到候选粗车道参考点；

4、s2：在当前帧多尺度图像特征上并行执行粗车道预测和场景属性预测，分别输出候选粗三维车道与多属性场景向量；

5、s3：基于当前帧多尺度图像特征与历史帧多尺度图像特征预测帧间相对位姿，对历史候选粗车道参考点进行三维变换，输出变换后的历史候选粗三维车道；

6、s4：根据当前候选粗三维车道和变换后的历史候选粗三维车道构建跨帧关联矩阵，根据跨帧关联矩阵将历史候选粗三维车道中的参考点可见度、车道语义概率及查询嵌入传递至当前帧；

7、s5：在因果时序窗口内，以当前帧车道特征校正关联后的历史帧车道特征；根据历史支持置信度及时序衰减系数生成历史帧时序权重；根据历史帧时序权重，以当前帧车道查询读取校正后的历史帧车道特征，经门控残差融合输出融合车道查询；

8、s6：构造非均匀分布的参数锚点，在参数锚点处对候选粗三维车道插值得到初始三维点；根据参数锚点的位置生成参数位置编码，将初始三维点投影至当前帧图像采样得到图像采样特征，结合参数位置编码、图像采样特征及融合车道查询预测三维坐标残差，得到精细曲线支撑点；

9、s7：利用精细曲线支撑点构建多个分段曲线基函数，对多个分段曲线基函数的输出进行加权融合，输出车辆坐标系下的精细三维车道坐标。

10、所述在车辆坐标系下设置三维参考锚点并投影至当前帧图像的方法为：

11、；

12、其中，为第条候选粗三维车道第个三维参考锚点的投影像素坐标，为三维参考锚点的齐次三维参考锚点，为相机内参矩阵，为相机坐标系至车辆坐标系的名义安装外参矩阵，为齐次坐标归一化；

13、所述在投影位置处稀疏采样图像特征的方法为：

14、对每个投影像素坐标，在当前帧与历史帧的多尺度图像特征上，以投影像素坐标为中心执行双线性插值采样，得到多尺度特征；

15、所述候选粗车道参考点为：；其中，为三维坐标偏移量。

16、所述在当前帧多尺度图像特征上并行执行粗车道预测和场景属性预测，分别输出候选粗三维车道与多属性场景向量的方法为：

17、在当前帧多尺度图像特征上设置固定数量的车道查询；根据当前帧多尺度图像特征预测各车道查询的车道存在性、参考点可见度及车道语义概率；

18、对于各车道查询，将投影像素坐标处采样得到的多尺度特征，结合正弦位置编码及查询嵌入，构建坐标预测分支的输入特征为：

19、；

20、将输入特征输入坐标预测分支，同步输出每个候选粗车道参考点的三维坐标均值和三维坐标对数方差为：；其中，为坐标预测头网络；

21、由三维坐标对数方差确定坐标回归不确定性为：

22、

23、其中，为空间维度索引，分别为三维空间的三个坐标轴方向，为候选粗车道参考点第维坐标上的对数方差；

24、将车道存在性、参考点可见度、车道语义概率、查询嵌入、三维坐标均值及坐标回归不确定性构成候选粗三维车道；

25、通过场景属性分支对当前帧最深层图像特征执行全局平均池化及全连接隐藏层映射，输出多维原始逻辑值为：；其中，为当前帧索引，为全局平均池化；为场景属性分类头网络；

26、对多维原始逻辑值的每个维度施加sigmoid激活函数，输出多属性场景向量为：。

27、所述基于当前帧多尺度图像特征与历史帧多尺度图像特征预测帧间相对位姿，对历史候选粗车道参考点进行三维变换，输出变换后的历史候选粗三维车道的方法为：

28、将当前帧多尺度图像特征与历史帧多尺度图像特征输入位姿预测分支，输出历史帧至当前帧的帧间相对位姿变换；

29、根据帧间相对位姿变换，对历史候选粗车道参考点进行三维变换，得到变换后的历史候选粗车道参考点：；其中，为历史帧索引，为历史帧第条候选粗三维车道的候选粗车道参考点，为变换后的历史候选粗车道参考点；

30、将当前候选粗车道参考点经当前帧至历史帧的逆帧间相对位姿变换映射至历史帧图像平面，得到历史帧投影像素坐标为：；其中，为当前帧至历史帧的逆帧间相对位姿变换，；

31、在历史帧投影像素坐标处，对历史帧多尺度图像特征执行双线性插值采样，得到历史帧多尺度特征。

32、所述根据当前候选粗三维车道和变换后的历史候选粗三维车道构建跨帧关联矩阵的方法为：

33、构建跨帧关联代价：

34、；

35、其中，为当前第条候选粗三维车道与历史第条候选粗三维车道的跨帧关联代价，为有序曲线距离，为车道语义概率距离，为查询嵌入距离，分别为有序曲线距离、车道语义概率距离、查询嵌入距离的权重系数，为当前第条候选粗三维车道的候选粗车道参考点，为变换后的历史第条候选粗三维车道的候选粗车道参考点，为当前第条候选粗三维车道的语义概率，为历史第条候选粗三维车道的语义概率，为当前第条候选粗三维车道的查询嵌入，为历史第条候选粗三维车道的查询嵌入；

36、由跨帧关联代价构建跨帧关联代价矩阵，通过sinkhorn归一化生成跨帧关联矩阵为：，其中，为温度系数，为双随机矩阵归一化函数。

37、所述以当前帧车道特征校正关联后的历史帧车道特征；根据历史支持置信度及时序衰减系数生成历史帧时序权重；根据历史帧时序权重，以当前帧车道查询读取校正后的历史帧车道特征，经门控残差融合输出融合车道查询的方法为：

38、以当前帧车道特征为键和值，关联后的历史帧车道特征为查询，执行交叉注意力，得到校正后的历史帧车道特征：

39、；

40、其中，为关联后的历史帧车道特征，为以历史帧车道特征为查询、当前帧车道特征为键和值得到的交叉注意力输出，为校正后的历史帧车道特征；

41、计算历史支持置信度为：；其中，为位姿对齐置信度，为局部特征相似度，为参考点可见度，为置信度预测网络；

42、计算归一化后的历史帧时序权重为：

43、；

44、其中，为投影及关联有效性掩膜，为正的时序衰减系数，为极小值常数，为第个历史帧的原始时序权重；

45、以当前帧车道查询为查询，校正后的历史帧车道特征为键和值，执行交叉注意力，得到叠加历史信息后的车道查询为：

46、；

47、其中，为当前帧车道查询，为当前帧车道查询读取校正后的历史帧车道特征的交叉注意力输出；

48、经门控残差融合输出融合车道查询为：

49、；

50、其中，为门控向量，为逐元素相乘。

51、所述构造非均匀分布的参数锚点的方法为：

52、根据候选粗三维车道计算沿车道方向的局部几何特征及坐标回归不确定性，组成局部状态向量为：；其中，为归一化纵向距离，为归一化局部曲率，为归一化道路坡度角，为参考点可见度概率，为坐标回归不确定性，为历史支持可靠度；

53、根据多属性场景向量、车道完整度及平均坐标回归不确定性，生成调制采样系数为：；其中，为调制采样系数预测网络，为正值映射函数；

54、计算采样重要度为：；其中，为采样重要度的偏置项；

55、对采样重要度进行归一化并构建累积分布，通过累积分布反演生成非均匀分布的参数锚点；

56、所述初始三维点为：；其中，为候选粗车道参考点集合，为插值函数；

57、所述三维坐标残差为：；其中，为残差预测头网络，为参数位置编码，为图像采样特征；

58、所述精细曲线支撑点为：。

59、所述利用精细曲线支撑点构建多个分段曲线基函数，对多个分段曲线基函数的输出进行加权融合，输出车辆坐标系下的精细三维车道坐标的方法为：

60、计算局部基函数门控权重为：；

61、其中，为局部可见度，为局部坐标回归不确定性，为门控预测网络；

62、所述精细三维车道坐标为：；其中，为曲线基函数集合，为第个基函数在参数锚点处的门控权重，为第个基函数在参数锚点处的输出。

63、一种场景自适应时空协同的轻量化三维车道训练方法，其特征在于，包括：

64、对当前帧预测三维车道与真实三维车道构建二分图匹配代价，完成车道级匹配；

65、基于匹配结果计算检测损失、属性损失、时序损失与正则损失，加权求和得到总损失；

66、根据总损失通过反向传播联合优化三维车道检测方法中的坐标预测分支参数、场景属性分支参数、位姿预测分支参数、置信度预测网络参数、调制采样系数预测网络参数、残差预测头网络参数及门控预测网络参数。

67、一种场景自适应时空协同的轻量化三维车道检测系统，其特征在于，包括：

68、图像与相机参数输入模块，用于接收时序道路图像与相机标定参数，执行图像预处理；

69、当前帧联合粗预测模块，用于提取当前帧多尺度图像特征，并行执行粗车道预测和场景属性预测，输出候选粗三维车道与多属性场景向量；

70、场景属性调制模块，用于将多属性场景向量输入各调制单元，实现采样密度、时序权重与基函数融合权重的场景自适应调节；

71、帧间位姿与稀疏投影对齐模块，用于预测帧间相对位姿，对历史候选粗车道参考点进行三维变换，并对历史帧多尺度图像特征执行稀疏投影采样；

72、跨帧车道关联模块，用于构建跨帧关联矩阵，建立历史候选粗三维车道与当前候选粗三维车道的对应关系；

73、因果双层时序交互模块，用于在因果时序窗口内，以当前帧车道特征校正历史帧车道特征，以当前帧车道查询读取校正后的历史帧车道特征，经门控残差融合输出融合车道查询；

74、自适应参数锚点与精细支撑点生成模块，用于构造非均匀分布的参数锚点，对候选粗三维车道插值得到初始三维点，结合融合车道查询、参数位置编码及图像采样特征预测三维坐标残差，得到精细曲线支撑点；

75、局部多基函数重构模块，用于构建多个分段曲线基函数，对多个分段曲线基函数的输出进行加权融合，输出车辆坐标系下的精细三维车道坐标；

76、三维车道输出模块，用于对检测结果执行后处理，输出标准化的三维车道感知结果；

77、训练约束模块，仅在训练阶段启用，用于构建损失函数并执行网络参数优化。

78、本发明的有益效果：

79、1、自适应采样效率更高：与固定均匀采样的三维车道检测方法相比，本发明保持精细点数量和张量维度固定，同时根据粗车道几何、可见度、坐标不确定性、历史支持可靠度和场景属性重新分配参数锚点，使有限计算量优先用于远距离、急弯、坡道和有可靠历史支撑的遮挡区段，在同等计算量下提升复杂路段表示精度。

80、2、几何表示链路完整：与仅输出非均匀参数位置的方法相比，本发明进一步执行粗曲线插值和三维坐标残差回归，明确得到精细曲线支撑点，使多个曲线分支具有实际可计算的三维输入，补全了“非均匀参数位置—三维曲线支撑点”的技术链条。

81、3、时序融合更鲁棒：与直接累加历史特征的方法相比，本发明先估计满足se(3)约束的相对位姿，对历史三维点和图像特征进行对齐，再基于有序曲线、语义和查询嵌入建立跨帧车道关联，可显著减少历史车道身份交换和空间错位造成的错误融合。

82、4、在线因果双向交互：与读取未来帧的传统双向网络相比，本发明仅使用当前帧和历史帧，并通过“当前校正历史—当前读取历史”的顺序式双向交互利用历史上下文，完全满足自动驾驶在线推理的因果性要求。

83、5、曲线表示能力更强：与整条车道仅使用单个全局曲线门控权重相比，本发明采用逐点或逐段局部门控，使完整区段、局部噪声区段和遮挡区段能够采用不同的曲线基函数组合，近端保留细节、中段抑制噪声、远端平滑补全，同时兼顾局部形态保真与全局连续性。

84、6、场景适应性与先验有效性兼顾：与固定或无界先验权重相比，本发明在粗预测阶段提前输出非互斥多属性场景向量，并生成具有正下界和预设上界的几何先验权重；在路口或分合流区域使用拓扑有效性掩膜，既避免先验权重退化为零导致先验失效，又防止对真实拓扑变化产生过度约束。