基于三维极坐标与感知范围先验的BEV视角转换方法及系统与流程
本发明涉及计算机视觉与深度学习,尤其涉及一种基于三维极坐标与感知范围先验的bev视角转换方法及系统。
背景技术:
1、在车辆自动驾驶感知系统中,将相机视角的二维图像特征转换为鸟瞰图(bev,bird’s eye view)视角特征,是实现周边环境精准感知的重要技术之一。现有bev视角转换方法依赖深度神经网络提取图像特征,通过位置编码和注意力机制实现图像特征向bev特征的转换。目前常采用二维极坐标()对图像特征进行位置编码,径向坐标和角度坐标可刻画物体与车辆的相对距离和方向,相较笛卡尔坐标更符合驾驶环境的几何特征,但二维极坐标忽略高度
z信息,压缩三维空间细节,难以区分不同高度目标,对三维感知任务精度不足,同时其是对bev空间全范围统一编码后再进行后续计算,全范围空间位置易引入噪声干扰并造成冗余计算,降低特征转换的效率与准确性。
技术实现思路
1、针对上述现有技术的缺陷,本发明提供了一种基于三维极坐标与感知范围先验的bev视角转换方法及系统,解决现有技术中bev视角转换方法忽略高度信息、对感知范围外无效空间位置参与计算导致精度不足和效率低下的问题。
2、第一方面,本发明提供了一种基于三维极坐标与感知范围先验的bev视角转换方法。
3、一种基于三维极坐标与感知范围先验的bev视角转换方法,包括:
4、实时采集车辆周围环境图像,并从环境图像中提取图像特征;
5、根据相机成像模型和预测深度信息,获取图像特征各像素点对应的三维空间坐标;
6、将三维空间坐标转换为包含径向坐标、角度坐标、高度坐标的三维极坐标;
7、根据任务需求预先构建有效感知范围掩码,利用掩码筛选有效坐标点,再对有效坐标点的三维极坐标进行位置编码;
8、将三维极坐标位置编码与图像特征融合,得到融合后具备空间位置信息的特征向量,通过基于交叉注意力的bev转换框架,将融合后的特征向量映射至bev平面,得到bev特征图。
9、进一步的技术方案,针对图像特征中各像素点的三维空间坐标,将笛卡尔坐标系下的三维空间坐标转换为包含径向坐标
r、角度坐标以及高度坐标
z的三维极坐标,并对径向坐标
r、角度坐标和高度坐标
z进行归一化处理;其中,坐标转换的计算公式为:
10、;;;;
11、上式中,高度坐标
z保持不变。
12、进一步的技术方案,根据任务需求预先构建有效感知范围掩码,包括:
13、根据驾驶车辆的实际任务预设参数,生成三维有效感知范围;所预设的参数包括最大感知半径和高度范围,其中最大感知半径基于前向感知距离、后向感知距离、左右感知距离取最大值确定;
14、根据三维有效感知范围,对每个图像特征像素点对应的三维极坐标点进行逐点判断,若径向坐标不超过预设最大感知半径且高度坐标在预设高度范围内,则该点的掩码值记为1表示有效,否则记为0表示无效,生成点级掩码向量。
15、进一步的技术方案,结合有效感知范围掩码,对图像特征像素点的三维极坐标进行位置编码,包括:
16、在编码前,先利用生成的点级掩码向量对三维极坐标点进行索引筛选,筛选mask=1的有效坐标点进行编码;
17、针对各有效坐标点,对归一化处理后的径向坐标
r、角度坐标和高度坐标
z分别进行正余弦函数编码,并将多个分量的编码向量拼接,形成三维极坐标位置编码向量。
18、进一步的技术方案,采用向量拼接方式、向量相加方式、注意力融合方式中的任一种方式,将三维极坐标位置编码与图像特征融合;
19、其中,向量拼接方式为:将图像特征向量与三维极坐标位置编码向量直接拼接,形成扩展后的特征向量;
20、向量相加方式为:将三维极坐标位置编码向量通过可训练的映射矩阵投影至与图像特征相同的维度,将投影后的位置编码向量与图像特征向量进行逐元素相加,得到融合后具备空间位置信息的特征向量;
21、注意力融合方式为:以三维极坐标位置编码向量作为注意力生成的输入,通过轻量级注意力卷积网络生成通道维度上的注意力权重向量,将注意力权重向量与图像特征向量进行逐通道相乘,得到位置感知的加权特征向量,将加权特征向量与原始图像特征向量相加,得到最终的融合特征向量。
22、进一步的技术方案,采用带掩码的交叉注意力机制,将融合后的特征向量映射至bev平面,得到按网格排列的bev特征图,包括:
23、初始化bev查询特征;
24、以bev查询特征为q值,以融合后的特征向量作为k和v值,引入二维注意力掩码矩阵进行交叉注意力计算,得到带掩码的注意力分数矩阵;其中,将点级掩码向量中的有效点位置映射为0、无效点位置映射为-,扩展得到二维注意力掩码矩阵,其维度为bev查询特征数量×图像特征点数量;
25、对带掩码的注意力分数矩阵执行softmax归一化,得到注意力权重矩阵;
26、以注意力权重矩阵对融合后的特征向量进行加权求和,得到最终按网格排列的bev特征图。
27、进一步的技术方案,初始化bev查询特征,包括:
28、对bev平面网格中每个网格的二维笛卡尔坐标分别进行正余弦位置编码,将两组编码向量拼接得到初始位置编码向量;
29、通过可学习的线性层将初始位置编码向量映射到查询特征空间,再与可学习的嵌入偏置相加,得到初始化的bev查询特征。
30、第二方面,本发明提供了一种基于三维极坐标与感知范围先验的bev视角转换系统。
31、一种基于三维极坐标与感知范围先验的bev视角转换系统,包括:
32、图像获取与特征提取模块,用于实时采集车辆周围环境图像,并从环境图像中提取图像特征;
33、像素点坐标提取模块,用于根据相机成像模型和预测深度信息,获取图像特征各像素点对应的三维空间坐标;
34、坐标转换模块,用于将三维空间坐标转换为包含径向坐标、角度坐标、高度坐标的三维极坐标;
35、坐标位置编码模块,用于根据任务需求预先构建有效感知范围掩码,利用掩码筛选有效坐标点,再对有效坐标点的三维极坐标进行位置编码;
36、bev特征生成模块,用于将三维极坐标位置编码与图像特征融合,得到融合后具备空间位置信息的特征向量,通过基于交叉注意力的bev转换框架,将融合后的特征表示映射至bev平面,得到bev特征图。
37、第三方面,本发明还提供了一种车辆,包括上述的基于三维极坐标与感知范围先验的bev视角转换系统,或执行上述的基于三维极坐标与感知范围先验的bev视角转换方法。
38、第四方面,本发明还提供了一种电子设备,包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现上述的基于三维极坐标与感知范围先验的bev视角转换方法。
39、第五方面,本发明还提供了一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行所述可执行指令时,实现上述的基于三维极坐标与感知范围先验的bev视角转换方法。
40、以上一个或多个技术方案存在以下有益效果:
41、本发明提供了一种基于三维极坐标与感知范围先验的bev视角转换方法及系统,通过在极坐标位置编码的基础上引入z方向信息,将二维极坐标扩展为三维极坐标位置编码,使bev特征不仅包含平面位置关系,还能准确表达空间高度分布,提升occupancy检测及三维场景理解的精度;同时利用有效感知范围先验,通过掩码机制在交叉注意力计算的softmax之前注入掩码矩阵,使无效空间位置不参与bev特征的生成,有效降低了噪声干扰,减少冗余计算量,可进一步提高推理速度与整体鲁棒性,解决现有技术中bev视角转换方法忽略高度信息、对感知范围外无效空间位置参与计算导致精度不足和效率低下的问题。
42、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com