基于无GPS场景下车载V2X与极简风车身视觉融合定位系统的制作方法

摘要: 本发明涉及智能网联汽车,具体为基于无gps场景下车载v2x与极简风车身视觉融合定位系统。背景技术:1、极简风一体化曲面车身已成为近年汽车行业设计主流,车身采用一...
基于无GPS场景下车载V2X与极简风车身视觉融合定位系统的制作方法

本发明涉及智能网联汽车,具体为基于无gps场景下车载v2x与极简风车身视觉融合定位系统。

背景技术:

1、极简风一体化曲面车身已成为近年汽车行业设计主流,车身采用一体化曲面成型工艺,取消传统车身棱角、装饰线条及外露标识,既优化了整车风阻系数,也契合现代汽车简约化设计理念。地下车库、城市隧道等封闭空间属于典型无gps信号场景,也是自动驾驶车辆高频通行区域,目前行业主要依托gps/imu组合导航、车载视觉定位、路侧v2x通信等方式,开展无卫星环境下的车辆定位技术研究与应用。

2、现有相关融合定位技术多针对传统带纹理常规车身开发,采用固定权重做数据简单融合,未针对极简车身弱边缘特征做专项适配,同时缺失视觉置信度量化、多rsu几何加权及车载低时延调度与动态误差补偿机制,从而难以满足无gps场景高精度持续定位需求。

3、为此,我们提出了基于无gps场景下车载v2x与极简风车身视觉融合定位系统。

技术实现思路

1、针对现有技术所存在的上述缺点,本发明提供了基于无gps场景下车载v2x与极简风车身视觉融合定位系统,能够有效地解决现有技术的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现;

3、本发明公开了基于无gps场景下车载v2x与极简风车身视觉融合定位系统,包括:

4、提取模块,用于接收车载摄像头采集的车身图像,执行灰度化、非线性梯度增强与边缘保留滤波,提取长线段特征与自适应角点,构建点-线联合特征库并输出视觉局部位姿数据;评定模块,用于接收点-线联合特征库,输入匹配内点率、重投影误差与有效线特征数量,通过加权计算得到视觉特征置信度;rsu加权模块,用于接收路侧单元广播的原始v2x数据,联合信号强度与滑动窗口丢包率筛选有效路侧单元,计算几何分布因子,以求解各有效路侧单元的综合定位权重并输出处理后的v2x位姿数据;融合模块,用于获取视觉特征置信度、视觉局部位姿数据、综合定位权重与处理后的v2x位姿数据,分别构建视觉观测噪声模型与v2x观测噪声模型,自适应分配视觉与v2x数据的融合权重,完成位姿数据的卡尔曼滤波解算并输出融合位姿数据;补偿模块,用于接收融合位姿数据,调用预先存储的静态网格补偿值,结合系统迭代生成的历史误差预测值生成动态误差补偿量,构建含视觉匹配约束、v2x几何约束与时间同步约束的位姿关系图,通过迭代算法求解并平滑校正融合位姿数据,输出最终定位数据;调度模块,用于接收补偿模块输出的最终定位数据,及提取模块、评定模块、rsu加权模块、融合模块、补偿模块的全链路算法运算数据,对最终定位数据进行核心字段裁剪与定长编码,并执行分级消息优先级调度,通过q15格式进行全链路算法运算数据的定点化转换;

5、所述提取模块通过车载局域网络交互连接有评定模块,所述评定模块通过车载局域网络交互连接有rsu加权模块,所述rsu加权模块通过车载局域网络交互连接有融合模块,所述融合模块通过车载局域网络交互连接有补偿模块,所述补偿模块通过车载局域网络交互连接有调度模块。

6、更进一步地,所述提取模块执行灰度化、非线性梯度增强与边缘保留滤波服从:

7、将车载摄像头采集的rgb图像i(x,y)转换为灰度图像g(x,y),转换公式为:,r、g、b分别为图像像素在红、绿、蓝三个通道的灰度值;

8、采用sobel算子计算灰度图像的水平梯度与垂直梯度,得到梯度幅值,通过非线性变换强化弱边缘对比度,变换公式为:;

9、式中:增益系数;压缩系数;为增强后的梯度幅值;

10、采用引导滤波对增强后的梯度图像进行平滑去噪并保留连续边缘轮廓,得到滤波后的图像,滤波输出;

11、式中:为滤波窗口内第i个像素的灰度值,、为滤波窗口对应的线性系数。

12、更进一步地,所述提取模块提取长线段特征并构建点-线联合特征库时,服从:

13、采用改进型canny边缘检测算法处理滤波后的图像,设置低阈值、高阈值,保留车身弱边缘并过滤背景噪声,得到边缘图像;

14、对边缘图像进行连通域分析,计算每个连通域的长度l与曲率k,剔除长度像素、曲率的短碎噪声边缘,保留长度像素、曲率的长线段候选区,其中曲率k采用下式计算:

15、;

16、式中:为边缘曲线的一阶导数,为边缘曲线的二阶导数;

17、对长线段候选区进行形态学细化得到单像素宽度线段,采用3×3结构元的形态学闭运算修复1-3像素的微小断裂,得到修复后的长线段;

18、采用最小二乘法对修复后的长线段进行直线拟合,得到直线方程:

19、;

20、式中:k为直线斜率;b为直线截距;

21、对修复并完成直线拟合后的长线段,提取线段的端点坐标、中点坐标、长度、方向角、曲率共5项结构化参数,编码为线特征描述子并建立独立线特征库;

22、将本帧图像构建的线特征库,与提取模块后续提取得到的自适应稳定角点特征合并,构建点-线联合特征库,单帧线特征提取耗时≤8ms,全链路特征提取总耗时≤25ms;

23、其中,单帧线特征提取耗时为单帧图像长线段特征从边缘检测至线特征库构建的单独处理耗时;全链路特征提取总耗时为单帧图像长线段特征、自适应角点特征完整提取并合并构建点-线联合特征库的全流程耗时。

24、更进一步地,所述提取模块执行自适应角点提取时,计算灰度图像每个像素的角点响应矩阵;

25、式中:为图像在x方向的梯度;为图像在y方向的梯度;求和范围为以当前像素为中心的局部窗口w;

26、计算角点响应值r:

27、;

28、式中:为矩阵m的行列式;为矩阵m的迹;k为经验系数;

29、计算自适应角点检测阈值t:

30、;

31、式中:为当前图像所有像素角点响应值的最小值,为最大值,为自适应系数;

32、对所有角点响应值大于阈值t的像素进行非极大值抑制,剔除光照敏感区域的不稳定角点,保留稳定角点特征。

33、更进一步地,所述评定模块计算视觉特征置信度的具体方法为:

34、获取匹配内点率、重投影误差归一化值、有效线特征数量归一化值三个输入参数,其中:

35、;

36、式中:为特征匹配的内点数量;为参与匹配的总特征数量;

37、;

38、式中:为当前帧的平均重投影误差;为重投影误差最大值;

39、;

40、式中:为当前帧提取的有效长线段特征数量;

41、通过加权计算得到视觉特征置信度:

42、;

43、其中,权重预设为:,,;

44、根据视觉特征置信度进行特征充足性判定:当时判定为特征充足,当时判定为特征一般,当时判定为特征不足。

45、更进一步地,所述rsu加权模块筛选有效路侧单元并计算综合定位权重阶段,服从:

46、接收路侧单元广播的原始v2x数据,实时监测每个路侧单元的信号强度;

47、采用滑动时间窗统计每个路侧单元的丢包率:

48、;

49、式中:为滑动窗口内第i个路侧单元丢失的数据包数量;为滑动窗口内该路侧单元发送的总数据包数量;

50、筛选同时满足且的路侧单元作为有效路侧单元;

51、计算每个有效路侧单元的几何分布因子:

52、;

53、式中:为车辆与第i个有效路侧单元的直线距离;为第i个有效路侧单元与其他所有有效路侧单元的方位角差的最小值;

54、计算每个有效路侧单元的综合定位权重:

55、;

56、式中权重,,;

57、对所有有效路侧单元的综合定位权重进行归一化处理,得到各有效路侧单元的最终融合权重:

58、;

59、式中:为所有有效路侧单元综合定位权重的总和。

60、更进一步地,所述融合模块构建观测噪声模型并自适应分配融合权重的具体方法为:

61、根据视觉特征置信度构建视觉观测噪声模型,视觉观测噪声协方差为:

62、;

63、式中:为视觉定位的基础噪声标准差;为噪声放大系数;

64、根据所有有效路侧单元的综合定位权重总和构建v2x观测噪声模型,v2x观测噪声协方差为:

65、;

66、式中为v2x定位的基础噪声标准差;

67、计算视觉与v2x数据的自适应融合权重:

68、;

69、;

70、式中:为视觉数据的融合权重;为v2x数据的融合权重,且;

71、基于自适应融合系数执行卡尔曼滤波解算,得到融合位姿数据,滤波更新公式为:

72、;

73、;

74、式中:为视觉局部位姿数据;为视觉位姿的协方差矩阵;为处理后的v2x位姿数据;为v2x位姿的协方差矩阵;为融合后的位姿估计值,为融合位姿的协方差矩阵。

75、更进一步地,所述补偿模块运行调用预先存储的5m×5m网格静态补偿值,结合系统迭代生成的历史误差预测值生成动态误差补偿量:

76、;

77、式中为动态融合权重因子,,表示视觉置信度的权重系数;

78、当检测到横向偏移误差时,执行横向偏移修正:

79、;

80、式中为横向修正系数;

81、当检测到航向角偏差时,执行航向角修正:

82、;

83、式中为航向角修正系数;

84、构建含视觉匹配约束、v2x几何约束与时间同步约束的位姿关系图,其中顶点为关键帧位姿,边包括相邻关键帧之间的视觉匹配约束、路侧单元与车辆之间的v2x几何约束、相邻关键帧之间的时间同步约束;

85、构建图优化的完整代价函数:

86、;

87、式中:为所有关键帧位姿的优化变量集合;、、分别为视觉匹配约束、v2x几何约束、时间同步约束的信息矩阵,时间同步约束:

88、;

89、式中、分别为第i、j个关键帧的时间戳,为标准时间差;

90、通过高斯-牛顿法迭代求解代价函数,每5帧执行一次局部优化,迭代次数≤10,当代价函数变化量时停止迭代,将优化后的位姿叠加动态误差补偿量,得到平滑校正后的融合位姿数据。

91、更进一步地,所述调度模块执行核心字段裁剪、定长编码、分级调度与定点化转换设计,对最终定位数据进行核心字段裁剪,仅保留经度、纬度、航向角、侧偏角、总置信度共5类核心字段,移除所有冗余字段,其中总置信度:

92、;

93、对核心字段执行定长编码:经纬度采用4字节整数编码,分辨率为0.01m;航向角与侧偏角采用2字节短整型编码,分辨率为0.01;总置信度采用1字节无符号整型编码,分辨率为0.01;编码后单帧定位数据长度≤32字节;

94、执行分级消息优先级调度:将v2x消息分为3级,定位相关消息为优先级0,地图相关消息为优先级1,状态相关消息为优先级2;采用优先队列结合时间轮询的调度方式,优先级0消息占用70%带宽,优先级1消息占用20%带宽,优先级2消息占用10%带宽,对超过20ms未发送的非核心消息进行剔除;

95、对全链路算法运算数据执行q15格式定点化转换,得到转换后的定点型数据,转换公式为:

96、;

97、式中:为浮点型运算数据;s为缩放因子,为转换后的定点型数据。

98、采用本发明提供的技术方案,与已知的现有技术相比,具有如下有益效果:

99、本发明通过针对极简车身长连续弱边缘的特征提取与增强处理,有效解决了一体化曲面车身无明显纹理和外露标识导致的视觉定位失效问题,结合多维度的视觉特征质量评估与路侧单元信号强度、丢包率及几何分布的综合加权,实现了视觉与v2x数据的自适应权重融合,提升了弱纹理、局部遮挡及通信丢包场景下的定位稳定性,同时引入动态误差补偿与多约束位姿图优化机制,有效抑制了无gps环境下的长期定位漂移,保证了定位精度的一致性,并通过核心数据帧压缩、分级消息调度与全链路定点化运算,降低了系统算力需求与端到端传输时延,适配常规车载嵌入式计算平台,可满足l2+至l4级自动驾驶的实时定位要求。