一种基于激光雷达视觉联合感知的动态信道地图构建方法

摘要: 本发明涉及无线信道建模、环境感知通信和动态信道地图构建,特别是一种基于激光雷达视觉联合感知的动态信道地图构建方法。背景技术:1、近年来,面向第六代无线通信系统的...
一种基于激光雷达视觉联合感知的动态信道地图构建方法

本发明涉及无线信道建模、环境感知通信和动态信道地图构建,特别是一种基于激光雷达视觉联合感知的动态信道地图构建方法。

背景技术:

1、近年来,面向第六代无线通信系统的环境感知通信、数字孪生网络和通感一体化技术受到广泛关注。在复杂动态传播环境中,通信系统需要及时获取环境中动态散射体的位置、运动状态及其对无线传播信道的影响,从而为信道预测、波束管理、链路自适应和资源分配提供先验信息。

2、信道地图能够提供与位置相关的信道先验信息,有助于降低导频开销并提高频谱效率。然而,现有信道地图构建方法多依赖静态环境建模或离线仿真,难以准确反映车辆、行人、骑行者等动态散射体对信道分布的实时影响。尤其在动态复杂交通环境、室外道路和复杂遮挡场景中,仅依赖静态环境信息难以满足在线动态信道地图更新的需求。

3、现有环境感知方法通常采用单一传感器,例如仅采用激光雷达点云或仅采用相机图像。激光雷达能够提供较准确的三维几何信息,但在远距离、遮挡或稀疏点云条件下,目标检测的准确度和稳定性会下降;相机能够提供较丰富的语义信息,但缺乏直接的三维几何尺度信息,且容易受到光照变化、遮挡和视角变化影响。因此,单一感知模态难以同时满足动态散射体提取中的几何精度、语义准确性和时序稳定性要求。现有动态信道地图构建过程中存在动态散射体提取不准确、跨模态感知结果难以对齐、信道地图难以在线更新以及动态信道预测精度不足的问题。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术的不足而提供一种基于激光雷达视觉联合感知的动态信道地图构建方法,本发明能够融合激光雷达几何信息和视觉语义信息,并能够将动态散射体信息与静态空场景信道地图相结合的动态信道地图构建方法。该方法应能够提取动态散射体,生成动态散射体地图,并利用深度神经网络实现低时延的在线动态信道地图预测。

2、本发明为解决上述技术问题采用以下技术方案:

3、根据本发明提出的一种基于激光雷达视觉联合感知的动态信道地图构建方法,包括:

4、步骤s1、获取目标通信场景的静态环境信息,构建静态空场景信道地图;

5、步骤s2、获取目标通信场景中的激光雷达点云实时数据和相机图像实时数据,并分别对激光雷达点云实时数据和相机图像实时数据进行目标检测,得到激光雷达检测结果集合和视觉检测结果集合;

6、步骤s3、对激光雷达检测结果集合和视觉检测结果集合进行处理,得到处理后的激光雷达检测结果集合和视觉检测结果集合;其中,处理包括类别统一、无效目标剔除和时间戳一致性校验;

7、步骤s4、基于激光雷达检测目标的三维中心位置构建方位角观测量,并结合类别约束、时间戳约束和方位角约束,对步骤s3处理后的激光雷达检测结果和视觉检测结果集合进行跨模态目标关联,得到融合动态目标结果;

8、步骤s5、对融合动态目标结果进行多目标跟踪,得到当前帧的动态散射体集合,并将动态散射体集合投影至地平面后进行栅格化处理,生成动态散射体地图;

9、步骤s6、将静态空场景信道地图和动态散射体地图输入动态信道地图预测网络,预测由动态散射体引起的增量信道地图;

10、步骤s7、将增量信道地图与静态空场景信道地图进行叠加,得到在线动态信道地图。

11、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s1包括:

12、s101、建立目标通信场景的三维静态环境模型;

13、s102、基于所构建的三维静态环境模型进行射线追踪仿真,得到静态场景下的信道仿真数据,信道仿真数据包括功率和时延拓展信息;

14、s103、将所述信道仿真数据解析为规则二维网格形式的信道地图,作为静态空场景信道地图,静态空信道地图中包括信道的功率和时延拓展信息。

15、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s2包括:

16、s201、利用三维目标检测算法对激光雷达点云数据进行动态目标检测,得到包含目标三维位置、类别和置信度的激光雷达检测结果集合;

17、s202、利用图像目标检测算法对相机图像数据进行目标检测和语义识别,得到包含目标类别、图像平面位置和置信度的视觉检测结果集合;

18、s203、将所述激光雷达检测结果集合和视觉检测结果集合输入跨模态融合模块,用于后续动态散射体提取。

19、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s3包括:

20、s301、对激光雷达检测结果集合和视觉检测结果集合进行预处理,得到处理后的激光雷达检测结果集合和视觉检测结果集合;其中,预处理包括类别统一处理、无效目标剔除处理和时间戳一致性校验处理;

21、类别统一处理包括:将不同检测网络输出的类别标签映射至统一类别集合;

22、无效目标剔除处理包括:根据目标类别、检测置信度、目标尺寸、空间位置和目标角度约束,对激光雷达检测结果集合和视觉检测结果集合中的无效目标进行剔除;

23、时间戳一致性校验处理包括:对于第 个激光雷达检测目标和第 个视觉检测目标,若满足

24、

25、则判定二者满足时间同步条件;

26、其中, 表示第 个激光雷达检测目标的时间戳, 表示第 个视觉检测目标的时间戳, 表示时间戳约束阈值。

27、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s4中,方位角观测量的构建方式为:

28、对于第 i 个激光雷达检测目标,根据其三维中心点坐标 计算激光雷达方位角:

29、

30、其中,、 和 分别表示第 个激光雷达检测目标的三维中心点在激光雷达坐标系下的三个坐标分量, 表示第 个激光雷达检测目标的激光雷达方位角;

31、对于第 j 个视觉检测目标,根据相机标定参数和目标图像平面位置得到对应的视觉方位角 ,并计算激光雷达检测目标与视觉检测目标之间的方位角差:

32、

33、进一步计算方位角相似度:

34、

35、其中,为方位角相似度控制参数。

36、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s4中,所述跨模态目标关联包括:

37、对于第 i 个激光雷达检测目标,构建视觉候选目标集合:

38、

39、其中, 为当前帧的视觉检测结果集合,为第 个视觉检测目标, 为第 个激光雷达检测目标类别, 为第 个视觉检测目标类别, 为时间戳约束阈值, 为方位角约束阈值;

40、当视觉候选目标集合 非空时,选择方位角相似度最大的视觉检测目标作为匹配目标:

41、

42、其中, 为第 个激光雷达检测目标与第 个视觉检测目标之间的方位角相似度, 为与第个激光雷达检测目标匹配的视觉检测目标索引;

43、当第个激光雷达检测目标与匹配视觉检测目标 之间的方位角相似度 大于或等于预设接受阈值 时,判定二者匹配成功,并基于第 个激光雷达检测目标和匹配视觉检测目标 生成对应的融合动态目标:

44、

45、其中, 为方位角相似度接受阈值。

46、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,融合动态目标结果为激光雷达中心化的融合动态目标结果,包括:

47、融合动态目标结果的三维几何位置由激光雷达检测结果集合确定;

48、融合动态目标结果的类别由视觉检测结果和激光雷达检测结果集合共同确定;

49、融合动态目标结果的置信度由激光雷达检测结果集合的置信度、视觉检测结果集合的置信度和方位角相似度中的至少一种确定;

50、视觉检测结果集合用于辅助目标类别确认和跨模态关联评价。

51、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s5包括:

52、s501、将融合动态目标结果输入多目标跟踪模块;

53、s502、利用运动状态预测模型对历史轨迹进行预测,历史轨迹为上一帧之前已建立的动态目标轨迹,运动状态包括目标在地平面上的中心位置和目标速度;

54、s503、基于预测轨迹和当前帧融合动态目标结果之间的距离代价进行目标关联;

55、s504、将满足距离门限和类别一致性条件的轨迹与融合动态目标判定为匹配成功,并对匹配成功的轨迹进行状态更新;将未与已有轨迹匹配的融合动态目标判定为未匹配的融合动态目标,并初始化为新轨迹;将连续未匹配帧数超过预设阈值的历史轨迹删除;

56、s505、根据跟踪更新后的各动态目标轨迹,提取每一动态目标在地平面坐标系下的中心位置、运动速度和轨迹编号;其中,中心位置用于表征动态散射体在信道地图中的空间位置,运动速度用于表征动态散射体的运动状态,轨迹编号用于保持同一动态散射体在连续帧之间的身份一致性;将中心位置、运动速度和轨迹编号按目标逐一封装,生成当前帧的动态散射体集合;

57、s506、将动态散射体集合投影至地平面,并进行栅格化处理,得到动态散射体地图;

58、多目标跟踪模块采用卡尔曼滤波进行目标状态预测和更新;

59、每个跟踪目标的状态向量表示为:

60、

61、其中,表示第 k 条目标轨迹对应的运动状态和分别表示该目标在地平面坐标系中两个正交坐标方向上的位置坐标, 和 分别表示该目标在地平面坐标系中两个正交坐标方向上的速度分量,上标t表示转置;

62、观测向量表示为:

63、

64、通过预测轨迹与当前帧融合动态目标之间的欧氏距离构建关联代价,并基于一对一匹配方式完成轨迹与检测目标之间的关联。

65、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s6中,所述动态信道地图预测网络为改进残差u形网络,包括:

66、第一编码分支,用于提取静态空场景信道地图的信道特征;

67、第二编码分支,用于提取动态散射体地图的几何特征;

68、多尺度特征聚合模块,用于在不同编码层级对信道特征和几何特征进行融合;

69、解码模块,用于根据融合后的多尺度特征生成增量信道地图;

70、多尺度特征聚合模块包括:

71、在每一个编码层级,将第一编码分支输出的特征 与第二编码分支输出的特征进行通道维度拼接,并通过 卷积进行特征融合得到:

72、

73、在最下层,将第一编码分支输出的特征 与第二编码分支输出的特征 进行通道维度拼接,并通过 卷积得到融合特征:

74、

75、其中, 和 表示通道维度拼接, 和 表示卷积融合操作;

76、解码模块包括逐级上采样结构和跳跃连接结构;

77、从融合最下层 开始,解码共5层,第k+1层解码特征上采样后与第k层融合特征进行卷积后得到第k层解码特征,解码过程表示为:

78、

79、

80、其中, 表示上采样操作, 表示第 级解码卷积模块, 表示第 级解码特征,表示第 级解码特征,第5层解码特征为融合特征最下层;

81、动态信道地图预测网络不直接预测完整动态信道地图,而是预测增量信道地图:

82、

83、其中, 为动态信道地图, 为静态空场景信道地图, 为增量信道地图。

84、作为本发明所述的一种基于激光雷达视觉联合感知的动态信道地图构建方法进一步优化方案,步骤s7中,在线动态信道地图通过如下方式得到:

85、

86、其中, 为预测得到的增量信道地图,为提前计算好的静态信道地图,为重构得到的在线动态信道地图。

87、本发明采用以上技术方案与现有技术相比,具有以下技术效果:

88、(1)本发明通过激光雷达-视觉联合感知提取动态散射体,同时利用激光雷达的三维几何信息和视觉图像的语义信息,提高了动态目标检测和动态散射体提取的准确性。

89、(2)本发明采用方位角引导的跨模态目标关联方法,将激光雷达三维目标中心转换为方位角观测量,并结合类别约束、时间戳约束和方位角约束进行目标匹配,降低了跨模态目标关联的复杂度。

90、(3)本发明采用激光雷达中心化的融合输出策略,使融合结果在利用视觉语义信息的同时保持激光雷达三维几何位置的准确性。

91、(4)本发明通过多目标跟踪保持动态散射体的时序连续性,并将跟踪后的动态目标投影至地平面生成动态散射体地图,为后续动态信道地图预测提供准确的环境动态先验。

92、(5)本发明采用双分支编码器和多尺度特征聚合结构,将静态空场景信道地图中的信道特征与动态散射体地图中的几何特征进行联合建模,提高了动态信道地图预测精度。

93、(6)本发明采用增量信道地图预测和残差重构方式,使网络重点学习动态散射体引起的信道变化,有利于提高动态信道地图构建的稳定性和准确性。