一种面向近场毫米波成像的高保真恢复方法

摘要: 本发明涉及毫米波感知与三维场景理解,具体涉及一种面向近场毫米波成像的高保真恢复方法背景技术:1、近场毫米波雷达在室内环境感知、机器人导航、三维建图和场景结构感知...
一种面向近场毫米波成像的高保真恢复方法

本发明涉及毫米波感知与三维场景理解,具体涉及一种面向近场毫米波成像的高保真恢复方法

背景技术:

1、近场毫米波雷达在室内环境感知、机器人导航、三维建图和场景结构感知等领域具有重要的应用价值。与光学相机和激光雷达相比,毫米波雷达受环境光照条件影响较小,具有一定的穿透能力,且不会直接获取目标场景的光学图像,因而适用于弱光、遮挡以及具有隐私保护要求的应用环境。

2、然而,受雷达孔径、天线阵列规模和角度分辨率等因素限制,近场毫米波成像结果通常存在能量扩散、结构边界模糊和伪响应较多等问题。在移动平台连续采集过程中,平台的位置和姿态变化还会使相邻帧热图中的场景响应发生偏移,导致真实结构响应与散斑、多径和局部能量拖尾等非稳定响应相互混杂。此外,毫米波热图在距离维、方位维和俯仰维上的采样分辨率存在差异,其中俯仰维受天线数量和阵列结构限制,采样相对稀疏,容易缺失垂直方向的边缘和轮廓细节。现有基于单帧输入和普通卷积网络的恢复方法难以同时抑制非稳定伪响应并恢复俯仰方向缺失的结构细节,从而影响三维结构恢复结果的清晰度、连续性和准确性。

3、现有多帧毫米波融合方法通常根据邻近帧的局部置信度、与参考帧之间的时间距离或者帧间配准得分确定融合权重,再对配准后的多帧毫米波热图进行加权聚合。上述融合权重主要反映邻近帧自身的观测质量,不能判断该邻近帧加入局部聚合后是否造成主峰位置偏移或者次峰响应增强。在存在局部多径响应、散斑噪声或者残余配准误差时,即使邻近帧具有较高的局部置信度和配准得分,也可能在多帧累积过程中引入位置模糊和伪峰响应。现有恢复网络在利用距离维和方位维信息补偿俯仰维细节时,还容易混合不同俯仰位置的响应来源,影响垂直轮廓和局部几何结构的恢复效果。

技术实现思路

1、针对现有技术中存在的上述不足,本发明提出一种面向近场毫米波成像的高保真恢复方法。本发明首先通过比较包含和排除邻近帧时局部聚合结果的变化,评价邻近帧对局部聚合结果的实际贡献,对同时造成主峰偏移和峰值裕度下降的局部冲突帧进行权重抑制,得到可靠的增强毫米波热图;然后在保持俯仰响应来源的条件下利用距离—方位结构恢复俯仰细节,得到目标场景的高保真恢复结果。

2、具体技术方案如下:

3、一种面向近场毫米波成像的高保真恢复方法,包括以下步骤:

4、步骤s1:获取移动平台连续采集的多帧毫米波热图及对应的平台运动信息,将每帧毫米波热图表示为包含距离维、俯仰维和方位维的三维热图张量。

5、步骤s2:将当前帧毫米波热图作为参考帧,根据平台运动信息和热图结构相关性将时间邻域内的邻近帧配准至参考帧坐标系;根据各帧的局部置信度、与参考帧之间的时间距离和配准得分进行初始时序聚合;针对每一邻近帧,比较包含和排除该邻近帧时聚合距离响应的主峰距离偏差和峰值裕度,根据比较结果计算该邻近帧的局部贡献度;当加入该邻近帧后主峰距离偏差增大且峰值裕度减小时,将该邻近帧判定为对应位置的局部冲突帧并抑制其融合权重,对于其他邻近帧根据局部贡献度修正融合权重;利用修正后的融合权重重新进行多帧聚合,并将重新聚合结果与参考帧进行锚定融合,得到增强毫米波热图。

6、步骤s3:将步骤s2得到的增强毫米波热图输入跨维细节恢复网络,通过编码器—解码器获得多尺度解码特征;在至少一个解码尺度,按照俯仰位置分别提取距离—方位上下文特征,根据各俯仰—方位位置沿距离维的响应分布,对对应俯仰位置的距离—方位上下文特征进行加权组合,得到俯仰引导特征;根据俯仰引导特征生成俯仰校正量,并以残差方式得到跨维恢复特征。

7、步骤s4:根据步骤s3得到的跨维恢复特征生成目标场景的深度预测结果和表面法向预测结果,根据深度预测结果导出的几何法向量与表面法向预测结果之间的方向差异构建几何一致性约束,并结合深度监督损失和表面法向监督损失训练跨维细节恢复网络,由深度预测头输出恢复深度图,完成近场毫米波成像结果的高保真恢复。

8、综上所述,本发明首先根据平台运动信息和热图结构相关性完成邻近帧配准,通过包含和排除邻近帧时聚合距离响应的变化评价各邻近帧的实际贡献,并对同时造成主峰偏移和峰值裕度下降的局部冲突帧进行权重抑制;随后,在保持俯仰位置对应关系的情况下提取距离—方位上下文,并根据各俯仰位置的距离响应形成俯仰引导特征;最后通过深度预测、表面法向辅助预测和深度—法向几何一致性约束,生成目标场景的高保真恢复深度图。

9、本发明相对于现有技术具有如下有益效果:

10、(1)本发明通过比较包含和排除邻近帧时局部聚合结果的变化,评价邻近帧对局部聚合结果的实际贡献,并对同时造成主峰偏移和峰值裕度下降的局部冲突帧进行权重抑制,能够减少局部多径响应和残余配准误差引入的伪峰响应及位置模糊;

11、(2)本发明在保持俯仰位置对应关系的情况下编码距离—方位切片,并根据各俯仰位置的距离响应形成俯仰引导特征,能够改善俯仰方向的边缘表达和局部结构连续性;

12、(3)本发明通过表面法向辅助预测和深度—法向几何一致性约束提高恢复深度图的连续性和几何合理性,无需改变毫米波雷达硬件配置,可用于室内环境感知、机器人导航和三维建图等场景。

1.一种面向近场毫米波成像的高保真恢复方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s1中,第帧毫米波热图表示为,其中,表示帧序号;表示第帧毫米波热图在距离索引、俯仰索引和方位索引处的响应强度;

3.根据权利要求2所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s2实现如下:

4.根据权利要求3所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s2.1实现如下:

5.根据权利要求4所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s2.2实现如下:

6.根据权利要求5所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s2.3实现如下:

7.根据权利要求6所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s2.4实现如下:

8.根据权利要求7所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s3实现如下:

9.根据权利要求8所述的面向近场毫米波成像的高保真恢复方法,其特征在于,所述步骤s4实现如下: