基于深度学习的天基空间目标多视图三维重建方法及系统

摘要: 本发明属于三维重建,具体涉及一种基于深度学习的天基空间目标多视图三维重建方法及系统。背景技术:1、随着航天事业的快速发展,空间在轨服务、空间态势感知、在轨维护与...
基于深度学习的天基空间目标多视图三维重建方法及系统

本发明属于三维重建,具体涉及一种基于深度学习的天基空间目标多视图三维重建方法及系统。

背景技术:

1、随着航天事业的快速发展,空间在轨服务、空间态势感知、在轨维护与拆解等任务的需求持续升级,精准获取天基空间目标的完整三维结构与高精度形貌,已成为在轨服务任务顺利开展的核心前提。天基探测平台可通过伴飞、绕飞等灵活的观测模式获取目标多视角图像,相较于地面观测与激光雷达探测,基于被动式立体视觉的三维重建方案,凭借体积小、质量轻、功耗低的优势,成为天基空间目标三维重建的主流技术方向。

2、当前基于立体视觉的三维重建技术主要分为单目、双目与多视图三类技术路线。其中,单目三维重建方案缺乏基线约束,无法直接恢复目标的真实尺度,需引入额外先验信息或辅助传感器,难以满足天基在轨服务的绝对尺度重建需求;双目三维重建方案依赖高精度的相机标定与校准,且为实现大深度范围感知需设置大基线距离,硬件部署难度与成本高,无法适配天基平台的轻量化、小型化设计要求。

3、多视图三维重建技术凭借多视角几何约束优势,成为天基场景最具应用潜力的方案,但现有技术仍存在诸多难以适配天基场景的技术缺陷:传统多视图立体匹配算法虽具备基础重建精度,但在天基场景剧烈光照变化、目标表面弱纹理 / 无纹理的条件下,极易出现特征匹配失效、深度信息估计不完整、重建结构缺失的问题;现有基于深度学习的多视图重建方案,未针对天基太空复杂背景进行专属预处理,恒星、杂散光等背景干扰易导致目标与背景几何变换不一致,直接降低重建精度;同时现有网络的特征提取结构对弱纹理区域表征能力不足,深度预测对复杂光照、目标遮挡的鲁棒性差,且难以在天基平台有限的算力下兼顾重建精度与推理效率,无法满足天基在轨实时处理的工程需求。上述技术问题均直接限制了多视图三维重建技术在天基空间目标观测场景中的落地应用,也是本发明针对性解决的核心技术痛点。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于深度学习的天基空间目标多视图三维重建方法及系统,用于解决现有技术中由于天基空间目标具有复杂光照环境、弱纹理表面、尺寸变化大而难以进行三维重建的技术问题。

2、本发明采用以下技术方案:

3、基于深度学习的天基空间目标多视图三维重建方法,包括以下步骤:

4、s1、获取同一空间目标在多个观测视角下的原始图像,将所述原始图像输入显著性目标检测网络,得到前景掩码,并基于所述前景掩码对原始图像进行背景去除,获得预处理后的多视图图像;

5、s2、对所述预处理后的多视图图像执行运动恢复结构处理,所述运动恢复结构处理包括特征点提取、跨视图特征匹配、几何一致性验证、增量式图像配准、三角化及捆绑调整,以得到稀疏三维点云以及各视图对应的相机内参数和相机外参数;

6、s3、将所述预处理后的多视图图像及其对应的相机内参数和相机外参数输入多视图深度估计网络,进行各视图的稠密深度预测,输出各视图的稠密深度图;

7、s4、基于各视图的相机参数与对应稠密深度图进行反投影,生成候选三维点,并基于光度一致性约束和几何一致性约束对所述候选三维点进行联合筛选与多视图融合,输出空间目标的三维点云重建结果。

8、优选地,步骤s1中,所述显著性目标检测网络为inspyrenet网络,所述前景掩码的生成与背景去除处理具体包括:

9、将多个观测视角下的原始图像输入预先训练完成的 inspyrenet 网络,通过深度卷积主干网络提取输入图像的多层级特征,构建涵盖低层细节到高层语义信息的图像金字塔;

10、在多个尺度上预测对应显著性图的拉普拉斯金字塔残差,从最粗糙的尺度开始,将上一层重建的显著性图与当前尺度的拉普拉斯残差相结合,逐级重建得到原始分辨率的高精度显著性图;

11、对所述高精度显著性图进行二值化处理,生成二进制的前景掩码,将所述前景掩码与原始输入图像进行逐像素相乘,得到去除背景后的预处理后的多视图图像。

12、优选地,步骤s2中的运动恢复结构处理具体包括:

13、s201、对预处理后的多视图图像进行特征点提取,将多视图图像两两之间进行特征匹配,得到场景重合区域与匹配点对;

14、s202、通过基础矩阵、本质矩阵或单应矩阵,结合随机抽样一致性算法,滤除特征匹配中的外点,保留符合几何一致性的匹配点对;

15、s203、选取两个非全景拍摄的视图完成场景初始化,基于已有的匹配点对与场景模型,通过pnp算法完成剩余视图的图像配准,通过三角化扩展场景三维点集;

16、s204、通过光束平差法构建非线性最小二乘优化问题,同时优化所有视图的相机内参数、相机外参数与三维点坐标,最小化所有三维点重投影到对应视图成像平面的误差平方和,最终输出优化后的稀疏三维点云、各视图的相机内参数和相机外参数。

17、优选地,步骤s3中的稠密深度预测具体包括如下步骤:

18、s301、采用迭代特征金字塔、空洞空间卷积池化金字塔与可变性卷积网络,对输入的预处理后的多视图图像进行多尺度深层特征提取,得到各视图对应的多尺度特征图;

19、s302、根据各视图的相机内参数和相机外参数获取深度预估范围,将不同视角的特征图在不同深度平面上通过单应性变换映射至参考视角的深度方向,通过视图相似度计算构建代价体,并通过三维卷积对所述代价体进行正则化处理,得到深度概率体;

20、s303、根据所述深度概率体中不同深度对应的置信度,沿深度方向进行加权平均回归,得到对应视图的稠密深度图。

21、优选地,步骤s301中,所述迭代特征金字塔包括自下而上的编码器路径与自上而下的解码器路径,所述编码器路径通过卷积神经网络对初始特征进行多次下采样,生成多种分辨率下尺度递减、通道数递增的特征图;所述解码器路径从最深层的小尺度特征开始,通过上采样扩大特征尺寸,将上采样后的特征与编码器路径中相同空间尺度的特征进行通道调整后逐元素相加融合,实现深层语义信息与浅层细节信息的双向迭代交互;

22、所述空洞空间卷积池化金字塔模块并行设置多个具有不同空洞率的空洞卷积层,以及一个全局平均池化分支,将所有并行分支的输出特征在通道维度拼接后,通过1×1卷积进行融合与降维,输出具备多尺度上下文表征能力的特征图;

23、所述可变性卷积网络通过额外的卷积层从前一层特征中学习二维偏移量,根据所述二维偏移量动态调整卷积采样的空间位置,使网络的感受野自适应聚焦于图像的目标边缘、角点区域。

24、优选地,步骤s302中,通过基于方差的代价指标计算不同视图间的特征相似度,构建初始代价体;所述基于方差的代价指标的映射关系为:

25、

26、其中,为特征体的体积尺寸;为参与聚合的视图的数量,为有效像素的数量。

27、优选地,步骤s303中,沿深度方向计算所有假设深度值的加权和,得到对应像素的深度值,计算公式为:

28、

29、其中,为在深度值处所估计的概率值,为深度预估范围的最大值,为深度预估范围的最小值。

30、优选地,所述多视图深度估计网络的训练过程中,采用的损失函数为多尺度深度预测结果的l1损失加权和,所述损失函数的表达式为:

31、

32、其中,为参与聚合的视图的数量;为网络深度预测结构的层序号;为每层的权重系数;为网络结构层数。

33、优选地,步骤s4具体包括:

34、s401、对于每个视图的稠密深度图,将其中深度值在合理范围内的有效像素点及其深度值,通过相机几何原理反向投影至世界坐标系,生成对应视图的候选三维点云;

35、s402、对候选三维点云进行多视图一致性检查,将候选三维点重投影至相邻视图,若该点同时满足光度一致性约束与几何一致性约束则予以保留,否则予以剔除;所述光度一致性约束为候选三维点重投影后的光度误差小于预设阈值,所述几何一致性约束为候选三维点重投影后的深度值与对应视图稠密深度图中该位置的深度值的误差小于预设阈值;

36、s403、输出经过筛选融合后的三维点云,作为天基空间目标的三维重建结果。

37、第二方面,本发明实施例提供了一种基于深度学习的天基空间目标多视图三维重建系统,包括:

38、预处理模块,用于获取同一空间目标在多个观测视角下的原始图像,将所述原始图像输入显著性目标检测网络,得到前景掩码,并基于所述前景掩码对原始图像进行背景去除,输出预处理后的多视图图像;

39、恢复模块,用于对所述预处理后的多视图图像执行运动恢复结构处理,输出稀疏三维点云以及各视图对应的相机内参数和相机外参数;

40、预测模块,用于将所述预处理后的多视图图像及其对应的相机内参数和相机外参数输入多视图深度估计网络,进行各视图的稠密深度预测,输出各视图的稠密深度图;

41、重建模块,用于基于各视图的相机参数与对应稠密深度图进行反投影,生成候选三维点,并基于光度一致性约束和几何一致性约束对所述候选三维点进行联合筛选与多视图融合,输出空间目标的三维点云重建结果。

42、第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于深度学习的天基空间目标多视图三维重建方法的步骤。

43、第四方面,本发明实施例提供了一种计算机可读存储介质,包括计算机程序,所述计算机程序被处理器执行时实现上述基于深度学习的天基空间目标多视图三维重建方法的步骤。

44、第五方面,一种芯片,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于深度学习的天基空间目标多视图三维重建方法的步骤。

45、第六方面,本发明实施例提供了一种电子设备,包括计算机程序,所述计算机程序被电子设备执行时实现上述基于深度学习的天基空间目标多视图三维重建方法的步骤。

46、与现有技术相比,本发明至少具有以下有益效果:

47、一种基于深度学习的天基空间目标多视图三维重建方法,首先通过显著性目标检测从源头剔除太空复杂背景干扰,解决了目标与背景几何变换不一致导致的重建偏差问题;通过单相机多视图运动恢复结构,同时解决了单目方案无法恢复真实尺度、双目方案标定繁琐硬件成本高的行业痛点;结合深度学习多视图深度预测与双一致性约束融合方案,攻克了天基目标弱纹理、复杂光照下深度估计不完整的核心难题。本发明恢复了真实尺度,提升了重建的完整性与精度,特别适配天基在轨服务的高可靠性需求。

48、进一步的,通过深度卷积主干网络提取多层级特征构建图像金字塔,实现了从低层细节到高层语义信息的全面捕获,为精准前景分割奠定了特征基础;通过多尺度拉普拉斯金字塔残差预测与逐级重建,在保留目标边缘细节的同时,实现了原始分辨率高精度显著性图的生成,解决了传统分割算法边缘模糊、小结构丢失的问题;通过二值化掩码与原图逐像素相乘,实现了太空背景的精准剔除,同时完整保留了空间目标的全部结构信息。

49、进一步的,通过跨视图特征匹配建立多视角图像间的关联,为相机位姿求解提供了基础数据;通过基础矩阵/本质矩阵/单应矩阵结合随机抽样一致性算法滤除匹配外点,解决了误匹配导致的位姿求解偏差问题;通过增量式配准与三角化,实现了场景点集的逐步扩展与相机位姿的精准求解,适配天基绕飞、伴飞的多视角观测模式;通过光束平差法进行全局非线性优化,最小化三维点重投影误差,同步优化相机内外参与三维点坐标。

50、进一步的,构建了“特征提取-代价建模-深度回归”的端到端深度预测链路,完全适配多视图三维重建的几何原理;通过专属设计的多尺度特征提取结构,强化了对天基目标弱纹理、无纹理区域的特征表征能力,解决了传统算法对弱纹理区域特征提取不足的问题;通过单应性变换实现多视角特征在深度维度的映射,结合视图相似度计算构建代价体,建立了多视图几何约束与深度学习特征的深度融合;通过三维卷积正则化与深度加权回归,输出平滑、精准的稠密深度图。

51、进一步的,迭代特征金字塔通过双向迭代融合路径,实现了深层语义信息与浅层细节信息的充分交互,兼顾了目标的全局结构与局部细节特征;空洞空间卷积池化金字塔通过多空洞率并行卷积与全局池化分支,捕获了多尺度上下文信息,解决了天基目标尺寸变化大导致的特征适配性差的问题;可变性卷积通过学习偏移量动态调整卷积采样位置,使感受野自适应聚焦于目标边缘、角点等关键区域,强化了对目标几何形变与细小结构的特征捕获能力。

52、进一步的,多视图立体匹配的核心是通过视图间的特征相似度建立深度维度的代价分布,该方案采用基于方差的代价指标,通过计算多视图特征在同一空间位置的方差来衡量视图间的相似性,方差越小代表视图间特征一致性越高,对应深度的置信度越高。该计算方式可适配任意数量的视图输入,无需固定视图数目,完美适配天基伴飞、绕飞过程中灵活变化的观测视角数量;同时基于方差的相似度计算方式,对光照变化、视角变换带来的特征波动具备极强的抗干扰能力,可有效过滤天基复杂光照导致的特征噪声。

53、进一步的,基于概率体中不同深度对应的置信度,通过深度方向的期望计算实现深度值回归,区别于传统argmax取极值的方式,加权平均的计算方式可有效避免深度值的离散化跳变,大幅提升深度图的平滑性与连续性。公式中明确了深度预估范围的上下限,可结合相机参数与稀疏点云动态适配天基目标的观测距离范围,避免无效深度区间的计算干扰;同时以每个深度值对应的概率值为权重,实现了置信度导向的深度回归,高置信度深度值占据主导权重,低置信度区域的深度结果更平滑。

54、进一步的,损失函数针对网络的多尺度深度预测结构设计,分别计算各层级预测深度与真实深度的l1损失,再通过预设权重系数加权求和得到总损失,实现了网络的多尺度监督训练。l1损失对离群值的敏感度低于l2损失,可有效降低天基场景中遮挡、光照突变导致的异常标注值对网络训练的干扰,提升训练过程的稳定性;多尺度加权监督的方式,让网络同时学习全局结构特征与局部细节特征,解决了单尺度监督易出现的全局结构偏差或局部细节丢失的问题;可通过权重系数灵活调整不同尺度损失的贡献度,适配天基目标不同结构的重建需求。

55、进一步的,通过相机几何原理将像素深度值反向投影至世界坐标系,实现了二维深度图到三维点云的精准转换,完整保留了深度预测的精度结果;创新性地采用光度一致性与几何一致性联合约束的筛选方式,对候选三维点进行多视图交叉验证,仅保留在多个视角下同时满足两项约束的三维点,从根本上过滤了噪声点、误匹配点与错误重建点。其中光度一致性约束保证了点的表观特征在多视角下的一致性,几何一致性约束保证了点的空间几何位置在多视角下的一致性,双重约束实现了精度与完整度的平衡。

56、可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

57、综上所述,本发明通过显著性预处理剔除背景干扰,利用sfm获取精准位姿,结合多尺度特征提取与方差代价体深度预测,实现了高精度稠密重建。双重一致性融合策略有效去噪,本发明在弱纹理、复杂光照下鲁棒性更强,精度更高,且适配单相机硬件,大幅降低了在轨三维重建的硬件成本与计算复杂度。

58、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。