一种基于结构化几何状态的无位姿三维场景重建方法

摘要: 本发明涉及计算机视觉与三维重建,具体涉及一种基于结构化几何状态的无位姿三维场景重建方法。背景技术:1、三维场景重建是计算机视觉的核心任务之一。三维高斯泼溅技术以...
一种基于结构化几何状态的无位姿三维场景重建方法

本发明涉及计算机视觉与三维重建,具体涉及一种基于结构化几何状态的无位姿三维场景重建方法。

背景技术:

1、三维场景重建是计算机视觉的核心任务之一。三维高斯泼溅技术以三维椭球高斯基元作为场景表达,借助可微分光栅化渲染,在新视角合成任务中取得了优秀效果。现有三维高斯场景重建方案高度依赖运动恢复结构输出的精确相机位姿,逐场景迭代优化高斯的中心、协方差、不透明度和球谐系数。但在实际应用中,常仅能获取少量稀疏且相机位姿未知的输入图像,无法依靠传统运动恢复结构流程得到可靠相机参数。现有可泛化前馈重建方案依靠预训练视觉几何模型直接预测深度和初始高斯参数,虽不依赖逐场景优化,但仍存在明显不足:现有方法大多在像素级别直接生成独立的三维高斯基元,各高斯参数缺少显式几何约束;来自不同视图的观测噪声和深度预测误差会无约束地耦合传播到高斯全部参数中,在稀疏输入条件下容易产生漂浮伪影、表面破碎和跨视图几何不一致;同时,深度预测置信度、多视图支持数量等可靠度信息未系统参与高斯参数约束,低置信噪声观测同样可生成高不透明度错误基元,且不同视图间缺少统一坐标与尺度规范化,进一步加剧几何畸变。

2、因此,现有技术中缺乏一种能够在无位姿稀疏输入条件下,对观测可靠性进行显式建模,并通过结构化几何状态约束三维高斯基元生成,从而降低观测误差耦合传播、提高重建一致性的三维场景重建方法,成为本领域亟待解决的技术问题。

技术实现思路

1、本发明所要解决的技术问题是:现有可泛化前馈三维高斯重建方法在稀疏无位姿图像输入条件下,观测误差无约束耦合传播,缺少显式几何约束和观测可靠性建模,导致重建结构畸变、漂浮伪影和跨视图不一致。

2、为解决上述技术问题,本发明提供一种基于结构化几何状态的无位姿三维场景重建方法,包括以下步骤:

3、步骤s100:获取同一场景的至少两幅相机位姿未知的输入图像,利用视觉几何模型提取深度信息、几何置信信息、相机估计信息和图像特征;

4、步骤s200:以深度信息、几何置信信息、相机估计信息和图像特征为输入,将采样像素及其深度反投影为空间观测点,以第一输入视图建立相机规范,利用置信度加权场景尺度统一空间观测点、深度信息和相机平移量的尺度,并对非参考视图进行有界相机位姿修正,构建多视图几何观测集合;

5、步骤s300:以多视图几何观测集合为输入,执行置信度引导的锚点采样和软关联聚合,对局部观测进行局部散布矩阵特征分解,构建结构化几何状态集合,每一结构化几何状态包括空间锚点、局部坐标框架、各向异性离散尺度、聚合几何上下文、状态置信度和状态外观特征;

6、步骤s400:以结构化几何状态集合为输入,为每一结构化几何状态设置至少一个高斯槽位,利用空间锚点和各向异性离散尺度约束三维高斯基元中心,利用局部坐标框架和各向异性离散尺度约束三维高斯基元协方差,利用状态置信度控制三维高斯基元不透明度和尺度松弛量,利用状态外观特征预测球谐系数;

7、步骤s500:以三维高斯基元集合为输入,汇总形成三维高斯场景,在目标相机下执行颜色栅格化和深度栅格化,输出目标视角图像。

8、进一步地,步骤s100包括:

9、步骤s110:获取同一场景的至少两幅相机位姿未知的输入图像,设输入视图集合为,视图数量满足,为第v个视图对应的输入图像,v为视图索引;

10、步骤s120:以输入图像集合为输入,利用视觉几何模型针对每一输入图像提取深度图、初始几何置信图、相机估计、稠密图像特征以及多视图全局特征z,其中,表示第v个视图的深度图,表示第v个视图的初始几何置信图,表示第v个视图的相机估计,包含相机内参和相机到世界位姿,表示第v个视图的稠密图像特征,z表示多视图全局特征,视觉几何模型的参数保持冻结。

11、进一步地,步骤s200包括:

12、步骤s210:将采样像素及其深度反投影为空间观测点,对于第v个视图内的采样像素p,空间观测点和对齐的稠密图像特征分别满足:

13、,

14、,

15、其中,表示依据深度和相机参数执行反投影,bilinear表示双线性采样;

16、步骤s220:对全部视图的初始几何置信图进行联合归一化并裁剪至,得到归一化置信度;对第v个视图的稠密图像特征进行空间平均池化得到视图级特征,对多视图全局特征进行平均池化得到全局特征,将视图级特征与全局特征拼接后输入可学习映射,得到六维相机编码,前三个分量表示旋转残差,后三个分量表示平移残差;

17、步骤s230:以第一输入视图为参考视图,将空间观测点转换至参考视图坐标系,利用置信度加权场景尺度s进行归一化,得到规范化三维位置,其中等于各空间观测点在参考视图坐标系下的距离平方按归一化置信度加权后的均值;

18、步骤s240:相机编码经双曲正切函数和预设残差幅值约束后得到六自由度相机局部残差,利用特殊欧氏群指数映射更新非参考视图的相机位姿,修正后的相机位姿包含修正后的相机中心;

19、步骤s250:根据归一化置信度、对齐的稠密图像特征和全局特征计算校准置信度;

20、步骤s260:构建几何上下文特征和外观证据,外观证据由像素颜色、几何上下文特征、观察方向编码和校准置信度拼接后经可学习映射得到,观察方向由修正后的相机中心指向规范化三维位置,观察方向编码采用二阶方向编码;

21、步骤s270:汇总规范化三维位置、几何上下文特征、外观证据、校准置信度和来源视图标识,形成多视图几何观测集合。

22、进一步地,步骤s300包括:

23、步骤s310:执行置信度引导的最远点采样选择锚点候选,对每一锚点候选检索l个近邻观测组成局部邻域,l为预设值;

24、步骤s320:对局部邻域中的几何观测计算关联分值,关联分值由空间距离项、校准置信度项和几何上下文特征余弦相似度项组成,经softmax归一化得到软关联权重;

25、步骤s330:利用软关联权重分别聚合规范化三维位置、几何上下文特征和校准置信度,得到空间锚点、聚合几何上下文和聚合置信度;

26、步骤s340:计算局部偏移量:

27、,

28、其中,为规范化三维位置;由局部偏移量及其转置按软关联权重加权求和后叠加数值稳定项与单位矩阵的乘积构成局部散布矩阵,对特征分解得到特征向量矩阵和有序特征值,满足:

29、,

30、对有序特征值依据聚合几何上下文和聚合置信度执行有界修正,得到各向异性离散尺度;

31、步骤s350:局部平面法向量取为与最小特征值对应的特征向量,其正负方向根据局部平均观察方向统一,第一切向轴的正负方向根据相机右轴的平均方向确定,第二切向轴通过叉乘得到,构成局部坐标框架;

32、步骤s360:计算状态置信度,状态置信度由聚合置信度、局部点到平面残差、局部表面结构量和跨视图有效支持量共同确定;

33、步骤s370:状态外观特征由局部邻域内的外观证据按软关联权重聚合后经可学习映射和归一化处理得到;

34、步骤s380:汇总空间锚点、局部坐标框架、各向异性离散尺度、聚合几何上下文、状态置信度和状态外观特征,形成结构化几何状态集合。

35、进一步地,步骤s360中状态置信度满足:

36、,

37、其中,为聚合置信度;局部点到平面残差,为各局部观测到局部平面的加权平均绝对距离;为局部表面结构量,满足:

38、,

39、其中,、、为局部散布矩阵的有序特征值,为数值稳定项;为跨视图有效支持量,由各输入视图对第i个状态的关联质量的平方和取倒数得到;、、、为可学习权重,为偏置项。

40、进一步地,步骤s400包括:

41、步骤s410:为每一结构化几何状态设置j个高斯槽位,每个高斯槽位对应一个三维高斯基元,每个三维高斯基元具有不同的可学习槽位编码,j为预设值;

42、步骤s420:生成几何编码和外观编码。几何编码聚合几何上下文、各向异性离散尺度和槽位编码经可学习映射构成,外观编码由状态外观特征和槽位编码经可学习映射构成;

43、步骤s430:三维高斯基元的中心满足:

44、,

45、其中,由各向异性离散尺度的平方根与经双曲正切函数约束的可学习映射输出逐元素相乘得到;

46、步骤s440:高斯旋转矩阵在局部坐标框架基础上施加有界旋转残差;高斯轴向尺度由各向异性离散尺度的平方根、尺度松弛因子和经指数函数约束的可学习映射输出逐元素相乘得到,满足:

47、,

48、其中,为松弛幅值,为状态置信度;协方差满足:

49、,

50、其中,表示以各分量的平方为对角元素的对角矩阵;

51、步骤s450:不透明度满足:

52、,

53、其中,和为可学习参数;球谐系数满足:

54、,

55、其中,为可学习映射。

56、进一步地,还包括模型训练步骤:

57、以三维高斯场景和修正后的输入相机位姿为输入,对输入视图执行颜色栅格化和深度栅格化,训练目标由渲染图像损失、深度损失和相机位姿残差损失组成,相机位姿残差损失为huber鲁棒损失,转折阈值为1;训练完成后,推理阶段将待重建场景的稀疏无位姿图像一次送入网络,依次执行步骤s100至s500,不针对该场景更新网络参数。

58、进一步地,一种基于结构化几何状态的无位姿三维场景重建系统,包括:

59、图像获取模块,用于获取同一场景的至少两幅相机位姿未知的输入图像;

60、视觉几何特征提取模块,用于利用视觉几何模型提取深度信息、几何置信信息、相机估计信息和图像特征;

61、几何观测构建模块,用于将采样像素及其深度反投影为空间观测点,执行统一相机规范下的坐标和尺度归一化以及有界相机位姿修正,形成多视图几何观测集合;

62、结构化状态构建模块,用于对多视图几何观测集合执行置信度引导的锚点采样和软关联聚合,生成结构化几何状态;

63、受约束高斯实现模块,用于将结构化几何状态的各因素分别映射为三维高斯基元的中心、协方差、不透明度和球谐系数;

64、渲染与输出模块,用于汇总三维高斯基元并生成目标视角图像。

65、本发明与现有技术相比,具有以下有益效果:(1)通过以第一输入视图建立统一相机规范并利用置信度加权场景尺度归一化,实现了多视图观测的统一尺度组织,消除了尺度不确定性,减少了跨视图几何偏移。(2)通过构建包含空间锚点、局部坐标框架、离散尺度、聚合上下文、状态置信度和外观特征的结构化几何状态,并分别约束三维高斯基元的中心、协方差、不透明度和球谐系数,实现了观测误差的分因素隔离,降低了误差耦合传播,抑制了漂浮伪影和跨视图不一致。(3)通过将状态置信度作为不透明度上界并控制尺度松弛量,使低置信观测不能生成高不透明度错误基元,提高了重建可靠性。(4)通过前馈推理方式生成三维高斯场景,无需逐场景优化,在保证重建精度的同时提升了处理效率。