一种基于深度学习的三维空间智能重建方法

摘要: 本发明涉及三维重建,尤其涉及一种基于深度学习的三维空间智能重建方法。背景技术:1、随着数字孪生、室内测绘及机器人环境建模的发展,利用多视图图像自动生成三维空间模...
一种基于深度学习的三维空间智能重建方法

本发明涉及三维重建,尤其涉及一种基于深度学习的三维空间智能重建方法。

背景技术:

1、随着数字孪生、室内测绘及机器人环境建模的发展,利用多视图图像自动生成三维空间模型已成为常用技术。mast3r将图像匹配转化为三维点图回归问题,并通过密集局部特征和快速双向互为最近邻匹配建立跨视图对应关系;labatut等公开了基于delaunay四面体及可见性约束的表面重建方法;dmtet进一步采用可变形四面体网格和marchingtetrahedra提取显式网格。上述案例表明,深度图像匹配、四面体空间划分及隐式表面提取均属于已经公开的技术。

2、然而,现有方案通常直接融合多个视图的匹配结果,缺少对观测来源独立性的校验,同一错误匹配可能经多视图累积后被误认为稳定几何;四面体拓扑形成后,补充图像通常触发整体优化或重新建模,难以区分临时遮挡、局部噪声与真实结构变化,也缺少确认拓扑锁定、独立新增证据共同否定及局部拓扑腔更新机制。在大型室内空间、设备密集区域及遮挡频繁场景中,容易产生表面撕裂、孔洞、错误封闭以及局部修正牵连非冲突区域的问题,影响三维空间模型的几何稳定性和增量更新效率。

3、因此,如何提供一种基于深度学习的三维空间智能重建方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于深度学习的三维空间智能重建方法,本发明充分利用改进型mast3r、独立支持集交叉验证及证据滞回四面体重建技术,实现空间图像匹配、三维点融合、拓扑确认、冲突检测、局部重新剖分及空间表面提取,具备重建精度高、拓扑稳定性强、误差传播少和局部更新效率高的优点。

2、根据本发明实施例的一种基于深度学习的三维空间智能重建方法,包括如下步骤:

3、步骤一:获取空间图像及相机参数,生成空间观测序列;

4、步骤二:将空间观测序列输入改进型mast3r,通过独立支持集路由将同一空间区域的匹配特征划分为独立支持集,通过交换重建机制执行局部几何重建和交叉验证,并根据重建结果与验证结果的一致性生成证据一致签名,同时输出图像匹配关系、三维点图、相机位姿及证据点集;

5、步骤三:将证据点集统一至空间坐标系,生成重建点集;

6、步骤四:将重建点集输入证据滞回四面体重建网络,根据证据一致签名构建确认四面体和候选四面体,在独立支持集共同支持候选拓扑时执行拓扑确认,并锁定确认四面体的连接关系,生成证据约束四面体场;

7、步骤五:根据证据约束四面体场与空间观测序列的冲突确定冲突区域,在边界锁定的局部拓扑腔内重新剖分;

8、步骤六:获取冲突区域的补充图像并形成新增独立支持集,在新增独立支持集共同否定原确认拓扑时更新局部拓扑腔,否则保持原确认拓扑,生成验证四面体场;

9、步骤七:锁定验证四面体场中的非冲突区域,局部优化更新区域并提取空间表面,生成三维空间模型。

10、可选的,所述步骤一具体包括:

11、连续获取目标空间的空间图像,同步记录采集时刻、相机内参、畸变参数及相机外参初值,根据相机内参和畸变参数校正空间图像,并按照采集时刻排列空间图像;

12、采用laplacian方差校验图像清晰度,采用灰度直方图校验有效曝光区域,根据局部特征匹配内点校验相邻空间图像的重叠关系,删除未通过质量校验的空间图像;

13、将保留的空间图像设为图像节点,将存在重叠关系的图像节点连接为观测边,并组织图像节点、观测边及相机参数,生成空间观测序列。

14、可选的,所述步骤二具体包括:

15、构建改进型mast3r,所述改进型mast3r包括mast3r主干网络、独立支持集路由单元、交换重建单元及证据一致判定单元;

16、mast3r主干网络采用视觉transformer编码器、交叉注意力解码器、三维点图预测头及局部特征描述子预测头,输出三维点图、点图置信度、局部特征描述子及描述子置信度;

17、对局部特征描述子执行快速双向互为最近邻匹配,生成图像匹配关系,并执行全局点图对齐,更新三维点图及相机位姿;

18、根据三维点位置及表面法向划分空间区域,将对应匹配特征归入匹配特征池;

19、独立支持集路由单元将匹配特征划分为第一独立支持集和第二独立支持集,交换重建单元交替执行局部几何重建和交叉验证,证据一致判定单元根据独立支持集路由结果、交换重建结果及验证结果生成证据一致签名;

20、根据证据一致签名确定三维点证据状态,并将图像匹配关系、三维点图、相机位姿、证据一致签名及三维点证据状态组合形成证据点集。

21、可选的,所述证据一致签名的生成具体包括:

22、将基于快速双向互为最近邻匹配连续形成的跨图像匹配链确定为特征轨迹;

23、以匹配特征作为来源冲突图的节点,两个匹配特征共享空间图像标识、共享特征轨迹标识、相机光轴夹角低于视角分离阈值或者相机中心距离低于基线分离阈值时,在对应节点之间建立来源冲突边;

24、按照点图置信度与描述子置信度的乘积排列节点,选取相互无来源冲突边的节点作为两个独立支持集的初始节点,依次将与对应独立支持集内全部节点均无来源冲突边的节点加入第一独立支持集或第二独立支持集,并校验各独立支持集的图像匹配关系数量和三维点区域覆盖率,未形成两个独立支持集的空间区域标记为单源证据区域;

25、根据第一独立支持集生成第一局部几何并采用第二独立支持集验证,交换两个独立支持集的角色后生成第二局部几何并采用第一独立支持集验证,各验证独立支持集退出对应局部几何重建;

26、计算中位空间位置偏差、平均表面法向夹角、边界重合比例、平均重投影误差及可见射线穿越顺序;中位空间位置偏差、平均表面法向夹角及平均重投影误差分别不大于对应验证阈值,边界重合比例不低于边界重合阈值且可见射线穿越顺序一致时,将对应轮次标记为通过;

27、将来源独立状态、两轮验证状态及所述几何量写入结构化记录,生成证据一致签名;

28、两轮验证均通过时标记确认点,仅一轮验证通过或者为单源证据区域时标记候选点,两轮验证均未通过、可见射线穿越顺序相反或者同一三维点在两个局部几何中的表面内外侧判定相反时标记冻结点。

29、可选的,所述步骤三具体包括:

30、根据证据点集中的相机位姿,将三维点由参考相机坐标系转换至统一空间坐标系;

31、按照预设体素尺寸划分空间坐标系,将位于同一体素且表面法向夹角不大于预设法向阈值的三维点归入融合组;

32、对融合组内各三维点的点图置信度采用softmax归一化,生成融合权重,并根据融合权重对三维点空间坐标和表面法向执行加权求和;

33、融合组中存在确认点时,将融合后三维点的三维点证据状态确定为确认状态,融合组中仅存在候选点时,将融合后三维点的三维点证据状态确定为候选状态,冻结点退出融合;

34、将融合后的三维点、表面法向、证据一致签名及三维点证据状态组合形成重建点集。

35、可选的,所述步骤四具体包括:

36、构建证据滞回四面体重建网络,所述证据滞回四面体重建网络包括点证据编码器、顶点符号距离预测头、拓扑准入单元、连接锁定单元及拓扑状态机;

37、将重建点的相对空间坐标、表面法向及证据一致签名输入点证据编码器,生成点证据特征,并由顶点符号距离预测头生成顶点符号距离;

38、以确认点作为确认顶点执行delaunay四面体化,生成初始确认四面体,提取初始确认四面体之间的公共面作为确认公共面,将候选点作为候选顶点插入对应空间区域,以确认公共面作为约束面执行约束delaunay四面体化,生成候选四面体;

39、确定候选四面体中顶点符号距离异号的四面体边,连接所述四面体边与零符号距离面的交点,生成候选空间表面,将候选四面体、候选空间表面及二者的连接关系组合形成候选拓扑;

40、拓扑准入单元根据第一独立支持集和第二独立支持集对候选拓扑执行拓扑确认,连接锁定单元锁定确认四面体的连接关系;

41、拓扑状态机记录候选状态、确认状态、冲突待验证状态及替换状态;

42、将确认四面体、候选四面体、顶点符号距离、拓扑状态及连接锁定记录组合形成证据约束四面体场。

43、可选的,所述拓扑准入单元根据第一独立支持集和第二独立支持集对候选拓扑执行拓扑确认,连接锁定单元锁定确认四面体的连接关系,具体包括:

44、分别将候选空间表面投影至第一独立支持集和第二独立支持集对应的空间图像;

45、统计重投影误差不大于投影误差阈值、可见射线依次穿越自由空间、候选空间表面及表面内侧空间,且表面外侧顶点符号距离为正、表面内侧顶点符号距离为负的有效对应数量;

46、将有效对应数量与对应独立支持集有效对应总数量之比确定为表面位置支持度;

47、两个独立支持集的表面位置支持度均达到支持度阈值,且可见射线穿越顺序及表面两侧符号关系一致时,将候选拓扑中的候选四面体转换为确认四面体;

48、将确认顶点、确认边、确认公共面、相邻确认四面体及对应证据一致签名之间的映射关系写入连接锁定记录;

49、将后续四面体构建、顶点调整或者重新剖分的结果与连接锁定记录比对,删除移动确认顶点、删除确认边、删除确认公共面、增加未记录新确认边或者改变确认四面体相邻关系的结果,并恢复连接锁定记录中对应的确认顶点、确认边、确认公共面及确认四面体相邻关系。

50、可选的,所述步骤五具体包括:

51、将证据约束四面体场中的零符号距离面投影至空间观测序列对应的空间图像,计算表面深度残差、轮廓重投影误差及可见射线穿越顺序;

52、将表面深度残差超过深度残差阈值、轮廓重投影误差超过轮廓误差阈值或者可见射线穿越顺序相反的观测边标记为否定观测边,将否定观测边数量与有效观测边数量之比确定为否定观测比例,并将否定观测比例达到冲突比例阈值的四面体标记为冲突四面体;

53、将通过公共面或者公共边相连的冲突四面体组合形成冲突区域,将冲突四面体、与冲突四面体共享公共面的候选四面体及相邻预设层数的未锁定四面体加入局部拓扑腔;

54、将局部拓扑腔与外部非冲突确认四面体之间的公共面确定为候选腔边界,将每条边均属于两个边界公共面且相邻边界公共面的顶点排列方向一致的候选腔边界确定为闭合腔边界;

55、将闭合腔边界中的确认顶点、确认边及确认公共面写入边界锁定集合,复制局部拓扑腔内的重建点、四面体连接关系及顶点符号距离,建立影子拓扑腔;

56、删除影子拓扑腔内未锁定的候选四面体,以边界锁定集合中的确认公共面作为约束面执行约束delaunay重新剖分,生成候选更新拓扑,并将冲突区域内的原确认拓扑转换为冲突待验证状态。

57、可选的,所述步骤六具体包括:

58、根据冲突区域的空间位置、表面法向、局部拓扑腔边界及第一独立支持集和第二独立支持集的观测方向确定补充采集位置,并获取补充图像及相机参数;

59、将补充图像输入改进型mast3r,按照来源冲突边、视角分离阈值及基线分离阈值将补充图像中的匹配特征划分为新增第一独立支持集和新增第二独立支持集,并分别重建新增局部几何;

60、针对每个新增独立支持集,统计不支持原确认拓扑表面位置、可见射线穿越顺序或者表面两侧符号关系的有效对应数量,将其与有效对应总数量之比确定为否定支持度;

61、新增局部几何与原确认拓扑表面的中位位置偏差达到结构位置偏差阈值、可见射线穿越顺序相反或者表面两侧符号关系相反时,标记为结构否定状态;

62、将两个新增独立支持集分别否定的四面体集合交集数量与并集数量之比确定为四面体区域重合比例,并分别根据表面位置支持度、可见射线穿越顺序及表面两侧符号关系确定对候选更新拓扑的支持状态;

63、两个新增独立支持集的否定支持度均达到否定支持度阈值、均处于结构否定状态、四面体区域重合比例达到重合比例阈值且共同支持同一候选更新拓扑时,解除原确认拓扑的连接锁定记录,以候选更新拓扑替换局部拓扑腔内的原确认拓扑,将候选更新拓扑转换为更新后的确认拓扑并生成新的连接锁定记录;

64、未达到共同否定条件时,保留原确认拓扑及其连接锁定记录;

65、根据更新后的确认四面体、候选四面体、顶点符号距离、拓扑状态及连接锁定记录生成验证四面体场。

66、可选的,所述步骤七具体包括:

67、根据验证四面体场中的拓扑状态及连接锁定记录确定非冲突区域,将局部拓扑腔及与局部拓扑腔边界共享公共面的预设层数候选四面体确定为更新区域,锁定非冲突区域中的确认顶点坐标、确认边、确认公共面及顶点符号距离;

68、计算更新区域对应的表面重投影误差、符号距离连续误差、局部拓扑腔边界位置误差及证据一致签名中的几何偏差,将各项误差分别除以局部优化开始时的对应初始值,采用初值比归一化后等权相加,生成局部优化目标;

69、采用带回溯线搜索的l-bfgs更新未锁定顶点的位置及顶点符号距离,确认顶点坐标、确认边、确认公共面或者局部拓扑腔边界发生变化时撤销对应更新;

70、连续预设轮次内未锁定顶点最大位移不大于位移收敛阈值,且顶点符号距离最大变化量不大于符号距离收敛阈值时停止局部优化;

71、采用marching tetrahedra生成三角面片,拼接更新区域与非冲突区域的三角面片,并根据空间观测序列中的相机位姿投影空间图像纹理,生成三维空间模型。

72、本发明的有益效果是:

73、本发明通过改进型mast3r引入独立支持集路由、交换重建机制及证据一致签名,将同一空间区域的匹配特征按观测来源划分为相互独立的支持集,并通过交替重建和交叉验证确定确认点、候选点及冻结点,解决现有多视图重建中相关错误匹配被重复累积、单一观测偏差被误判为稳定几何的问题。由此能够在进入空间融合和拓扑构建前筛除来源相关的伪一致证据,提高三维点图、相机位姿及局部几何的可信度,降低遮挡、弱纹理和视角不足造成的表面漂移、孔洞及错误连接,为后续空间表面重建提供具有可验证依据的重建点集。

74、本发明进一步利用证据滞回四面体重建网络构建候选拓扑并锁定确认四面体的连接关系,在观测冲突区域内建立边界锁定的局部拓扑腔,通过影子拓扑腔重新剖分,并仅在新增独立支持集共同否定原确认拓扑且共同支持候选更新拓扑时执行局部替换,解决传统方法局部异常触发整体重建、临时遮挡与真实结构变化难以区分的问题。该机制能够保护非冲突区域的既有拓扑,限制误差传播范围,在保持模型连续性的同时完成局部增量更新,减少重复计算和人工修模,为大型室内空间、设备密集区域及动态场景提供稳定、可追溯且可持续更新的三维空间模型。