基于视觉惯性融合的狭长退化场景三维重建系统及方法
本发明属于计算机视觉及三维场景重建,具体涉及一种基于视觉惯性融合的狭长退化场景三维重建系统及方法。
背景技术:
1、随着移动机器人、无人机、自主巡检及增强现实等应用的发展,设备在走廊、隧道、巷道等狭长环境中的三维感知需求不断增加。单目视觉三维重建方法通常依赖图像纹理、跨帧特征匹配和视差关系恢复场景几何结构,但狭长退化场景具有纵深延伸明显、横向视野受限、纹理重复或缺失以及有效视差不足等特点;在快速运动、光照变化或图像模糊情况下,容易造成跨帧几何关联不稳定、深度预测误差增大及点云结构不连续。惯性测量单元能够输出三轴加速度和三轴角速度等高频运动信息,为图像帧对之间的短时运动提供辅助信息。现有视觉惯性方法多采用滤波、预积分或图优化方式,主要用于位姿或轨迹估计;基于深度学习的视觉惯性方法也多集中于视觉惯性里程计、相机位姿估计或深度估计,难以充分利用帧间惯性运动信息增强端到端多帧三维重建中的跨帧几何关联。
技术实现思路
1、基于上述问题,本发明提供一种基于视觉惯性融合的狭长退化场景三维重建系统及方法,以解决狭长退化场景中因纹理重复或缺失、横向视野受限、有效视差不足、光照变化及运动模糊造成的跨帧几何关联不稳定、深度预测误差增大及点云结构不连续问题。
2、为实现上述目的,本发明采用如下技术方案:
3、一种基于视觉惯性融合的狭长退化场景三维重建系统,其特征在于,包括视觉特征编码模块、惯性时序编码模块、视觉惯性融合模块和几何重建解码模块;
4、所述视觉特征编码模块用于分别对单目相机采集的第一图像帧和第二图像帧进行视觉特征编码,得到第一图像帧对应的图像块视觉特征和第二图像帧对应的图像块视觉特征;
5、所述惯性时序编码模块用于根据第一图像帧的采集时间戳和第二图像帧的采集时间戳,提取时间区间内的惯性测量单元数据,并对所述惯性测量单元数据进行时序预处理和时序编码,得到帧间惯性时序特征;
6、所述视觉惯性融合模块用于以图像块视觉特征或作为查询,以帧间惯性时序特征作为键和值执行交叉注意力,利用同一帧间惯性时序特征分别更新图像块视觉特征和,得到第一视觉惯性联合特征和第二视觉惯性联合特征;
7、所述几何重建解码模块用于对第一视觉惯性联合特征和第二视觉惯性联合特征进行跨帧几何关联和三维解码,输出参考三维点图、局部三维点图及相应的置信度图。
8、优选的,所述视觉特征编码模块包括图像分块单元和视觉编码单元;
9、所述图像分块单元用于将任一输入图像帧划分为多个图像块,并将各图像块映射为初始视觉特征;
10、所述视觉编码单元用于对所述初始视觉特征进行空间上下文建模,得到图像块视觉特征。
11、优选的,所述惯性时序编码模块包括时序对齐单元、惯性特征构建单元、时序编码单元和特征聚合单元;
12、所述时序对齐单元用于根据第一图像帧的采集时间戳和第二图像帧的采集时间戳确定惯性数据提取时间区间,并提取所述时间区间内的惯性测量单元数据;
13、所述惯性特征构建单元用于对所述惯性测量单元数据中的三轴加速度和三轴角速度进行插值重采样,并将重采样后的三轴加速度、三轴角速度和采样时间间隔构建为惯性观测序列;
14、所述时序编码单元用于对惯性观测序列进行时序特征提取,得到时序编码特征;
15、所述特征聚合单元用于利用多个可学习查询向量对时序编码特征进行注意力聚合,得到帧间惯性时序特征。
16、优选的,所述惯性特征构建单元在时间区间内生成个等间隔重采样时刻,第个重采样时刻对应的惯性观测向量以及惯性观测序列分别表示为:
17、;
18、;
19、其中,表示重采样时刻数量,且;表示重采样时刻索引,且;表示第j个重采样时刻对应的三轴加速度;表示第j个重采样时刻对应的三轴角速度;表示相邻两个重采样时刻之间的采样时间间隔。
20、优选的,所述时序编码单元用于将惯性观测序列中的各惯性观测向量映射为惯性特征,并在所述惯性特征中加入时间位置编码后进行时序上下文建模,得到时序编码特征;
21、第个惯性观测向量对应的映射特征表示为:
22、;
23、其中,表示惯性特征映射权重矩阵;表示惯性特征映射偏置向量;表示第个惯性观测向量映射后的d维特征;
24、所述特征聚合单元设置个可学习查询向量,以所述可学习查询向量作为查询,以时序编码特征作为键和值执行多头注意力计算,得到包含个惯性特征的帧间惯性时序特征;
25、;
26、其中,mha表示多头注意力计算,表示可学习查询向量数量,亦表示聚合后帧间惯性时序特征所包含的惯性特征数量。
27、优选的,所述视觉惯性融合模块包括分别用于处理第一图像帧和第二图像帧的跨模态融合过程;
28、对于任一图像帧,将其图像块视觉特征作为目标特征,将帧间惯性时序特征作为记忆特征输入至少一个融合层,以图像块视觉特征作为查询,以帧间惯性时序特征作为键和值执行交叉注意力,得到图像帧对应的视觉惯性联合特征;
29、第一图像帧和第二图像帧的跨模态融合过程使用同一帧间惯性时序特征。
30、优选的,所述几何重建解码模块包括参考坐标系三维预测头和局部坐标系三维预测头;
31、所述参考坐标系三维预测头用于输出图像帧在第一图像帧的参考相机坐标系下的参考三维点图及参考置信度图;
32、所述局部坐标系三维预测头用于输出图像帧在其自身局部相机坐标系下的局部三维点图及局部置信度图;
33、其中表示第一图像帧对应的参考相机坐标系,表示图像帧自身的局部相机坐标系,参考三维点图亦称全局三维点图。
34、一种基于视觉惯性融合的狭长退化场景三维重建方法,包括以下步骤:
35、s1.获取单目相机采集的第一图像帧和第二图像帧,根据所述第一图像帧和第二图像帧的采集时间戳和,提取时间区间内的惯性测量单元数据;
36、s2.分别对第一图像帧和第二图像帧进行视觉特征编码,得到图像块视觉特征和;
37、s3.对所述惯性测量单元数据进行插值重采样,并根据重采样后的三轴加速度、三轴角速度和采样时间间隔构建惯性观测序列;对惯性观测序列进行时序编码,并利用多个可学习查询向量进行特征聚合,得到帧间惯性时序特征;
38、s4.以图像块视觉特征或作为查询,以帧间惯性时序特征作为键和值执行交叉注意力,利用同一帧间惯性时序特征分别更新图像块视觉特征和,得到第一视觉惯性联合特征和第二视觉惯性联合特征;
39、s5.对第一视觉惯性联合特征和第二视觉惯性联合特征进行跨帧几何关联和三维解码,输出参考三维点图、局部三维点图以及相应的置信度图,其中,所述参考三维点图亦称全局点图。
40、优选的,训练阶段包括以下步骤:
41、构建包含单目图像帧对、对应帧间惯性测量单元数据、深度图、相机内参和相机位姿信息的训练样本;
42、根据所述深度图和相机内参生成各图像帧的局部点图监督数据及有效区域掩码,并根据相机位姿信息将各图像帧的局部点图监督数据转换至所述单目图像帧对中第一图像帧的参考相机坐标系,得到全局点图监督数据;
43、利用所述训练样本依次执行视觉特征编码、惯性时序编码、视觉惯性融合和几何重建解码,得到预测局部点图、预测全局点图及对应的预测置信度;
44、根据预测全局点图与全局点图监督数据计算全局点图损失,根据预测局部点图与局部点图监督数据计算局部点图损失,所述全局点图损失 和局部点图损失均采用置信度加权的归一化三维点回归损失,并按照计算总训练损失,基于所述总训练损失对三维重建模型进行反向传播训练;其中,表示三维点图,表示全局点图分支,表示局部点图分支;
45、对于任一点图分支,取或,分支对应的置信度加权归一化三维点回归损失表示为:
46、;
47、表示置信度正则项的权重系数;表示自然对数函数;表示有效三维点数量;表示正值化后的预测置信度;表示预测点图中第个有效三维点,表示点图监督数据中与其对应的真实三维点;表示预测三维点与真实三维点之间的归一化三维点回归误差;
48、当取时,得到全局点图损失;当取时,得到局部点图损失。
49、优选的,推理阶段包括以下步骤:
50、获取待重建狭长退化场景的单目图像序列、、…、以及与所述单目图像序列时间关联的惯性测量单元数据,将所述单目图像序列构造为个具有公共图像帧的图像帧对,并依次对各图像帧对执行权利要求8所述的三维重建方法,得到各图像帧对应的参考三维点图、局部三维点图、参考置信度图和局部置信度图,其中,,表示图像帧对索引,表示所述单目图像序列中最后一个图像帧的索引;
51、对于第k个图像帧对,根据第二图像帧对应的参考三维点图、局部三维点图及相应的置信度图选取有效对应三维点,利用所述有效对应三维点估计将第二图像帧自身局部相机坐标系下的局部三维点图对齐至当前图像帧对的参考相机坐标系下的参考三维点图的相似变换矩阵;其中,所述当前图像帧对的参考相机坐标系为第一图像帧自身的局部相机坐标系;
52、对于,根据公共图像帧在前一图像帧对和当前图像帧对中分别得到的局部三维点图及局部置信度图建立三维点对应关系,并利用置信度满足预设条件的对应三维点,估计将当前图像帧对预测的公共图像帧的局部三维点图对齐至前一图像帧对预测的所述公共图像帧的局部三维点图的公共帧校正变换矩阵;
53、以图像帧的局部相机坐标系作为统一场景参考坐标系,令为四阶单位矩阵,并按照下式计算各图像帧的累计相似变换矩阵:
54、;
55、将各图像帧对应的局部三维点图按照累计相似变换矩阵转换至所述统一场景参考坐标系,根据局部置信度图对转换后的三维点进行筛选和合并,得到狭长退化场景的三维点云,并根据各局部三维点图的第三坐标分量得到对应图像帧的深度图;
56、其中,表示图像帧自身的局部相机坐标系至图像帧自身的局部相机坐标系的相似变换矩阵,表示公共帧校正变换矩阵,表示图像帧的局部相机坐标系至统一场景参考坐标系的累计相似变换矩阵。
57、利用累计相似变换矩阵将各图像帧对应的局部三维点图转换至所述统一场景参考坐标系,根据局部置信度图对转换后的三维点进行筛选和合并,得到狭长退化场景的三维点云,并根据各局部三维点图的第三坐标分量得到对应图像帧的深度图。
58、与现有技术相比,本发明通过惯性时序编码模块m2对帧间惯性测量单元数据进行时序建模,并通过视觉惯性融合模块m3在特征层面将帧间惯性时序特征注入图像块视觉特征,使惯性运动信息参与跨帧几何推理,可缓解狭长退化场景中纹理重复、有效视差不足及运动模糊造成的跨帧几何关联不稳定问题,提高三维重建的稳定性和可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com