基于稠密特征匹配的弱纹理场景增强现实定位方法及系统与流程
本发明属于计算机视觉,涉及一种基于稠密特征匹配的弱纹理场景增强现实定位方法及系统。
背景技术:
1、基于视觉的无标记物ar空间定位高度依赖图像特征匹配与相机位姿解算,在大面积纯色墙面、平整地面、空旷廊道等弱纹理场景中,现有定位体系暴露出明显短板。传统方案以稀疏手工特征为匹配基础,纹理匮乏区域有效特征稀缺,极易出现跟踪中断;通用卷积网络对弱纹理区域不具备特征补偿能力,帧间像素匹配可靠性较差。常规光流估计算法缺少可微软匹配亚像素回归机制,匹配精度存在先天不足,且仅通过特征相似度简单筛选错误匹配,未利用对极几何对稠密光流做逐像素几何校验,难以剔除移动物体、视线遮挡带来的无效匹配向量,异常数据持续干扰位姿解算结果,最终表现为定位轨迹漂移、抖动明显。同时,用于稠密特征提取的经典编解码网络计算开销较高,难以适配ar穿戴设备、移动终端等算力受限硬件的实时运行要求。
2、当前主流视觉定位框架大多依托少量稀疏特征点完成位姿求解与三维点三角化重建,弱纹理条件下约束方程过少,求解过程容易出现退化解,进一步降低定位可信度。多数系统仅逐帧独立解算相机外参,没有构建局部半稠密场景地图作为先验约束,缺失三维地图重投影至图像层面、与稠密特征做区域相似度匹配的闭环校正环节,无法依靠匹配偏差反向迭代优化后续帧位姿,无法形成特征提取、光流计算、几何滤波、位姿求解、增量建图、闭环优化的完整自洽链路。综上,现有技术无法同时解决弱纹理匹配失效、动态干扰鲁棒性差、定位无闭环修正、模型难以轻量化部署等多重问题,难以支撑无标记ar在低纹理室内环境下高精度、高稳定性的连续空间定位需求。因此,亟需一种能够实现稠密特征提取与稠密几何约束校验,并依托半稠密地图完成位姿闭环迭代优化的弱纹理场景无标记ar定位方法。
技术实现思路
1、本发明的目的在于解决现有技术中弱纹理区域匹配失效、动态干扰鲁棒性差、位姿求解无闭环优化及特征提取网络计算量大的缺陷的问题,提供一种基于稠密特征匹配的弱纹理场景增强现实定位方法及系统。
2、为达到上述目的,本发明采用以下技术方案予以实现:
3、基于稠密特征匹配的弱纹理场景增强现实定位方法,包括:
4、获取弱纹理场景中的连续图像序列,并设计轻量级全卷积网络,将所获取的连续图像序列为输入,输出与输入图像同分辨率的稠密特征图;
5、基于稠密特征图的前一帧与当前帧的稠密特征图,获取四维相关体素,得到像素级相似度分布;通过可微分软匹配操作对像素级相似度分布进行加权回归,得到亚像素级稠密光流场;
6、基于稠密光流场与预先标定的相机内参,通过极线约束构建稠密的几何一致性检验函数,剔除动态物体或遮挡区域对应的异常光流向量,获取有效区域掩膜;
7、基于有效区域掩膜筛选得到的稠密有效匹配点对,通过加权重投影误差函数迭代求解得到当前帧相对前一帧的相机位姿;逐帧重复上述位姿求解流程,得到时序图像序列每一帧对应的相机位姿,构成历史帧相机位姿序列;
8、基于有效区域掩膜内的像素点,并结合当前帧相对前一帧的相机位姿对匹配像素进行三角化运算,构建局部半稠密地图;
9、将构建的半稠密地图借助历史帧相机位姿重投影至当前帧图像平面,将重投影区域与当前帧得到的稠密特征图进行特征相似度区域对齐;
10、基于对齐偏差对当前帧相机位姿进行迭代优化校正,并依托稠密特征、逐帧优化得到的相机位姿以及局部半稠密地图,持续完成增量式地图更新与相机六自由度持续定位,进而实现弱纹理场景的现实定位。
11、本发明的进一步改进在于:
12、进一步的,所述设计轻量级全卷积网络,具体为:构建采用级联编码-解码架构的轻量级全卷积网络,所述轻量级全卷积网络包括卷积层与上采样层,未设置全连接层,保证输出特征图与输入图像分辨率一致;所述轻量级全卷积网络的主干卷积单元采用深度可分离卷积结构,通过分离空间卷积与通道卷积的方式降低网络参数量与计算开销。
13、进一步的,所述基于稠密特征图的前一帧与当前帧的稠密特征图,获取四维相关体素,得到像素级相似度分布,具体为:
14、基于前一帧稠密特征图与当前帧稠密特征图,针对前一帧稠密特征图中的任意像素,提取其对应的维特征向量;其中,和为图像的高度与宽度,为单像素的特征维度;
15、在当前帧中,以坐标为中心,遍历所有合法偏移量,取出当前帧稠密特征图对应位置的维特征向量;其中,为前一帧图像中任意像素的空间坐标,为当前帧候选像素相对于前一帧像素的水平、垂直偏移量;
16、对两组特征向量计算向量点积,结果即为该坐标、该偏移下的匹配相似度:
17、
18、计算结果数值越大,代表前一帧像素与当前帧偏移后像素的特征相似度越高,二者为匹配点的概率越大;遍历全图所有像素坐标与所有合法偏移后,即得到完整的四维相关体素。
19、进一步的,所述基于稠密光流场与预先标定的相机内参,通过极线约束构建稠密的几何一致性检验函数,剔除动态物体或遮挡区域对应的异常光流向量,获取有效区域掩膜,具体为:
20、根据稠密光流场中各像素对应的帧间偏移向量,获取前一帧图像中每一像素的坐标,以及该像素在当前帧图像中对应的像素匹配点坐标,构成全图像素级的稠密匹配点对集合;通过预先标定的相机内参矩阵,分别将前一帧与当前帧的像素坐标转换至归一化成像平面,得到归一化匹配点;
21、基于稠密匹配点对集合,采用随机抽样一致算法求解两帧图像间的基础矩阵,建立前一帧像素与当前帧极线之间的映射关系;以基础矩阵为核心构建稠密几何一致性检验函数,所述检验函数用于计算当前帧匹配点到对应极线的垂直几何距离;几何距离的数值越小,代表该匹配点对越符合静态场景的极线几何约束,匹配可靠性越高;反之则为异常匹配的概率越高;
22、设定距离阈值,若大于所设定的阈值,则该像素光流向量判定为异常,对应动态物体、遮挡区域;若不大于所设定的阈值,则判定为有效光流;
23、根据全图像素的有效性判定结果,生成与输入图像同分辨率的二值有效区域掩膜。
24、进一步的,所述基于有效区域掩膜筛选得到的稠密有效匹配点对,通过加权重投影误差函数迭代求解得到当前帧相对前一帧的相机位姿,具体为:将掩膜内标记为有效匹配的像素集合记为;则基于掩膜内有效匹配点构建相机位姿的加权重投影误差函数为:
25、
26、其中,为前一帧像素反投影得到的三维空间点,为当前帧对应匹配像素,为相机内参,代表相机投影函数,分别为待求解的相机旋转矩阵、平移向量;采用迭代加权最小二乘法对所述加权重投影误差函数极小化求解,得到最优相机位姿;为基于特征匹配置信度自适应的权重,所述自适应权重由四维相关体素内的像素级特征相似度计算得到,具体为:提取各匹配像素对应的相似度峰值构造特征匹配置信度,依据匹配置信度大小生成自适应权重,匹配相似度越高则对应权重越大。
27、进一步的,所述基于有效区域掩膜内的像素点,并结合相机位姿对匹配像素进行三角化运算,构建局部半稠密地图,具体为:筛选有效区域掩膜保留的可靠稠密像素匹配点对,以前后帧相机旋转矩阵与平移向量作为几何约束条件,对两两匹配像素对应的成像光线执行三角交会解算,获取各有效像素对应的场景深度信息;通过轻量化多视图立体匹配算法或深度滤波器,对连续多帧求解的深度数据进行加权融合、异常值剔除与稳定性校验,修正单帧深度求解的误差,得到像素级深度信息;结合像素图像坐标、校验后的深度信息以及相机位姿参数,将二维像素点反投影转换为三维空间点,累积所有有效像素对应的三维空间点,构建得到贴合真实场景结构的局部半稠密地图。
28、进一步的,所述将构建的半稠密地图借助历史帧相机位姿重投影至当前帧图像平面,将重投影区域与当前帧得到的稠密特征图进行特征相似度区域对齐,具体为:调取历史帧优化得到的精准相机位姿,将构建的局部半稠密三维地图进行坐标变换,重投影映射至当前帧图像平面,生成与当前帧分辨率匹配的地图重投影特征区域;将该重投影区域与当前帧经轻量级全卷积网络输出的稠密特征图进行逐区域比对,计算两者之间的像素级特征相似度,依据相似度分布完成精准区域对齐,量化得到特征对齐偏差。
29、基于稠密特征匹配的弱纹理场景增强现实定位系统,包括:
30、获取模块,所述获取模块获取弱纹理场景中的连续图像序列,并设计轻量级全卷积网络,将所获取的连续图像序列为输入,输出与输入图像同分辨率的稠密特征图;
31、加权回归模块,所述加权回归模块基于稠密特征图的前一帧与当前帧的稠密特征图,获取四维相关体素,得到像素级相似度分布;通过可微分软匹配操作对像素级相似度分布进行加权回归,得到亚像素级稠密光流场;
32、构建模块,所述构建模块基于稠密光流场与预先标定的相机内参,通过极线约束构建稠密的几何一致性检验函数,剔除动态物体或遮挡区域对应的异常光流向量,获取有效区域掩膜;
33、求解模块,所述求解模块基于有效区域掩膜筛选得到的稠密有效匹配点对,通过加权重投影误差函数迭代求解得到当前帧相对前一帧的相机位姿;逐帧重复上述位姿求解流程,得到时序图像序列每一帧对应的相机位姿,构成历史帧相机位姿序列;
34、运算模块,所述运算模块基于有效区域掩膜内的像素点,并结合当前帧相对前一帧的相机位姿对匹配像素进行三角化运算,构建局部半稠密地图;
35、对齐模块,所述对齐模块将构建的半稠密地图借助历史帧相机位姿重投影至当前帧图像平面,将重投影区域与当前帧得到的稠密特征图进行特征相似度区域对齐;
36、校正模块,所述校正模块基于对齐偏差对当前帧相机位姿进行迭代优化校正,并依托稠密特征、逐帧优化得到的相机位姿以及局部半稠密地图,持续完成增量式地图更新与相机六自由度持续定位,进而实现弱纹理场景的现实定位。
37、与现有技术相比,本发明具有以下有益效果:
38、本发明通过构建轻量级全卷积网络,输出同分辨率稠密特征图;构建四维相关体素表征像素相似度,经可微分软匹配得到亚像素稠密光流;结合极线约束逐像素几何校验,剔除动态、遮挡异常光流生成有效掩膜;依托掩膜内匹配点,采用自适应权重重投影误差迭代求解相机位姿;通过多视图三角化构建局部半稠密地图;将地图重投影至图像与稠密特征对齐,利用对齐偏差迭代校正位姿,实现增量式地图更新与六自由度连续定位。本发明能够有效解决弱纹理场景特征稀缺、动态干扰、定位漂移抖动等问题,实现弱纹理环境下相机六自由度增强现实定位。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com