一种基于双视图语义查询与多形态几何基元的点云生成方法、系统、平台及存储介质与流程
本发明属于计算机视觉与三维重建,具体涉及一种基于双视图语义查询与多形态几何基元的点云生成方法、系统、平台及存储介质。
背景技术:
1、双目立体匹配通过寻找左右影像中像素的对应关系来获取视差,进而重建三维点云,是计算机视觉与三维重建领域的核心技术之一。传统双目重建方法主要依赖左右影像中局部灰度、纹理梯度和邻域结构的相似性来确定像素对应关系。在纹理丰富、照度稳定且遮挡较少的区域,正确匹配位置通常能够形成较为明显的代价极值,从而获得可靠的视差结果。
2、然而,现实场景的双目重建过程中,在大面积弱纹理表面及重复纹理区域,多个候选位置具有相近的匹配代价,对应关系不唯一,导致点云分层、表面波纹及前后景粘连等问题。现有技术中缺乏利用对象级语义信息约束像素级视差搜索范围的手段,该匹配歧义问题长期未得到根本解决。
3、还有,现有语义辅助双目重建方法多采用“先分割、后匹配”或“先匹配、后补全”的串联结构,语义分割模型通常仅处理单幅影像,实例掩膜缺少左右视图间对应关系,无法利用极线几何约束校正匹配边界。当弱纹理区域初始视差大面积缺失时,后续几何拟合因有效点不足而不稳定,易产生外推误差。其根源在于语义信息与几何重建之间缺乏双向交互和联合优化机制。
4、此外,在现实场景中,同一语义实例内部往往同时包含平面、曲面、圆柱等多种几何形态。若为整个实例选择单一模型拟合,则不同局部形态将被强制拟合为同一表面,导致细节失真。现有技术在点云生成后为实例赋予单一模型类型,未能在像素级自适应地选择和融合多种几何基元,无法精准描述实例内部随空间变化的复杂形态。而且,现有方法中信息传递基本为单向,二维分割错误直接传递至三维点云,造成粘连或裂缝,且缺乏将三维点云结构反向投影至二维图像以检验和校正实例掩膜的手段,导致分割错误无法在重建过程中被识别和修正。
5、因此,针对上述所存在的技术缺陷问题,急需设计和开发一种基于双视图语义查询与多形态几何基元的点云生成方法、系统、平台及存储介质。
技术实现思路
1、为克服上述现有技术存在的不足及困难,本发明之目的在于提供一种基于双视图语义查询与多形态几何基元的点云生成方法、系统、平台及存储介质,以解决传统双目重建中因信息割裂而导致的一系列问题。
2、本发明的第一目的在于提供一种基于双视图语义查询与多形态几何基元的点云生成方法;本发明的第二目的在于提供一种基于双视图语义查询与多形态几何基元的点云生成系统;本发明的第三目的在于提供一种基于双视图语义查询与多形态几何基元的点云生成平台;本发明的第四目的在于提供一种计算机可读取存储介质。
3、本发明的第一目的是这样实现的,所述方法包括步骤:
4、分别创建生成并获取与目标场景相对应的第一视觉图像和第二视觉图像;并分别提取所述第一视觉图像和所述第二视觉图像各自的视觉特征,以及生成并获取与所述目标场景相对应的语义特征;
5、根据所述视觉特征和所述语义特征,构建生成跨视角共享查询;其中,所述跨视角共享查询表征同一空间对象在不同视角图像中的实例级对应关系;
6、基于所述共享查询,预测所述空间对象在视差域内的搜索区间和搜索中心;并于所述搜索区间内,依据所述共享查询对所述第一视觉图像与所述第二视觉图像中像素的匹配代价施加约束,创建生成初始视差概率分布;其中,所述搜索区间和所述搜索中心由所述跨视角共享查询经由映射网络输出获得;所述搜索中心和所述搜索区间依据系统预设的全局最大视差执行归一化标定;
7、根据所述语义特征和所述初始视差概率分布,解算各像素在多种几何基元上的分布权重,并依据所述分布权重融合所述多种几何基元各自的预测视差,生成相对应的几何引导视差;
8、将所述初始视差概率分布、所述共享查询以及所述几何引导视差共同传输至循环更新单元执行递归迭代,并在满足预设条件时停止迭代,输出所得视差;
9、根据所述所得视差重建与所述目标场景相对应的三维点云。
10、本发明的第二目的是这样实现的:所述系统用于实现所述基于双视图语义查询与多形态几何基元的点云生成方法,所述系统包括:
11、双视图特征编码单元,用于分别创建生成并获取与目标场景相对应的第一视觉图像和第二视觉图像;并分别提取所述第一视觉图像和所述第二视觉图像各自的视觉特征,以及生成并获取与所述目标场景相对应的语义特征;
12、跨视角共享查询构建单元,用于根据所述视觉特征和所述语义特征,构建生成跨视角共享查询;其中,所述跨视角共享查询表征同一空间对象在不同视角图像中的实例级对应关系;
13、立体匹配代价构建单元,用于基于所述共享查询,预测所述空间对象在视差域内的搜索区间和搜索中心;并于所述搜索区间内,依据所述共享查询对所述第一视觉图像与所述第二视觉图像中像素的匹配代价施加约束,创建生成初始视差概率分布;其中,所述搜索区间和所述搜索中心由所述跨视角共享查询经由映射网络输出获得;所述搜索中心和所述搜索区间依据系统预设的全局最大视差执行归一化标定;
14、多形态几何基元场预测单元,用于根据所述语义特征和所述初始视差概率分布,解算各像素在多种几何基元上的分布权重,并依据所述分布权重融合所述多种几何基元各自的预测视差,生成相对应的几何引导视差;
15、语义几何循环更新单元,用于将所述初始视差概率分布、所述共享查询以及所述几何引导视差共同传输至循环更新单元执行递归迭代,并在满足预设条件时停止迭代,输出所得视差;
16、三维点云生成单元,用于根据所述所得视差重建与所述目标场景相对应的三维点云。
17、本发明的第三目的是这样实现的:包括处理器、存储器以及基于双视图语义查询与多形态几何基元的点云生成平台控制程序;其中在所述的处理器执行所述的基于双视图语义查询与多形态几何基元的点云生成平台控制程序,所述的基于双视图语义查询与多形态几何基元的点云生成平台控制程序被存储在所述存储器中,所述的基于双视图语义查询与多形态几何基元的点云生成平台控制程序,实现所述的基于双视图语义查询与多形态几何基元的点云生成方法。
18、本发明的第四目的是这样实现的:所述计算机可读取存储介质存储有基于双视图语义查询与多形态几何基元的点云生成平台控制程序,所述的基于双视图语义查询与多形态几何基元的点云生成平台控制程序,实现所述的基于双视图语义查询与多形态几何基元的点云生成方法。
19、本发明方案通过分别创建生成并获取与目标场景相对应的第一视觉图像和第二视觉图像;并分别提取所述第一视觉图像和所述第二视觉图像各自的视觉特征,以及生成并获取与所述目标场景相对应的语义特征;然后,根据所述视觉特征和所述语义特征,构建生成跨视角共享查询;其中,所述跨视角共享查询表征同一空间对象在不同视角图像中的实例级对应关系;基于所述共享查询,预测所述空间对象在视差域内的搜索区间和搜索中心;并于所述搜索区间内,依据所述共享查询对所述第一视觉图像与所述第二视觉图像中像素的匹配代价施加约束,创建生成初始视差概率分布;其中,所述搜索区间和所述搜索中心由所述跨视角共享查询经由映射网络输出获得;所述搜索中心和所述搜索区间依据系统预设的全局最大视差执行归一化标定;同时,根据所述语义特征和所述初始视差概率分布,解算各像素在多种几何基元上的分布权重,并依据所述分布权重融合所述多种几何基元各自的预测视差,生成相对应的几何引导视差;将所述初始视差概率分布、所述共享查询以及所述几何引导视差共同传输至循环更新单元执行递归迭代,并在满足预设条件时停止迭代,输出所得视差;最后,根据所述所得视差重建与所述目标场景相对应的三维点云,以及与所述方法相对应的系统、平台及存储介质,即通过语义引导的跨视角实例查询自适应约束视差搜索、多形态几何基元像素级动态融合描述复杂异构结构、以及三维点云空间结构一致性反向校验修正二维语义误差,在提高弱纹理区域点云完整度的同时,保持了物体边界和遮挡区域的真实尺度与精细几何细节。
20、也就是说,本发明通过构建语义几何三维深度融合的闭环系统,解决了弱纹理及重复纹理区域的匹配歧义问题,通过在实例层面建立左右视图对应关系并自适应约束视差搜索范围,配合语义隶属度与掩膜代价的联合约束,提升了视差估计的鲁棒性和点云完整度,避免了传统方法因局部像素信息不足而导致的点云分层、表面波纹和前后景粘连;同时,通过像素级多形态几何基元场的动态权重分配,精准拟合了同一实例内部平面、曲面及圆柱等多种复杂异构形态,克服了单一模型强制拟合造成的几何失真,以及保持了局部细节精度;在此基础上,将生成的三维点云反向投影至二维图像平面,依据空间结构一致性校验结果修正实例掩膜和共享查询,形成了完整的闭环优化机制,从而在降低匹配歧义、提升结构表征精度和校正二维语义误差三个层面实现了协同增益,最终生成的空间点云在弱纹理区域具备高完整度的同时,在物体边界和遮挡区域保持了真实的空间尺度与精细的几何细节。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com