基于提案对齐与先验映射的三维场景理解方法及系统
本发明属于计算机视觉,具体涉及基于提案对齐与先验映射的三维场景理解方法及系统。
背景技术:
1、单张室内全景图能够在一次成像中覆盖完整房间视野,包含墙面、地面、顶部、家具、门窗和小型物体等丰富信息。基于单张全景图进行三维场景理解,通常需要同时获得房间布局、物体二维实例、物体三维包围框以及物体之间的空间关系,是室内数字孪生、移动机器人、增强现实和智能家居等应用中的基础技术。
2、现有单张全景图三维场景理解方法通常采用固定类别提案生成与三维估计耦合的设计方式。该类方法在二维阶段输出有限类别的实例掩码和边界框,在三维阶段继续利用固定类别向量、尺寸统计和相对关系先验预测物体尺寸、朝向和空间位置。该方案能够在训练集类别范围内获得较稳定的结果,但难以处理类别外物体、长尾物体和语义区域。
3、另一方面,开放语义分割方法能够从同一图像中产生更多物体掩码和地面、墙面、顶部、窗、门、台面等语义区域掩码。然而,开放语义分割结果通常只提供二维掩码、区域类型和语义标签,并不能直接提供三维估计所需的尺寸先验、姿态先验、支撑关系和字段结构。
4、如果仅将开放语义分割结果直接替换原有固定类别提案,则会造成输入字段不兼容、候选数量失控、物体与语义区域混淆、左右接缝处分裂提案难以合并以及三维先验缺失等问题,导致三维检测精度下降或关系推理不稳定等视觉感知失效问题。
5、因此,需要设计一套能够将开放语义二维感知结果转化为三维估计模块可直接利用的结构化输入、并同步提供类别外物体三维先验约束的技术方案,以克服现有计算机视觉系统在全景三维场景理解任务中面临的精度下降、泛化能力不足和物理一致性缺失等技术瓶颈。
技术实现思路
1、本发明是为了克服现有技术中,现有单张全景图三维场景理解中,存在固定类别依赖强、开放语义结果难以进入三维估计流程、二维错误向三维传递以及类别外物体缺乏三维先验的问题,提供了一种能够提升开放场景三维感知精度、增强类别外物体泛化能力并优化物理一致性的基于提案对齐与先验映射的三维场景理解方法及系统。
2、为了达到上述发明目的,本发明采用以下技术方案:
3、基于提案对齐与先验映射的三维场景理解方法,包括如下步骤:
4、s1,获取室内全景图样本并进行预处理,得到标准化输入图像;
5、s2,分别采用第一提案生成网络和第二语义分割网络对所述标准化输入图像进行处理,得到固定类别的第一提案集合和开放语义的第二提案集合;
6、s3,根据所述第一提案集合与所述第二提案集合构造候选配对并生成候选配对特征;
7、s4,将所述候选配对特征输入提案对齐与字段重构网络,预测各候选配对对应的动作标签,所述动作标签包括保留、修正、补充、合并和抑制五类;按所述动作标签对相应提案执行字段重构,生成融合提案集;
8、s5,对所述第二提案中的语义嵌入执行开放语义到三维先验的映射,生成尺寸先验、姿态先验和支撑类型先验,并写入所述融合提案集;
9、s6,以融合提案集、第二提案集合中的语义区域信息以及从全景图中提取的布局信息构建场景图,并执行物体-物体、物体-布局及物体-语义区域的关系建模;
10、s7,根据融合提案集、场景图和三维先验执行房间布局估计和三维包围框估计,并将预测三维框投影回全景图平面,通过投影一致性损失和物理约束损失进行迭代优化;
11、s8,输出房间布局、三维包围框及物体关系结果。
12、作为优选,在步骤s1中,所述预处理包括图像尺寸统一、像素归一化、全景经纬度坐标建立和左右接缝标记;其中所述全景经纬度坐标的建立方式为:
13、设图像宽度为w、高度为h、像素位置为(u,v),则对应的经度和纬度分别为:
14、;;
15、所述左右接缝标记是指在所述标准化输入图像的左右边缘各划定宽度为的接缝区域;所述设定为8至32像素。
16、作为优选,步骤s2中,所述第一提案集合中的每个提案至少包括实例掩码、二维边界框、全景视场范围、置信度和类别字段;所述第二提案集合中的每个提案至少包括区域掩码、区域类型、语义标签或语义嵌入以及置信度。
17、作为优选,步骤s3中,所述候选配对特征至少包括掩码交并比、边界框交并比、中心距离、接缝连续性特征和语义兼容度;所述接缝连续性特征,用于判定位于全景图像左右边缘的两个提案是否属于同一物理物体;当所述候选配对中的两个提案分别位于全景图像左右接缝带宽范围内,且该两个提案在接缝处的掩码边缘走向一致、语义类别相同或兼容时,生成合并候选标记。
18、作为优选,步骤s4中,所述动作标签包括保留、修正、补充、合并和抑制五类;所述字段重构具体包括如下过程:
19、对于修正动作,用第二提案掩码替换或修正第一提案掩码,并重新计算边界框和全景视场范围;
20、对于合并动作,将多个掩码合并为一个掩码,采用最小外接矩形更新边界框;
21、对于补充动作,依据第二提案生成新的物体字段;
22、对于抑制动作,删除相应提案。
23、作为优选,步骤s5中,所述开放语义到三维先验映射具体包括如下过程:
24、建立先验词典库d,所述词典库中每个类别条目至少包含平均尺寸向量、尺寸方差、支撑类型和姿态候选集合;
25、对融合提案的语义嵌入e,检索词典库中与e相似度最高的k个条目,并按相似度权重加权得到弱尺寸先验、弱姿态先验和弱支撑关系先验,其中1≤k≤5。
26、作为优选,步骤s7中,所述投影一致性损失的计算方式为:
27、根据全景投影模型将三维包围框投影至全景图平面,得到投影掩码和投影轮廓,与融合提案集中的融合掩码计算重叠损失和边界损失;
28、所述重叠损失基于投影掩码与融合掩码计算;所述边界损失基于投影轮廓与融合掩码轮廓计算。
29、具体的,所述投影一致性损失由重叠损失和边界损失构成,其表达式为:
30、。
31、其中,和分别为重叠损失和边界损失的非负权重;为在可见像素区域上计算的掩码重叠损失;为投影轮廓与融合掩码轮廓之间的边界损失。对任一图像像素,定义可见性标记:当u属于且第个三维包围框在该像素对应视线方向上的深度不大于其他投影物体的最小深度时,;否则。由其他物体遮挡的投影像素不参与重叠损失计算。
32、所述重叠损失采用可见区域交并比损失,表达式为:
33、;
34、其中,表示对全景图像像素u求和;和分别为投影掩码和融合提案掩码在像素u处的二值取值;为防止分母为零的预设极小正数。
35、所述边界损失的表达式为:
36、;
37、其中,为中满足的可见轮廓像素集合;为融合提案掩码的边界像素集合;表示像素到像素集合的最小欧氏距离;表示集合中像素数量。双向距离用于同时限制投影轮廓的漏覆盖和过覆盖。
38、所述物理约束损失用于约束三维包围框与室内布局面以及不同三维包围框之间的空间关系,其表达式为:
39、;
40、其中,和分别为支撑约束、房间边界约束、墙面贴附约束和物体碰撞约束的非负权重。以下各式中,表示平方铰链惩罚函数。
41、对于具有地面支撑或物体支撑先验的第个物体,设为三维包围框底面的最低高度,为该物体应接触的支撑面的高度;当支撑类型为地面支撑时,取该位置处的地面高度,当支撑类型为物体支撑时,取其支撑物体顶面高度。支撑约束损失为:
42、;
43、其中,为具有有效支撑先验的物体集合,为该集合的物体数量;该项使应受支撑的物体不悬空也不明显陷入支撑面。
44、设为第个三维包围框的八个顶点集合,为布局估计得到的房间可用空间对顶点c的有符号距离,顶点位于可用空间内时为非负值,位于可用空间外时为负值。房间边界约束损失为:
45、;
46、其中,为当前场景中的三维包围框数量,为与墙面、地面和顶面的最小安全间隙;当顶点越出房间边界或安全间隙不足时产生惩罚。
47、对于由语义类别或场景图关系判定为贴墙的第个物体,设,否则;设为该物体三维包围框至其目标墙面的最小距离,为最接近该墙面的包围框面法向量,为目标墙面法向量。墙面贴附约束损失为:
48、;
49、其中,为允许的最大贴墙间隙;为姿态对齐项的非负权重;为两法向量的内积。该项仅对窗、门、壁画、壁挂式设备等具有贴墙先验的物体启用。
50、对于任意两个不具有包含、支撑或同一实例关系的三维包围框和,设;其余物体对令,以避免对正常接触或包含关系重复惩罚。物体碰撞约束损失为:
51、;
52、其中,表示三维体积,表示两个三维包围框的相交体;当相交体积超过预设碰撞阈值时保留该惩罚,否则可置零。上述权重、、、碰撞阈值和ε均为预设参数。
53、作为优选,步骤s7中,对于所述投影掩码中被其他物体遮挡的像素区域,在计算所述重叠损失时予以排除。
54、本发明还提供了基于提案对齐与先验映射的三维场景理解系统包括:
55、图像获取与预处理模块,用于获取室内全景图样本并进行预处理,得到标准化输入图像;
56、第一提案生成模块,用于对标准化输入图像进行固定类别提案生成,得到第一提案集合;
57、第二语义分割模块,用于对标准化输入图像进行开放语义区域分割,得到第二提案集合;
58、候选配对与特征生成模块,用于根据第一提案集合与第二提案集合构造候选配对并生成候选配对特征;
59、提案对齐与字段重构模块,用于将候选配对特征输入提案对齐与字段重构网络,预测动作并生成融合提案集;
60、三维先验映射模块,用于对第二提案中的语义嵌入执行开放语义到三维先验的映射,生成三维先验并写入所述融合提案集;
61、场景图构建模块,用于以融合提案集、第二提案集合中的语义区域信息以及从全景图中提取的布局信息构建场景图并进行关系建模;
62、三维估计与投影优化模块,用于执行房间布局估计和三维包围框估计,并将预测三维框投影回全景图平面,通过投影一致性损失和物理约束损失进行迭代优化;
63、输出模块,用于输出房间布局、三维包围框及物体关系结果。
64、作为优选,所述三维估计与投影优化模块,采用迭代优化方式更新三维包围框参数,每次迭代中将当前三维框投影至全景图平面计算所述投影一致性损失和所述物理约束损失,直至满足预设条件。
65、本发明与现有技术相比,有益效果是:(1)本发明通过字段重构后的融合提案使开放语义结果能够稳定进入三维估计流程,避免直接替换造成的系统流程中断或输入不兼容,扩大了开放场景下三维感知的覆盖范围;(2)本发明通过开放语义到三维先验映射,为类别外或长尾类别物体提供可计算的弱尺寸先验、弱姿态先验和支撑关系先验,缓解单目全景图输入下三维几何估计因先验缺失导致的多解性问题;(3)本发明通过接缝连续性特征和合并动作规则,改善全景左右边缘因视场分裂导致同一物理物体被重复检测的问题,提升跨接缝物体的空间一致性;(4)本发明通过语义区域节点参与场景图建模,改善物体悬空、穿墙、贴墙关系不稳定以及布局边界误差传递的问题,提升三维场景理解结果的物理合理性;(5)本发明通过投影一致性优化,建立三维几何估计与二维图像观测之间的闭环校正机制,减少三维框漂移、尺度失真和遮挡区域误匹配,提高三维框与二维可见区域之间的一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com