基于多模态数据的高保真3D模型自动生成方法及系统与流程
本技术涉及数字建模的领域,尤其是涉及一种基于多模态数据的高保真3d模型自动生成方法及系统。
背景技术:
1、3d模型自动生成在建筑数字孪生、消防审验、智能运维等领域中作为关键技术环节,用于将物理建筑空间映射为可计算的虚拟模型。在该领域的现有方法中,无人机倾斜摄影、多目视觉、激光雷达手持仪等多模态采集装置被用于采集多视角图像和点云数据,并基于这些数据自动重建建筑物的稠密3d几何模型;针对扫描过程中不可避免出现的遮挡和盲区,ai驱动的几何修复方法被引入用于填补缺失部分。
2、然而,现有方法在面对建筑场景的高保真重建需求时,因多模态采集装置各自独立工作而难以将无人机倾斜摄影、多目视觉、激光点云和惯性测量等异源异时序数据统一到同一空间坐标系,所以重建所得几何精度受到模态间错位的限制;进而由于扫描盲区和遮挡区域的几何修复仅依赖几何邻域信息或通用ai模型,缺乏对建筑构件类别和消防设施类别等语义先验的利用,加之未引入建筑设计规范、消防技术规范等领域规范作为几何尺寸约束,使得修复结果容易生成语义类型上看似合理但与实际建筑规范不符的几何构件,造成最终输出的3d模型在面向消防审验等合规场景时无法直接使用,仍依赖人工核验和返工进行兜底。
技术实现思路
1、为了使多模态采集数据被统一融合到同一空间坐标系下,遮挡区域被语义先验和领域规范联合约束修复,从而输出语义化、合规可用的高保真3d模型,本技术提供一种基于多模态数据的高保真3d模型自动生成方法及系统。
2、第一方面,本技术提供的一种基于多模态数据的高保真3d模型自动生成方法,采用如下的技术方案:
3、一种基于多模态数据的高保真3d模型自动生成方法,包括以下步骤:
4、s1.获取多模态采集数据,多模态采集数据包括多视角图像、稀疏点云、稠密激光点云、全景图像和惯性测量信号。
5、s2.对多模态采集数据执行多模态时空联合配准,得到位于统一空间坐标系下的融合多模态数据。
6、s3.基于融合多模态数据生成目标场景的稠密3d几何表征。
7、s4.对稠密3d几何表征执行语义识别,得到语义识别结果,语义识别结果包括建筑构件类别标签和消防设施类别标签。
8、s5.对稠密3d几何表征执行遮挡检测,确定遮挡区域。
9、s6.对遮挡区域执行双约束ai修复,得到修复后的几何表征,双约束ai修复以语义识别结果为类型先验,以领域规范几何参数库为尺寸先验,使修复后的几何表征在类型先验和尺寸先验下均通过校验。
10、s7.基于修复后的几何表征输出语义化3d模型,语义化3d模型包括修复后的几何表征和与修复后的几何表征绑定的语义标签。
11、通过采用上述技术方案,将多模态时空联合配准作为融合前置步骤,使无人机倾斜摄影、多目视觉、激光点云和惯性测量等异源异时序数据被统一到同一空间坐标系下,避免因模态间错位引入的几何重建误差;并将语义识别结果与领域规范几何参数库共同作为遮挡区域ai修复的双重先验,使修复结果同时通过语义类型校验和规范尺寸校验,避免生成形态合理但与建筑规范不符的幻觉构件;从而使最终输出的3d模型携带与几何表征绑定的构件级与设施级语义标签,能够直接对接消防审验等合规场景,无需人工核验返工。
12、可选的,领域规范几何参数库存储有多个语义类别分别对应的几何模板、尺寸约束区间和拓扑约束规则;类型先验包括语义识别结果中的建筑构件类别标签或消防设施类别标签;尺寸先验通过根据建筑构件类别标签或消防设施类别标签从领域规范几何参数库中索引获得,尺寸先验包括所索引到的几何模板、尺寸约束区间和拓扑约束规则;双约束ai 修复以类型先验作为修复网络的类别条件输入,以几何模板、尺寸约束区间和拓扑约束规则作为修复网络的联合约束,使修复后的几何表征通过基于几何模板的形态校验、基于尺寸约束区间的取值校验和基于拓扑约束规则的位置校验;响应于修复后的几何表征未通过形态校验、取值校验和位置校验中的任一项,将修复后的几何表征所对应的遮挡区域标记为待重新修复区域。
13、通过采用上述技术方案,将语义类别先验和规范几何先验在修复网络的输出空间中联合校验,使单先验通过的修复结果被显式拒绝,同时压制语义合理而尺寸违规、以及尺寸合理而语义错位两类幻觉构件。
14、可选的,在双约束ai修复执行过程中,对每一遮挡区域计算综合置信度,综合置信度由语义识别结果所对应的语义置信度、修复后的几何表征与邻域几何之间的一致性得分、以及修复后的几何表征对领域规范几何参数库的匹配得分加权得到;基于综合置信度对遮挡区域执行分级处置,分级处置包括为每一遮挡区域分配档位,档位的取值由遮挡区域所对应的综合置信度所位于的档区间确定。
15、通过采用上述技术方案,将多源置信度统一为综合置信度,并以档位记录每一遮挡区域的置信等级,作为后续按档位执行差异化处置和迭代闭环的统一输入。
16、可选的,档位的取值包括第一档位、第二档位和第三档位,第一档位、第二档位和第三档位分别对应第一档区间、第二档区间和第三档区间,第一档区间所对应的综合置信度高于第二档区间所对应的综合置信度,第二档区间所对应的综合置信度高于第三档区间所对应的综合置信度;响应于档位为第一档位,对遮挡区域执行精细修复,精细修复以所述几何模板为基础生成与尺寸约束区间和拓扑约束规则相一致的精细网格;响应于档位为第二档位,对遮挡区域执行降分辨率插补修复,降分辨率插补修复生成与尺寸约束区间和拓扑约束规则相一致的低分辨率几何表征;响应于档位为第三档位,对遮挡区域不执行几何细节填充,仅生成包络遮挡区域的占位体积,并对占位体积附加待人工核验标记。
17、通过采用上述技术方案,按档位对遮挡区域施加不同粒度的几何投入,高置信区域精细修复,中置信区域低分辨率几何插补,低置信区域留白并附人工核验标记,避免低置信修复污染整体模型可信度。
18、可选的,对稠密3d几何表征执行语义识别和双约束ai修复至少两次迭代,每次迭代包括:基于本次迭代输入的几何表征执行语义识别,得到本次迭代对应的语义识别结果;基于本次迭代对应的语义识别结果执行双约束ai修复,得到本次迭代对应的修复后的几何表征;对每一遮挡区域计算本次迭代对应的综合置信度,并根据本次迭代对应的综合置信度更新遮挡区域所对应的档位;其中,第二次及以后的迭代仅对所对应的档位不为第一档位的遮挡区域执行双约束ai修复;对所对应的档位为第一档位的遮挡区域,将遮挡区域当前所对应的修复后的几何表征冻结,使被冻结的修复后的几何表征不再参与本次双约束ai修复;迭代的终止判据为:所有遮挡区域所对应的档位在两次连续迭代之间不再发生上升,或者迭代的轮次达到预设的迭代轮次上限。
19、通过采用上述技术方案,将识别和修复构成基于档位的局部迭代闭环,已被认定为高档位的遮挡区域被冻结不再参与后续迭代,使迭代效率随轮次提升并避免高档区域被低质量再修复污染。
20、可选的,领域规范几何参数库包括与多个语义类别分别绑定的可参数化几何约束项,可参数化几何约束项被映射为修复网络的损失函数中的软约束损失项,软约束损失项参与修复网络的端到端优化。
21、通过采用上述技术方案,将领域规范以可参数化损失项的形式注入修复网络的端到端优化过程,使修复网络在训练阶段即将规范知识沉淀至网络权重,推理阶段输出的候选大概率一次通过事后校验。
22、可选的,领域规范几何参数库划分为多个建筑类型分别对应的子库,领域规范几何参数库支持热加载;响应于建筑类型识别结果发生切换,将当前生效的子库切换为与切换后的建筑类型识别结果对应的子库;建筑类型识别结果通过对语义识别结果中的建筑构件类别标签和消防设施类别标签的分布特征执行分类得到。
23、通过采用上述技术方案,按建筑类型自动切换规范子库,无需重新训练即可在不同建筑类型的设计规范和消防技术规范之间复用同一修复网络。
24、可选的,s2包括子步骤s21-s23:
25、s21.以稠密激光点云作为基准锚点,将多视角图像、稀疏点云和全景图像通过特征点匹配迭代精配准至基准锚点所对应的统一空间坐标系,得到精配准后的多视角图像、精配准后的稀疏点云和精配准后的全景图像。
26、s22.利用惯性测量信号对稠密激光点云的采集运动执行高频姿态补偿,将稠密激光点云投影至同一时刻参考帧,得到补偿后的稠密激光点云。
27、s23.基于基准锚点、精配准后的多视角图像、精配准后的稀疏点云、精配准后的全景图像和补偿后的稠密激光点云,构建融合多模态数据。
28、通过采用上述技术方案,以稠密激光点云作为基准锚点统一图像与点云模态的空间坐标系,以高频惯性测量信号补偿采集运动的姿态偏差,使异源异时序的多模态数据投影到同一时刻参考帧后再融合。
29、可选的,对同一目标场景执行至少两次采集得到多次多模态采集数据,将多次多模态采集数据按目标场景的标识码缓存为时序累积数据;在执行双约束ai修复时,将历次采集对应的语义识别结果作为类型先验的扩展项注入修复网络,将历次采集中已被认定为第一档位的遮挡区域所对应的修复后的几何表征作为本次采集中对应位置的初始值。
30、通过采用上述技术方案,使同一目标场景的多次扫描结果累积为时序先验,每次扫描的高档位区域逐次冻结,遮挡区域和待人工核验区域随采集次数减少。
31、可选的,多模态采集数据中的多视角图像和稀疏点云来自第一采集装置,多模态采集数据中的稠密激光点云、全景图像和惯性测量信号来自第二采集装置;将第一采集装置采集的拓扑结构特征作为第二采集装置局部精细扫描的拓扑先验,将第二采集装置采集的局部几何细节作为第一采集装置缺失视角的细节先验。
32、通过采用上述技术方案,使两种采集装置在拓扑层和细节层互为先验,第一采集装置引导第二采集装置进入低置信区域精扫,第二采集装置的几何细节回填到第一采集装置缺失视角。
33、可选的,在s5之后还执行:根据领域规范几何参数库中各语义类别对应的拓扑约束规则统计已识别建筑构件和消防设施的实际分布;响应于实际分布与拓扑约束规则之间的偏差超过预设的反推阈值,将实际分布中缺失或间隔不符合规范的位置确定为补充遮挡区域,并将补充遮挡区域并入遮挡区域执行双约束ai修复。
34、通过采用上述技术方案,使规范先验从被动校验转为主动反推,识别出几何上未呈现空洞但语义上规范要求设施缺失的位置,弥补几何空洞检测对规范级缺失的盲区。
35、可选的,迭代的终止判据还包括:所有遮挡区域所对应的档位均不为第三档位,且语义识别结果中各建筑构件类别和消防设施类别在领域规范几何参数库的拓扑约束规则下的覆盖率达到预设的覆盖率阈值。
36、通过采用上述技术方案,将规范覆盖率作为额外的硬终止条件叠加于档位稳定判据之上,使迭代既要在置信度上收敛,又要在规范覆盖度上达标,避免置信度收敛但规范层缺失的提前终止情形。
37、可选的,s4包括子步骤s41-s42:
38、s41.对稠密3d几何表征执行构件大类识别,得到大类标签,大类标签包括墙、门、窗和楼梯。
39、s42.响应于大类标签为门,对识别为门的几何区域执行子类识别,得到包括防火门、普通门和防爆门的子类标签;响应于大类标签为窗,对识别为窗的几何区域执行子类识别,得到包括防火窗和普通窗的子类标签;将大类标签和子类标签共同纳入语义识别结果。
40、通过采用上述技术方案,将语义识别按构件大类与设施子类两级展开,大类识别提供构件级几何边界,子类识别在大类范围内细分消防属性,识别精度与训练效率均提升。
41、可选的,s5包括子步骤s51-s52:
42、s51.基于稠密3d几何表征中点云密度低于预设密度阈值的连通区域确定几何空洞遮挡区域。
43、s52.基于领域规范几何参数库中各语义类别的拓扑约束规则确定拓扑期望位置,将语义识别结果中无构件标签但拓扑期望位置存在的连通区域确定为拓扑缺失遮挡区域;将几何空洞遮挡区域和拓扑缺失遮挡区域共同确定为遮挡区域。
44、通过采用上述技术方案,将遮挡检测从单一的几何空洞维度扩展到拓扑期望维度,使被几何空洞维度遗漏但被领域规范要求位置存在的设施缺失区域被纳入修复对象。
45、可选的,s5还包括:将稠密3d几何表征反向投影至多视角图像和全景图像各自的图像平面,得到反向投影掩膜;响应于某一连通区域上反向投影掩膜覆盖的图像数量低于预设的视角覆盖阈值,将该连通区域确定为视角覆盖不足遮挡区域,并将视角覆盖不足遮挡区域并入遮挡区域。
46、通过采用上述技术方案,以多视角图像和全景图像的反向投影覆盖度作为补充遮挡判据,使被多视角投影同时不可见的区域被识别为视角覆盖不足遮挡区域。
47、可选的,s3还包括:在生成稠密3d几何表征时,对稠密激光点云的法向梯度突变处和稠密3d几何表征前一轮迭代中已确定的建筑构件类别边界处共同施加表面闭合约束,使稠密3d几何表征在结构边界处不发生跨边界延伸。
48、通过采用上述技术方案,使几何重建过程接收前一轮迭代的语义边界作为表面闭合约束,避免重建结果在构件边界处发生跨边界延伸,提升重建几何与语义边界的对齐度。
49、第二方面,本技术提供的一种基于多模态数据的高保真3d模型自动生成系统,采用如下的技术方案:
50、一种基于多模态数据的高保真3d模型自动生成系统,包括:
51、多模态采集模块,被配置成获取多模态采集数据,多模态采集数据包括多视角图像、稀疏点云、稠密激光点云、全景图像和惯性测量信号;
52、配准融合模块,被配置成对多模态采集数据执行多模态时空联合配准,得到位于统一空间坐标系下的融合多模态数据;
53、几何重建模块,被配置成基于融合多模态数据生成目标场景的稠密3d几何表征;
54、语义识别模块,被配置成对稠密3d几何表征执行语义识别,得到语义识别结果,语义识别结果包括建筑构件类别标签和消防设施类别标签;
55、遮挡检测模块,被配置成对稠密3d几何表征执行遮挡检测,确定遮挡区域;
56、双约束修复模块,被配置成对遮挡区域执行双约束ai修复,得到修复后的几何表征,双约束ai修复以语义识别结果为类型先验,以领域规范几何参数库为尺寸先验,使修复后的几何表征在类型先验和尺寸先验下均通过校验;
57、模型输出模块,被配置成基于修复后的几何表征输出语义化3d模型,语义化3d模型包括修复后的几何表征和与修复后的几何表征绑定的语义标签;
58、其中,多模态采集模块的输出连接至配准融合模块的输入,配准融合模块的输出连接至几何重建模块的输入,几何重建模块的输出分别连接至语义识别模块的输入和遮挡检测模块的输入,语义识别模块的输出和遮挡检测模块的输出共同连接至双约束修复模块的输入,双约束修复模块的输出连接至模型输出模块的输入。
59、通过采用上述技术方案,将上述方法的各步骤封装为相互连接的功能模块,多模态采集模块至模型输出模块沿数据流方向串接,使方法层面的多模态时空联合配准、双约束ai修复和语义化输出在系统层面具有对应的物理或逻辑实现。
60、可选的,双约束修复模块还被配置成:对每一遮挡区域计算综合置信度,综合置信度由语义识别结果所对应的语义置信度、修复后的几何表征与邻域几何之间的一致性得分、以及修复后的几何表征对领域规范几何参数库的匹配得分加权得到;并基于综合置信度对遮挡区域执行分级处置;分级处置包括为每一遮挡区域分配档位,档位的取值由遮挡区域所对应的综合置信度所位于的档区间确定;上述系统还包括迭代控制模块,迭代控制模块被配置成调度语义识别模块和双约束修复模块对稠密3d几何表征执行至少两次迭代,迭代的终止判据为所有遮挡区域所对应的档位在两次连续迭代之间不再发生上升,或者迭代的轮次达到预设的迭代轮次上限。
61、通过采用上述技术方案,在系统层面引入迭代控制模块协同语义识别模块和双约束修复模块的多轮调用,使系统能够按档位执行局部迭代,与方法层面的迭代闭环对应。
62、综上所述,本技术包括以下至少一种有益技术效果:
63、1、通过将多模态时空联合配准作为重建前置步骤、并将语义识别结果与领域规范几何参数库作为遮挡区域ai修复的双重先验,使异源异时序数据被统一融合、修复结果同时通过类型与规范尺寸校验,避免了幻觉构件的生成。
64、2、通过对修复结果按综合置信度分级处置并构建按档位的局部迭代闭环,使高档位区域被冻结、低档位区域留白并附人工核验标记,使迭代效率随轮次提升并避免低置信修复污染整体模型可信度。
65、3、通过将领域规范以可参数化损失项注入修复网络的端到端优化、并按建筑类型自动切换规范子库,使修复网络在训练阶段即学会不生成违反规范的几何,无需重训即可适配不同建筑类型。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com