一种基于前馈网络与多时间窗融合的三维重建方法及系统与流程
本公开属于三维建模,特别涉及一种基于前馈网络与多时间窗融合的三维重建方法及系统。
背景技术:
1、通信基础设施数字化管理推动室内外场景、大型结构三维建模快速发展,相关模型为结构健康监测、施工规划与运维管理提供数据支撑。受目标结构复杂、户外环境多变影响,高效精准的三维重建成为行业痛点。目前主流重建技术包括图像驱动的sfm/mvs、lidar融合重建及前馈transformer重建,但sfm/mvs高度依赖图像纹理与光照条件,弱纹理、天空背景等场景易出现匹配失败、重建精度低;lidar几何测量精度高,但设备成本高、部署复杂,难以大规模推广;前馈transformer重建速度快,但在大场景、动态遮挡与光照变化环境下鲁棒性不足,姿态与几何预测误差较大。现有改进方案虽提升了部分性能,但仍面临计算量大、弱纹理与动态干扰影响重建效果、自动化与通用性不足等问题,难以在低成本、轻量化工程场景中普及。
2、为此,亟需一种单一视觉模态、结合实例分割与时间窗融合、无需外部标定且适配资源受限平台的三维重建方法,在弱纹理、光照变化、动态遮挡等复杂户外环境下,稳定、低成本获取高质量三维点云模型,满足基础设施巡检、结构健康监测及数字化运维的工程需求。
技术实现思路
1、为解决上述问题,本公开提供了一种基于前馈网络与多时间窗融合的三维重建方法,具有低成本、高效率、高稳定性获取无人机巡检的复杂户外环境区域三维几何信息的优点,该方法包括:
2、将无人机采集的原始图像序列输入预训练的前馈网络,得到所述原始图像序列对应的稠密点云序列与相机位姿序列;
3、将所述原始图像序列输入基于知识蒸馏训练的实例分割网络,得到所述原始图像序列对应的掩码序列;其中,在基于知识蒸馏训练所述实例分割网络时,采用的损失函数至少包括特征蒸馏损失函数;
4、根据所述掩码序列对所述稠密点云序列进行筛选,得到有效点云序列;
5、在所述原始图像序列对应总时间窗口内划分若干个时间窗,根据所述有效点云序列与相机位姿序列,构建每个时间窗对应的局部三维点云;
6、融合所有局部三维点云得到目标三维点云。
7、进一步地,在基于知识蒸馏训练所述实例分割网络时,通过sobel或canny算子提取所述原始图像序列的梯度信息并根据所述梯度信息构造轮廓标签;所述轮廓标签用于约束分割掩码边缘与图像真实边缘对齐。
8、进一步地,在基于知识蒸馏训练所述实例分割网络时,采用的损失函数,还包括:类别交叉熵损失函数、掩码一致性损失函数及轮廓损失函数。
9、进一步地,根据所述掩码序列对所述稠密点云序列进行筛选,包括:基于所述掩码序列剔除所述稠密点云序列中的无效点云序列;所述无效点云序列,包括:弱纹理、无特征及非目标背景区域对应的点云序列。
10、进一步地,融合所有局部三维点云得到目标三维点云,包括:对相邻局部三维点云的重叠区域进行位姿优化,以最小化重投影误差实现配准对齐。
11、进一步地,对相邻局部三维点云的重叠区域进行位姿优化,包括:采用梯度下降方式求解旋转-平移矩阵,将所有局部三维点云统一至同一坐标系。
12、进一步地,在融合所有局部三维点云得到目标三维点云时,采用三维非极大值抑制剔除低置信度、冗余及重复的三维点。
13、本公开还提出一种基于前馈网络与多时间窗融合的三维重建系统,包括:
14、第一提取模块,用于将无人机采集的原始图像序列输入预训练的前馈网络,得到所述原始图像序列对应的稠密点云序列与相机位姿序列;
15、第二提取模块,用于将所述原始图像序列输入基于知识蒸馏训练的实例分割网络,得到所述原始图像序列对应的掩码序列;其中,在基于知识蒸馏训练所述实例分割网络时,采用的损失函数至少包括特征蒸馏损失函数;
16、点云筛选模块,用于根据所述掩码序列对所述稠密点云序列进行筛选,得到有效点云序列;
17、点云构建模块,用于在所述原始图像序列对应总时间窗口内划分若干个时间窗,根据所述有效点云序列与相机位姿序列,构建每个时间窗对应的局部三维点云;
18、点云融合模块,用于融合所有局部三维点云得到目标三维点云。
19、本公开还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,所述计算机指令由处理器执行时,至少用于实现上述的基于前馈网络与多时间窗融合的三维重建方法。
20、本公开还提出一种计算机程序产品,所述计算机程序产品被存储于计算机可读存储介质中,所述计算机程序产品被处理器执行时,至少用于实现上述的基于前馈网络与多时间窗融合的三维重建方法。
21、与现有技术相比,本公开具有如下优点:
22、(1)通过预训练前馈网络直接推理得到稠密点云与相机位姿,省去传统sfm/mvs的特征匹配、迭代优化等复杂流程,实现端到端高效三维重建,显著降低计算开销,提升建模速度与流程简洁性;
23、(2)采用知识蒸馏训练轻量化实例分割网络,并结合图像梯度构建轮廓标签与多损失函数联合优化,在保证弱纹理、无特征及非目标背景区域分割精度的同时,降低模型推理开销,适配资源受限平台与无人机轻量化部署;
24、(3)基于掩码序列剔除无效点云,仅保留目标结构区域有效点云,有效避免弱纹理区域导致的特征误匹配、点云断裂与几何畸变,大幅提升三维重建的完整性、稳定性与结构精度;
25、(4)通过多时间窗局部重建与重叠区域位姿优化实现全局配准,并结合三维非极大值抑制过滤冗余点,保证全局模型几何一致性,同时提升点云稠密度与可靠性,此外,本方法仅以单一rgb图像为输入,无需lidar等高价传感器与外部标定,显著降低硬件成本与部署难度。
26、本公开的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
1.一种基于前馈网络与多时间窗融合的三维重建方法,其特征在于,包括:
2.如权利要求1所述的基于前馈网络与多时间窗融合的三维重建方法,其特征在于,在基于知识蒸馏训练所述实例分割网络时,通过sobel或canny算子提取所述原始图像序列的梯度信息并根据所述梯度信息构造轮廓标签;所述轮廓标签用于约束分割掩码边缘与图像真实边缘对齐。
3.如权利要求2所述的基于前馈网络与多时间窗融合的三维重建方法,其特征在于,在基于知识蒸馏训练所述实例分割网络时,采用的损失函数,还包括:类别交叉熵损失函数、掩码一致性损失函数及轮廓损失函数。
4.如权利要求1所述的基于前馈网络与多时间窗融合的三维重建方法,其特征在于,根据所述掩码序列对所述稠密点云序列进行筛选,包括:基于所述掩码序列剔除所述稠密点云序列中的无效点云序列;所述无效点云序列,包括:弱纹理、无特征及非目标背景区域对应的点云序列。
5.如权利要求1所述的基于前馈网络与多时间窗融合的三维重建方法,其特征在于,融合所有局部三维点云得到目标三维点云,包括:对相邻局部三维点云的重叠区域进行位姿优化,以最小化重投影误差实现配准对齐。
6.如权利要求5所述的基于前馈网络与多时间窗融合的三维重建方法,其特征在于,对相邻局部三维点云的重叠区域进行位姿优化,包括:采用梯度下降方式求解旋转-平移矩阵,将所有局部三维点云统一至同一坐标系。
7.如权利要求1所述的基于前馈网络与多时间窗融合的三维重建方法,其特征在于,在融合所有局部三维点云得到目标三维点云时,采用三维非极大值抑制剔除低置信度、冗余及重复的三维点。
8.一种基于前馈网络与多时间窗融合的三维重建系统,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,所述计算机指令由处理器执行时,至少用于实现权利要求1-7任意一项所述的基于前馈网络与多时间窗融合的三维重建方法。
10.一种计算机程序产品,所述计算机程序产品被存储于计算机可读存储介质中,其特征在于,所述计算机程序产品被处理器执行时,至少用于实现权利要求1-7任一项所述的基于前馈网络与多时间窗融合的三维重建方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com