一种三维空间扫描、重建及编辑设计系统、方法、介质与流程
本发明涉及三维空间交互,尤其是指一种三维空间扫描、重建及编辑设计系统、方法、介质。
背景技术:
1、随着三维数字化、智能家居可视化、虚拟空间仿真技术的快速发展,三维空间扫描与重建技术已广泛应用于家装设计、空间测绘、虚拟场景搭建、家居智能搭配等诸多领域,成为物理空间数字化复刻与可视化编辑的核心支撑技术。依托终端设备的图像采集与深度感知能力,实现真实空间的三维模型重建,能够打破传统平面设计的局限性,为用户提供沉浸式、立体化的空间交互与设计体验,具备极高的市场应用价值与产业化前景。
2、目前主流的三维空间重建系统仍存在诸多技术缺陷与应用短板,难以满足轻量化、高精度、可交互、全闭环的移动端应用需求。如目前现有的移动端三维扫描应用往往依赖端侧算力、处理效率低或数据格式不通用,多依赖于手机本地算力进行低质量实时重建,难以兼顾扫描引导清晰、数据统一打包、云端自动重建、移动端编辑的一体化需求;另外,现有的移动端三维编辑工具缺乏轻量化的操作系统,难以实现家具拖拽搭配等空间设计功能。
技术实现思路
1、本发明针对现有技术的问题提供一种三维空间扫描、重建及编辑设计系统、方法、介质,设计巧妙,通过扫描引导,降低漏扫率,提高采集效率,且通过统一的数据打包协议,提高系统通用性;进一步的,通过依次完成关键帧筛选、colmap纯视觉稀疏重建、深度监督3dgs训练,纯视觉自动择优,无需依赖外部初始位姿以及硬件,重建成功率高,深度监督训练输出高质量点云,直接输出高质量点云,保留完整渲染属性,无需网格化即可供移动端直接渲染使用;进一步的,3d编辑器中采用悬浮控制台,不遮挡场景,操控便捷,便于在智能终端中使用,搭配知识图谱引擎模块实现拖拽家具进行搭配,实现扫描、设计以及购买的闭环。
2、为了解决上述技术问题,本发明采用如下技术方案:
3、本发明提供了一种三维空间扫描、重建及编辑设计系统,其包括智能终端、后端网关、消息队列模块、算法引擎模块、知识图谱引擎模块以及对象存储模块;
4、所述智能终端内置扫描模块和3d编辑器,所述智能终端配合所述扫描模块用于对当前空间视野进行扫描并计算当前视野与已有扫描数据的差异区域,在ui覆盖层将未扫描区域进行标记以实现扫描漏扫提示;所述智能终端采集结束后自动将rgb图像、深度图、位姿数据与相机内参封装为压缩数据包,上传至后端网关;所述智能终端还用于加载重建后的三维模型,通过所述3d编辑器的悬浮控制台执行场景去雾、空间测量、家具拖拽搭配编辑;
5、所述后端网关,用于接收智能终端上传的压缩数据包,完成用户鉴权与套餐配额校验,生成重建任务id并返回智能终端,同时将压缩数据包保存在对象存储模块中;所述后端网关还用于接收消息队列模块推送的任务状态,向智能终端推送任务进度通知,同时响应智能终端的家居模型索引查询请求;
6、所述消息队列模块,用于接收后端网关下发的重建任务,将重建任务分发至算法引擎模块,并接收算法引擎模块反馈的任务完成状态;
7、所述算法引擎模块,用于从消息队列拉取重建任务,读取对象存储模块的压缩数据包,依次执行关键帧筛选、colmap纯视觉稀疏重建、深度监督3dgs训练,直接输出带球谐系数的稠密 ply 点云模型并写入对象存储模块中;
8、所述知识图谱引擎模块,用于存储家居3d模型的元数据,响应智能终端的查询请求,为智能终端在使用家具拖拽搭配时提供分类索引。
9、其中,所述智能终端基于增强现实开发框架获取相机实时位姿,采用射线投射算法计算当前视野与已有扫描数据的差异区域,在ui覆盖层以半透明红色多边形标记未扫描区域以实现扫描漏扫提示。
10、其中,所述压缩数据包为zip压缩数据包。
11、其中,所述压缩数据包的内部文件结构包括:
12、images文件夹,存储按帧号命名的jpeg格式rgb图像;
13、depths文件夹,存储与rgb图像同名、毫米级精度的png深度图;
14、metadata.jsonl文件,每行存储一条json记录,记录帧号、相机位置、旋转四元数、时间戳;
15、camera_intrinsics.txt文件,存储相机焦距fx、fy,光心cx、cy以及图像宽高的相机内参。
16、其中,所述元数据包括名称、分类、颜色标签、缩略图url、模型文件url、购买链接。
17、其中,所述算法引擎模块在执行关键帧筛选时,按照相机位移阈值0.04m以及角度阈值过滤冗余帧,筛选保留高质量关键帧以及对应的深度图;
18、所述算法引擎模块在执行colmap纯视觉稀疏重建时,采用simple_radial相机模型,执行顺序匹配sequential_matcher以及增量式mapper,自动选择相机数量最多的最优重建模型,输出稀疏点云和相机位姿;
19、所述算法引擎模块在执行深度监督3dgs训练时,将lidar深度图转换为逆深度,与渲染深度构建l1损失,采用0.01~0.2的权重递增策略,配置参数sh_degree=0,resolution=1,iterations=13000完成训练,训练输出带球谐系数的原始稠密点云ply。
20、本发明还提供了一种三维空间扫描、重建及编辑设计方法,其包括以下步骤:
21、步骤s1、扫描采集与引导:智能终端开启ar扫描,基于增强现实开发框架获取相机实时位姿,利用射线投射算法识别未扫描区域,采用半透明红色多边形对未扫描区域进行可视化提示,采集rgb图像与毫米级深度图;
22、步骤s2、数据打包上传:采集结束,智能终端将rgb图像、深度图、帧位姿、相机内参打包为zip压缩数据包,通过http post上传至后端网关;后端网关完成鉴权校验,生成任务id,将重建任务投递至消息队列模块;
23、步骤s3、云端流水线重建:算法引擎模块从消息队列模块获取任务,下载zip压缩数据包;依次执行关键帧筛选、colmap纯视觉稀疏重建、深度监督3dgs训练,直接输出稠密ply点云模型存入对象存储模块;
24、步骤s4、模型下发加载:任务完成后消息队列模块通知后端网关,后端网关向智能终端推送任务完成通知以及cdn下载链接;智能终端经由cdn加速下载ply点云模型并完成渲染;
25、步骤s5、智能终端编辑搭配:智能终端请求知识图谱引擎模块获取家居模型元数据索引,通过悬浮控制台完成场景去雾、空间测量以及家具拖拽搭配编辑,拖拽家居模型进行空间摆放搭配。
26、其中,所述步骤s3中的深度监督3dgs训练方法为:将lidar深度图转换为逆深度,与渲染深度构建l1损失,采用0.01~0.2的权重递增策略,配置参数sh_degree=0,resolution=1,iterations=13000完成训练,训练输出带球谐系数的原始稠密点云ply。
27、其中,所述步骤s3中的云端流水线重建流程处理时长不超过20分钟。
28、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的三维空间扫描、重建及编辑设计方法。
29、本发明的有益效果:
30、本发明设计巧妙,智能终端本地完成空间扫描,识别未扫描区域并进行标记,采集数据并封装成压缩数据包上传至后端网关;后端网关完成用户身份、使用配额校验,保存压缩数据包至对象存储,生成唯一任务标识,向消息队列模块下发重建任务;消息队列模块做任务中转,把重建任务分发至gpu算力集群上的算法引擎模块;算法引擎模块读取对象存储中的数据包,依次完成关键帧筛选、colmap纯视觉稀疏重建、深度监督3dgs训练,输出ply稠密点云写回对象存储模块;任务状态经消息队列模块回传后端网关,通知智能终端;智能终端加载重建模型,调用知识图谱引擎的家居元数据,依托悬浮控制台完成场景编辑、家具拖拽,可跳转电商,实现扫描、重建、编辑、购买完整业务链路;本技术实施例将智能终端扫描采集、云端gpu重建、移动端编辑、家居素材管理能力整合为一体化系统,解决现有技术扫描引导、数据上传、云端重建、移动端编辑相互割裂的问题;其中,通过消息队列模块实现业务请求与gpu重计算异步解耦,避免大量上传请求直接压垮算力单元,提升系统并发处理能力;进一步的,对象存储模块统一保管原始采集数据与重建模型,实现云端数据持久化;知识图谱引擎模块打通三维空间设计到电商购买链路,形成完整商业闭环。
31、本发明通过扫描引导,降低漏扫率,提高采集效率,且通过统一的数据打包协议,提高系统通用性;进一步的,通过依次完成关键帧筛选、colmap纯视觉稀疏重建、深度监督3dgs训练,纯视觉自动择优,无需依赖外部初始位姿以及硬件,重建成功率高,深度监督训练输出高质量点云,直接输出高质量点云,保留完整渲染属性,无需网格化即可供移动端直接渲染使用;进一步的,3d编辑器中采用悬浮控制台,不遮挡场景,操控便捷,便于在智能终端中使用,搭配知识图谱引擎模块实现拖拽家具进行搭配,实现扫描、设计以及购买的闭环。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com