高斯建模图片数据预处理方法、装置及存储介质与流程

摘要: 本发明属于图像处理与三维重建,特别是一种高斯建模图片数据预处理方法、装置及存储介质。背景技术:1、高斯建模(三维高斯溅射,3dgs)是当前三维场景重建的核心技术...
高斯建模图片数据预处理方法、装置及存储介质与流程

本发明属于图像处理与三维重建,特别是一种高斯建模图片数据预处理方法、装置及存储介质。

背景技术:

1、高斯建模(三维高斯溅射,3dgs)是当前三维场景重建的核心技术之一,通过对多视角采集的图片进行训练,生成可实时渲染的三维高斯场景模型。按照数据采集与建模方案的差异,主流技术路线可分为三类:第一类为纯视觉建模方案,通过连续相机拍摄或多段视频采集,提取去畸变后的图像特征构建稀疏点云,以此支撑高斯模型训练;第二类为视觉结合激光雷达的建模方案,通过激光雷达构建稠密点云,结合多视角去畸变图像开展高斯模型训练,适用于小范围封闭空间的精细化场景建模;第三类为视觉 + 激光雷达 + rtk融合建模方案,该方案在前一类方案基础上引入 rtk 空间坐标,通过算法实现多场景自动拼接,生成具备细节层次(lod)的大场景高斯模型,也可在与地理信息系统(gis)融合时提供精准空间参考依据。上述三类高斯建模方案均以视觉图像作为核心训练输入,视觉采集数据的质量与规模直接决定了建模效率与成品精度。

2、在实际工程应用中,视觉采集工作依赖人工操作采集设备完成,通常采用连续定时拍照或视频录制两种采集方式;其中视频录制模式先录制连续场景视频,再经抽帧处理得到图片序列,后续预处理流程与直接拍照采集模式完全一致。由于采集过程由人工主导,设备运动节奏难以保持均一,易出现局部场景停留过久、镜头转向速率不均等情况,导致原始图像序列中天然存在大量视角重叠的冗余帧与运动模糊的低质量干扰帧。此类未经清洗的原始数据若直接参与模型训练,会显著推高算力需求、延长整体训练时长,同时模糊干扰数据还会引入噪声误差,降低高斯模型的重建精度与渲染效果。

3、因此,在高斯建模流程中设置前置图片预处理环节,对原始采集图片进行冗余剔除与质量筛选,是保障建模效率、控制算力成本、提升模型质量的必要手段。目前行业内的图片预处理主要采用两种方式:一是不对原始图片做筛选,将全量图片序列直接输入建模管线;二是采用固定间隔抽帧方式,按预设帧数间隔从连续序列中抽取图片,部分场景下会针对特定采集设备开发定制化筛选程序,基于固定规则完成数据过滤。筛选后的图片直接送入高斯建模训练环节,完成场景重建。

4、然而,现有预处理技术仍存在明显不足。一方面,固定间隔抽帧与定制化筛选程序均依赖预设规则,无法根据图片实际视角变化动态调整筛选策略,难以适配不同采集节奏、不同设备的图片序列,存在场景适应性差的问题;同时现有技术不具备运动模糊、失焦等低质量干扰数据的识别筛查能力,质量管控缺失,低质量数据易引入建模噪声,影响最终重建效果。另一方面,大量冗余数据与干扰数据直接进入建模管线,直接推高算力需求、延长整体处理时长,造成算力资源的不必要消耗,算力利用效率低下。

5、总之,现有技术存在的问题是:高斯建模图片预处理方法场景适应性差、质量管控缺失、算力利用效率低。

技术实现思路

1、本发明的目的在于提供一种高斯建模图片数据预处理方法、装置及存储介质,场景适应性好、质量管控完善、算力效率高。

2、实现本发明目的的技术解决方案为:

3、一种高斯建模图片数据预处理方法,包括如下步骤:

4、待处理图片集获取:获取高斯建模对应的原始输入图片序列;

5、预处理环境初始化:完成运行参数配置、目录校验与日志模块初始化;

6、双维度图片筛选:依次执行低质量帧筛查与自适应帧间冗余筛选,剔除模糊干扰帧与视角冗余帧,得到有效图片集;

7、处理结果输出与统计:输出筛选后的有效图片集,生成全流程处理统计信息。

8、优选地,所述预处理环境初始化步骤包括:

9、运行参数解析:读取运行参数,包括输入目录、输出目录、最小相似度阈值、模糊度阈值、日志文件路径、控制台输出开关;

10、输入目录校验:检查输入目录是否存在,如不存在则记录错误日志并终止流程;如存在则继续执行下一步;

11、输出目录创建:自动创建输出目录,如遇权限不足或系统异常则记录错误日志并终止流程;如创建成功则继续执行下一步;

12、日志模块初始化:根据配置参数初始化日志记录器,支持文件日志与控制台输出独立控制,日志记录包含时间戳与操作信息。

13、优选地,所述双维度图片筛选步骤包括:

14、图片列表排序:读取输入目录下所有图片文件,按文件名自然排序,形成有序图片列表;如列表为空则记录错误日志并跳转至筛选流程结束步骤;

15、初始参考帧选定:读取有序列表中第一张有效图片进行质量校验,校验通过后作为初始参考帧,复制至输出目录,记录保留日志;如首张图片读取失败或质量校验不通过,则顺延选取下一帧作为初始参考帧;如全部图片均无效,则记录错误日志并跳转至筛选流程结束步骤;

16、当前帧读取:按顺序读取当前待判定图片,如读取失败则记录警告日志,跳过当前帧,继续读取下一帧;如读取成功则跳转至低质量帧筛查步骤;

17、低质量帧筛查:对当前帧进行模糊度计算,与设定的模糊度阈值进行比较,如低于阈值则判定为低质量干扰帧,记录警告日志后跳过当前帧,跳转至当前帧读取步骤处理下一帧;如高于等于阈值则判定为质量合格帧,跳转至帧间相似度计算步骤;

18、帧间相似度计算:对当前合格帧与参考帧进行降采样与灰度化预处理,计算两帧的全局相似度;

19、冗余判定:将计算得到的相似度与设定的相似度阈值进行比较,如相似度大于阈值,则判定为冗余帧,跳转至冗余帧剔除步骤;如相似度小于等于阈值,则判定为有效差异帧,跳转至有效帧保留步骤;

20、冗余帧剔除:记录当前帧为冗余剔除状态,不复制至输出目录,参考帧保持不变,跳转至当前帧读取步骤处理下一帧;

21、有效帧保留:将当前帧无损复制至输出目录,将当前帧更新为新的参考帧,记录保留日志,跳转至当前帧读取步骤处理下一帧;

22、筛选流程结束:结束全部图片遍历,完成双维度图片筛选流程。

23、为实现上述目的,本发明还提供一种高斯建模图片数据预处理装置,该数据预处理装置包括:

24、待处理图片集获取模块,用于获取高斯建模对应的原始输入图片序列;

25、预处理环境初始化模块,用于完成运行参数配置、目录校验与日志模块初始化;

26、双维度图片筛选模块,用于依次执行低质量帧筛查与自适应帧间冗余筛选,剔除模糊干扰帧与视角冗余帧,得到有效图片集;

27、处理结果输出与统计模块,用于输出筛选后的有效图片集,生成全流程处理统计信息。

28、为实现上述目的,本发明还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的计算机程序,所述计算机程序可被电子设备运行时执行上述各种可选实现方式提供的高斯建模图片数据预处理方法。

29、为实现上述目的,本发明还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行上述各种可选实现方式提供的高斯建模图片数据预处理方法。

30、本发明与现有技术相比,其显著优点为:

31、1、场景适应性好:本发明采用基于帧间相似度动态判定机制的自适应帧间冗余筛选,替代传统固定间隔抽帧规则,可根据图片实际视角变化自动调整筛选密度,核心阈值支持灵活配置,适配不同采集节奏、不同设备与不同精度要求的建模场景,避免平缓场景冗余残留、剧烈场景关键帧丢失的问题。

32、2、质量管控完善:本发明采用内置低质量帧筛查逻辑的双维度图片筛选,可自动识别并剔除运动模糊、失焦等干扰数据,避免低质量图片引入建模噪声,从数据源头上提升高斯建模的精度与渲染效果。

33、3、算力效率高:本发明通过冗余剔除与质量筛查双重过滤,前置剔除无效与干扰数据,大幅压缩高斯建模输入数据量,有效降低显存占用、缩短训练周期,算力资源利用率显著提升。

34、下面结合附图和具体实施方式对本发明作进一步详细描述。