一种移动端几何结构模型构建方法及装置与流程

本申请涉及计算机视觉，尤其涉及一种移动端几何结构模型构建方法及装置。

背景技术：

1、在移动端增强现实、结构测量与三维重建等应用中，准确、实时地感知与构建物理环境的几何结构模型是关键需求。然而，在移动端直接进行几何结构模型构建面临诸多挑战。首先，移动设备在手持状态下易产生成像抖动，导致采集的图像存在模糊与几何畸变，严重影响后续几何特征提取与模型构建的准确性。其次，移动端的计算资源（如gpu算力）有限，难以直接部署计算密集型的传统结构感知模型。传统方案通常依赖于高性能服务器进行数据处理，无法满足移动端实时构建几何结构模型的需求，或在算力受限时严重牺牲感知精度。因此，亟需一种能够在移动端资源约束下，有效克服图像抖动干扰、适配有限算力并实现完整几何结构模型实时构建的技术方案。

技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本申请第一方面实施例提出了一种移动端几何结构模型构建方法，包括：

3、获取移动端采集的图像数据及与所述图像数据相关联的运动传感数据；

4、基于所述运动传感数据对所述图像数据进行校正处理，得到校正图像数据；

5、通过轻量化卷积神经网络对所述校正图像数据进行特征提取，并在提取过程中基于设备运行状态自适应调整特征提取的计算开销，得到所述轻量化卷积神经网络输出的几何结构特征集；

6、基于预设的几何约束规则对所述几何结构特征集进行结构补全与融合处理，生成几何结构模型。

7、在本申请一些实施例中，所述基于所述运动传感数据对所述图像数据进行校正处理，得到校正图像数据，包括：基于所述运动传感数据生成运动模糊核；利用所述运动模糊核对所述图像数据进行去模糊处理，得到校正图像数据。

8、在本申请一些实施例中，在提取过程中基于设备运行状态自适应调整特征提取的计算开销，得到所述轻量化卷积神经网络输出的几何结构特征集，包括：获取设备运行状态信息，所述设备运行状态信息包括处理器使用率和/或电池电量；根据所述设备运行状态信息确定当前可用的计算开销等级；选择与所述计算开销等级匹配的特征提取算法，对所述校正图像数据进行特征提取，得到所述几何结构特征集。

9、在本申请一些实施例中，所述根据所述设备运行状态信息确定当前可用的计算开销等级，包括：基于所述设备运行状态信息中的处理器使用率，确定处理器闲置能力；基于所述设备运行状态信息中的电池电量，确定电池剩余续航比例；根据所述处理器闲置能力和所述电池剩余续航比例，计算加权综合资源指数，并根据所述加权综合资源指数映射到预设的计算开销等级。

10、在本申请一些实施例中，所述基于预设的几何约束规则对所述几何结构特征集进行结构补全与融合处理，生成几何结构模型，包括：确定所述几何结构特征集中的缺失几何结构区域；根据所述几何约束规则，对所述缺失几何结构区域进行结构推算，生成补全几何结构；将所述补全几何结构与所述几何结构特征集中的初始几何结构进行融合，生成所述几何结构模型。

11、在本申请一些实施例中，所述根据所述几何约束规则，对所述缺失几何结构区域进行结构推算，生成补全几何结构，包括：从所述几何结构特征集中提取与所述缺失几何结构区域相邻的边界几何特征；基于所述几何约束规则，对所述边界几何特征进行延伸和约束优化，以推算缺失区域的几何拓扑；将推算得到的几何拓扑转换为所述补全几何结构。

12、在本申请一些实施例中，所述获取移动端采集的图像数据及与所述图像数据相关联的运动传感数据，包括：通过所述移动端上的图像采集设备采集图像数据，并通过惯性测量单元同步采集所述运动传感数据；对所述图像数据和所述运动传感数据进行时间戳对齐，得到所述图像数据及与所述图像数据相关联的运动传感数据。

13、本申请第二方面实施例提出了一种移动端几何结构模型构建装置，包括：

14、获取模块，用于获取移动端采集的图像数据及与所述图像数据相关联的运动传感数据；

15、处理模块，用于基于所述运动传感数据对所述图像数据进行校正处理，得到校正图像数据；

16、提取模块，用于通过轻量化卷积神经网络对所述校正图像数据进行特征提取，并在提取过程中基于设备运行状态自适应调整特征提取的计算开销，得到所述轻量化卷积神经网络输出的几何结构特征集；

17、生成模块，用于基于预设的几何约束规则对所述几何结构特征集进行结构补全与融合处理，生成几何结构模型。

18、本申请第三方面实施例提出了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

19、所述存储器存储计算机执行指令；

20、所述处理器执行所述存储器存储的计算机执行指令，以实现前述第一方面所述的方法。

21、本申请第四方面实施例提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述第一方面所述的方法。

22、本申请提供的移动端几何结构模型构建方法，由于在移动端同步采集图像与运动传感数据并进行时间关联，基于运动传感数据对图像进行校正处理，消除了抖动干扰并通过自适应降噪与分辨率标准化在保留几何边缘的前提下大幅降低数据量。通过轻量化网络并依据设备实时运行状态自适应切换计算模式，可在资源受限条件下兼顾了特征提取的精度与实时性。基于预设的几何约束规则进行多尺度融合与结构补全，可修复因遮挡、纹理缺失等原因造成的结构断裂，生成完整且精度较高的目标几何结构模型。本申请可在一定程度上解决移动端几何结构感知易受抖动干扰、算力要求高、在遮挡等复杂场景下感知不完整的问题，在资源受限的移动终端上实现高鲁棒性、高精度的实时几何结构感知与建模。

23、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

1.一种移动端几何结构模型构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述运动传感数据对所述图像数据进行校正处理，得到校正图像数据，包括：

3.根据权利要求1所述的方法，其特征在于，在提取过程中基于设备运行状态自适应调整特征提取的计算开销，得到所述轻量化卷积神经网络输出的几何结构特征集，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述设备运行状态信息确定当前可用的计算开销等级，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于预设的几何约束规则对所述几何结构特征集进行结构补全与融合处理，生成几何结构模型，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述几何约束规则，对所述缺失几何结构区域进行结构推算，生成补全几何结构，包括：

7.根据权利要求1所述的方法，其特征在于，所述获取移动端采集的图像数据及与所述图像数据相关联的运动传感数据，包括：

8.一种移动端几何结构模型构建装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。