一种基于三维重建的空间开放环境语义解译方法及系统

摘要: 本发明属于计算机视觉与机器人感知,尤其涉及一种基于三维重建的空间开放环境语义解译方法及系统。背景技术:1、随着计算机视觉、人工智能及机器人技术的发展,三维重建技...
一种基于三维重建的空间开放环境语义解译方法及系统

本发明属于计算机视觉与机器人感知,尤其涉及一种基于三维重建的空间开放环境语义解译方法及系统。

背景技术:

1、随着计算机视觉、人工智能及机器人技术的发展,三维重建技术已成为人机交互、虚拟现实、具身智能及空间机器人等领域的重要基础技术,三维重建通过多视角图像或传感器数据,恢复目标或场景的三维几何结构,实现真实物理世界的数字化表达,与传统的二维图像相比,三维模型可以提供更加丰富的空间几何信息、结构信息及尺度信息,为环境感知、目标识别、路径规划和智能决策等提供可靠的数据支撑。

2、然而,在一些实际的应用场景中,仅获得场景或物体的几何结构信息是远远不够的,例如在实际工业生产环境和开放空间场景中,系统不仅需要完成目标的三维重建,还需要进一步理解物体的类别属性、结构组成以及部件关系,因此,如何在三维重建的基础上同步实现目标及部件的语义解译,成为空间感知领域亟待解决的技术问题。

3、目前,三维重建技术作为空间感知的重要技术手段,在工业生产、虚拟现实、智能制造等领域得到了广泛应用,基于三维重建与实例分割的目标三维解译方法也已在工业检测、机器人感知及空间目标识别等领域得到应用,但由于算法流程复杂,在开放环境或实时交互场景中难以普及,同时,在语义理解方面,现有方法通常将三维重建与实例分割分开实现,几何信息与语义信息之间缺乏有效协同。

4、针对这些问题,目前围绕三维重建与语义分割已提出多种解决方案:

5、首先,在三维重建方面,现有方法通常先采用运动恢复结构(structure frommotion,sfm)对多视角图像进行特征匹配、相机位姿估计及稀疏点云恢复,再利用稀疏点云初始化三维高斯模型,通过可微分渲染对高斯参数进行迭代优化,三维高斯溅射(3dgaussian splatting,3dgs)作为一种显式三维表示方法,以多个三维高斯分布描述目标的几何结构、颜色信息、不透明度及空间尺度等属性,具有渲染效率高、几何表达能力强等优点,已逐渐成为三维场景建模与编辑的核心技术基础。

6、其次,在语义理解方面,现有方法通常将三维重建与语义分割分开处理,例如,现有技术中,公开号为“cn120431286a”的专利文献公开了“基于vit精细语义分割优化的航天器神经隐式表面三维重建方法”,该方法对航天器进行围绕观测,采集到一系列包含目标信息的图像,并估计拍摄照片的相机的相对位姿信息,在此基础上,利用vit架构去获取多视图的语义掩码,再利用神经隐式符号距离场建模方法,对目标进行带有语义的三维重建;公开号为“cn120198615a”的专利文献公开了“一种融合激光雷达数据的小行星表面精细视觉三维重建方法”,该方法利用视觉相机数据初始化3d高斯网格中心,同时结合稀疏点云投影点提示,生成小行星实例分割掩膜,结合分割掩膜、深度监督等方法优化三维模型,并以激光雷达点云数据作为监督,优化光栅化深度值,实现小行星表面精细三维重建。

7、由上可知,现有技术在位姿获取复杂度、实时性以及几何与语义融合程度等方面仍存在改进空间,具体而言,三维重建与目标识别相互独立,未形成几何建模与语义理解协同工作的体系,难以在接近空间目标时同步完成三维重建与部件识别;相机位姿依赖sfm求解,计算复杂度高且受场景纹理与视角数量影响,位姿稳定性难以保证;三维重建与语义分割分开处理,流程复杂、实时性不足,语义信息无法有效约束几何优化;部分方案依赖文本提示词驱动目标识别,在空间开放环境中自主性与适应性不足。

8、因此,亟需提出一种基于三维重建的空间开放环境语义解译方法及系统,以实现动态环境下的快速重建以及几何建模与语义理解的统一表达。

技术实现思路

1、有鉴于此,本发明创造旨在提供一种基于三维重建的空间开放环境语义解译方法及系统,以解决现有技术中三维重建与目标识别相互独立、相机位姿依赖运动恢复结构求解、且几何信息与语义信息缺乏有效协同,难以在空间开放环境中同步完成快速重建与部件语义解译的问题。

2、为达到上述目的,本发明创造的技术方案是这样实现的:

3、本发明提供了一种基于三维重建的空间开放环境语义解译方法,包括如下步骤:

4、s1、获取机械臂末端执行器的空间位姿信号,结合预先完成的手眼标定结果,计算安装于机械臂末端的手眼相机相对于世界坐标系的相机位姿,并结合相机内参矩阵构建相机投影矩阵;

5、s2、控制手眼相机采集目标的多视角图像数据,并同步记录多视角图像数据对应的时间戳,将时间戳与空间位姿信号进行对应;

6、s3、对多视角图像数据进行实例级分割,生成目标及部件的实例掩码,并将实例掩码与对应的多视角图像数据及相机位姿进行关联;

7、s4、对多视角图像数据进行单目深度估计,生成与多视角图像数据对应的参考深度图,并对参考深度图进行尺度归一化及噪声滤波处理;

8、s5、基于相机位姿进行三角测量,生成初始化稀疏点云,以初始化稀疏点云初始化三维高斯集合,三维高斯集合中的每个三维高斯基元至少包含位置参数、协方差矩阵参数、颜色参数、不透明度参数、可学习的语义特征参数;

9、s6、对三维高斯集合进行可微分渲染,构建包含颜色重建损失、深度监督损失、语义损失的联合优化目标,对位置参数、协方差矩阵参数、颜色参数、不透明度参数、可学习的语义特征参数进行同步优化;

10、s7、当达到预设重建时间、最大迭代次数或联合优化目标收敛阈值时,停止参数优化,输出包含目标几何结构、目标实例信息的三维语义模型。

11、进一步地,s1中,相机位姿的获取方法具体为:

12、通过机械臂正向运动学模型计算机械臂末端执行器相对于机械臂基座坐标系的位姿矩阵,结合手眼标定矩阵,计算手眼相机相对于世界坐标系的相机位姿;

13、相机位姿来源于机械臂运动控制模型,不依赖图像特征匹配。

14、进一步地,s2中,多视角图像数据的采集方法具体为:

15、在机械臂到达预设拍摄位姿并稳定后,由控制系统发送触发信号启动多视角图像数据采集;或按照设定时间间隔在运动过程中连续采集多视角图像数据,实现运动过程中的连续观测;

16、多视角图像数据为二维彩色图像或灰度图像。

17、进一步地,s3中,实例级分割的方法具体为:

18、采用预训练的分割模型作为实例分割网络,将多视角图像数据输入预训练的分割模型,利用自动掩码生成机制在多视角图像数据中生成多个候选实例掩码;

19、根据掩码面积指标、重叠程度指标、边界完整性指标、稳定性指标,对多个候选实例掩码进行筛选与优化,得到实例掩码;

20、实例级分割的过程无需输入文本提示词、点提示或框提示。

21、进一步地,s4中,参考深度图的生成方法具体为:

22、将多视角图像数据输入预训练单目深度估计网络,获得与多视角图像数据对应的参考深度图;

23、对获得的参考深度图进行尺度归一化及噪声滤波处理,得到处理后的参考深度图;

24、将处理后的参考深度图作为三维重建的几何先验信息。

25、进一步地,s5中,三维高斯集合的初始化方法具体为:

26、将初始化稀疏点云中的三维坐标作为每个三维高斯基元的中心;

27、将颜色参数初始化为球谐函数0阶系数,高阶系数初始化为零;

28、基于初始化稀疏点云中的目标点与目标点的若干近邻之间的平均距离,确定协方差矩阵参数的缩放矩阵的初始尺度,将协方差矩阵参数的旋转矩阵初始化为单位矩阵;

29、将不透明度参数设置为0.1;

30、在每个三维高斯基元中增加可学习的语义特征参数,可学习的语义特征参数与位置参数、协方差矩阵参数、颜色参数、不透明度参数共同组成三维高斯基元的优化变量。

31、进一步地,s6中,深度监督损失的构建方法具体为:

32、根据三维高斯集合渲染得到对应视角下的渲染深度图,将渲染深度图与参考深度图构建深度监督损失;

33、通过反向传播算法,将深度监督损失的深度误差传递至各三维高斯基元,对位置参数、协方差矩阵参数、空间分布进行优化。

34、进一步地,s6中,语义损失的构建方法具体为:

35、根据实例掩码,为对应的三维高斯基元建立语义关联关系,采用对比损失作为语义损失,对可学习的语义特征参数进行监督学习;

36、在训练过程中,属于同一实例的三维高斯基元作为正样本、属于不同实例的三维高斯基元作为负样本,通过最小化正样本之间的特征距离、增大负样本之间的特征距离,使同类别三维高斯基元在语义特征空间内相互聚集,不同类别三维高斯基元在语义特征空间内相互分离。

37、进一步地,s6中,还需引入语义引导的颜色平滑正则化和深度平滑正则化;以实例掩码作为结构先验,对属于同一实例区域的三维高斯基元进行颜色约束和深度约束;

38、颜色平滑正则化约束同一实例内相邻三维高斯基元的颜色分布,以减少颜色突变和纹理伪影;深度平滑正则化约束同一实例内三维高斯基元的深度变化,以提高目标表面的几何连续性。

39、一种基于三维重建的空间开放环境语义解译系统,用于执行上述基于三维重建的空间开放环境语义解译方法,包括:

40、位姿获取模块,用于获取机械臂末端执行器的空间位姿信号,结合手眼标定结果计算安装于机械臂末端的手眼相机的相机位姿;

41、图像采集模块,用于控制手眼相机采集目标的多视角图像数据,并同步记录多视角图像数据对应的时间戳;

42、相机矩阵构建模块,用于根据空间位姿信号及手眼标定结果构建相机投影矩阵;

43、实例分割模块,用于对多视角图像数据进行实例级分割,生成目标及部件的实例掩码;

44、深度估计模块,用于对多视角图像数据进行单目深度估计,生成参考深度图;

45、三维重建模块,用于基于相机位姿进行三角测量生成初始化稀疏点云,初始化三维高斯集合,通过可微分渲染方式对三维高斯集合中的各三维高斯基元进行迭代优化,采用颜色重建损失、深度监督损失、语义损失构建联合优化目标;对各三维高斯基元的位置参数、协方差矩阵参数、颜色参数、不透明度参数、可学习的语义特征参数进行同步优化,输出包含目标几何结构、目标实例信息的三维语义模型。

46、与现有技术相比,本发明创造能够取得如下有益效果:

47、1、位姿获取准确稳定,重建实时性高:本发明利用机械臂运动学模型及手眼标定关系直接构建相机外参矩阵,无需依赖图像特征匹配的结构恢复或位姿优化,避免了特征匹配误差和误匹配问题,降低了位姿求解复杂度,提高了位姿获取的准确性与稳定性;同时结合已知相机位姿进行增量式参数更新,仅优化空间表示参数而不涉及位姿求解,能减少优化变量数量,加快模型收敛速度,实现动态采集过程中的快速三维重建。

48、2、几何一致性强,重建精度高:本发明采用预训练单目深度估计网络生成参考深度图,无需额外配置深度相机或激光雷达,在保证硬件轻量化的同时为三维高斯模型提供几何先验;同时,通过将渲染深度图与参考深度图构建深度监督损失,对高斯中心位置、协方差矩阵参数及空间分布进行优化,提高了复杂场景下三维模型的重建精度与稳定性。

49、3、无需文本提示词,几何与语义一体化表达:本发明基于预训练通用分割模型构建无需文本提示词的自动分割机制,仅依赖视觉特征完成目标与部件的实例级分割,避免了对人工提示词的依赖,提高了系统在空间开放环境中的自主性与适应能力;同时,在每个三维高斯基元中引入可学习的语义特征参数,并结合实例掩码与对比损失对语义特征进行监督,使同类高斯在特征空间内聚集、异类高斯相互分离,实现了目标及部件的三维实例分割与结构化语义解译。

50、4、几何、外观与语义协同优化,实现重建与分割同步输出:本发明引入语义引导的颜色和深度平滑正则化,利用实例分割掩码对同一实例内高斯的颜色和深度进行约束,能减少颜色突变和纹理伪影,提高目标表面的几何连续性;采用颜色重建损失、深度监督损失及语义损失构建联合优化目标,对高斯参数进行同步优化,输出包含目标几何结构与实例信息的三维语义模型,实现了重建与分割的同步输出。