融合纹理与几何特征的交互式结构面识别方法及系统与流程

本发明涉及计算机视觉与数字图像处理，具体涉及一种融合纹理与几何特征的交互式结构面识别方法及系统。主要应用于边坡、隧洞、露天矿山、地下工程等岩体地质信息提取场景。

背景技术：

1、岩体结构面是控制岩体稳定性的重要地质要素，广泛存在于边坡工程、隧洞工程、地下工程及露天矿山等工程场景中。结构面的空间分布特征直接影响岩体块体划分及稳定性分析，因此，准确、高效地获取岩体结构面信息是工程地质分析中的关键问题之一。

2、传统的岩体结构面获取方法主要依赖现场人工编录与地质素描，该方法虽然具有较高的可靠性，但存在工作效率低、依赖工程师经验、难以处理大规模场景等不足。随着三维重建技术的发展，基于摄影测量或激光扫描获取的大规模三维点云或三角网格模型逐渐应用于岩体结构面提取领域，从而推动结构面自动识别方法的发展。

3、目前，已有研究主要从以下两个方向开展结构面自动提取：

4、1、基于点云的结构面提取方法。 现有方法通常基于点云的法向量、曲率等特征，在三维空间中直接进行结构面识别，例如基于法向量聚类方法、基于区域生长方法。上述方法虽然能够从三维模型中提取结构面，但仍存在计算复杂度高、对大规模场景处理效率低、对噪声敏感、识别稳定性较差等问题。尤其在大规模边坡或隧洞场景中，三维点云数据量巨大，导致计算效率显著下降，难以满足工程应用需求。

5、2、基于二维图像的结构面识别方法。 该类方法通常基于rgb图像纹理信息进行结构面检测，虽然在部分场景下能够取得较好的识别效果，但仍存在对光照变化较为敏感、在阴影区域识别效果较差的问题。此外，岩体结构面在不同观察视角下的可见范围不同，单幅二维图像难以完整反映结构面的空间分布特征，导致识别结果完整性不足。

6、近年来，随着视觉基础模型的发展，以sam（segment anything model）为代表的通用图像分割模型，在自然场景图像分割任务中表现出较强的泛化能力。sam模型通过提示点、框或掩膜等方式即可实现图像分割，在医学影像、遥感影像及自然场景识别等领域取得了良好效果。然而，尽管sam在通用图像分割领域表现优异，但在岩体结构面识别这一特定工程地质场景中仍存在以下不足：岩体结构面纹理特征较弱，sam难以准确识别结构面边界；岩体表面光照变化较大，影响sam分割稳定性。此外，现有方法如基于sfm获取稀疏点云并在采集图像上进行识别的方式，局限于采集图像的视角，容易出现遮挡问题；而一些通用三维物体分割方法（如geosam2）不强调结构面的共面性，也未融合纹理信息，难以直接应用于岩体结构面的精确提取。

7、因此，亟需提出一种适用于大规模三维场景、识别精度高且完整性好的岩体结构面提取方法，以克服现有技术中对光照敏感、视角受限、计算效率低、分割不准确等问题，满足工程地质分析与稳定性评价需求。

技术实现思路

1、有鉴于此，本发明提供了一种融合纹理与几何特征的交互式结构面识别方法及系统，旨在解决现有技术中因依赖单一rgb纹理信息导致对光照变化敏感、阴影区域识别效果差，因直接在三维点云或网格模型上计算导致大规模场景处理效率低、对噪声敏感，以及因通用图像分割模型难以适应岩体结构面弱纹理特征导致分割边界不准确、缺乏几何一致性约束的难题。

2、本发明提出了一种融合纹理与几何特征的交互式结构面识别方法，包括以下步骤：

3、在三维可视化平台上加载实景三维模型，并在屏幕中显示该实景三维模型；

4、由操作人员操控三维可视化平台的视图，定位出实景三维模型表面可见的地质结构面，记录当前视角对应的相机姿态信息，并对当前视角进行渲染，得到当前视角的二维纹理图；

5、基于当前视角下屏幕中每个像素对应的三维表面点，利用屏幕空间相邻像素在世界坐标系下的位置差异，计算每个三维表面点的法向量，并将法向量映射至色彩空间，生成法向图，使朝向一致的结构面在法向图中呈现一致的颜色；

6、将二维纹理图和法向图分别输入图像分割模型，并将操作人员在结构面上指定的位置所对应的屏幕像素坐标作为提示点输入图像分割模型，由图像分割模型分别生成与二维纹理图对应的分割掩码和与法向图对应的分割掩码，对两个分割掩码求交，得到最终的分割掩码；

7、利用相机姿态信息，通过反投影将最终的分割掩码内的像素坐标点映射至三维空间，与实景三维模型的可见表面建立几何对应关系，获取对应的三维点坐标，保存为三维结构面数据；

8、重复由操作人员定位地质结构面至获取三维结构面数据的过程，完成所有结构面的提取。

9、进一步的，所述在三维可视化平台上加载实景三维模型，为基于三维可视化平台，使用三维可视化引擎，加载数据格式包括obj格式和3dtiles格式的实景三维模型，并在屏幕中显示该实景三维模型。

10、进一步的，所述定位出实景三维模型表面可见的地质结构面，为操作人员通过对三维可视化平台的视图进行旋转、缩放和平移，定位出实景三维模型表面可见的地质结构面；所述对当前视角进行渲染得到当前视角的二维纹理图，为根据当前场景中的透视相机对象，通过光栅化渲染得到当前视角的二维纹理图。

11、进一步的，所述计算每个三维表面点的法向量，为基于当前视角下每个像素对应的三维表面点在世界坐标系下的位置，在多个不同尺度的邻域半径下分别计算该像素处的局部法向量，第k个尺度下的局部法向量按下式计算：

12、

13、其中，(u,v)表示像素在屏幕空间中的坐标，p(u,v)表示该像素对应的三维表面点在世界坐标系下的位置normalize表示对向量进行单位化处理；为叉乘运算；为第k个尺度对应的邻域半径；

14、将各尺度下的局部法向量按预设权重融合，得到该三维表面点的法向量。

15、进一步的，所述将法向量映射至色彩空间生成法向图，为将每个三维表面点的法向量线性映射至色彩空间，得到法向图中与该三维表面点对应的像素的颜色值：

16、

17、其中，映射结果表示法向图中与该三维表面点对应的像素的颜色值，映射输入表示该三维表面点的法向量；该映射将法向量按线性方式变换至色彩空间的取值范围内，使朝向一致的结构面在法向图中呈现一致的颜色。

18、进一步的，所述图像分割模型为segment anything model；所述由图像分割模型分别生成两个分割掩码，为将二维纹理图和法向图分别输入segment anything model，分别提取二维纹理图的图像嵌入特征和法向图的图像嵌入特征，由segment anything model结合所述图像嵌入特征和提示点的坐标，分别生成与二维纹理图对应的分割掩码和与法向图对应的分割掩码。

19、进一步的，所述提示点为操作人员在交互过程中通过鼠标点击结构面中间区域时，鼠标指针所在的屏幕像素坐标。

20、进一步的，所述获取对应的三维点坐标，为利用相机姿态信息，通过反投影方法将最终的分割掩码内的像素坐标点映射至三维空间，与实景三维模型的可见表面建立几何对应关系，得到对应的三维点坐标并保存为三维结构面数据；当未获取到三维结构面数据时，由操作人员继续操控三维可视化平台的视图，定位地质结构面。

21、进一步的，在保存为三维结构面数据之前，对得到的三维点采用随机抽样一致性方法剔除非共面的点。

22、本发明还提出了一种融合纹理与几何特征的交互式结构面识别系统，包括：

23、模型加载模块，用于在三维可视化平台上加载实景三维模型，并在屏幕中显示该实景三维模型；

24、纹理图渲染模块，用于在操作人员操控三维可视化平台的视图定位出实景三维模型表面可见的地质结构面后，记录当前视角对应的相机姿态信息，并对当前视角进行渲染，得到当前视角的二维纹理图；

25、法向图渲染模块，利用屏幕空间相邻像素在世界坐标系下的位置差异，计算各尺度下的局部法向量，通过融合方式计算最终法向量，并将法向量映射至色彩空间，生成法向图；

26、图像分割模块，用于将二维纹理图和法向图分别输入图像分割模型，将操作人员在结构面上指定的位置所对应的屏幕像素坐标作为提示点输入图像分割模型，分别生成与二维纹理图对应的分割掩码和与法向图对应的分割掩码，并对两个分割掩码求交，得到最终的分割掩码；

27、三维映射模块，用于利用相机姿态信息，通过反投影将最终的分割掩码内的像素坐标点映射至三维空间，与实景三维模型的可见表面建立几何对应关系，获取对应的三维点坐标；并采用随机抽样一致性方法对三维点进行共面性筛选，剔除非共面的点后保存为三维结构面数据；若未能获取到有效的三维结构面数据（包括反投影无命中、有效点数不足或共面性筛选后点数不足等情形），则向操作人员发出提示，由操作人员调整视角后重新定位，直至完成所有结构面的提取。

28、相比现有技术，本发明具有如下有益效果：

29、1、本发明通过融合实景三维模型的二维纹理图与屏幕空间法向图，将纹理特征与几何特征共同输入图像分割模型，并对两个分割掩码求交，使得结构面在弱纹理、强光照变化或阴影遮挡等复杂条件下仍能保持清晰、稳定的分割边界，显著提升了结构面识别的精度与鲁棒性。同时，基于屏幕空间相邻像素的位置差异计算法向量并映射至色彩空间，将不可见的空间朝向转化为直观的色彩基调，增强了结构面朝向一致性在特征图中的表达，有效克服了现有方法仅依赖rgb纹理信息导致的分割不准确问题。

30、2、本发明通过将三维空间中的结构面提取问题转化为二维屏幕空间的图像分割问题，利用三维可视化平台的可交互视角调整能力，允许操作人员在任意视角下定位地质结构面，并结合相机姿态信息将分割掩码反投影至三维空间，显著降低了大规模点云或网格模型直接处理的计算复杂度，提高了边坡、隧洞及露天矿山等工程场景下的处理效率。此外，通过引入人机交互机制，操作人员仅需在结构面范围内点击一次即可完成单个结构面的智能提取，无需逐点绘制，且可重复迭代完成全部结构面提取，大幅提升了地质编录工作的便捷性与工程适应性。