一种基于多模态融合与拓扑先验的罐体焊缝三维提取方法与流程

本发明属于算机图形学、三维视觉与工业储罐检测交叉，具体涉及一种基于多模态融合与拓扑先验的罐体焊缝三维提取方法。

背景技术：

1、立式圆柱形储罐是能源和化工行业的重要基础设施。在储罐罐体的长期运行过程中，受内部介质腐蚀、外部环境交变载荷以及地基不均匀沉降等因素影响，罐体结构极易在焊缝区域发生腐蚀、开裂和局部变形。因此，对罐体焊缝进行精准定位与提取，是开展后续数字化巡检、壁板变形量化评估、焊缝无损检测及全生命周期健康管理的必要基础。

2、目前，针对罐体焊缝的检测和提取技术主要包括以下三类：

3、1、人工巡检方法：主要依赖检测人员搭建脚手架或利用吊篮进行近距离目视及手工无损检测。该方法劳动强度大、作业风险高，且检测结果存在较强的主观误差，难以实现数字化建档。

4、2、基于二维图像的检测方法：利用爬壁机器人或无人机搭载高清相机获取罐壁图像，通过图像处理或深度学习算法识别焊缝。然而，由于罐体表面光照不均匀、壁板反光、涂层剥落及生锈等因素干扰，图像识别效果稳定性较差。更关键的是，单纯的二维图像无法直接提供焊缝在三维空间中的绝对坐标，难以与罐体的三维几何模型进行精确关联。此外，由于大型罐体物理体量巨大、壁面广阔，在缺乏焊缝三维空间坐标引导的前提下，爬壁机器人通常难以执行面向焊缝分布分布特征的智能三维路径规划，往往只能依赖盲目的、耗时冗长的全局遍历式搜索，这不仅大幅降低了检测作业效率，也限制了作业装备的自主化与智能化水平。

5、3、基于三维点云的缺陷检测方法：通过三维激光扫描仪获取罐体的整体几何形貌点云，进而评估整体变形或局部腐蚀。然而，由于焊缝自身的几何尺寸较小，在大尺度罐体点云中，焊缝的微弱几何特征极易被点云噪声、壁板起伏所淹没。现有的点云处理算法主要针对宏观的形貌分析，缺乏对细微焊缝结构的自动提取能力。

6、基于上述分析，现有的技术方案主要存在以下缺陷：

7、1、三维空间定位缺失：二维图像识别方法仅能获取图像坐标系下的焊缝形态，无法直接对应到罐体的实际三维空间坐标，限制了其在数字化孪生及空间形貌分析中的应用。

8、2、复杂表面抗干扰能力弱：仅依赖单一色彩特征（rgb）或单一几何特征（如曲率），在面对壁板生锈、涂料脱落、污渍干扰或局部凹陷等复杂工况时，容易产生大量的误检和漏检。

9、3、点云极值噪声与计算效率冲突：大规模三维点云数据量庞大，若直接在三维空间中进行局部微观特征搜寻，计算复杂度极高；同时，扫描仪引起的边缘噪声易引发大量孤立的虚假焊缝响应。

10、4、缺乏结构先验的融合：现有算法未引入罐体制造规范中焊缝分布的强拓扑约束规律，无法对检测过程中出现的断裂、局部变形遮挡进行自适应补全和逻辑纠错。

技术实现思路

1、为解决现有技术的不足，实现提升焊缝识别精度、效率和鲁棒性，降低成本的目的，本发明采用如下的技术方案：

2、一种基于多模态融合与拓扑先验的罐体焊缝三维提取方法，过程如下：

3、获取罐体的侧壁板点云数据，并沿侧壁板的主轴方向进行横向切分，通过各切片内的点集拟合罐体侧壁，以获取罐体的主轴信息；

4、基于主轴信息，对围绕主轴的侧壁板点云数据进行罐体表面的展开，得到展开后的侧壁板点云数据；

5、对展开的侧壁板进行分块网格化，向网格像素投影各点的属性，以生成多模态图像；

6、基于多模态图像，进行焊缝像素提取，并将提取的焊缝像素反投影至侧壁板的点云，得到罐体的焊缝点。

7、进一步地，根据点云数据中的三维坐标，计算罐体截面在xy平面的极值中点，并与罐体高度方向的z轴最小值结合，构造平移向量，以对所有点进行平移变换，得到归一化后的点云数据集；

8、基于所述平移变换后罐体z轴方向的直方图分布特征，去除罐体顶盖与底板，得到罐体的侧壁板点云数据。

9、进一步地，沿罐体侧壁板高度方向进行等间距的罐体截面切片划分，并获取切片内的点集；

10、设定切片高度占比和切片步进占比，在罐体侧壁板点云高度区间内，表示罐体侧壁板点云最低点，表示罐体侧壁板点云最高点，自高度位置等步长生成个切片，每个切片的中心高度为，提取落在区间内的点作为该切片点集，表示属于高度区间的高度值；

11、对于每个切片点集，提取其二维平面坐标，进行切片点集的形状拟合；对于圆柱形罐体，采用随机抽样一致性2d ransac算法通过平面坐标拟合切片圆；

12、具体地，在每个切片点集内，随机抽取3个以上点，通过外接圆计算公式求解临时圆心和半径，计算该切片所有点到该圆的距离，若距离小于阈值则记为内点，迭代计算后，获取内点数最多的圆模型，提取圆模型下的所有内点，使用最小二乘法求解切片提纯的圆心与半径；

13、基于切片点集拟合的形状，估算出罐体主轴信息；

14、具体地，根据各切片提纯的圆心与半径的中位数或剔除异常切片后圆心与半径的均值，得到作为所述罐体主轴信息的主轴圆心和半径。

15、进一步地，计算侧壁板的点相对所述圆心的径向距离；

16、基于各点相对于圆心方位角的差值，在角差间设置接缝方位角；

17、将各点的方位角映射到以接缝方位角为起点的标准周期区间，得到映射后的方位角；

18、构建罐体侧壁板展开后的三维点云坐标，其中，以映射后的方位角与所述半径的乘积为x轴坐标，以所述径向距离与所述半径的差为y轴坐标，以当前点原z轴坐标与罐体侧壁板点云最低点z轴坐标之差，作为当前点新的z轴坐标。

19、进一步地，计算每个点相对于所述圆心的方位角；

20、对所有方位角按大小进行排序，以计算相邻点方位角的差值，并计算首尾相接处的越界角差，形成角差集合；

21、将最大角差（即点云分布的最大间隙）的中点角度作为接缝方位角。

22、此机制可保证在展开时，裁剪线始终处于点云不连续的间隙处，避免将连续的焊缝劈裂。

23、进一步地，对展开的罐体侧壁板进行物理分块；在大尺度储罐中，展开后点云的长宽比通常极大，直接整图处理会导致分辨率受限，因此，本发明通过计算展开点云沿z轴的高度范围，以高度范围涵盖的尺寸作为正方形物理分块的边长，沿x轴方向，将点云分割为多个无重叠的子；

24、为子块设定目标分辨率，并基于子块的实际物理极值长宽比，自适应调整像素宽度w与高度h尺寸，保持图像物理比例不失真；

25、将子块内各点坐标映射到像素坐标；

26、对像素点进行邻域网格膨胀，为膨胀区域内的所有网格像素投影点属性，从而克服由于点云稀疏带来的图像空洞和离散噪点；

27、基于包含点属性的像素，生成多模态图像。

28、进一步地，所述点云数据包括三维坐标、颜色信息和反射强度；所述多模态图像包括赋色图、反射强度赋色图、法向变化率赋色图；

29、为网格内的像素赋予对应点的颜色，得到赋色图；

30、计算子块内点云反射强度的相对值，并通过相对值为网格内的像素赋予灰度值，得到反射强度赋色图；

31、计算点的表面法向变化率并进行非线性对数化转换，以抑制极值噪声并放大焊缝边缘的几何突变信号，并对得到的对数曲率进行归一化灰度拉伸，得到单点几何突变特征值，采用邻域内特征值的均值作为法向变化率图像素的灰度值，得到法向变化率赋色图。

32、进一步地，所述焊缝像素提取过程如下：

33、对各模态图像进行边缘提取，生成边缘二值图，采用线性结构元素对边缘二值图进行闭运算与开运算处理，得到重构后的各模态候选焊缝二值图；

34、计算当前分块多模态图像的灰度标准差，以度量模态信息的显著度，并基于灰度标准差构建各模态图像的权重系数；

35、通过所述权重系数对所述重构后的各模态候选焊缝二值图进行加权叠加，得到像素级的焊缝存在概率；

36、基于所述焊缝存在概率与设定的判定阈值，当像素点在多个对比度高的模态中均被判定为焊缝，或在某一高对比度模态中具有强响应时，该像素被激活，得到融合的焊缝二值图。

37、进一步地，在所述融合的焊缝二值图上，利用罐体特有的纵横焊接格网物理规律进行约束优化，过程如下：

38、在融合的焊缝二值图上运行累计概率霍夫变换，以设置角度约束，以筛选纵向焊缝线和环向焊缝线；

39、纵向焊缝线候选：线段倾角（其中角度容错偏差 设为 ）；

40、环向焊缝线候选：线段倾角；

41、对通过筛选的线段进行一维均值漂移聚类，拟合出分块内的主焊缝骨架基准线，包括纵向基准垂直线集和环向基准水平线集；

42、对于融合的焊缝二值图中的任意像素点，计算其到最近的纵向基准垂直线集或环向基准水平线集的欧式距离；

43、

44、若欧氏距离大于设定的最大像素偏差阈值，则判定该点为非焊缝噪点，将融合后的焊缝二值图上对应像素值置0；

45、沿拟合好的纵向基准垂直线集和环向基准水平线集进行扫描，若发现网格线上存在连续值为0的像素区间，且该区间的断裂长度小于设定的临界像素长度，则采用线性插值算法将该断裂区间的像素值自适应修补填充为1。

46、进一步地，分块投影时，记录每一个像素所包络的侧壁板点云的原始索引；

47、提取所有属于焊缝像素所对应的点索引并去重，得到焊缝索引集合；

48、在已去除顶底板的侧壁板点云中，根据焊缝索引集合提取对应的点，作为最终的高精度三维焊缝定位点集。

49、由于其来自于原始归一化点云系统，每个点均带有真实的高精度三维物理坐标，最终输出点集即为高精度的罐体三维焊缝点云。

50、本发明的优势和有益效果在于：

51、1、本发明实现了高精度的焊缝三维空间坐标定位：通过建立“二维图像-展开点云-原始点云”的双向映射机制，将经过拓扑优化的二维焊缝中心线反投影回三维物理空间，获得了具有真实物理尺寸和三维坐标的焊缝点集，为储罐全生命周期健康评估提供了基础数据。

52、2、本发明的多模态特征融合提升了焊缝检测鲁棒性：有机集成了颜色信息（rgb）、物理反射特性以及微观几何起伏特征。多维度信息的互补有效克服了单一特征在面对锈蚀、反光、污垢等干扰时的失效问题。

53、3、本发明通过引入拓扑先验实现自适应优化与降噪：充分利用了大型立式储罐焊接结构中“纵向焊缝为铅垂线、环向焊缝为水平圆环”的物理拓扑规律。通过在二维展开域施加极坐标约束，能够高效剔除孤立的非焊缝噪声（如壁板附件、标识线），并对因遮挡或弱特征导致的焊缝断裂进行自适应补全。

54、4、本发明显著提升了计算效率：将高复杂度的三维点云计算问题转换为规则的二维多模态图像空间处理，既保留了点云的几何与强度信息，又极大降低了算法的空间与时间复杂度，适合大规模储罐点云的高效处理。

55、5、本发明能够支撑焊缝三维检测与智能运维：本发明输出的焊缝三维点集可直接用于焊缝的三维空间定位、形貌偏差分析及焊缝质量评估，实现从原始点云到焊缝检测结果的端到端式自动化流程。同时，所提取的焊缝三维空间位置信息可进一步作为爬壁机器人或自主巡检装置的路径规划依据——以焊缝三维坐标作为导航目标点，引导机器人沿焊缝轨迹自主运动，搭载涡流探头、超声波传感器或相控阵检测设备进行近距离自动化焊缝探伤，从而实现"先定位、再导航、后探伤"的智能化检测作业闭环，显著提升储罐焊缝无损检测的自动化水平和作业效率。