一种船舶小组立工件模型视觉匹配方法及装置与流程

本发明涉及船舶建造，具体涉及一种船舶小组立工件模型视觉匹配方法及装置。

背景技术：

1、在船舶船体建造过程中，小组立工件是由钢板、型材等基础构件经切割、下料、组对、点焊拼装而成的小型组合式结构件，小组立工件的精准识别与位姿匹配是实现自动化焊接、智能装配的关键环节，直接影响船舶建造效率与质量。

2、现有技术中，船舶小组立工件的视觉检测与三维匹配普遍采用单模态传感设备搭配固定单视角视觉相机完成数据采集。

3、例如，基于点云匹配的方案通过三维激光扫描获取工件点云数据，再与理论模型进行配准；该类方法只能完成固定视野范围内空间域浅层特征提取，无法全面获取工件全域结构信息；

4、基于图像融合的检测方案，通过可见光与红外图像融合提升检测效果；这类方法局限于二维图像层面，未实现三维空间特征融合，难以满足三维匹配需求。

5、现有技术方案存在明显缺陷：

6、单视角采集模式易受现场遮挡、拍摄视角限制、物体表面反光等因素影响，致使三维点云数据存在大量缺失区域，且缺乏成熟的点云补全与精准对齐手段，难以构建完整规范的工件三维特征模型；

7、未实现环视多视角数据联动融合，最终输出片面化、碎片化的单视角点云数据，全局特征表征能力不足；

8、传统特征匹配方式未区分特征重要程度，无法筛选有效核心特征，易受环境噪声、冗余信息干扰，工件模型匹配过程中误匹配现象频发，匹配精度与作业稳定性较低。

技术实现思路

1、本发明提出一种船舶小组立工件模型视觉匹配方法及装置，解决现有技术中单视角采集导致的数据不全、特征碎片化、匹配精度低，实现全局化、高精度、稳定可靠的视觉匹配。

2、为了实现上述目的，本发明的技术方案是：

3、一种船舶小组立工件模型视觉匹配方法，包括：

4、步骤1）采集船舶小组立工件正上方点云数据；

5、步骤2）构建包含多种船舶小组立工件cad模型的三维模型数据库，对所述数据库中每个工件的cad模型进行表面采样，生成具有均匀分布的特征点云数据；

6、步骤3）通过环视相机从多个角度采集工件图像，对多视角图像进行特征提取与跨视角融合，将融合后的图像特征反投影至三维空间生成补充点云，将所述补充点云与正上方点云数据拼接形成稠密融合点云；

7、步骤4）构建基于注意力机制的多模态特征匹配网络，将所述稠密融合点云的几何特征与多视角融合图像特征进行跨模态注意力融合，生成多模态融合特征；

8、将所述多模态融合特征与模型数据库中的特征点云进行交叉注意力匹配，输出工件的类别识别结果和六自由度位姿变换矩阵。

9、进一步地，所述步骤1包括

10、步骤101）基于部署于工件正上方的3d深度相机，采集船舶小组立工件的原始点云数据；

11、步骤102）对所述原始点云数据进行预处理，所述预处理包括离群值滤波、分区域降采样和感兴趣区域roi提取。

12、进一步地，所述步骤102中，所述分区域降采样包括

13、将工件底板区域和非底板区域分别进行降采样，底板区域采用较大降采样率，非底板区域采用较小降采样率。

14、进一步地，所述步骤2中，对所述数据库中每个工件的cad模型进行表面采样，生成特征点云数据，包括

15、步骤201）对小组立工件cad模型进行多分辨率表面采样；

16、步骤202）基于局部表面曲率进行自适应密度调整，在边缘、角点和焊缝区域增加采样密度，生成具有均匀分布的特征点云数据。

17、进一步地，所述步骤3中，对多视角图像进行特征提取与跨视角融合，包括

18、步骤301）对多视角图像数据进行时空对齐；

19、步骤302）基于多视角图像的共有特征进行融合，针对上方点云数据进行补充和修复。

20、一种船舶小组立工件模型视觉匹配装置，其特征在于，执行所述的船舶小组立工件模型视觉匹配方法，包括

21、点云采集模块，用于获取工件正上方点云数据并完成预处理；

22、模型库构建模块，用于存储船舶小组立工件cad模型并采样生成特征点云数据；

23、多视角融合模块，用于从多个角度采集工件图像、融合图像特征并生成补充点云，与工件正上方点云数据拼接得到稠密融合点云；

24、多模态匹配模块，将所述稠密融合点云的几何特征与融合后的图像特征进行跨模态注意力融合，生成多模态融合特征，将所述多模态融合特征与模型数据库中的特征点云进行交叉注意力匹配，输出工件的类别识别结果和六自由度位姿变换矩阵。

25、进一步地，所述点云采集模块包括3d深度相机采集单元和预处理单元，预处理单元执行离群值滤波、分区域降采样和roi提取。

26、进一步地，所述多模态匹配模块包括跨模态融合单元和交叉注意力匹配单元，所述跨模态融合单元通过跨模态注意力加权融合点云几何特征和图像特征得到多模态融合特征，所述交叉注意力匹配单元基于交叉注意力比对多模态融合特征和模型数据库中的特征点云，输出工件的类别识别结果和六自由度位姿变换矩阵。

27、本发明与现有技术相比具有以下优点：

28、采用多视角环视采集结合多模态传感器数据，解决观测盲区或遮挡导致的数据不全问题；

29、通过多视角图像特征反投影生成补充点云，实现缺失点云补全与空间对齐，构建工件完整三维特征，替代传统单视角碎片化点云输出；

30、通过注意力机制模型实现多视角特征深度融合，强化关键特征、抑制噪声干扰，降低误匹配率，提升匹配精度与鲁棒性；

31、针对船舶小组立工件结构复杂、工况干扰强的特点，形成全局化、高精度、稳定可靠的视觉匹配方案，符合工业现场实际需求。

1.一种船舶小组立工件模型视觉匹配方法，其特征在于，包括：

2.根据权利要求1所述的船舶小组立工件模型视觉匹配方法，其特征在于，所述步骤1包括

3.根据权利要求2所述的船舶小组立工件模型视觉匹配方法，其特征在于，所述步骤102中，所述分区域降采样包括

4.根据权利要求2所述的船舶小组立工件模型视觉匹配方法，其特征在于，所述步骤2中，对所述数据库中每个工件的cad模型进行表面采样，生成特征点云数据，包括

5.根据权利要求1所述的船舶小组立工件模型视觉匹配方法，其特征在于，所述步骤3中，对多视角图像进行特征提取与跨视角融合，包括

6.一种船舶小组立工件模型视觉匹配装置，其特征在于，执行权利要求1所述的船舶小组立工件模型视觉匹配方法，包括

7.根据权利要求6所述的船舶小组立工件模型视觉匹配装置，其特征在于，所述点云采集模块包括3d深度相机采集单元和预处理单元，预处理单元执行离群值滤波、分区域降采样和roi提取。

8.根据权利要求6所述的船舶小组立工件模型视觉匹配装置，其特征在于，所述多模态匹配模块包括跨模态融合单元和交叉注意力匹配单元，所述跨模态融合单元通过跨模态注意力加权融合点云几何特征和图像特征得到多模态融合特征，所述交叉注意力匹配单元基于交叉注意力比对多模态融合特征和模型数据库中的特征点云，输出工件的类别识别结果和六自由度位姿变换矩阵。