一种基于渐进注意力增强立体视觉的三维测量方法

摘要: 本发明涉及双目视觉测量,特别是涉及一种基于渐进注意力增强立体视觉的三维测量方法。背景技术:1、现有工业三维测量包括接触式测量、结构光测量、目标辅助测量、传统双目...
一种基于渐进注意力增强立体视觉的三维测量方法

本发明涉及双目视觉测量,特别是涉及一种基于渐进注意力增强立体视觉的三维测量方法。

背景技术:

1、现有工业三维测量包括接触式测量、结构光测量、目标辅助测量、传统双目视觉测量和深度学习立体匹配测量。接触式测量效率低且不适合复杂自由曲面;目标辅助测量需要标记或表面预处理,可能改变原始表面状态;传统双目算法在弱纹理、反光、遮挡和深度突变处易产生误匹配、孔洞和边缘模糊。

2、深度学习立体匹配网络虽在公开数据集上表现较好,但直接用于工业构件时仍存在域适应不足、边缘连续性差、局部几何不稳定等问题。若采用全参数微调,可能导致灾难性遗忘;若采用全局注意力,又会在高分辨率图像下增加计算量和显存占用。因此,需要一种兼顾几何鲁棒性、训练稳定性和计算效率的无标记工业三维测量方法。

技术实现思路

1、为了在工业三维测量过程中兼顾几何鲁棒性、训练稳定性和计算效率,本发明提供了一种基于渐进注意力增强立体视觉的三维测量方法。

2、为此,本发明提供了以下技术方案:

3、一种基于渐进注意力增强立体视觉的三维测量方法,包括以下步骤:

4、s101.构建三阶段训练数据,分别为合成数据集、中间真实数据集、工业目标数据集;所述合成数据集为三维仿真渲染生成的带精准视差真值的双目图像数据集,所述中间真实数据集为通用场景双目相机实拍得到的双目公开数据集,所述工业目标数据集为双目相机现场采集的工业构件双目图像数据集;

5、s102.基于所述合成数据集对raft-stereo立体匹配网络进行预训练,得到预训练主干网络;所述raft-stereo立体匹配网络内置权重共享的特征编码器、上下文编码器、相关体构建模块以及多层卷积gru递归更新单元;在所述特征编码器与上下文编码器中均嵌入通道-空间注意力模块,在所述多层卷积gru递归更新单元中嵌入窗口化自注意力残差更新通路;

6、s103.加载预训练后的主干网络权重,基于中间真实数据集开展微调训练,微调训练过程中,冻结特征编码器、上下文编码器、相关体构建模块、多层卷积gru递归更新单元主体网络参数,仅通道-空间注意力模块以及部分gru递归更新单元的参数参与训练;

7、s104.基于工业目标数据集对主干网络进行场景适配训练,继续冻结特征编码器、相关体构建模块、多层卷积gru递归更新单元主体网络参数,仅对通道-空间注意力模块、窗口化自注意力残差更新通路的参数进行训练,得到训练完成的渐进注意力增强立体匹配网络;

8、s201.对双目相机进行标定,获取左、右相机内参矩阵、旋转矩阵、平移向量、等效焦距和基线长度;采集被测工业构件的左、右原始图像,对左、右原始图像依次开展畸变校正和极线校正;

9、s202.在极线校正条件下定义同一空间点对应的图像横坐标差值为视差,依据双目平行成像几何关系由视差计算像素深度,结合双目相机内参矩阵将二维像素坐标与对应深度转换为相机坐标系下的三维空间坐标;

10、s203.将校正后的左、右图像输入训练完成的渐进注意力增强立体匹配网络,通过权重共享的特征编码器提取左图像特征fl、右图像特征fr,通过上下文编码器提取上下文特征fctx;所述特征编码器与上下文编码器内的通道-空间注意力模块对输入特征图f先通过全局平均池化、全局最大池化得到通道特征描述,经由共享多层感知机与sigmoid函数生成通道注意力权重,采用通道注意力权重对原始特征图加权得到通道增强特征图;再对通道增强特征图沿通道维度分别进行平均池化、最大池化,将池化结果拼接后经由卷积与sigmoid函数生成空间注意力权重,对通道增强特征图加权得到最终注意力增强特征;

11、s204.利用经通道空间注意力模块增强后的左图像特征fl、右图像特征fr,采用归一化内积方式构建一维相关体金字塔; 基于所述一维相关体金字塔获取各像素位置在不同候选视差偏移下的匹配代价信息,根据所述匹配代价信息求解初始化视差场d0,并将当前视差场、相关体特征和增强后的上下文特征共同输入多层卷积gru递归更新单元;

12、所述多层卷积gru递归更新单元内置窗口化自注意力残差更新通路,将上下文特征划分为固定尺寸的局部窗口,仅在局部窗口内完成自注意力计算;将自注意力计算结果以大于0且远小于1的系数做残差叠加更新原始上下文特征,得到增强后的上下文特征;将增强后的上下文特征输入多层卷积gru递归更新单元,逐轮计算视差增量,按照迭代方式对视差场细化优化,输出稠密视差图;

13、s205.对稠密视差图进行异常过滤得到有效视差,基于有效视差计算各像素深度,结合双目相机内参数得到所有有效像素对应的三维空间坐标,构建工业构件三维点云,对三维点云预处理后完成几何测量;

14、s206.对被测工业构件进行n次采集图像并重建点云,经icp点云配准后通过kdtree建立多组点云测点对应关系,计算测点几何中心与a类标准不确定度,输出测量结果。

15、进一步地,所述步骤s203中,通道注意力权重的计算式为:

16、

17、式中:为通道注意力权重、为输入的原始特征图、为全局平均池化、为全局最大池化、为共享权重的多层感知机、为sigmoid激活函数;

18、通道增强特征图的计算式为:

19、

20、式中:为通道增强特征图;

21、空间注意力权重的计算式为:

22、

23、式中:为空间注意力权重、为7x7卷积、为沿通道维度拼接;

24、最终注意力增强特征的计算式为:

25、

26、式中:为最终注意力增强特征。

27、进一步地,所述步骤s204中,将上下文特征划分为若干固定尺寸的局部窗口,取窗口特征通过三个不同的可学习矩阵分别构建三类特征:

28、,

29、其中:是查询特征变换矩阵、是键特征变换矩阵、是值特征变换矩阵;

30、窗口自注意力计算式为:

31、

32、式中:为key向量维度,为窗口边界掩膜;

33、增强后的上下文特征计算式为:

34、

35、式中:为增强后的上下文特征,

β为残差缩放系数。

36、进一步地,所述步骤s202在极线校正条件下定义同一空间点对应的图像横坐标差值为视差,计算式为:

37、

38、式中:为左图像横坐标、为右图像横坐标;

39、依据双目平行成像几何关系由视差计算像素深度,计算式为:

40、

41、式中:

f为双目相机等效焦距、为双目相机基线长度;

42、结合双目相机内参矩阵将二维像素坐标与对应深度转换为相机坐标系下的三维空间坐标,计算式为:

43、

44、式中:

k为双目相机内参矩阵。

45、进一步地,所述步骤s204一维相关体金字塔的计算式为:

46、

47、式中:为图像位置坐标、为候选视差偏移、为左图像特征、为右图像特征、为防止分母为零的稳定项。

48、进一步地,所述步骤s205对稠密视差图进行异常过滤包括置信度筛选、左右一致性校验、异常阈值过滤剔除无效视差点。

49、进一步地,所述步骤s205对三维点云预处理包括依次执行离群点剔除、有效区域裁剪、尺度统一、坐标变换、下采样预处理;针对圆柱类构件对截面点云做圆拟合得到直径、半径及拟合残差;针对叶轮、叶片类自由曲面构件输出三维形貌、深度分布与局部几何连续性评价结果。

50、进一步地,所述步骤s206测点几何中心的计算式为:

51、

52、式中:为第

j个测量中第

i个空间点;

53、a类标准不确定度的计算式为:

54、

55、输出测量结果包括三维点云、深度渲染图、尺寸拟合结果、重复性统计结果和不确定度分布。

56、本发明的优点和积极效果:

57、本技术方法无需在工业构件表面粘贴人工标记,也无需喷粉或其他表面预处理,能够保持被测物原始表面状态,降低现场操作复杂度,提高检测效率,适合工业在线测量和复杂构件快速检测。

58、通道-空间注意力模块能够增强与几何结构相关的通道响应和空间位置响应,使网络更关注叶片边缘、轮缘、尖锐脊线等几何敏感区域,降低弱纹理和背景噪声对匹配的影响。

59、窗口化自注意力计算,并通过残差方式注入多层卷积gru递归更新单元,有利于改善边缘连续性、曲率过渡和局部表面平滑性,减少传统匹配失败导致的孔洞、分层和块状伪影。

60、渐进式解冻跨域训练策略使模型从合成数据、公开真实数据逐步迁移到工业构件数据,在域差逐步减小的过程中收缩可训练参数集合,可降低灾难性遗忘和全参数微调引起的不稳定问题。

61、相比全局自注意力,窗口化自注意力仅在局部窗口内计算注意力,能够控制显存占用和计算量;在输入图像分辨率为540x960时,所述方法在16gb显存桌面gpu上可实现约500ms/图像对的推理速度和约1263.88mb的显存占用。