一种主动亚像素位移条纹结构光超分辨三维重建方法

本发明属于条纹投影三维重建与数字图像处理，具体来说是一种基于可控亚像素位移驱动的条纹投影超分辨率三维重建方法，可直接应用于物体表面形貌高精度三维重建、工业测量等场景。

背景技术：

1、条纹投影轮廓术因其具备高精度、高效率与较强的环境适应性，已被广泛应用于人工智能、工业缺陷检测、医学影像等领域。然而，受限于相机与投影仪的分辨率、像素尺寸及光学系统性能等硬件条件，传统三维重建系统在高频细节捕捉能力上存在固有瓶颈，导致重建精度与细节保真度难以进一步提升。然而，采用高分辨率的相机会带来巨大的产品成本，为突破硬件限制、提高重建精度，现有技术多采用超分辨率方法提升图像细节质量。

2、经典的图像超分辨率技术中包括插值算法，双三次插值法应用最为广泛。该算法利用周边16个邻域像素进行三次多项式加权插值，能够得到相对平滑的放大图像。但由于其仅挖掘局部像素信息，不具备高频细节还原能力，处理周期性条纹图像时易引发边缘虚化、相位偏移等问题，会影响后续三维重建精度。还有一种超分辨重建方法则是将相机拍到的条纹编码图像进行超分辨率处理，通常采用高低分辨率相机对的策略采集深度学习模型所需要的训练数据，但会给系统额外引入了图像的配准误差，同时增加了系统的复杂度。

技术实现思路

1、本发明的目的在于解决上述现有技术存在的不足之处，提出主动亚像素位移条纹结构光超分辨三维重建方法，以期能获取更为近似场景的高低分辨率条纹图像数据集，以实现少量条纹图像、超分辨率三维重建的效果，从而解决双相机采集策略中系统存在图像配对误差的问题，适用于视觉检测与精密测量等场景。

2、为实现上述目的，本发明采用如下技术方案：

3、本发明一种主动亚像素位移条纹结构光的超分辨三维重建方法的特点，包括以下步骤：

4、步骤1、获取包含亚像素位移先验的条纹图像序列{|}，其中，表示第帧低分辨率条纹图像；表示条纹图像总数，且，其中，为超分辨率倍数；表示低分辨率条纹图像的长度，表示低分辨率条纹图像的宽度，表示通道数；

5、步骤2、基于数据一致性约束与像素取值范围约束，利用亚像素位移引导的迭代反投影算法对低分辨率条纹图像{|}进行高分辨率图像估计，得到目标高分辨率条纹重建图像；

6、步骤3、按照步骤1-步骤2的过程得到张目标高分辨率条纹重建图像{|}，并采用

n步相移法对第张目标高分辨率条纹重建图像进行条纹相位分析，输出高分辨率分子量和高分辨率分母量，并进一步计算和的掩膜阈值图及其掩膜图；

7、步骤4、构建条纹分析超分辨率重建网络，包括：浅特征提取、深层特征提取模块和重建模块，并对第1帧低分辨率条纹图像进行处理，得到预测的高分辨率分子量和预测的高分辨率分母量；

8、步骤5，基于和以及预测高分辨率分子量和高分辨率分母量，利用式(1)构建条纹分析超分辨率重建网络的损失函数；

9、

(1)

10、步骤6、通过反向传播算法对所述条纹分析超分辨率重建网络进行迭代训练，并计算训练损失调整网络参数，直至收敛为止，训练后得到的条纹分析超分辨率重建模型，用于对输入的低分辨率条纹图像进行高分辨率相位重建，得到高分辨率三维重建结果。

11、本发明所述的主动亚像素位移条纹结构光的超分辨三维重建方法的特点也在于，所述步骤2包括：

12、步骤2.1、定义当前迭代次数为，并初始化，定义总迭代次数为，以作为参考帧，通过双三次插值对参考帧进行超分辨率处理，得到初始的高分辨率条纹图像估计，并作为第次迭代下的高分辨率条纹重建图像估计；

13、步骤2.2、根据第帧亚像素位移，利用式(2)对进行退化处理，从而生成第次迭代下模拟的第帧低分辨率条纹图像：

14、  (2)

15、式(2)中，表示位移算子，表示模糊算子，表示下采样算子；

16、步骤2.3、利用式(3)计算第次迭代下的第帧残差：

17、  (3)

18、步骤2.4、利用式(4)得到第次迭代下第帧的误差补偿项：

19、  (4)

20、式(4)中，表示上采样算子；表示模糊算子的转置算子，表示转置；

21、步骤2.5、利用式(5)得到第次迭代下的高分辨率条纹重建图像预估计：

22、  (5)

23、式(5)中，表示松弛因子；

24、步骤2.6、利用式(6)对进行归一化处理，得到第次迭代下的高分辨率条纹重建图像估计：

25、  (6)

26、式(6)中，表示像素区间[0,1]的投影算子；

27、步骤2.7、判断式(7)是否成立，若成立，则表示满足数据一致性约束，并将作为，否则，将赋值给后，返回步骤2.2顺序执行，直到达到为止；

28、  (7)

29、式(7)中，为预设的容差阈值。

30、进一步的，所述步骤3包括：

31、步骤3.1、利用式(8)对进行表示；

32、  (8)

33、式(8)中，为目标高分辨率条纹重建图像的背景光强，为目标高分辨率条纹重建图像的调制度，为的相移量，为初始相位，并有：

34、  (9)

35、  (10)

36、  (11)

37、步骤3.2、利用式(12)和式(13)分别计算对应的分子量和分母量；

38、  (12)

39、  (13)

40、步骤3.3、利用式(14)计算调制度，从而利用式(15)获得掩膜阈值图；

41、  (14)

42、  (15)

43、式(15)中，表示设置的掩膜系数；

44、步骤3.4、利用式(16)对进行逐像素判断，并保留满足式(16)的像素点，从而获得掩膜图；

45、  (16)

46、式(16)中，表示中第行第列的掩膜值，表示中第行第列的像素值。

47、进一步的，所述步骤4包括：

48、步骤4.1、所述浅特征提取模块对进行处理，得到初始特征值，其中，为拓展后的通道数，且1；

49、步骤4.2、所述深层特征提取模块由个下采样处理模块、瓶颈层和个上采样处理模块组成，并对初始特征值进行处理，得到下采样条纹图像深度特征序列}和上采样条纹图像深度特征序列}，其中，表示第个下采样模块输出的下采样条纹图像深度特征，表示第个上采样模块输出的上采样条纹图像深度特征；其中，每个下采样处理模块依次包括：一个残差块和一个下采样单元；每个上采样处理模块依次包括：一个上采样单元，一个跳跃连接层和一个残差块；所述瓶颈层包括：个串联的残差块；

50、步骤4.3、所述重建模块由一个通道拓展卷积层和一个亚像素层组成，并通过通道拓展卷积层对第s个上采样条纹深度特征进行处理，得到拓展特征图，再通过亚像素层将的像素重排列后，输出预测的高分辨率分子量和预测的高分辨率分母量，其中，表示拓展特征图的通道数，且，为上采样倍数。

51、进一步的，步骤4.2包括：

52、步骤4.2.1、当时，将输入第s个下采样处理模块中的残差块进行处理，相应得到第个下采样残差特征图；将输入第个下采样处理模块中的下采样单元进行处理，得到第个下采样条纹图像深度特征图；

53、当时，将第个下采样条纹图像深度特征图输入第个下采样处理模块中，并依次经过残差块和下采样单元的处理后，得到，从而由第个下采样处理模块输出第个下采样条纹图像深度特征图；

54、步骤4.2.2、将第个下采样条纹图像深度特征输入所述瓶颈层中，并依次经过个串联的残差块的深度特征提取，得到瓶颈残差特征图；

55、步骤4.2.3、当时，将输入第个上采样处理模块中的上采样单元进行处理，相应得到第个上采样特征图；将输入第个跳跃连接层中，并与第个下采样残差特征图逐像素相加后，输入到第个上采样处理模块中的残差块进行处理，得到第个上采样条纹深度特征图；

56、当时，将第个上采样条纹图像深度特征图输入第个上采样处理模块中，并依次经过上采样单元，跳跃连接层和残差块的处理后，得到，从而由第个上采样处理模块输出第个上采样条纹深度特征图。

57、进一步的，步骤4.2.1的第个下采样处理模块中的残差块是按如下步骤对进行处理，得到第个下采样残差特征图：

58、步骤4.2.1.1、利用式(17)计算第个初步卷积特征图：

59、  (17)

60、式(17)中，表示卷积层，表示修正线性激活函数，表示第个下采样

61、残差特征图，当时，令；

62、步骤4.2.1.2、利用式(18)对进行全局平均池化操作，得到第个池化特征图：

63、  (18)

64、式中，为全局平均池化操作；分别为特征图的高度与宽度；为中第行第列的特征值。

65、步骤4.2.1.3、利用式(19)计算第个卷积特征图：

66、  (19)

67、步骤4.2.1.4、利用式(20)输出最终的第个下采样残差特征图：

68、  (20)

69、式(20)中，表示通道维度逐元素相乘操作，表示通道维度逐元素相加操作，表示s型激活函数。

70、本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述的方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

71、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述的方法的步骤。

72、与现有技术相比，本发明至少有以下有益效果：

73、1、采集端可控亚像素位移抑制误差：

74、本发明通过采用集成压电陶瓷位移台的超分辨率工业相机替代传统高低分辨率相机对，从硬件架构层面消除了双目成像系统引入的外参误差、基线误差及同步误差，从源头抑制了误差传递对后续三维重建效果的不利影响，提高了重建结果的稳定性与可靠性。

75、2、迭代反投影轻量化适配，大幅降低计算平台性能依赖：

76、本发明提出的亚像素位移引导迭代反投影超分辨率重建方法（sdib），将可控亚像素位移采集的多帧低分辨率条纹图像序列，直接嵌入迭代反投影框架中。该方法无需复杂的深度学习模型推理，仅通过迭代优化即可实现高分辨率图像重建，算法逻辑简洁、计算量可控，无需依赖高性能gpu或服务器平台，可直接部署于工业现场的嵌入式设备或相机硬件中，显著降低了三维重建系统对计算平台的性能要求。

77、3、低成本硬件架构下，实现更高分辨率三维重建：

78、本发明基于超分辨率工业相机与投影仪搭建结构光超分辨率三维重建系统，提出的深度学习驱动的面向条纹编码图像的超分辨率网络（fasrnet）可将低分辨率条纹图像进行超分辨率处理，还原了高频细节信息，在不增加硬件成本的前提下，实现了更高细节分辨力的三维重建效果，突破了传统条纹投影系统受限于成像设备分辨率的瓶颈。

79、4、少量条纹图像驱动，实现高效率高精度三维重建：

80、本发明提出的深度学习驱动的面向条纹编码图像的超分辨率网络（fasrnet），经大规模高质量数据集训练后，仅需输入三张低分辨率条纹编码图像，即可完成高分辨率重建，直接输出对应的高分辨率分子、分母量，供后续相位解算流程使用，大幅减少了三维重建过程中所需的条纹图像采集数量，显著降低了数据采集与后续处理的时间成本，有效提升了整体重建效率。

81、5、软硬件协同优化，提升多场景工程应用适配性：

82、本发明提出的亚像素位移引导迭代反投影算法（sdib）与深度学习驱动的面向条纹编码图像的超分辨率网络（fasrnet）形成了软硬件协同优化的完整方案：sdib可部署于集成可控亚像素位移台的工业相机系统中，实现了高精度多帧超分辨率重建；而深度学习驱动的面向条纹编码图像的超分辨率网络则可直接应用于受限于低分辨率相机的传统fpp三维成像系统，无需额外硬件改造，即可实现条纹图像的高分辨率增强。两种方案相互补充，兼顾了静态高精度测量与低成本快速重建需求，显著提升了本发明在不同工业现场的通用性与工程应用适配性。