一种基于深度学习的微距散斑结构光深度估计方法及系统

本公开涉及计算机视觉、结构光三维成像及口腔数字化，具体涉及一种基于深度学习的微距散斑结构光深度估计方法及系统。

背景技术：

1、散斑结构光深度估计是一种主动三维视觉测量方法，该方法具有测量精度良好、对物体自身纹理依赖较低等特点，已广泛应用于工业检测、精密测量、医学三维成像等领域。

2、传统的微距散斑结构光深度估计方法通常采用块匹配算法，在参考散斑图像与被测物体散斑图像之间搜索对应区域，并根据匹配位移及标定得到的成像几何关系计算深度。然而，在微距成像条件下，受稀疏散斑、有限景深、表面高反射、遮挡、局部形变及低信噪比等因素影响，传统匹配方法易产生误匹配、匹配空洞及噪声，深度估计的精度和稳定性受到限制。

3、近年来，深度学习技术的发展为复杂微距成像条件下的散斑结构光深度估计提供了新的技术途径。由于真实微距场景下高精度逐像素深度标签的采集成本较高，现有方法一般采用三维渲染或虚拟成像系统生成具有深度、视差等标签的合成数据，并利用所述合成数据训练深度估计网络。然而，合成数据与真实数据在被测对象的几何形态、表面材质、散斑分布以及成像噪声等方面通常存在差异，由此形成合成域与真实域之间的域偏差，仅在合成数据上训练的网络在真实微距场景中的泛化能力下降，测量精度受限。此外，当前基于深度学习的散斑匹配方法主要依据参考散斑图与被测对象散斑图之间的特征对应关系进行视差估计，对同步rgb图像中的轮廓、边缘和表面结构信息利用不足。并且，其训练过程通常以逐像素视差或深度误差作为主要监督信号，难以直接约束反投影点云的局部三维几何形态。

4、因此，在稀疏散斑、有限景深等复杂微距成像条件下，传统散斑匹配算法的测量精度和稳定性受到限制；现有基于深度学习的散斑结构光深度估计方法仍受到合成域与真实域之间的域偏差、rgb结构信息利用不足以及三维几何约束不足等因素影响，其在真实场景中的测量精度、三维结构质量和稳定性仍有待提高。

技术实现思路

1、为至少解决上述技术问题之一，本发明提供如下技术方案。

2、一种基于深度学习的微距散斑结构光深度估计方法，包括以下步骤：

3、步骤s1：依据实际微距散斑结构光装置的标定参数构建blender虚拟成像系统，合成包含参考散斑图、被测对象散斑图、rgb图像及对应深度标签的训练数据，并将所述训练数据作为合成数据；

4、步骤s2：构建散斑深度估计网络，利用权重共享的散斑特征提取网络分别提取所述参考散斑图和所述被测对象散斑图的多尺度散斑特征，以获得参考散斑特征和被测对象散斑特征，通过连续位移采样建立所述参考散斑特征与所述被测对象散斑特征之间的逐视差匹配代价体，提取所述rgb图像的多层级结构特征并据此生成与各候选视差对应的逐视差残差门控，进而实现对所述逐视差匹配代价体的调制，对融合后的匹配特征进行三维代价聚合，回归得到度量视差；

5、步骤s3：利用所述合成数据，以视差监督损失、散斑重投影损失和三维表面结构损失加权联合训练所述散斑深度估计网络；

6、步骤s4：采集包含真实参考散斑图、真实被测对象散斑图和真实rgb图像的真实微距散斑数据，将所述真实rgb图像输入预训练单目深度教师模型，生成被测表面的三维结构伪标签，以经过合成数据训练的散斑深度估计网络作为学生网络，将所述真实参考散斑图、所述真实被测对象散斑图和所述真实rgb图像输入所述学生网络，仅以所述三维结构伪标签表征的相对三维结构作为教师监督，并结合真实散斑重投影约束和初始模型保持约束对所述学生网络进行结构蒸馏微调；

7、步骤s5：将待测的参考散斑图、被测对象散斑图和rgb图像输入训练完成的散斑深度估计网络，预测度量视差，将所述度量视差转换为度量深度，生成当前相机视角下的可见表面三维点云。

8、进一步地，所述步骤s1包括：

9、步骤s11：对实际微距散斑结构光装置进行标定，获得相机内参、相机与散斑投影装置之间的相对位置关系、参考平面位置以及工作距离范围；

10、步骤s12：依据所述标定参数在blender中构建虚拟相机、虚拟散斑投影装置、参考平面和被测对象，并对散斑图案、被测对象的几何形态与材质参数、空间姿态、拍摄视角、工作距离、照明强度和成像噪声进行随机化；

11、步骤s13：渲染所述参考散斑图、所述被测对象散斑图及所述rgb图像，输出与图像逐像素对应的度量深度，根据标定几何关系计算度量视差，并根据可见性、深度范围和遮挡关系生成有效区域掩膜。

12、进一步地，所述步骤s2包括：

13、步骤s21：将所述参考散斑图和所述被测对象散斑图输入权重共享的散斑特征提取网络，获得处于同一特征空间的多尺度参考散斑特征和多尺度被测对象散斑特征；

14、步骤s22：对所述多尺度参考散斑特征进行连续位移采样，在候选视差范围内对参考特征进行亚像素移动，并将移动后的参考特征与所述多尺度被测对象散斑特征在特征维度上拼接，构建逐视差匹配特征，所述逐视差匹配特征在各候选视差下构成逐视差匹配代价体；

15、步骤s23：利用图像结构特征提取分支提取所述rgb图像的多层级轮廓、边缘和局部表面结构特征，根据所述多层级结构特征生成与各候选视差对应的逐视差残差门控，并利用所述逐视差残差门控对所述逐视差匹配代价体进行调制，使rgb图像的轮廓、边缘和局部表面结构信息参与各候选视差的匹配判断；

16、步骤s24：对融合后的匹配特征进行三维卷积代价聚合，得到各候选视差的聚合代价，对各候选视差的聚合代价取负后进行softmax归一化，得到候选视差概率分布，并通过概率加权求和回归得到连续值视差。

17、进一步地，所述步骤s3包括：

18、步骤s31：在有效区域掩膜内，根据所述度量视差与合成真值视差计算视差监督损失；

19、步骤s32：根据所述度量视差对所述参考散斑图进行反向采样，获得重投影图像，计算所述重投影图像与所述被测对象散斑图之间的差异，作为散斑重投影损失；

20、步骤s33：将所述度量视差转换为预测深度，获取合成真值深度，将所述预测深度和所述合成真值深度分别反投影为三维点云，对于相邻像素单元计算表面法向，并计算预测法向与真值法向之间的差异，作为三维表面结构损失；

21、步骤s34：对所述视差监督损失、所述散斑重投影损失和所述三维表面结构损失进行加权求和，获得合成数据训练总损失，利用所述总损失训练所述散斑深度估计网络。

22、进一步地，所述步骤s4包括：

23、步骤s41：采集包含参考散斑图、被测对象散斑图和对应rgb图像的真实微距散斑数据；

24、步骤s42：将所述真实rgb图像输入预训练单目深度教师模型，获得被测表面的相对深度及置信信息；

25、步骤s43：根据所述教师模型的置信度、前景区域、深度有效性选取可信区域，形成可信区域掩膜；

26、步骤s44：依据相机内参将所述可信区域内的相对深度反投影为相对尺度三维点云，并在所述相对尺度三维点云上计算表面法向，作为三维结构伪标签；

27、步骤s45：以经过合成数据训练的散斑深度估计网络作为学生网络，将所述真实参考散斑图、所述真实被测对象散斑图和所述真实rgb图像输入所述学生网络，获得预测度量视差并转换为预测深度和预测三维点云，所述真实rgb图像同时输入所述预训练单目深度教师模型和所述学生网络，从而使所述学生网络在合成数据训练阶段和真实域蒸馏微调阶段均接收所述参考散斑图、所述被测对象散斑图和所述rgb图像的三路输入，仅以所述三维结构伪标签表征的相对三维结构作为教师监督，并结合真实散斑重投影约束和初始模型保持约束对所述学生网络进行结构蒸馏微调。

28、进一步地，所述步骤s5包括：

29、步骤s51：将待测的参考散斑图、被测对象散斑图和rgb图像输入训练完成的散斑深度估计网络，获得预测度量视差；

30、步骤s52：根据实际微距散斑结构光装置的标定几何关系，将所述预测度量视差转换为度量深度，转换公式为，其中为相机与散斑投影装置的等效基线，为相机水平方向焦距，为参考平面深度，为所述预测度量视差；

31、步骤s53：依据相机内参将有效像素反投影至相机坐标系，生成当前相机视角下被测对象可见表面的三维点云，反投影公式为，，，其中、为图像坐标，、为相机主点坐标，、为相机焦距。

32、一种基于深度学习的微距散斑结构光深度估计系统，包括：

33、合成数据构建模块，被配置为依据实际微距散斑结构光装置的标定参数构建blender虚拟成像系统，合成包含参考散斑图、被测对象散斑图、rgb图像及对应深度标签的训练数据，并将所述训练数据作为合成数据；

34、散斑深度估计网络模块，被配置为利用权重共享的散斑特征提取网络分别提取所述参考散斑图和所述被测对象散斑图的多尺度散斑特征，以获得参考散斑特征和被测对象散斑特征，通过连续位移采样建立所述参考散斑特征与所述被测对象散斑特征之间的逐视差匹配代价体，提取所述rgb图像的多层级结构特征并根据所述多层级结构特征生成与各候选视差对应的逐视差残差门控，并利用所述逐视差残差门控对所述逐视差匹配代价体进行调制，对融合后的匹配特征进行三维代价聚合，回归得到度量视差；

35、合成数据训练模块，被配置为利用所述合成数据，以视差监督损失、散斑重投影损失和三维表面结构损失加权联合训练所述散斑深度估计网络；

36、结构伪标签生成模块，被配置为采集包含真实参考散斑图、真实被测对象散斑图和真实rgb图像的真实微距散斑数据，将所述真实rgb图像输入预训练单目深度教师模型，生成被测表面的三维结构伪标签；

37、真实域结构蒸馏模块，被配置为以经过合成数据训练的散斑深度估计网络作为学生网络，将所述真实参考散斑图、所述真实被测对象散斑图和所述真实rgb图像输入所述学生网络，仅以所述三维结构伪标签表征的相对三维结构作为教师监督，并结合真实散斑重投影约束和初始模型保持约束对所述学生网络进行结构蒸馏微调；

38、深度及点云生成模块，被配置为将待测的参考散斑图、被测对象散斑图和rgb图像输入训练完成的散斑深度估计网络，预测度量视差，将所述度量视差转换为度量深度，生成当前相机视角下的可见表面三维点云。

39、进一步地，所述合成数据构建模块被配置为：

40、对实际微距散斑结构光装置进行标定，获得相机内参、相机与散斑投影装置之间的相对位置关系、参考平面位置以及工作距离范围；

41、依据所述标定参数在blender中构建虚拟相机、虚拟散斑投影装置、参考平面和被测对象，并对散斑图案、被测对象的几何形态与材质参数、空间姿态、拍摄视角、工作距离、照明强度和成像噪声进行随机化；

42、渲染所述参考散斑图、所述被测对象散斑图及所述rgb图像，输出与图像逐像素对应的度量深度，根据标定几何关系计算度量视差，并根据可见性、深度范围和遮挡关系生成有效区域掩膜。

43、进一步地，所述散斑深度估计网络模块被配置为：

44、将所述参考散斑图和所述被测对象散斑图输入权重共享的散斑特征提取网络，获得处于同一特征空间的多尺度参考散斑特征和多尺度被测对象散斑特征；

45、对所述多尺度参考散斑特征进行连续位移采样，在候选视差范围内对参考特征进行亚像素移动，并将移动后的参考特征与所述多尺度被测对象散斑特征在特征维度上拼接，构建逐视差匹配特征，所述逐视差匹配特征在各候选视差下构成逐视差匹配代价体；

46、利用图像结构特征提取分支提取所述rgb图像的多层级轮廓、边缘和局部表面结构特征，根据所述多层级结构特征生成与各候选视差对应的逐视差残差门控，并利用所述逐视差残差门控对所述逐视差匹配代价体进行调制，使rgb图像的轮廓、边缘和局部表面结构信息参与各候选视差的匹配判断；

47、对融合后的匹配特征进行三维卷积代价聚合，得到各候选视差的聚合代价，对各候选视差的聚合代价取负后进行softmax归一化，得到候选视差概率分布，并通过概率加权求和回归得到连续值视差。

48、进一步地，所述合成数据训练模块被配置为：

49、在有效区域掩膜内，根据所述度量视差与合成真值视差计算视差监督损失；

50、根据所述度量视差对所述参考散斑图进行反向采样，获得重投影图像，计算所述重投影图像与所述被测对象散斑图之间的差异，作为散斑重投影损失；

51、将所述度量视差转换为预测深度，获取合成真值深度，将所述预测深度和所述合成真值深度分别反投影为三维点云，对于相邻像素单元计算表面法向，并计算预测法向与真值法向之间的差异，作为三维表面结构损失；

52、对所述视差监督损失、所述散斑重投影损失和所述三维表面结构损失进行加权求和，获得合成数据训练总损失，利用所述总损失训练所述散斑深度估计网络。

53、进一步地，所述结构伪标签生成模块被配置为采集包含真实参考散斑图、真实被测对象散斑图和真实rgb图像的真实微距散斑数据，将所述真实rgb图像输入预训练单目深度教师模型，获得被测表面的相对深度及置信信息，根据所述教师模型的置信度、前景区域、深度有效性选取可信区域，形成可信区域掩膜，依据相机内参将所述可信区域内的相对深度反投影为相对尺度三维点云，并在所述相对尺度三维点云上计算表面法向，作为三维结构伪标签；

54、所述真实域结构蒸馏模块被配置为以经过合成数据训练的散斑深度估计网络作为学生网络，将所述真实参考散斑图、所述真实被测对象散斑图和所述真实rgb图像输入所述学生网络，获得预测度量视差并转换为预测深度和预测三维点云，所述真实rgb图像同时输入所述预训练单目深度教师模型和所述学生网络，从而使所述学生网络在合成数据训练阶段和真实域蒸馏微调阶段均接收所述参考散斑图、所述被测对象散斑图和所述rgb图像的三路输入，仅以所述三维结构伪标签表征的相对三维结构作为教师监督，并结合真实散斑重投影约束和初始模型保持约束对所述学生网络进行结构蒸馏微调。

55、进一步地，所述深度及点云生成模块被配置为：

56、将待测的参考散斑图、被测对象散斑图和rgb图像输入训练完成的散斑深度估计网络，获得预测度量视差；

57、根据实际微距散斑结构光装置的标定几何关系，将所述预测度量视差转换为度量深度，转换公式为，其中为相机与散斑投影装置的等效基线，为相机水平方向焦距，为参考平面深度，为所述预测度量视差；

58、依据相机内参将有效像素反投影至相机坐标系，生成当前相机视角下被测对象可见表面的三维点云，反投影公式为，，，其中、为图像坐标，、为相机主点坐标，、为相机焦距。

59、一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一项所述的方法。

60、一种电子设备，包括：

61、存储器，其上存储有计算机程序指令；

62、处理器，与所述存储器耦合，所述处理器执行所述存储器中的指令时实现上述任一项所述的方法。

63、一种散斑结构光深度估计方法，包括以下步骤：

64、步骤s1：获取参考散斑图像、被测对象散斑图像、rgb图像以及对应的深度标签，构成训练数据；

65、步骤s2：构建深度估计网络，所述深度估计网络从所述参考散斑图像和所述被测对象散斑图像中提取散斑特征并构建匹配代价体，根据所述rgb图像的结构特征生成逐视差残差门控，并利用所述逐视差残差门控调制所述匹配代价体，对融合后的匹配特征进行代价聚合后回归视差；

66、步骤s3：利用所述训练数据，以包含三维几何约束的损失函数训练所述深度估计网络；

67、步骤s4：获取真实微距散斑数据，利用预训练单目深度教师模型处理所述真实微距散斑数据中的rgb图像，生成被测表面的三维结构伪标签，并利用所述真实微距散斑数据和所述三维结构伪标签对经过步骤s3训练的深度估计网络进行结构蒸馏微调；

68、步骤s5：将待测的参考散斑图像、被测对象散斑图像和rgb图像输入微调后的深度估计网络，得到视差预测结果，根据所述视差预测结果及标定得到的成像几何关系计算被测对象表面的深度，并依据相机内参生成当前相机视角下被测对象可见表面的三维点云。

69、进一步地，所述步骤s1中，所述训练数据通过虚拟成像系统合成获得，所述虚拟成像系统依据实际散斑结构光装置的标定参数构建，所述训练数据包含多散斑图案、多材质、多视角及多距离变化的样本。

70、进一步地，所述步骤s2包括：

71、采用权重共享的特征提取网络分别提取所述参考散斑图像和所述被测对象散斑图像的多尺度散斑特征；

72、通过连续位移采样建立所述多尺度散斑特征之间的逐视差匹配代价体；

73、提取所述rgb图像的多层级结构特征，根据所述多层级结构特征生成逐视差残差门控，并利用所述逐视差残差门控调制所述逐视差匹配代价体；

74、对融合后的匹配特征进行三维代价聚合，回归得到所述视差。

75、进一步地，所述步骤s3中，所述包含三维几何约束的损失函数包括视差监督损失、散斑重投影损失和三维表面结构损失的加权和，所述三维表面结构损失通过将预测深度和真值深度反投影为三维点云后计算表面法向差异获得。

76、进一步地，所述步骤s4中，所述方法包括：

77、采集真实散斑数据，将所述真实散斑数据中的rgb图像输入预训练单目深度教师模型，对其输出的相对深度进行可信区域筛选，反投影为相对尺度三维点云并计算表面法向，以生成三维结构伪标签；

78、以经过所述训练数据训练的深度估计网络作为学生网络，仅以所述三维结构伪标签表征的相对三维结构作为教师监督，并结合真实散斑重投影约束和初始模型保持约束对所述学生网络进行结构蒸馏微调。

79、进一步地，所述步骤s5中，将所述视差预测结果转换为深度的公式为，其中为成像系统的等效基线，为水平方向焦距，为参考平面深度，为所述视差预测结果。

80、一种散斑结构光深度估计系统，包括：

81、数据获取模块，被配置为获取参考散斑图像、被测对象散斑图像、rgb图像以及对应的深度标签，构成训练数据；

82、深度估计网络模块，包括深度估计网络，被配置为从所述参考散斑图像和所述被测对象散斑图像中提取散斑特征并构建匹配代价体，根据所述rgb图像的结构特征生成逐视差残差门控，并利用所述逐视差残差门控调制所述匹配代价体，对融合后的匹配特征进行代价聚合后回归视差；

83、训练模块，被配置为利用所述训练数据，以包含三维几何约束的损失函数训练所述深度估计网络；

84、推理模块，被配置为将待测的参考散斑图像、被测对象散斑图像和rgb图像输入训练完成的深度估计网络，得到视差预测结果；

85、深度转换模块，被配置为将所述视差预测结果转换为深度。

86、进一步地，所述数据获取模块被配置为通过虚拟成像系统合成所述训练数据，所述虚拟成像系统依据实际散斑结构光装置的标定参数构建，所述训练数据包含多散斑图案、多材质、多视角及多距离变化的样本。

87、进一步地，所述深度估计网络模块被配置为：

88、采用权重共享的特征提取网络分别提取所述参考散斑图像和所述被测对象散斑图像的多尺度散斑特征；

89、通过连续位移采样建立所述多尺度散斑特征之间的逐视差匹配代价体；

90、提取所述rgb图像的多层级结构特征，根据所述多层级结构特征生成逐视差残差门控，并利用所述逐视差残差门控调制所述逐视差匹配代价体；

91、对融合后的匹配特征进行三维代价聚合，回归得到所述视差。

92、进一步地，所述训练模块被配置为以视差监督损失、散斑重投影损失和三维表面结构损失的加权和作为所述包含三维几何约束的损失函数，所述三维表面结构损失通过将预测深度和真值深度反投影为三维点云后计算表面法向差异获得。

93、进一步地，所述系统还包括：

94、结构伪标签生成模块，被配置为采集真实散斑数据，将所述真实散斑数据中的rgb图像输入预训练单目深度教师模型，对其输出的相对深度进行可信区域筛选，反投影为相对尺度三维点云并计算表面法向，以生成三维结构伪标签；

95、结构蒸馏模块，被配置为以经过所述训练数据训练的深度估计网络作为学生网络，仅以所述三维结构伪标签表征的相对三维结构作为教师监督，并结合真实散斑重投影约束和初始模型保持约束对所述学生网络进行结构蒸馏微调。

96、进一步地，所述深度转换模块被配置为按照以下公式将所述视差预测结果转换为深度：，其中为成像系统的等效基线，为水平方向焦距，为参考平面深度，为所述视差预测结果。

97、本公开的有益效果包括：依据实际微距散斑结构光成像装置的标定参数构建虚拟成像系统，生成包含不同散斑图案、表面材质、空间姿态、拍摄视角及工作距离变化并具有度量深度和度量视差标签的合成训练数据，为散斑深度估计网络提供大规模、多样化的度量监督；通过共享散斑特征提取和连续位移采样构建逐视差匹配代价体，根据rgb图像的多层级结构特征生成逐视差残差门控，并利用所述逐视差残差门控调制匹配代价体，使被测对象的轮廓、边缘及表面结构信息参与各候选视差的匹配判断；联合采用视差监督、散斑重投影约束和三维表面结构约束进行合成数据训练，使网络同时兼顾像素级视差精度、散斑成像一致性和反投影点云的局部几何形态。在此基础上，将真实rgb图像输入单目深度教师模型，利用其相对深度生成表面法向形式的三维结构伪标签，并对网络进行真实域结构蒸馏微调，以减小合成域与真实域之间的差异；微调过程中不将教师模型输出的相对深度作为绝对深度标签，而是结合真实散斑重投影约束和初始模型保持约束维持预测结果的度量尺度，从而提高网络在真实微距成像条件下的泛化能力、深度估计精度和三维重建稳定性。