基于高反光的三维点云生成方法、装置、设备和介质与流程

本技术涉及计算机视觉，特别是涉及一种基于高反光的三维点云生成方法、装置、设备和介质。

背景技术：

1、在基于面结构光的三维形貌测量技术中，金属、机加工件等表面具有高动态范围（hdr）反射特性的物体极易导致相机靶面局部严重过曝，进而引发条纹相位截断或缺失，导致该区域无法进行三维重建。针对此高反光过曝问题，目前最为接近的现有技术主要分为两类：

2、多重曝光融合法：通过改变相机曝光时间或投影仪全局亮度，拍摄多组不同曝光强度的条纹图序列，并进行有效像素拼接融合。该方法的本质是用时间换动态范围，需要成倍地增加投影和采集的图像张数。在实际测量中，导致整体扫描耗时极其漫长，无法满足严苛效率需求。

3、基于深度学习的过曝条纹直接修复法：将带有高光截断或缺失的过曝条纹图像直接输入神经网络（如基于gan的图像到图像网络），试图通过生成式模型直接预测或修复出缺失的相位信息及条纹图案。这种端到端的处理方式属于典型的黑盒模型，严重缺乏光学物理机理上的可解释性。网络修复出的条纹本质上是基于训练集数据分布预测生成的，而非物理真实反射。因此，当系统面对未知材质、未见过的复杂几何拓扑工件时，泛化性根本无法得到保证，极易在过曝区域生成虚假的条纹纹理并引入不可预测的深度伪影，彻底破坏了工业测量对绝对精度的底线要求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够保证效率的同时提高模型生成准确率的基于高反光的三维点云生成方法、装置、设备和介质。

2、第一方面，本技术提供一种基于高反光的三维点云生成方法，所述方法包括：

3、通过图像采集装置获取待测物体在投影装置投射的全白场图下的初始图像；

4、对所述初始图像进行处理得到纯高光掩码、正常漫反射掩码以及目标亮度衰减系数矩阵；

5、基于所述目标亮度衰减系数矩阵对所述投影装置的基准图像序列将进行调制，得到目标投影图像；

6、通过所述投影装置投影所述目标投影图像，并通过所述图像采集装置获取所述待测物体在所述投影装置投射的所述目标投影图像下的目标图像；

7、基于所述目标图像、所述纯高光掩码以及正常漫反射掩码生成所述待测物体的三维点云。

8、在其中一些可选的实施例中，所述对所述初始图像进行处理得到纯高光掩码、正常漫反射掩码以及目标亮度衰减系数矩阵，包括：

9、通过预先训练的分割模型的多层级联的倒残差特征提取网络，对所述初始图像进行处理得到高维特征图；

10、通过预先训练的分割模型的分割网络，对所述高维特征图进行分割得到纯高光掩码以及正常漫反射掩码；

11、通过预先训练的分割模型的亮度回归网络，基于所述纯高光掩码对所述高维特征图进行处理，得到目标亮度衰减系数矩阵。

12、在其中一些可选的实施例中，所述通过预先训练的分割模型的多层级联的倒残差特征提取网络，对所述初始图像进行处理得到高维特征图，包括：

13、通过所述多层级联的倒残差特征提取网络的升维扩展层，对所述初始图像进行升维扩展；

14、通过所述多层级联的倒残差特征提取网络的轻量化空间滤波层，对维度扩展后的所述初始图像进行特征提取得到目标特征图；

15、通过所述多层级联的倒残差特征提取网络的线性降维投影层，对所述目标特征图进行降维之后，与所述多层级联的倒残差特征提取网络的残差跳跃连接层输出的所述初始图像进行融合得到高维特征图。

16、在其中一些可选的实施例中，通过预先训练的分割模型的亮度回归网络，基于所述纯高光掩码对所述高维特征图进行处理，得到目标亮度衰减系数矩阵，包括：

17、通过预先训练的分割模型的亮度回归网络，对所述高维特征图进行处理，得到全局初始亮度衰减系数矩阵；

18、基于所述纯高光掩码对所述全局初始亮度衰减系数矩阵进行处理，得到目标亮度衰减系数矩阵。

19、在其中一些可选的实施例中，所述对所述初始图像进行处理得到纯高光掩码、正常漫反射掩码以及目标亮度衰减系数矩阵是通过预先训练的分割模型实现的；所述分割模型的训练方式包括：

20、通过图像采集装置获取投影装置，以多个呈梯度递减的全局亮度系数向样本待测物体投影全白场图后的各参考图像；

21、基于各所述参考图像，确定所述图像采集装置视场下各所述参考图像中任意像素的灰度值处于所述图像采集装置的最佳线性响应区间上限时，所述投影装置对应的样本全局亮度系数；

22、在目标参考图像中像素发生了灰度饱和截断或所述像素的样本全局亮度系数小于目标值的情况下，基于所述像素生成样本纯高光掩码，并基于样本纯高光掩码生成样本正常漫反射掩码；所述目标参考图像为最大亮度的全白场图的投影对应的参考图像；

23、基于各所述参考图像、所述样本纯高光掩码、所述样本正常漫反射掩码以及所述样本全局亮度系数进行模型训练得到分割模型。

24、在其中一些可选的实施例中，所述基于各所述参考图像、所述样本纯高光掩码、所述样本正常漫反射掩码以及所述样本全局亮度系数进行模型训练得到分割模型，包括：

25、通过分割模型对所述参考图像进行处理，得到预测纯高光掩码、预测正常漫反射掩码以及预测全局亮度系数；

26、基于所述预测纯高光掩码以及所述样本纯高光掩码生成掩码分割损失函数；

27、基于所述预测全局亮度系数以及所述样本全局亮度系数生成基础损失函数；

28、基于所述预测全局亮度系数与所述全白场图，模拟物理空间光调制过程，生成调制后图像，并基于所述调制后图像与理想线性响应靶面图像，在所述样本纯高光掩码的监督下，生成物理响应一致性损失函数；

29、基于所述样本纯高光掩码进行形态学膨胀，得到过渡掩码，并基于所述预测全局亮度系数的空间梯度，在所述过渡掩码的监督下，生成边界平滑惩罚项损失函数；

30、基于所述掩码分割损失函数、所述基础损失函数、所述物理响应一致性损失函数以及所述边界平滑惩罚项损失函数生成目标损失函数；

31、基于所述目标损失函数进行梯度回传，得到训练完成的分割模型。

32、在其中一些可选的实施例中，所述基于所述目标亮度衰减系数矩阵对所述投影装置的基准图像序列将进行调制，得到目标投影图像之前，还包括：

33、通过图像采集装置获取样本待测物体在投影装置投射的第一散斑图像下的第二散斑图像；

34、基于所述第一散斑图像以及所述第二散斑图像，建立所述图像采集装置的视场与所述投影装置的视场的映射关系；

35、基于所述映射关系对所述目标亮度衰减系数矩阵进行处理，得到所述投影装置的视场下与所述纯高光掩码对应的衰减系数图；

36、所述基于所述目标亮度衰减系数矩阵对所述投影装置的基准图像序列将进行调制，得到目标投影图像，包括：

37、基于所述衰减系数图对所述投影装置的基准图像序列将进行调制，得到目标投影图像。

38、第二方面，本技术还提供一种基于高反光的三维点云生成装置，所述装置包括：

39、采集模块，用于通过图像采集装置获取待测物体在投影装置投射的全白场图下的初始图像；

40、分割模块，用于对所述初始图像进行处理得到纯高光掩码、正常漫反射掩码以及目标亮度衰减系数矩阵；

41、投影图像生成模块，用于基于所述目标亮度衰减系数矩阵对所述投影装置的基准图像序列将进行调制，得到目标投影图像；

42、投影模块，用于通过所述投影装置投影所述目标投影图像，并通过所述图像采集装置获取所述待测物体在所述投影装置投射的所述目标投影图像下的目标图像；

43、模型生成模块，用于基于所述目标图像、所述纯高光掩码以及正常漫反射掩码生成所述待测物体的三维点云。

44、第三方面，本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例中所述的方法的步骤。

45、第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。

46、第五方面，本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。

47、上述基于高反光的三维点云生成方法、装置、设备和介质，通过图像采集装置获取待测物体在投影装置投射的全白场图下的初始图像；对所述初始图像进行处理得到纯高光掩码、正常漫反射掩码以及目标亮度衰减系数矩阵；基于所述目标亮度衰减系数矩阵对所述投影装置的基准图像序列将进行调制，得到目标投影图像；通过所述投影装置投影所述目标投影图像，并通过所述图像采集装置获取所述待测物体在所述投影装置投射的所述目标投影图像下的目标图像；基于所述目标图像、所述纯高光掩码以及正常漫反射掩码生成所述待测物体的三维点云，这样通过单次全白场物理探测与多任务深度学习模型的结合，明确解耦区域分割与亮度调节任务，在保留光学物理过程极高可解释性与绝对测量精度的前提下，不增加额外投影相移序列，实现局部发光强度的自适应衰减调制，确保高光过曝区域回落至相机的最佳线性响应区间，从根本上兼顾测量高效率与算法强鲁棒性。