双目光照数据增强方法及装置、设备、存储介质与流程

本技术实施例涉及双目视觉领域，涉及但不限于一种双目光照数据增强方法及装置、设备、存储介质。

背景技术：

1、双目立体视觉的深度估计网络依赖大规模、多样化的训练数据。现有数据增强方法主要分为两类：一是像素级变换（翻转、裁剪、色彩扰动等），无法模拟光源方向、强度等物理光照属性的改变；二是基于图形学渲染的合成数据生成，需构建完整三维场景，计算成本高且合成图像与真实采集图像在纹理、噪声分布等统计特性上存在差异。

2、在图像重光照领域，基于生成对抗网络的方法已取得显著进展。以pix2pix为代表的图像到图像翻译框架，将重光照建模为从输入图像到目标光照图像的像素级映射任务，通过u-net生成器与patchgan判别器的对抗训练，学习不同光照域之间的转换关系。此类方法已在单目人脸重光照、场景光照迁移等任务中展示了较好的效果。然而，现有重光照方法均针对单目图像设计，未考虑双目立体图像对的几何一致性约束。

技术实现思路

1、有鉴于此，本技术实施例提供的双目光照数据增强方法及装置、设备、存储介质，能够通过生成对抗网络对双目图像进行准确、可靠的数据增强处理。

2、本技术实施例提供的双目光照数据增强方法及装置、设备、存储介质是这样实现的：

3、本技术实施例的一方面，提供一种双目光照数据增强方法，方法包括：

4、获取第一结构光相机、第二结构光相机和双目相机采集的多组图数据；

5、根据每组所述图数据和标定矩阵确定对应的视差真值，所述标定矩阵用于对所述第一结构光相机、所述第二结构光相机和所述双目相机进行空间位置关系的转换；

6、根据各组所述图数据和对应的视差真值训练生成对抗网络；

7、根据训练得到的生成对抗网络根据预设的光照参数生成各组所述图数据对应的多张增强图像数据。

8、在一种可能的实现方式中，每组所述图数据中包括所述双目相机采集得到的俯视双目左图和俯视双目右图、所述第一结构光相机和所述第二结构光相机分别采集得到两个参考图，以及和作为主结构光相机的第一结构光相机采集得到的深度图。

9、在一种可能的实现方式中，所述根据每组所述图数据和标定矩阵确定对应的视差真值，包括：

10、根据所述深度图确定对应的三维点云；

11、根据标定矩阵对所述三维点云投影至所述双目相机中左目相机对应的相机坐标系，得到其中各点在所述相机坐标系下的真实三维坐标；

12、根据各点的所述真实三维坐标确定对应的视差真值。

13、在一种可能的实现方式中，所述根据各组所述图数据和对应的视差真值训练生成对抗网络，包括：

14、对各组所述图数据进行目标分割，得到所述俯视双目左图对应的左图掩膜，以及所述参考图对应的参考图掩膜；

15、对所述左图掩膜和所述参考图掩膜进行跨视角对齐，得到对齐有效掩膜；

16、根据所述参考图和所述对齐有效掩膜进行跨视角光照解耦，得到光照条件编码；

17、通过生成网络根据所述俯视双目左图、所述俯视双目右图、所述左图掩膜和所述光照条件编码确定生成双目左图和生成双目右图；

18、根据本组图数据、所述左图掩膜、所述光照条件编码、所述生成双目左图和所述生成双目右图确定生成图像损失，并根据生成图像损失调节所述生成网络的参数。

19、在一种可能的实现方式中，所述根据所述参考图和所述对齐有效掩膜进行跨视角光照解耦，得到光照条件编码，包括：

20、通过基础光照编码器对所述参考图和所述对齐有效掩膜进行编码，得到基础光照向量；

21、通过主动光照编码器根据预设的光照参数编码得到主动光照向量；

22、融合所述基础光照向量和所述主动光照向量得到光照条件编码。

23、在一种可能的实现方式中，所述通过生成网络根据所述俯视双目左图、所述俯视双目右图、所述左图掩膜和所述光照条件编码确定生成双目左图和生成双目右图，包括：

24、通过双目编码器提取所述俯视双目左图和所述俯视双目右图的多尺度内容特征；

25、根据光照调制解码器基于所述多尺度内容特征和所述光照条件编码确定左重光照图像和右重光照图像；

26、根据所述俯视双目左图、所述俯视双目右图、所述左图掩膜、所述左重光照图像和所述右重光照图像进行掩膜混合操作，得到生成双目左图和生成双目右图。

27、在一种可能的实现方式中，所述根据本组图数据、所述左图掩膜、所述光照条件编码、所述生成双目左图和所述生成双目右图确定生成图像损失，并根据生成图像损失调节所述生成网络的参数，包括：

28、根据本组图数据、所述左图掩膜、所述生成双目左图和所述生成双目右图确定几何损失；

29、将所述俯视双目左图、所述俯视双目右图、所述生成双目左图和所述生成双目右图中的一项和所述光照条件编码输入条件判别网络，得到对应的真实图像分值；

30、根据输入图像的类型和对应的真实图像分值计算对抗损失；

31、根据所述几何损失和所述对抗损失的加权和确定生成图像损失，并根据生成图像损失调节所述生成网络的参数。

32、本技术实施例的另一方面，还提供一种双目光照数据增强装置，装置包括：

33、数据获取模块，用于获取第一结构光相机、第二结构光相机和双目相机采集的多组图数据；

34、参数计算模块，用于根据每组所述图数据和标定矩阵确定对应的视差真值，所述标定矩阵用于对所述第一结构光相机、所述第二结构光相机和所述双目相机进行空间位置关系的转换；

35、网络训练模块，用于根据各组所述图数据和对应的视差真值训练生成对抗网络；

36、图像生成模块，用于根据训练得到的生成对抗网络根据预设的光照参数生成各组所述图数据对应的多张增强图像数据。

37、在一种可能的实现方式中，每组所述图数据中包括所述双目相机采集得到的俯视双目左图和俯视双目右图、所述第一结构光相机和所述第二结构光相机分别采集得到两个参考图，以及和作为主结构光相机的第一结构光相机采集得到的深度图。

38、在一种可能的实现方式中，所述参数计算模块，进一步用于：

39、根据所述深度图确定对应的三维点云；

40、根据标定矩阵对所述三维点云投影至所述双目相机中左目相机对应的相机坐标系，得到其中各点在所述相机坐标系下的真实三维坐标；

41、根据各点的所述真实三维坐标确定对应的视差真值。

42、在一种可能的实现方式中，所述网络训练模块，进一步用于：

43、对各组所述图数据进行目标分割，得到所述俯视双目左图对应的左图掩膜，以及所述参考图对应的参考图掩膜；

44、对所述左图掩膜和所述参考图掩膜进行跨视角对齐，得到对齐有效掩膜；

45、根据所述参考图和所述对齐有效掩膜进行跨视角光照解耦，得到光照条件编码；

46、通过生成网络根据所述俯视双目左图、所述俯视双目右图、所述左图掩膜和所述光照条件编码确定生成双目左图和生成双目右图；

47、根据本组图数据、所述左图掩膜、所述光照条件编码、所述生成双目左图和所述生成双目右图确定生成图像损失，并根据生成图像损失调节所述生成网络的参数。

48、在一种可能的实现方式中，所述网络训练模块，进一步用于：

49、通过基础光照编码器对所述参考图和所述对齐有效掩膜进行编码，得到基础光照向量；

50、通过主动光照编码器根据预设的光照参数编码得到主动光照向量；

51、融合所述基础光照向量和所述主动光照向量得到光照条件编码。

52、在一种可能的实现方式中，所述网络训练模块，进一步用于：

53、通过双目编码器提取所述俯视双目左图和所述俯视双目右图的多尺度内容特征；

54、根据光照调制解码器基于所述多尺度内容特征和所述光照条件编码确定左重光照图像和右重光照图像；

55、根据所述俯视双目左图、所述俯视双目右图、所述左图掩膜、所述左重光照图像和所述右重光照图像进行掩膜混合操作，得到生成双目左图和生成双目右图。

56、在一种可能的实现方式中，所述网络训练模块，进一步用于：

57、根据本组图数据、所述左图掩膜、所述生成双目左图和所述生成双目右图确定几何损失；

58、将所述俯视双目左图、所述俯视双目右图、所述生成双目左图和所述生成双目右图中的一项和所述光照条件编码输入条件判别网络，得到对应的真实图像分值；

59、根据输入图像的类型和对应的真实图像分值计算对抗损失；

60、根据所述几何损失和所述对抗损失的加权和确定生成图像损失，并根据生成图像损失调节所述生成网络的参数。

61、本技术实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术实施例所述的方法。

62、本技术实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例提供的方法。

63、本技术实施例所提供的双目光照数据增强方法及装置、设备、存储介质，获取第一结构光相机、第二结构光相机和双目相机采集的多组图数据。根据每组图数据和标定矩阵确定对应的视差真值，标定矩阵用于对第一结构光相机、第二结构光相机和双目相机进行空间位置关系的转换。根据各组图数据和对应的视差真值训练生成对抗网络。根据训练得到的生成对抗网络根据预设的光照参数生成各组图数据对应的多张增强图像数据。本技术引入交叉视角的结构光相机采集的图像提取场景真实基础光照，作为光照迁移的参考基底，提高模型训练以及应用过程的可靠性。并在生成对抗网络的训练过程中引入视差真值，保证训练后的网络生成的图像视差不变。