一种用于数据增强的隐式视角重建方法及系统与流程

本发明涉及计算机视觉，尤其涉及一种用于数据增强的隐式视角重建方法及系统。

背景技术：

1、在机器人视觉领域，深度学习模型的训练效果高度依赖于训练数据的规模与质量。当前，机器人数据采集工作多由人工操作完成，受操作者个人习惯、运动轨迹和作业节奏等主观因素影响显著，采集到的图像序列普遍存在视角抖动、位姿偏差、光照不一致等问题，直接影响了后续模型的训练效果和泛化能力。为缓解数据不足并提升数据质量，现有技术通常采用两类图像变换方法进行数据增强。第一类为传统图像变换方法，包括几何变换中的翻转、旋转、裁剪、缩放，色彩变换中的亮度调整、色彩抖动，以及各类噪声注入等。第二类为基于深度学习的生成式增强方法，以生成对抗网络和扩散模型为代表，通过学习训练数据的分布特征来合成新的图像样本。

2、然而，上述两类图像变换方法均存在各自的固有局限。就第一类传统图像变换方法而言，其变换方式固定且仅在二维像素空间进行操作，无法生成原始数据中不存在的全新视角或场景状态，对于采集过程中因机器人运动轨迹偏差导致的视角变化缺乏模拟能力。就第二类生成式增强方法而言，现有方案大多针对单目图像独立设计，未考虑多视角图像间的极线几何约束关系，若对各视角图像分别独立生成，同一目标在不同视角中的位置和外观将出现不一致，原有的多视角几何一致性即被破坏，致使增强后的数据难以适用于立体视觉或三维重建等需要多视角输入的下游任务。更为关键的是，机器人多视角采集过程中，各视角相机的外参位姿参数包含旋转矩阵和平移向量，其中蕴含丰富的空间几何信息，但上述两类方法均未能在增强过程中有效利用这些信息来约束和指导生成过程，导致无法根据采集设备的空间位姿精确控制生成图像的视角和内容。

3、此外，人工采集数据的视角在空间中分布往往不均，受操作者运动轨迹的无序性影响，某些视角区域样本密集而另一些区域样本稀疏甚至缺失，这种分布偏差在现有增强方法中未得到有效校正。同时，采集图像中的目标物体常存在部分处于图像边界的情况，现有方法无法对此类边界区域进行合理补全，进一步限制了数据集的有效利用率和质量一致性。

技术实现思路

1、有鉴于此，本发明提供了一种用于数据增强的隐式视角重建方法及系统，旨在解决因图像数据视角覆盖不充分导致数据集可用性不足的技术问题。所述技术方案如下：

2、第一方面，提供了一种用于数据增强的隐式视角重建方法，包括：

3、获取目标场景的多视角图像序列及每一帧图像对应的相机位姿参数；

4、基于所述多视角图像序列的相机位姿参数进行视角空间分布分析，将视角空间划分为多个区域，并从各区域中选取图像质量满足条件的图像，构成稀疏输入视图集；

5、将所述稀疏输入视图集及对应的相机位姿参数映射至三维隐式特征空间，获得所述目标场景的场景特征表示，基于指定的目标新视角位姿参数从所述场景特征表示中锁定对应的视角特征，渲染获得所述目标新视角对应的新视角图像；

6、以所述多视角图像序列的相机位姿参数作为观测视角样本构建视角参数空间，对所述视角参数空间的原始分布进行平滑扩增，生成多个覆盖均匀性优于所述原始分布的扩增视角参数，并基于所述扩增视角参数从所述场景特征表示中生成对应的扩增视角图像；

7、将所述新视角图像、所述扩增视角图像与所述多视角图像序列进行合并，得到增强后的图像数据集。

8、第二方面，提供了一种用于数据增强的隐式视角重建系统，包括：

9、数据采集模块，用于获取目标场景的多视角图像序列及每一帧图像对应的相机位姿参数；

10、视角筛选模块，用于基于所述多视角图像序列的相机位姿参数进行视角空间分布分析，将视角空间划分为多个区域，并从各区域中选取图像质量满足条件的图像，构成稀疏输入视图集；

11、隐式视角重建模块，用于将所述稀疏输入视图集及对应的相机位姿参数映射至三维隐式特征空间，获得所述目标场景的场景特征表示，基于指定的目标新视角位姿参数从所述场景特征表示中锁定对应的视角特征，渲染获得所述目标新视角对应的新视角图像；

12、视角平滑扩增模块，用于以所述多视角图像序列的相机位姿参数作为观测视角样本构建视角参数空间，对所述视角参数空间的原始分布进行平滑扩增，生成多个覆盖均匀性优于所述原始分布的扩增视角参数，并基于所述扩增视角参数从所述场景特征表示中生成对应的扩增视角图像；

13、数据集构建模块，用于将所述新视角图像、所述扩增视角图像与所述多视角图像序列进行合并，得到增强后的图像数据集。

14、借由上述技术方案，本发明提供的一种用于数据增强的隐式视角重建方法及系统，通过将稀疏输入视图集及对应的相机位姿参数映射至三维隐式特征空间，并基于目标新视角位姿参数渲染生成新视角图像；同时，对由相机位姿参数构建的视角参数空间的原始分布进行平滑扩增，实现了多视角图像序列在视角维度的有效扩充与分布优化。

15、基于上述技术原理，本发明实施例可以获得如下技术效果：

16、（1）将稀疏输入视图集及对应的相机位姿参数映射至三维隐式特征空间，获得目标场景的场景特征表示，基于目标新视角位姿参数从场景特征表示中渲染获得新视角图像的技术手段，实现了任意连续新视角的生成，从根本上突破了传统数据增强方法仅在二维像素空间进行变换的局限，且无需显式三维重建，仅需少量稀疏输入视图即可生成覆盖连续视角空间的新视角图像，降低了数据采集的人力成本和时间成本。

17、（2）以多视角图像序列的相机位姿参数作为观测视角样本构建视角参数空间，对视角参数空间的原始分布进行平滑扩增，生成覆盖均匀性优于原始分布的扩增视角参数，并基于扩增视角参数生成扩增视角图像的技术手段，有效消除了因人工操作无序运动引入的视角分布偏差和扰动，使增强后的图像数据集在视角维度上具备更均匀的覆盖性和更连续的分布特性，提升了增强后的图像数据集在视角空间中的整体质量。

18、（3）以预先获取的多视角图像序列中目标物体的标注信息为基础，基于各图像对应的相机位姿参数与新视角图像或扩增视角图像对应的相机位姿参数之间的几何变换关系，将标注信息投影映射至对应的新视角图像或扩增视角图像中的技术手段，实现了标注信息的自动迁移，无需人工重新标注，大幅降低了数据准备成本；同时，本发明不依赖于特定传感器型号或场景类型，凡具备rgb图像采集与位姿记录能力的数据采集系统均可适用，在工业抓取、服务机器人室内感知、自动驾驶路采数据增强等多类应用场景中均具有良好的通用性和部署效率。

1.一种用于数据增强的隐式视角重建方法，其特征在于，包括：

2.根据权利要求1所述的用于数据增强的隐式视角重建方法，其特征在于，将所述稀疏输入视图集及对应的相机位姿参数映射至三维隐式特征空间，获得所述目标场景的场景特征表示，包括：

3.根据权利要求2所述的用于数据增强的隐式视角重建方法，其特征在于，当所述目标新视角位姿参数未超出所述稀疏输入视图集所覆盖的视角范围时，所述基于指定的目标新视角位姿参数从所述场景特征表示中锁定对应的视角特征，渲染获得所述目标新视角对应的新视角图像，包括：

4.根据权利要求1所述的用于数据增强的隐式视角重建方法，其特征在于，当所述目标新视角位姿参数超出所述稀疏输入视图集所覆盖的视角范围时，以所述场景特征表示作为条件，通过逐步去噪的扩散生成过程对超出范围的目标新视角进行生成式外推，获得所述新视角图像。

5.根据权利要求1所述的用于数据增强的隐式视角重建方法，其特征在于，对所述视角参数空间的原始分布进行平滑扩增，生成多个覆盖均匀性优于所述原始分布的扩增视角参数，包括：

6.根据权利要求1所述的用于数据增强的隐式视角重建方法，其特征在于，所述图像质量满足条件包括：图像的清晰度、曝光度及目标物体的可见度中的至少一项达到对应阈值。

7.根据权利要求1所述的用于数据增强的隐式视角重建方法，其特征在于，基于所述多视角图像序列的相机位姿参数进行视角空间分布分析，将视角空间划分为多个区域，包括：

8.根据权利要求1所述的用于数据增强的隐式视角重建方法，其特征在于，将所述新视角图像、所述扩增视角图像与所述多视角图像序列进行合并之前，所述方法还包括：

9.根据权利要求1或8中所述的用于数据增强的隐式视角重建方法，其特征在于，所述方法还包括：

10.一种用于数据增强的隐式视角重建系统，其特征在于，包括：