一种机器人视野视频生成方法及系统与流程

本技术涉及机器人视觉感知，尤其是涉及到一种机器人视野视频生成方法及系统。

背景技术：

1、在机器人视觉感知、具身智能训练、模仿学习、强化学习以及机器人头部视野建模等任务中，需要采集大量与机器人本体视角一致或接近的视频数据。例如，机器人在真实环境中执行任务时，其头部相机所获得的视频序列可作为后续视觉策略训练、世界模型训练、动作预测、导航感知或人机交互任务的重要数据来源。

2、然而，在实际产品研发和工艺流程中，直接使用机器人本体进行大规模数据采集存在明显局限。一方面，机器人本体采集成本较高，需要占用实体设备、场地、人员以及调试时间；另一方面，机器人在真实环境中采集数据时容易受到运动范围、运动安全、硬件磨损、同步误差、传感器安装位置、场地复现难度等因素影响，导致数据采集效率低、可重复性差、覆盖视角不足。

3、因此，在无机器人本体参与或减少机器人本体参与的情况下，通过已有的多视角图像数据生成模拟机器人头部轨迹下的视觉视频，具有重要的工程价值和应用意义。例如，可以通过固定相机阵列、手持相机、环绕拍摄设备等方式获得多视角图像，并通过三维重建或神经渲染方法生成新视角图像，模拟机器人头部在运动过程中的实际观察视角，再将新视角图像整合为视野视频数据。但是，上述视野视频数据的生成效率和生成质量较低，无法用于后续机器人训练。

技术实现思路

1、有鉴于此，本技术实施例提供一种机器人视野视频生成方法及系统，以解决视野视频数据的生成效率和生成质量低的问题。

2、根据本技术的第一方面，提供一种机器人视野视频生成方法，所述方法包括：

3、获取多视角图像数据，所述多视角图像数据包括多个归属于相同目标时刻的视角图像；

4、基于所述多视角图像数据，使用三维估计模型估计建模参数，所述三维估计模型为基于视觉变换器构建的图像处理模型；所述建模参数包括场景点云和相机参数；

5、使用所述建模参数训练三维渲染模型，所述三维渲染模型用于通过所述场景点云初始化三维表示，并以所述多视角图像数据和所述相机参数为监督信号执行训练和优化；

6、根据目标机器人的运动特征参数生成相机轨迹，所述相机轨迹包括多个相机位姿；

7、将所述相机轨迹输入所述三维渲染模型，以基于所述三维渲染模型对所述相机轨迹中的每个相机位姿进行图像渲染，得到新视角图像序列；

8、根据所述新视角图像序列生成视野视频。

9、在一些实施例中，获取多视角图像数据，包括：

10、获取下游任务配置信息，所述下游任务配置信息包括视野视频的帧率；

11、根据所述下游任务配置信息计算目标时刻；

12、按照所述目标时刻生成图像采集指令，以及将所述图像采集指令发送给多视角图像采集设备，以使所述多视角图像采集设备按照所述帧率采集视角图像；所述多视角图像采集设备包括环绕式相机阵列、多相机同步采集系统以及手持多视角采集设备中的至少一种；

13、接收所述视角图像采集设备响应于所述图像采集指令采集的多个视角图像；

14、基于所述目标时刻对多个视角图像进行分组，以得到所述多视角图像数据。

15、在一些实施例中，基于所述多视角图像数据，使用三维估计模型估计建模参数，包括：

16、将归属于相同目标时刻的多个所述视角图像输入所述三维估计模型；

17、通过所述三维估计模型中的视觉变换器将所述所述视角图像的视觉信息转化为序列数据；

18、基于自注意力机制和前馈网络对所述序列数据进行深度特征提取与全局关系建模，以生成初始点云和初始参数；

19、按照预设预处理项对所述初始点云和所述初始参数执行预处理，得到所述场景点云和所述相机参数；其中，所述预设预处理项包括针对所述初始点云的去除低置信度点、根据深度范围剔除异常点、尺度归一化、坐标系统一处理中的至少一项；所述预设预处理项还包括针对所述初始参数的外参平滑处理、外参约束优化以及内参一致性校正中的至少一项。

20、在一些实施例中，所述三维渲染模型为三维高斯渲染模型；使用所述建模参数训练三维渲染模型，包括：

21、以所述场景点云为基础，为每个三维点初始化三维高斯表示，所述三维高斯表示包括高斯参数；所述高斯参数用于表征三维高斯表示对应椭球的位置、尺度、旋转、颜色、不透明度以及球谐系数中的至少一种；

22、采用三维高斯可微渲染器，将所述三维高斯表示投影到二维图像平面，得到投影图像；

23、根据所述相机参数对所述投影图像执行栅格化渲染，生成多视角下的预测图像；

24、基于损失函数对所述三维高斯表示的高斯参数进行端到端迭代优化，所述损失函数包括像素重建损失、结构相似性损失、感知损失、深度一致性损失、透明度或稀疏性正则项、几何平滑约束以及多视角颜色一致性约束中的至少一种；

25、在基于所述损失函数计算的训练损失值的下降幅度小于或等于幅度阈值，或者，迭代次数达到预设次数阈值时，保存所述三维高斯表示对应的高斯参数，以获得当前帧对应的三维高斯渲染模型。

26、在一些实施例中，基于损失函数对所述三维高斯表示的高斯参数进行端到端迭代优化，包括：

27、在所述多视角图像数据中随机采样相机视角；

28、使用当前三维高斯渲染模型和所述相机视角对应的相机参数，执行可微分栅格化渲染，以生成所述相机视角下的预测图像；

29、通过对比所述预测图像和所述视角图像，按照所述损失函数计算训练损失值；

30、基于所述训练损失值反向传播更新所述三维高斯表示的高斯参数。

31、在一些实施例中，根据目标机器人的运动特征参数生成相机轨迹，包括：

32、获取目标机器人的运动特征参数，所述运动特征参数包括目标机器人的视野高度、头部转角范围、运动速度、转动速度、任务相关的观察目标区域以及轨迹平滑约束；

33、根据所述目标时刻的相机参数，确定初始位姿点；

34、基于所述初始位姿点和所述运动特征参数生成多个模拟位姿点，所述模拟位姿点包括模拟相机位置和模拟相机姿态；

35、将多个所述模拟位姿点组合为所述相机轨迹。

36、在一些实施例中，基于所述初始位姿点和所述运动特征参数生成多个模拟位姿点，包括：

37、以所述初始位姿点为基准，按照所述运动特征参数划定目标区域；

38、基于所述轨迹平滑约束，在所述目标区域内随机生成多个模拟位姿点，其中，多个所述模拟位姿点在相机位置和/或相机姿态上呈连续分布；

39、或者，

40、获取所述目标机器人的待模拟动作，所述待模拟动作包括水平转动、垂直转动、抖动、目标跟随动作以及巡视动作中的至少一种；

41、以所述运动特征参数和所述初始位姿点为初始条件，按照所述待模拟动作生成多个模拟位姿点。

42、在一些实施例中，根据所述新视角图像序列生成视野视频，包括：

43、按照所述相机轨迹对所述新视角图像序列进行重排序，得到初始渲染视频，所述初始渲染视频包括多个初始渲染视频帧；

44、将所述初始渲染视频帧输入扩散模型，以通过所述扩散模型对所述初始渲染视频帧执行图像质量增强；所述扩散模型是利用初始渲染视频帧为样本输入，以目标真实视频帧为质量约束，进行有监督训练获得的神经网络模型；所述图像质量增强包括提升图像清晰度、消除渲染伪影、补全遮挡区域、增强纹理细节、提升视频帧间一致性以及调整视觉分布中的至少一种；

45、获取所述扩散模型输出的所述视野视频。

46、在一些实施例中，所述方法还包括：

47、从所述多视角图像数据中提取所述目标真实视频帧；

48、将所述初始渲染视频帧输入所述扩散模型，获得训练增强视频，所述训练增强视频包括多个训练增强视频帧；

49、通过对比所述训练增强视频帧和所述目标真实视频帧，迭代调整所述扩散模型的模型参数。

50、根据本技术的第二方面，提供一种机器人视野视频生成系统，所述系统包括：

51、数据获取模块，用于获取多视角图像数据，所述多视角图像数据包括多个归属于相同目标时刻的视角图像；

52、参数估计模块，用于基于所述多视角图像数据，使用三维估计模型估计建模参数，所述三维估计模型为基于视觉变换器构建的图像处理模型；所述建模参数包括场景点云和相机参数；

53、高斯渲染模块，用于使用所述建模参数训练三维渲染模型，所述三维渲染模型用于通过所述场景点云初始化三维表示，并以所述多视角图像数据和所述相机参数为监督信号执行训练和优化；

54、轨迹生成模块，用于根据目标机器人的运动特征参数生成相机轨迹，所述相机轨迹包括多个相机位姿；

55、图像渲染模块，用于将所述相机轨迹输入所述三维渲染模型，以基于所述三维渲染模型对所述相机轨迹中的每个相机位姿进行图像渲染，得到新视角图像序列；

56、视频生成模块，用于根据所述新视角图像序列生成视野视频。

57、借由上述技术方案，本技术实施例提供一种机器人视野视频生成方法及系统，通过获取多视角图像数据，并使用三维估计模型估计建模参数。再使用建模参数训练三维渲染模型，然后根据目标机器人的运动特征参数生成相机轨迹。通过将相机轨迹输入三维渲染模型，基于三维渲染模型对相机轨迹中的每个相机位姿进行图像渲染，得到新视角图像序列，从而根据新视角图像序列生成视野视频。所述方法可以使用视觉transformer类三维估计模型同时估计相机参数和场景点云，并采用三维渲染模型结合与机器人运动规律相关的相机轨迹进行图像渲染，实现从多视角图像输入到机器人视野视频输出的端到端式视频生成流程，提高视野视频的生成效率和生成质量。

58、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。