一种基于时延补偿的视频预测方法及系统

摘要: 本发明属于智能驾驶与计算机视觉,具体涉及一种基于时延补偿的视频预测方法及系统。背景技术:1、时延问题是影响远程系统中远程安全员及时接管车辆、应对突发情况的核心关...
一种基于时延补偿的视频预测方法及系统

本发明属于智能驾驶与计算机视觉,具体涉及一种基于时延补偿的视频预测方法及系统。

背景技术:

1、时延问题是影响远程系统中远程安全员及时接管车辆、应对突发情况的核心关键指标。视频预测(video prediction)旨在根据给定的历史帧序列来预测未来若干帧的视频内容,能够弥补远程协同系统的时延。高质量的视频预测对于自动驾驶、机器人规划和视频内容创作等领域具有重要意义,例如自主驾驶汽车可以根据预测的未来帧提前做出决策。然而,由于现实场景中运动模式复杂多变、未来不确定性高,要生成清晰、连续且无模糊拖影的预测视频仍然充满挑战。现有许多方法在生成未来帧时容易出现图像模糊或物体拖影等现象,这在很大程度上限制了视频预测成果在实际场景中的应用效果。如何有效建模视频中的运动并提高预测帧的清晰度和连贯性,仍是当前视频预测研究面临的核心问题之一。

2、近年来,视频预测领域的研究取得了显著进展。早期方法利用光流将过去帧重投影生成未来帧,可保持细节但高度依赖光流精度且无法预测新内容。为克服此局限,提出了端到端深度神经网络直接学习帧间运动映射,例如通过cnn预测三维光流并合成下一帧,使生成结果更清晰。另有方法采用循环网络模型,如将lstm扩展为卷积结构的convlstm,但仅以像素重构误差训练易产生模糊结果。深度学习建模运动的方法在时空动态捕获和生成清晰度上较传统像素预测取得了显著进展。然而由于未来的不确定性,确定性模型往往生成模糊的平均帧。随着深度学习技术的发展,研究者开始尝试用卷积神经网络端到端地学习运动场,并将光流估计和帧合成整合到一个模型中。例如,liu等人提出了深度体素流(deepvoxel flow,dvf)模型,通过cnn从两个输入帧中直接预测出三维的体素光流和一个软融合掩膜,然后利用体素流对过去帧进行向后映射与融合以合成下一帧。这种方法证明了深度网络能够学习帧间像素的对应关系,在kitti等数据集上生成了清晰的结果。

3、尽管上述方法取得了一定进展,但整体来看,当前视频预测模型仍容易生成模糊、有拖影的结果,特别是在摄像头发生运动的场景中。这一现象的根本原因在于:现有方法大多未显式建模视频中的相机运动(即自车运动)。在自动驾驶等应用中,摄像头自身的运动会导致整个场景背景产生全局位移或变形。如果不将这种背景运动与前景物体的自主运动区分开来,模型可能会混淆二者,从而在预测时对背景和前景运动都采用模糊折衷的方式,导致画面不清晰或出现重影。相机运动信息在计算机视觉其他任务中已被广泛证明有用,例如在无监督深度估计和光流估计等任务中,显式估计相机的位姿变换能显著提升对场景几何变化的理解。然而,在视频预测领域,大多数方法仍试图由模型直接学习隐含的相机运动效应,并没有将相机位姿作为先验输入融入预测过程。一些近期工作开始关注动态背景下的预测问题并提出分解背景与前景运动的策略,但这些尝试通常需要特殊的网络结构设计或额外监督信号,尚未形成通用的解决方案。因此,现有视频预测方法在处理摄像头运动导致的背景变化时仍显不足,这正是导致其生成结果模糊的重要原因之一。

技术实现思路

1、本发明的目的在于提出一种基于时延补偿的视频预测方法及系统,以解决远程协同自动驾驶系统中因时延和复杂场景运动导致预测图像模糊、边界不清的技术问题,达到提高未来帧预测图像清晰度、稳定性和准确性的效果。

2、为实现上述目的,本发明采用以下技术方案。

3、一种基于时延补偿的视频预测方法,包括以下步骤:

4、通过相机位姿估计网络对连续单目图像帧进行相机运动特征提取,得到相机运动特征;

5、基于所述相机运动特征,生成用于表征静态背景相对运动的初始化帧间背景光流;

6、将历史图像帧、当前图像帧和所述初始化帧间背景光流输入视频预测网络,通过所述视频预测网络中的级联帧间光流预测模块逐级预测未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流增量以及融合掩码增量;

7、基于所述帧间光流增量和所述融合掩码增量,逐级更新未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流以及融合掩码矩阵;

8、根据更新后的帧间光流,分别对所述历史图像帧和所述当前图像帧进行图像变换,得到所述历史图像帧对应的重建图像和所述当前图像帧对应的重建图像;

9、根据所述融合掩码矩阵,对所述历史图像帧对应的重建图像和所述当前图像帧对应的重建图像进行加权融合,得到未来图像帧预测结果。

10、进一步地,通过相机位姿估计网络对连续单目图像帧进行相机运动特征提取,得到相机运动特征,包括:

11、将连续单目图像帧输入相机位姿估计网络,通过所述相机位姿估计网络的共享编码层提取共享图像特征;

12、基于所述共享图像特征提取相机运动特征,并基于所述相机运动特征生成相对相机位姿变化。

13、进一步地,的相机位姿估计网络在用于相机运动特征提取之前通过训练得到,包括:

14、将目标图像帧和相邻源图像帧输入待训练的相机位姿估计网络,得到训练共享特征;

15、基于所述训练共享特征分别生成相机位姿变换结果、深度图和可解释性掩码;

16、基于所述相机位姿变换结果、所述深度图和所述可解释性掩码计算视图合成损失,并根据所述视图合成损失训练所述相机位姿估计网络。

17、进一步地,基于所述相机位姿变换结果、所述深度图和所述可解释性掩码计算视图合成损失,包括:

18、基于所述相机位姿变换结果和所述深度图,将所述目标图像帧中的像素映射至所述相邻源图像帧,得到源帧采样位置;

19、基于所述源帧采样位置对所述相邻源图像帧进行采样,得到合成目标图像;

20、基于所述可解释性掩码、所述合成目标图像和所述目标图像帧,计算所述视图合成损失。

21、进一步地,基于所述相机运动特征,生成用于表征静态背景相对运动的初始化帧间背景光流,包括:

22、所述相机位姿估计网络在训练阶段包括深度预测分支和掩码预测分支,将所述深度预测分支和所述掩码预测分支替换为初始化光流预测分支;

23、通过所述初始化光流预测分支对所述相机运动特征进行光流映射,得到初始化光流特征;

24、基于所述初始化光流特征,生成未来图像帧指向当前图像帧的当前帧初始化帧间背景光流和未来图像帧指向历史图像帧的历史帧初始化帧间背景光流;

25、将所述当前帧初始化帧间背景光流和所述历史帧初始化帧间背景光流作为所述初始化帧间背景光流。

26、进一步地,将历史图像帧、当前图像帧和所述初始化帧间背景光流输入视频预测网络,通过所述视频预测网络中的级联帧间光流预测模块逐级预测未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流增量以及融合掩码增量,包括:

27、将所述历史图像帧、所述当前图像帧以及当前级输入的帧间光流和融合掩码矩阵输入当前级帧间光流预测模块,得到模块输入特征;

28、基于所述模块输入特征提取运动特征和空间特征;

29、基于所述运动特征和所述空间特征,输出未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流增量以及融合掩码增量。

30、进一步地,基于所述模块输入特征提取运动特征和空间特征,包括:

31、对所述模块输入特征进行降尺度特征提取,得到运动特征;

32、对所述模块输入特征进行空间特征提取,得到空间特征。

33、进一步地,基于所述运动特征和所述空间特征,输出未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流增量以及融合掩码增量,包括:

34、对所述运动特征进行升尺度,得到与所述空间特征具有相同尺度的升尺度运动特征;

35、将所述升尺度运动特征和所述空间特征进行特征融合,得到融合特征;

36、基于所述融合特征,输出未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流增量以及融合掩码增量。

37、进一步地,基于所述帧间光流增量和所述融合掩码增量,逐级更新未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流以及融合掩码矩阵,包括:

38、将所述初始化帧间背景光流作为首级帧间光流,并设置初始融合掩码矩阵;

39、将当前级帧间光流预测模块输出的帧间光流增量与上一级帧间光流进行合并,得到当前级帧间光流;

40、将当前级帧间光流预测模块输出的融合掩码增量与上一级融合掩码矩阵进行合并,得到当前级融合掩码矩阵;

41、将所述当前级帧间光流和所述当前级融合掩码矩阵作为下一级帧间光流预测模块的输入数据,直至得到更新后的帧间光流和融合掩码矩阵。

42、进一步地,根据更新后的帧间光流,分别对所述历史图像帧和所述当前图像帧进行图像变换,得到所述历史图像帧对应的重建图像和所述当前图像帧对应的重建图像,包括:

43、根据未来图像帧指向所述当前图像帧的帧间光流,对所述当前图像帧进行反向图像变换,得到所述当前图像帧对应的重建图像;

44、根据未来图像帧指向所述历史图像帧的帧间光流,对所述历史图像帧进行反向图像变换,得到所述历史图像帧对应的重建图像。

45、进一步地,根据所述融合掩码矩阵,对所述历史图像帧对应的重建图像和所述当前图像帧对应的重建图像进行加权融合,得到未来图像帧预测结果,包括:

46、基于所述融合掩码矩阵,确定所述当前图像帧对应的重建图像和所述历史图像帧对应的重建图像的像素级融合权重;

47、按照所述像素级融合权重,对所述当前图像帧对应的重建图像和所述历史图像帧对应的重建图像进行加权融合,得到未来图像帧预测结果。

48、一种基于时延补偿的视频预测系统,包括:

49、相机位姿估计网络模块,用于对连续单目图像帧进行相机运动特征提取,得到相机运动特征,并基于所述相机运动特征,生成用于表征静态背景相对运动的初始化帧间背景光流;

50、视频预测网络模块,包括级联帧间光流预测模块,用于将历史图像帧、当前图像帧和所述初始化帧间背景光流作为输入,通过所述级联帧间光流预测模块逐级预测未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流增量以及融合掩码增量,基于所述帧间光流增量和所述融合掩码增量,逐级更新未来图像帧分别指向所述历史图像帧和所述当前图像帧的帧间光流以及融合掩码矩阵,根据更新后的帧间光流,分别对所述历史图像帧和所述当前图像帧进行图像变换,得到所述历史图像帧对应的重建图像和所述当前图像帧对应的重建图像,并根据所述融合掩码矩阵,对所述历史图像帧对应的重建图像和所述当前图像帧对应的重建图像进行加权融合,得到未来图像帧预测结果。

51、本发明取得了如下有益效果。

52、1.本发明通过将相机位姿估计网络嵌入面向远程协同自动驾驶的视频预测过程中,利用相机运动特征生成初始化帧间背景光流,使视频预测网络能够基于背景相对相机的运动进行未来帧预测,从而缓解远程协同自动驾驶系统中因时延导致的预测画面模糊和边界不清问题。

53、2.本发明利用相机位姿估计网络学习相机运动相关信息,并以初始化帧间背景光流作为视频预测网络的输入先验,有利于分离静态背景运动与前景动态物体运动,提高复杂场景下运动建模的准确性,并提升大范围场景运动下的预测稳定性。

54、3.本发明在相机位姿估计网络训练阶段引入深度预测分支和掩码预测分支,通过深度图和可解释性掩码辅助相机位姿估计网络训练,在后续视频预测阶段不显式输入深度图和可解释性掩码,从而在保持相机运动表征能力的同时降低模型输入维度和运算负担。

55、4.本发明的视频预测网络采用级联帧间光流预测模块,对未来图像帧分别指向历史图像帧和当前图像帧的帧间光流以及融合掩码矩阵进行逐级预测和更新,使帧间光流和融合掩码矩阵能够在多级处理过程中逐步细化,提高存在遮挡、大位移或运动不连续区域时的未来帧重建稳定性。

56、5.本发明的帧间光流预测模块结合运动特征分支和空间特征分支,分别提取与全局大尺度运动相关的运动特征以及与局部纹理、边缘结构相关的空间特征,并通过融合输出层生成帧间光流增量和融合掩码增量,从而增强视频预测网络对多尺度运动和空间细节变化的表达能力。

57、6.本发明根据更新后的帧间光流分别对历史图像帧和当前图像帧进行图像变换,并利用融合掩码矩阵对两个重建图像进行像素级加权融合,使未来图像帧预测结果能够根据不同区域的运动和遮挡情况选择参考图像帧信息,从而提高预测帧的纹理保真度、边界清晰度和结构一致性。