一种视频内容补全方法、电子设备、计算机可读存储介质及程序产品

本发明涉及计算机视觉领域，具体而言，涉及一种视频内容补全方法、电子设备、计算机可读存储介质及程序产品。

背景技术：

1、视频内容补全是计算机视觉领域中的一个典型任务，其目标是推断并生成视频中被遮挡或缺失区域的完整轮廓和内容。然而，在复杂的动态视频场景中，由于物体之间的相互遮挡及相机的运动，单帧图像往往只能捕捉到物体的局部信息，补全视频中时空一致且符合物理几何规律的内容仍然面临巨大挑战。传统的视频补全方法里，通过图像计算规则，算出画面里每个点的移动方向和距离，把缺损区域里的运动轨迹补完整后，再按照运动轨迹把前后帧完好的像素拼接到待补全区域，最后将拼接的边缘采用平滑算法优化。

2、但传统的处理方法中，由于缺少几何感知，因此补全像素只能直接从参考帧复制拼接而来，基于平面平移的简化原则做二维运动估计，无法适配场景的深度、物体几何形状与非刚性形变，补全的像素只会做平面平移，无法贴合真实的空间几何规律。并且现有处理手段基于少数相邻帧逐帧独立处理，缺少全局时序约束，时间一致性较差，误差会逐帧累积，导致补全内容出现抖动、闪烁和运动轨迹漂移的问题，影响视频补全质量。因此，亟需一种能够提升视频补全质量的方法，能够使补全的内容贴合真实空间几何规律且补全画面流畅。

技术实现思路

1、有鉴于此，本技术实施例的目的在于提供一种视频内容补全方法、电子设备、计算机可读存储介质及程序产品，通过将表征图像几何距离关系的深度信息作为几何约束注入视频扩散模型，改善现有视频补全方法中缺乏几何感知、时间一致性差以及几何数据泄露的问题，从而提升视频补全内容的质量。

2、为实现上述技术目的，本技术采用的技术方案如下：

3、本技术实施例提供了一种视频内容补全方法、电子设备、计算机可读存储介质及程序产品，所述方法包括：

4、获取原始视频及对应的原始深度图序列，所述原始视频包含若干连续的原始图像帧，所述原始深度图序列包括若干所述原始图像帧对应的深度图；

5、分别对所述原始视频中的所有所述原始图像帧与所述原始深度图序列中的所有所述深度图进行掩码处理，分别得到掩码图像帧和掩码深度图，每个所述掩码图像帧包含已知区域掩码；

6、通过变分自编码器对所述掩码图像帧和所述掩码深度图进行潜空间映射，得到图像帧潜变量和深度图潜变量，并对所述图像帧潜变量进行加噪处理得到带噪潜变量；

7、基于所述深度图潜变量与所述带噪潜变量预测所述带噪潜变量的噪声，得到预测噪声；

8、根据所述图像帧潜变量中的已知区域潜变量和所述预测噪声，对所述带噪潜变量进行迭代去噪，得到去噪潜变量，并通过变分自编码器将所述去噪潜变量处理为去噪图像帧；

9、基于所述已知区域掩码，将所述去噪图像帧和所述原始图像帧进行像素融合，得到补全图像帧，以生成补全视频。

10、根据第一方面，所述根据所述图像帧潜变量中的已知区域潜变量和所述预测噪声，对所述带噪潜变量进行迭代去噪，得到去噪潜变量，并通过变分自编码器将所述去噪潜变量处理为去噪图像帧，包括：

11、基于所述预测噪声和所述带噪潜变量，通过预设调度器进行迭代去噪，若当前迭代去噪的次数小于第一预设值时，对所述已知区域潜变量与所述带噪潜变量进行融合计算，得到预测潜变量，并将当前迭代去噪得到的所述预测潜变量作为下一次迭代去噪的带噪潜变量；

12、若当前迭代去噪的次数大于等于第一预设值时，将所述带噪潜变量作为预测潜变量，并将当前迭代去噪得到的所述预测潜变量作为下一次迭代去噪的带噪潜变量；

13、若当前迭代去噪的次数达到第二预设值时，将所述最后一次迭代去噪得到的所述预测潜变量作为输出结果，得到所述去噪潜变量，所述第二预设值大于所述第一预设值；

14、通过所述变分自编码器的解码器，将所述去噪潜变量中的特征恢复至像素空间，得到所述去噪图像帧。

15、根据第一方面，所述若当前迭代去噪的次数小于第一预设值时，对所述已知区域潜变量与所述带噪潜变量进行融合计算，得到预测潜变量，包括：

16、对所述已知区域掩码进行分辨率压缩，得到软边缘过渡掩码，所述软边缘过渡掩码与所述带噪潜变量的分辨率相同；

17、根据当前迭代去噪的次数，对所述已知区域潜变量进行加噪处理，得到加噪已知潜变量；

18、基于所述软边缘过渡掩码，将所述加噪已知潜变量与当前迭代去噪次数对应的带噪潜变量进行加权融合，得到所述预测潜变量。

19、根据第一方面，所述方法用于深度学习模型，所述深度学习模型包括第一网络分支和第二网络分支，所述第一网络分支包括下采样块、中间块、上采样块和输出层，所述第二网络分支包括深度下采样块和深度中间块，所述基于所述深度图潜变量与所述带噪潜变量预测所述带噪潜变量的噪声，得到预测噪声，包括：

20、将所述带噪潜变量和所述图像帧潜变量输入至所述第一网络分支，通过所述第一网络分支中的下采样块进行特征提取，得到第一浅层特征；

21、将所述第一浅层特征输入至所述第一网络分支的中间块，所述中间块将所述第一浅层特征处理为第一深层特征；

22、将所述深度图潜变量输入至所述第二网络分支，通过所述第二网络分支的深度下采样块进行特征提取，得到第二浅层特征；

23、将所述第二浅层特征输入至所述第二网络分支的深度中间块，所述深度中间块将所述第二浅层特征处理为第二深层特征；

24、将所述第二浅层特征和所述第二深层特征输入至零卷积层，通过所述零卷积层，分别将所述第二浅层特征和所述第二深层特征处理为第一融合特征分量和第二融合特征分量，所述零卷积层的权重和偏置在初始化时均设为0；

25、将所述第一融合特征分量与所述第一浅层特征进行加法融合，得到跳跃连接特征；

26、将所述第二融合特征分量与所述第一深层特征进行加法融合，得到瓶颈层特征；

27、将所述跳跃连接特征与所述瓶颈层特征输入至所述上采样块，通过所述上采样块输出得到所述预测噪声。

28、根据第一方面，所述基于所述已知区域掩码，将所述去噪图像帧和所述原始图像帧进行像素融合，得到补全图像帧，以生成补全视频，包括：

29、基于所述已知区域掩码，将所述原始图像帧中的像素与所述去噪图像帧中的像素进行像素融合，得到融合像素：

30、

31、其中，表示融合像素；表示原始图像帧像素；表示所述已知区域掩码；表示所述去噪图像帧像素；

32、基于所述融合像素，得到补全图像帧，并根据所述补全图像帧在所述原始视频中的顺序排列得到所述补全视频。

33、根据第一方面，在获取原始视频及对应的原始深度图序列之前，还包括：

34、获取历史原始视频及对应的历史原始深度图序列，以及所述历史原始视频对应的完整视频，所述完整视频包括若干完整视频帧，所述完整视频帧具有所述历史原始视频中待补全区域的真实像素内容，所述历史原始视频包含若干连续的历史原始图像帧，所述历史原始深度图序列包括若干所述历史原始图像帧对应的历史深度图；

35、分别对所有所述历史原始图像帧与所有所述历史深度图进行掩码处理，分别得到历史掩码图像帧和历史掩码深度图，每个所述历史掩码图像帧包含历史已知区域掩码；

36、通过变分自编码器对所述历史掩码图像帧、所述历史掩码深度图和所述完整视频进行潜空间映射，得到历史图像帧潜变量、历史深度图潜变量和完整视频潜变量，并对所述历史图像帧潜变量进行加噪处理得到历史带噪潜变量；

37、对所述完整视频潜变量加入训练噪声，得到加噪完整视频潜变量；

38、将所述历史深度图潜变量、所述历史带噪潜变量、所述加噪完整视频潜变量和训练噪声整合为训练数据；

39、基于所述训练数据训练初始化的深度学习模型，以使执行将所述深度图潜变量与所述带噪潜变量输入至所述深度学习模型后，所述深度学习模型输出预测噪声。

40、第二方面,本技术实施例还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如第一方面所述的方法。

41、第三方面,本技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如第一方面所述的方法。

42、第四方面,本技术实施例还提供一种程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

43、采用上述技术方案的发明，具有如下优点：

44、在本技术提供的技术方案中，对原始图像帧和深度图分别进行掩码处理，使掩码图像帧和掩码深度图中已知区域和待补全区域通过掩码产生区分，切断了模型在推理时对待补全区域几何信息的作弊推断，防止了数据泄露。通过变分自编码器将掩码图像帧和掩码深度图映射至潜空间后，得到图像帧潜变量和深度图潜变量，并对所述图像帧潜变量进行加噪处理得到带噪潜变量。将深度图潜变量作为几何约束条件融入深度学习模型生成预测噪声的过程中，使预测噪声能够具有时空感知与几何约束。以带噪潜变量为处理对象，基于图像帧潜变量中的已知区域潜变量进行连续的迭代去噪，使视频各帧在同一潜变量演化过程中逐步恢复，由此能够减少相邻帧之间的内容突变，有利于提高补全图像帧的时序一致性。将去噪图像帧与原始图像帧进行融合，得到补全图像帧，从而生成补全视频，提高了视频内容补全的质量。