深度图校正、视频处理、视频重建方法及相关装置与流程

本说明书实施例涉及视频处理技术领域，尤其涉及一种深度图校正、视频处理、视频重建方法及相关装置。

背景技术

自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。

深度图估计是自由视点视频重建中非常重要的一个步骤，深度图估计的质量将很大程度上决定最终生成的虚拟视点的图像的质量，故如何提高深度图估计的质量成为一个重要的问题。

技术实现要素：

有鉴于此，本说明书实施例提供深度图校正、视频处理、视频重建方法及相关装置，能够提高深度图质量，进而可以提高自由视点视频的图像质量。

首先，本说明书实施例提供了一种深度图校正方法，包括：

获取待处理的目标深度图，所述目标深度图基于对应视点的视频帧序列中相应帧时刻的原始纹理图估计得到；

获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图；

获取参考视频帧序列中的原始纹理图对应的估计深度图；

分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图；

采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。

可选地，所述分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图，包括：

分别对所述参考视频帧序列中的原始纹理图中的像素和对应的估计深度图中的像素进行时域中值滤波，得到所述对应视点的背景纹理图和背景深度图。

可选地，所述采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图，包括以下至少一种：

获取所述目标深度图中任一像素的深度值，并与对应视点的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值；

将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应视点的背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。

可选地，所述参考视频帧序列中原始纹理图中的前景对象少于所述目标深度图对应的原始纹理图中的前景物体。

可选地，所述目标深度图包括多组，基于多个视点同步采集的原始纹理图估计得到多组目标深度图。

可选地，所述采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图，包括：

对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图。

可选地，所述对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图，包括：

对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图，并行地进行校正处理，得到多组校正深度图。

本说明书实施例还提供了一种视频处理方法，包括：

获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集；

对于所述各视点的视频帧序列中的任一帧时刻的纹理图，分别估计得到对应视点的估计深度图作为待处理的目标深度图；

获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；

对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。

可选地，所述对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图，包括：

获取所述目标深度图中任一像素的深度值，并与对应的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值；

将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。

本说明书实施例还提供了一种自由视点视频重建方法，包括：

获取多个帧时刻的视频帧，所述视频帧包括同步的多个视点的纹理图和对应视点的深度图，所述深度图为采用对应视点的背景纹理图和背景深度图进行校正处理后得到，所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；

基于所述视频帧包含的同步的多个视点的纹理图以及对应的深度图，根据虚拟视点的位置信息以及所述视频帧对应的参数数据，重建得到所述虚拟视点的图像。

本说明书实施例还提供了一种深度图校正装置，包括：

目标深度图获取单元，适于获取待处理的目标深度图，所述待处理的估计深度图基于对应视点的原始纹理图估计得到；

参考视图获取单元，适于获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图，以及获取参考视频帧序列中的原始纹理图对应的估计深度图；

背景视图滤波单元，适于分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和对应的背景深度图；

校正单元，适于采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。

本说明书实施例还提供了一种视频处理装置，包括：

视频获取单元，适于获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集；

目标深度图获取单元，对于所述各视点的视频帧序列中的任一帧时刻的纹理图，适于分别估计得到对应视点的估计深度图作为待处理的目标深度图；

背景视图获取单元，适于获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；

校正单元，对所述待处理的估计深度图，适于采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。

本说明书实施例还提供了一种自由视点视频重建装置，包括：

视频帧获取单元，适于获取多个帧时刻的视频帧，所述视频帧包括同步的多个视点的纹理图和对应视点的深度图，所述深度图为采用对应视点的背景纹理图和背景深度图进行校正处理后得到，所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；

图像重建单元，适于基于所述视频帧包含的同步的多个视点的纹理图以及对应的深度图，根据虚拟视点的位置信息以及所述视频帧对应的参数数据，重建得到所述虚拟视点的图像。

本说明书实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行前述任一实施例所述方法的步骤。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤。

与现有技术相比，本说明书实施例的技术方案具有以下有益效果：

采用本说明书实施例的方案，对于基于纹理图估计得到的待处理的目标深度图，通过获取对应视点的参考视频帧序列，获得所述参考视频帧序列中的原始纹理图，进而获得所述参考视频帧序列中的原始纹理图对应的估计深度图，进而分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图，之后，采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，即可得到校正深度图。在这一深度图校正方案中，通过对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，可以有效提取到稳定的背景纹理图和背景深度图，进而可以基于背景纹理图和背景深度图这两个稳定的背景信息，修正目标深度图中受到干扰的背景物体的深度值，从而可以提高估计得到的目标深度图的图像质量，进而可以减小重建的自由视点视频图像在时域上的抖动，提高重建得到的自由视点视频图像的质量。

进一步地，通过获取所述目标深度图中任一像素的深度值，并与对应视点的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值，采用这一基于背景深度图的校正方式，可以避免目标深度图中背景物体的缺失，从而可以提高目标深度图的图像质量，以及基于目标深度图重建得到的自由视点视频的图像质量。

进一步地，通过将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应视点的背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值，采用这一基于与背景纹理图的差异进行校正的方式，可以直接纠正目标深度图中属于背景部分的深度值，从而可以提高目标深度图的图像质量，以及基于目标深度图重建得到的自由视点视频的图像质量。

附图说明

图1是本说明书实施例中一种自由视点视频展示的具体应用系统示意图；

图2是本说明书实施例中一种终端设备交互界面示意图；

图3是本说明书实施例中一种采集设备设置方式的示意图；

图4是本说明书实施例中另一种终端设备交互界面示意图；

图5是本说明书实施例中一种自由视点视频数据生成过程的示意图；

图6是本说明书实施例中一种6DoF视频数据的生成及处理的示意图；

图7是本说明书实施例中一种数据头文件的结构示意图；

图8是本说明书实施例中一种用户侧对6DoF视频数据处理的示意图；

图9A是本说明书实施例中一视频帧序列中的一纹理图的具体示例；

图9B是基于图9A所示的纹理图估计得到的深度图的具体示例；

图10A是本说明书实施例中一视频帧序列中的另一纹理图的具体示例；

图10B是基于图9A所示的纹理图估计得到的深度图的具体示例；

图11是本说明书实施例中一种深度图校正方法的流程图；

图12是本说明书实施例中一具体应用场景的深度图校正方法示意图；

图13是本说明书实施例中一种视频处理方法的流程图；

图14是本说明书实施例中自由视点视频帧的一种拼接图像结构示意图；

图15是本说明书实施例中自由视点视频帧的另一种拼接图像的结构示意图；

图16是本说明书实施例中一种自由视点视频重建方法的流程图；

图17是本说明书实施例中一种深度图校正装置的结构示意图；

图18是本说明书实施例中一种视频处理装置的结构示意图；

图19是本说明书实施例中一种自由视点视频重建装置的结构示意图；

图20是本说明书实施例中一种电子设备的结构示意图；

图21是本说明书实施例中一种视频处理系统的结构示意图。

具体实施方式

为使本领域技术人员更好地理解和实施本说明书中的实施例，以下首先结合附图及具体应用场景对自由视点视频的实现方式进行示例性介绍。

参考图1，本发明实施例中一种自由视点视频展示的具体应用系统，可以包括多个采集设备的采集系统11、服务器12和显示设备13，其中采集系统11，可以对待观看区域进行图像采集；采集系统11或者服务器12，可以对获取到的同步的多个纹理图进行处理，生成能够支持显示设备13进行虚拟视点切换的多角度自由视角数据。显示设备13可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。

在具体实现中，进行图像重建，得到重建图像的过程可以由显示设备13实施，也可以由位于内容分发网络(Content Delivery Network，CDN)的设备以边缘计算的方式实施。可以理解的是，图1仅为示例，并非对采集系统、服务器、终端设备以及具体实现方式的限制。

继续参考图1，用户可以通过显示设备13对待观看区域进行观看，在本实施例中，待观看区域为篮球场。如前所述，观看的位置和观看角度是可以切换的。

举例而言，用户可以在屏幕滑动，以切换虚拟视点。在本发明一实施例中，结合参考图2，用户手指沿D22方向滑动屏幕时，可以切换进行观看的虚拟视点。继续参考图3，滑动前的虚拟视点的位置可以是VP1，滑动屏幕切换虚拟视点后，虚拟视点的位置可以是VP2。结合参考图4，在滑动屏幕后，屏幕展示的重建图像可以如图4所示。重建图像，可以是基于由实际采集情境中的多个采集设备采集到的图像生成的多角度自由视角数据进行图像重建得到的。

可以理解的是，切换前进行观看的图像，也可以是重建图像。重建图像可以是视频流中的帧图像。另外，根据用户指示切换虚拟视点的方式可以是多样的，在此不做限制。

在具体实施中，视点可以用6自由度(Degree of Freedom，DoF)的坐标表示，其中，视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向相应地，基于6自由度的坐标，可以确定虚拟视点，包括位置和视角。

虚拟视点是一个三维概念，生成重建图像需要三维信息。在一种具体实现方式中，多角度自由视角数据中可以包括深度图数据，用于提供平面图像外的第三维信息。相比于其它实现方式，例如通过点云数据提供三维信息，深度图数据的数据量较小。

在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点的位置以及视角。

多角度自由视角范围与采集设备的布置相关，采集设备的拍摄覆盖范围越广，则多角度自由视角范围越大。终端设备展示的画面质量，与采集设备的数量相关，通常，设置的采集设备的数量越多，展示的画面中空洞区域越少。

此外，多角度自由视角的范围与采集设备的空间分布相关。可以基于采集设备的空间分布关系设置多角度自由视角的范围以及在终端侧与显示设备的交互方式。

本领域技术人员可以理解的是，上述各实施例以及对应的附图仅为举例示意性说明，并非对采集设备的设置以及多角度自由视角范围之间关联关系的限定，也并非对交互方式以及显示设备展示效果的限定。

结合参照图5，为进行自由视点视频重建，需要进行纹理图的采集和深度图计算，包括了三个主要步骤，分别为多摄像机视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth Map Calculation)。对于多摄像机视频采集来说，要求各个摄像机采集的视频可以帧级对齐。其中，通过多摄像机的视频采集可以得到纹理图(Texture Image)；通过摄像机内外参计算，可以得到摄像机参数(Camera Parameter)，摄像机参数可以包括摄像机内部参数数据和外部参数数据；通过深度图计算，可以得到深度图(Depth Map)，多个同步的纹理图及对应视角的深度图和摄像机参数，形成6DoF视频数据。

在本说明书实施例方案中，并不需要特殊的摄像机，比如光场摄像机，来做视频的采集。同样的，也不需要在采集前先进行复杂的摄像机校准的工作。可以布局和安排多摄像机的位置，以更好的拍摄需要拍摄的物体或者场景。

在以上的三个步骤处理完后，就得到了从多摄像机采集来的纹理图，所有摄像机的摄像机参数，以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoFvideo data)。因为有了这些数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。

结合参考图6，6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即前述的6DoF视频数据和元数据。其中，指示性数据也可以称作元数据(Metadata)，其中，视频数据包括多摄像机对应的各视点的纹理图和深度图数据，纹理图和深度图可以按照一定的拼接规则或拼接模式进行拼接，形成拼接图像。

结合参考图7，元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个纹理图的像素数据以及深度图数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，以及其它元数据(Other metadata)。元数据可以存储于数据头文件，具体的存储顺序可以如图7所示，或者以其它顺序存储。

结合参考图8，用户侧得到了6DoF视频数据，其中包括了摄像机参数，拼接图像(纹理图以及深度图)，以及描述元数据(元数据)，除此之外，还有用户端的交互行为数据。通过这些数据，用户侧可以采用基于深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行的6DoF渲染，从而在一个特定的根据用户行为产生的6DoF位置产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。

其中，在通常的深度图计算中，是在每一个帧时刻单独计算。发明人经研究发现，如此会在固定不动的背景中，求出不一致的深度值，从而导致时域上看到的画面的抖动。

参照图9A、图9B、图10A和图10B，其中，图9A和图10A为同一个视点采集到的纹理图，为一采集设备(摄像头)连续采集到的视频帧序列中先后不同的纹理图，为描述方便，这里分别称为纹理图Tm、Tn，图9B示出的为基于纹理图Tm，通过深度图计算得到的深度图Dm，图10B示出的为基于纹理图Tn，通过深度图计算得到的深度图Dn。为描述方便，本说明书中将深度图直接计算得到的深度图，称为估计深度图。参照图9A、图9B、图10A和图10B，区域Q中包含通过摆臂固定在篮球架上的摄像机，对于区域Q中完全没有运动的摄像机，应该在视频中具有完全一致的深度值。但是，由于视频帧的干扰，如图10A中Q区域所示，有一个衣服颜色和摄像机颜色很类似的运动员干扰了摄像机深度值的求取，从而导致得到错误的深度值，如图10B中Q区域所示所示。而在图9A中，由于Q区域没有受到干扰，从而可以得到正确的深度值，如图9B的Q区域所示。

由上述具体视频帧序列的深度图计算所得到的深度图可知，由于视频中的复杂变化，在某些视频帧中的背景物体受到了很大的干扰，从而基于单帧纹理图的方法来求取深度值，可能会得到错误的深度值，而错误的深度值最终导致在DIBR所得到的图像质量的降低，以及自由视点视频在时域上的抖动。

针对上述问题，本说明书实施例提供一种深度图校正方案，通过对深度图直接计算得到的估计深度图进行校正，可以提高深度图的图像质量，以及提高自由视点视频图像在时域上的稳定性。对于任一视点纹理图，均可以采用本说明书实施例中的方法进行深度图校正，以下参照附图并通过具体实施例进行详细介绍。

如图11所示的深度图校正方法的流程图，具体可以包括如下步骤：

S111，获取待处理的目标深度图，所述目标深度图基于对应视点的视频帧序列中相应帧时刻的原始纹理图估计得到。

在具体实施中，如图3所示场景，通过在现场布置由采集设备CJ1至CJ6所形成的采集系统进行视频采集，可以得到相应视点的视频。可以理解的是，本说明书实施例也适于仅通过一个视点采集得到视频帧序列。对于采集得到的视频帧序列中的任一视频帧，可以称为原始纹理图，基于对应视点的视频帧序列中相应帧时刻的原始纹理图，通过深度图计算，可以估计得到对应的深度图，如前所述，这里称为估计深度图。对于任一待处理的估计深度图，为描述方便并便于理解，这里称为目标深度图。

S112，获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图。

在具体实施中，可以选取与所述目标深度图视点相同的视频片段，作为参考视频帧序列，所述参考视频帧序列中的视频帧可以为直接采集到的原始纹理图。

对于参考视频帧序列的选择，作为一优选示例，可以选取原始纹理图中的前景对象(前景物体)少于所述目标深度图对应的原始纹理图中的前景物体的视频片段作为参考视频帧序列。对于一场篮球赛的视频，可以选取场上运动员较少时段的视频片段作为参考视频帧序列，例如，选取正式比赛开始前对应视点拍摄的视频片段作为参考视频帧序列。

S113，获取参考视频帧序列中的原始纹理图对应的估计深度图。

在具体实施中，可以直接获取参考视频帧序列中的原始纹理图对应的估计深度图，也可以通过对所述参考视频帧序列各帧时刻的原始纹理图进行深度图计算，得到对应的估计深度图。可以采用已知的深度图计算方法进行深度图计算，具体的深度图计算方法并不构成对本说明书实施例保护范围的限制，此处不再展开详述。

S114，分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和背景深度图。

在具体实施中，有多种方式可以实现时域滤波。

例如，可以采用平均值滤波法，更具体地，可以采用算术平均滤波、中位值平均滤波、滑动平均滤波等方法。

又如，可以采用中值滤波法。具体而言，可以分别对所述参考视频帧序列中的原始纹理图中的像素和对应的估计深度图中的像素进行时域中值滤波，得到所述对应视点的背景纹理图和背景深度图。

作为一可选示例，可以从一与目标深度图相同视点的视频X中选取t1至t2时刻的视频帧序列，得到这一时间段的原始纹理图序列，以及对应的估计深度图序列，可以将原始纹理图序列和估计深度图序列中相应像素位置的采样值按照大小排列，取中间值分别作为背景纹理图和背景深度图相应像素位置的有效值。为便于取中值，t1至t2时刻采样得到的原始纹理图和对应的估计深度图的数目应为奇数，例如，取连续3帧，5帧，7帧等。可以采用公式可以表示如下：

P(xt)＝med({Ix,i|i∈[t1,t2]})

其中，P(xt)表示背景纹理图或背景深度图中的任一像素，Ix,i表示t1至t2时刻所有的原始纹理图或估计深度图中与P(xt)相同像素位置的像素值序列，med表示取Ix,i中的中间值。

可以理解的是，在具体实施中，根据具体视频所涉及的环境特点，以及具体要求等因素，还可以采用其他的时域滤波方法，例如，还可以采用限幅滤波，一阶滞后滤波等方法。

S115，采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。

在具体实施中，可以单独采用所述对应视点的背景纹理图或背景深度图，对所述目标深度图进行校正处理，也可以同时采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，从而得到校正后的校正深度图。

其中，通过步骤S112至步骤S114，可以实现时域背景建模，得到背景纹理图和背景深度图，获得时域稳定的纹理图背景信息和深度图背景信息，进而通过背景纹理图和背景深度图，来对基于单帧深度图计算得到的估计深度图进行校正，从而可以显著提高深度图中背景物体的稳定性。

在这一深度图校正方案中，通过对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，可以有效提取到稳定的背景纹理图和背景深度图，进而可以基于背景纹理图和背景深度图这两个稳定的背景信息，修正目标深度图中受到干扰的背景物体的深度值，从而可以提高估计得到的目标深度图的图像质量，进而可以减小重建的自由视点视频图像在时域上的抖动，提高重建得到的自由视点视频图像的质量。

为使本领域技术人员更好地理解和实施，以下对步骤S115可能采用的一些具体校正方法进行示例说明。

一方面，可以采用所述对应视点的背景深度图进行深度图校正。

作为一具体可选示例，可以获取所述目标深度图中任一像素的深度值，并与对应视点的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值。采用公式可以表示如下：

Depthout(i,j)＝max(Depthbackground(i,j),Depthin(i,j)

其中，Depthin(i,j)为目标深度图中坐标为(i,j)的像素的深度值，Depthbackground(i,j)为对应视点的背景深度图中坐标为(i,j)的像素的深度值，Depthout(i,j)为校正深度图中坐标为(i,j)的像素的深度值。

采用这一基于背景深度图的校正方式，可以避免目标深度图中背景物体的缺失，从而可以提高目标深度图的图像质量，以及基于目标深度图重建得到的自由视点视频的图像质量。

另一方面，可以采用所述对应视点的背景纹理图进行深度图校正。

作为一具体可选示例，将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较如果二者的差值小于预设阈值时，则选取对应视点的背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。采用公式可以表示如下：

If|Pixel(i,j)-Pixelbackground(i,j)|＜Thr,Depthout(i,j)＝Depthbackground(i,j)

其中，Pixel(i,j)表示目标深度图对应的原始纹理图中坐标为(i,j)的像素的像素值，Pixelbackground(i,j)表示目标深度图对应视点的背景纹理图中坐标为(i,j)的像素的像素值，Thr为预设的差值阈值，Depthbackground(i,j)为对应视点的背景深度图中坐标为(i,j)的像素的深度值，Depthout(i,j)为校正深度图中坐标为(i,j)的像素的深度值。

采用这一基于与背景纹理图的差异进行校正的方式，可以直接纠正目标深度图中属于背景部分的深度值，从而可以提高目标深度图的图像质量，以及基于目标深度图重建得到的自由视点视频的图像质量。

参照图12所示的具体应用场景的深度图校正方法示意图，例如，基于采集到的视点为Vx的一原始纹理图Tx，通过深度图估计，可以得到对应的估计深度图Dx，将所述估计深度图Dx作为目标深度图。为对目标深度图Dx进行深度校正，可以获取视点同样为Vx的参考视频帧序列，例如获取到原始纹理图Tp～Tq，基于原始纹理图Tp～Tq中的每一帧，单独进行深度图估计，可以得到对应的估计深度图Dp～Dq，分别基于原始纹理图Tp～Tq和估计深度图Dp～Dq，进行时域滤波，可以得到视点Vx的背景纹理图Tb和背景深度图Db，进而采用背景纹理图Tb和背景深度图Db，可以对目标深度图Dx进行校正处理，最终输出校正深度图Dc。

类似地，可以采用背景纹理图Tb和背景深度图Db，对视点Vx采集到的原始纹理图Tx对应的估计深度图进行深度图校正处理。

若采集系统中包含多个视点的采集设备，对于视点Vx之外的其他视点采集到的原始纹理图对应的估计深度图，也可以采用相应视点的背景纹理图和背景深度图，采用如前实施例所述方式，分别进行深度图校正处理，得到相应的校正深度图。

在本说明书一些实施例中，所述目标深度图包括多组，基于多个视点同步采集的原始纹理图估计得到多组目标深度图，进而可以采用本说明书实施例的深度图校正方法对所述多组目标深度图分别进行校正处理。具体地，对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图进行校正处理，得到多组校正深度图。

为提高数据处理速度，对所述多组目标深度图分别采用对应视点的背景纹理图和背景深度图，可以通过批处理或者并行处理方式进行校正处理，得到多组校正深度图。

为提高自由视点视频中深度图的时域稳定性，以及基于深度图重建得到的自由视点视频图像的质量，本说明书实施例还提供了相应的视频处理方法，对应于具体应用场景，可以由图1中所示的服务器12或图21所示的数据处理设备A2或云端服务器集群A3执行。参照图13所示的视频处理方法的流程图，具体步骤如下：

S131，获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集。

如前实施例所述，通过在现场布置不同位置布置多个采集设备，形成采集阵列，采集阵列中多个采集设备可以同步采集图像，分别得到相应视点的视频帧序列。

S132，对于所述各视点的视频帧序列中的任一帧时刻的纹理图，分别估计得到对应视点的估计深度图作为待处理的目标深度图。

S133，获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到。

在具体实施中，对于各个视点，可以分别得到相应的背景纹理图和背景深度图，具体可以基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到。关于各视点参考视频帧序列的选取，以及时域滤波的具体方式等均可以参照前述实施例介绍。

S134，对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。

通过步骤S133，可以实现各个视点的时域背景建模，得到对应视点的稳定的背景纹理图和背景深度图，获得对应视点稳定的纹理背景信息以及深度背景信息，因此可以避免基于单帧原始纹理图进行深度图估计过程中的各种前景物体的干扰，提高所得到的深度图的质量，并提高自由视点视频的时域稳定性，避免视频图像抖动的情况，提高重建得到的自由视点视频的图像质量。

对于所述对所述目标深度图，采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图，具体可以采用如下至少一种方式：

首先，基于对应视点的背景深度图可以如下方式进行校正处理：获取所述目标深度图中任一像素的深度值，并与对应的背景深度图中相应像素的深度值进行比较，选取二者之中的最大值作为所述校正深度图中相应像素的深度值。

其次，基于对应视点的背景纹理图可以采用如下方式进行校正处理：将所述目标深度图对应的原始纹理图中的像素与对应视点的背景纹理图中相应像素的像素值进行比较，并当二者的差值小于预设阈值时，选取对应背景深度图中相应像素的深度值作为所述校正深度图中相应像素的深度值。

在具体实施中，对于直播或准直播等对时延要求较高的场景，为提高数据处理速度，可以对各个视点的目标深度图，甚至是各个目标深度图中的像素通过批处理，或者并行处理的方式进行校正。

在对深度图进行校正处理后，可以对相应帧时刻各视点的纹理图和对应的校正深度图进行拼接处理，得到拼接图像，如图14所示的一种拼接图像的结构示意图，其中，拼接图像上半部分为纹理图区域，下半部分为深度图区域。在对深度图进行校正处理后，在带宽资源有限的情况下，为尽量提高重建得到的视频图像质量，可以对校正得到的校正深度图进行降采样，并将各视点的原始纹理图与对应视点的降采样深度图按照预设拼接规则进行拼接，形成拼接图像，参照图15所示的一种拼接图像的结构示意图，其中，深度图进行了1/4降采样。

可以理解的是，不同视点的纹理图和对应视点的深度图可以按照预设排布规则进行排布并拼接在一起。例如，可以按照不同视点的位置关系设置拼接图像中具体视点图像的位置以及拼接图像总体的纹理图区域和深度图区域的对应关系。本说明书实施例并不限定拼接图像的具体拼接规则。

得到拼接图像后，为节省传输带宽，可以对各视频帧的拼接图像进行视频压缩后进行传输。

显示设备或适于显示图像的终端设备，基于接收到的自由视点视频，可以进行自由视点视频重建。

参照图16所示的自由视点视频重建方法的流程图，在本说明书一些实施例中，具体可以采用如下步骤进行视频重建：

S161，获取多个帧时刻的视频帧，所述视频帧包括同步的多个视点的纹理图和对应视点的深度图，所述深度图为采用对应视点的背景纹理图和背景深度图进行校正处理后得到，所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到。

其中，具体的校正方法可以参见前述实施例示例，具体可采用的时域滤波方式也可以参见前述深度图校正方法实施例中的具体示例，此处不再详述。

S162，基于所述视频帧包含的同步的多个视点的纹理图以及对应的深度图，根据虚拟视点的位置信息以及所述视频帧对应的参数数据，重建得到所述虚拟视点的图像。

在具体实施中，虚拟视点的位置信息可以基于用户的交互行为得到，也可以由前端服务器、云端服务器或导播处理设备等上游设备预先指定，并通过自由视点视频中的元数据等进行指示。所述视频帧对应的参数数据也可以通过自由视点视频传输至用户侧的显示设备或终端设备。

在具体实施中，根据虚拟视点的位置信息，可以采用所述视频帧中包含的部分视点的纹理图和对应的深度图，完成虚拟视点的图像重建，也可以采用所述视频帧中包含的全部视点的纹理图和对应的深度图，进行虚拟视点的图像重建。

采用上述自由视点视频重建方法，由于所述视频帧中的深度图已经基于对应视点的背景纹理图和背景深度图进行校正处理，而所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到，因此可以所述深度图具有更高的时域稳定性，基于所述深度图重建得到的自由视点视频的图像的质量也相应得到提高，可以减少自由视点视频图像的抖动现象。

本说明书实施例还提供了前述方法实施例相应的装置，以下分别进行相应介绍，本领域技术人员可以理解的是，以下装置均可采用前述方法实施例对深度图进行校正处理，或者基于校正后得到的校正深度图进行图像重建。

参照图17所示的校正装置的结构示意图，在本说明书一些实施例中，如图17所示，深度图校正装置170可以包括：目标深度图获取单元171、参考视图获取单元172、背景视图滤波单元173和校正单元174，其中：

所述目标深度图获取单元171，适于获取待处理的目标深度图，所述目标深度图基于对应视点的原始纹理图估计得到；

所述参考视图获取单元172，适于获取对应视点的参考视频帧序列，所述参考视频帧序列中的视频帧包括：原始纹理图，以及获取参考视频帧序列中的原始纹理图对应的估计深度图；

所述背景视图滤波单元173，适于分别对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，得到所述对应视点的背景纹理图和对应的背景深度图；

所述校正单元174，适于采用所述对应视点的背景纹理图和背景深度图，对所述目标深度图进行校正处理，得到校正深度图。

采用上述深度图校正装置，通过对所述参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波，可以有效提取到稳定的背景纹理图和背景深度图，进而可以基于背景纹理图和背景深度图这两个稳定的背景信息，修正目标深度图中受到干扰的背景物体的深度值，从而可以提高估计得到的目标深度图的图像质量，进而可以减小重建的自由视点视频图像在时域上的抖动，提高重建得到的自由视点视频图像的质量。

本说明书实施例还提供了一种视频处理装置，参照图18所示的视频处理装置的结构示意图，其中，视频处理装置180可以包括：视频获取单元181、目标深度图获取单元182、背景视图获取单元183和校正单元184，其中：

所述视频获取单元181，适于获取同步的多个视点的视频帧序列，所述多个视点的视频帧序列中的视频帧按照时序同步采集；

所述目标深度图获取单元182，对于所述各视点的视频帧序列中的任一帧时刻的纹理图，适于分别估计得到对应视点的估计深度图作为待处理的目标深度图；

所述背景视图获取单元183，适于获取各视点相应的背景纹理图和背景深度图，所述各视点相应的背景纹理图和背景深度图分别基于对应视点的参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；

所述校正单元184，对所述待处理的估计深度图，适于采用对应视点的背景纹理图和背景深度图进行校正处理，得到校正深度图。

采用上述视频处理装置，通过背景深度图获取单元可以得到对应视点的稳定的背景纹理图和背景深度图，获得对应视点稳定的纹理背景信息以及深度背景信息，并通过校正单元根据对应视点的背景纹理图和背景深度图对目标深度图进行校正处理，因此可以避免基于单帧原始纹理图进行深度图估计过程中的各种前景物体的干扰，提高所得到的深度图的质量，并提高自由视点视频的时域稳定性，避免视频图像抖动的情况，提高重建得到的自由视点视频的图像质量。

本说明书实施例还提供了一种自由视点视频重建装置，参照图19所示的自由视点视频重建装置的结构示意图，在本说明书一些实施例中，如图19所示，自由视点视频重建装置190可以包括：视频帧获取单元191和图像重建单元192，其中：

所述视频帧获取单元191，适于获取多个帧时刻的视频帧，所述视频帧包括同步的多个视点的纹理图和对应视点的深度图，所述深度图为采用对应视点的背景纹理图和背景深度图进行校正处理后得到，所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到；

所述图像重建单元192，适于基于所述视频帧包含的同步的多个视点的纹理图以及对应的深度图，根据虚拟视点的位置信息以及所述视频帧对应的参数数据，重建得到所述虚拟视点的图像。

采用上述自由视点视频重建装置，由于所述视频帧获取单元获取到的视频帧中的深度图已经基于对应视点的背景纹理图和背景深度图进行校正处理，而所述对应视点的背景纹理图和背景深度图分别由参考视频帧序列中的原始纹理图和对应的估计深度图进行时域滤波得到，因此可以所述深度图具有更高的时域稳定性，基于所述深度图重建得到的自由视点视频的图像的质量也相应得到提高，可以减少自由视点视频图像的抖动现象。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤，具体可以参见前述实施例介绍，此处不再赘述。

在具体实施中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。

本说明书实施例还提供了一种电子设备，参照图20所示的电子设备的结构示意图，其中，电子设备200可以包括存储器201和处理器202，所述存储器201上存储有可在所述处理器202上运行的计算机指令，其中，所述处理器运行所述计算机指令时可以执行前述任一实施例所述方法的步骤。

基于所述电子设备在整个视频处理系统所处位置，所述电子设备还可以包括其他的电子部件或组件。

例如，继续参照图20，电子设备200还可以包括通信组件203，所述通信组件可以与采集系统或云端服务器通信，获得包含原始纹理图的视频帧序列，或者直接获取深度图计算后得到的相应视点的估计深度图，以作为待进行深度图校正的目标深度图。或者通信组件203获取的视频帧中的深度图已采用本说明书实施例的校正方法进行后处理，进而可以由处理器202基于通信组件203获取到的视频帧，以及虚拟视点位置，进行自由视点视频重建。

又如，在某些电子设备中，继续参照图20，电子设备200还可以包括显示组件204(如显示器、触摸屏、投影仪)，以对重建得到的视频图像进行显示。

在本说明书一些实施例中，存储器、处理器、通信组件和显示组件之间可以通过总线网络进行通信。

在具体实施中，通信组件203和显示组件204等可以为设置在所述电子设备200内部的组件，也可以为通过扩展接口、扩展坞、扩展线等扩展组件连接的外接设备。

在具体实施中，所述处理器202可以通过中央处理器(Central Processing Unit，CPU)(例如单核处理器、多核处理器)、CPU组、图形处理器(Graphics Processing Unit，GPU)、人工智能(Artificial Intelligence，AI)芯片、现场可编程门阵列(Field Programmable Gate Array，FPGA)芯片等其中任意一种或多种协同实施。

在具体实施中，对于大量的深度图，为减小处理时延，也可以采用多个电子设备组成的电子设备集群协同实施。

为使本领域技术人员更好地理解和实施，以下以一个具体的应用场景进行说明。参照图21所示的视频处理系统的结构示意图，如图21所示，为一种应用场景中视频处理系统的结构示意图，其中，示出了一场篮球赛的数据处理系统的布置场景，所述视频处理系统A0包括由多个采集设备组成的采集阵列A1、数据处理设备A2、云端的服务器集群A3、播放控制设备A4，播放终端A5和交互终端A6。

参照图21，以左侧的篮球框作为核心看点，以核心看点为圆心，与核心看点位于同一平面的扇形区域作为预设的多角度自由视角范围。所述采集阵列A1中各采集设备可以根据所述预设的多角度自由视角范围，成扇形置于现场采集区域不同位置，可以分别从相应角度实时同步采集视频数据流。

在具体实施中，采集设备还可以设置在篮球场馆的顶棚区域、篮球架上等。各采集设备可以沿直线、扇形、弧线、圆形或者不规则形状排列分布。具体排列方式可以根据具体的现场环境、采集设备数量、采集设备的特点、成像效果需求等一种或多种因素进行设置。所述采集设备可以是任何具有摄像功能的设备，例如，普通的摄像机、手机、专业摄像机等。

而为了不影响采集设备工作，所述数据处理设备A2可以置于现场非采集区域，可视为现场服务器。所述数据处理设备A2可以通过无线局域网向所述采集阵列A1中各采集设备分别发送拉流指令，所述采集阵列A1中各采集设备基于所述数据处理设备A2发送的拉流指令，将获得的视频数据流实时传输至所述数据处理设备A3。其中，所述采集阵列A1中各采集设备可以通过交换机A7将获得的视频数据流实时传输至所述数据处理设备A2。采集阵列A1和交换机A7一起形成采集系统。

当所述数据处理设备A2接收到视频帧截取指令时，从接收到的多路视频数据流中对指定帧时刻的视频帧截取得到多个同步视频帧的帧图像，并将获得的所述指定帧时刻的多个同步视频帧上传至云端的服务器集群A3。

相应地，云端的服务器集群A3将接收的多个同步视频帧的原始纹理图作为图像组合，确定所述图像组合相应的参数数据及所述图像组合中各原始纹理图对应的估计深度图，并基于所述图像组合相应的参数数据、所述图像组合中纹理图的像素数据和对应深度图的深度数据，基于获取到的虚拟视点路径进行帧图像重建，获得相应的多角度自由视角视频数据。

其中，作为深度图后处理环节，可以采用本说明书前述实施例介绍的深度图校正方法对相应视点的估计深度图进行深度图校正。

服务器可以置于云端，并且为了能够更快速地并行处理数据，可以按照处理数据的不同，由多个不同的服务器或服务器组组成云端的服务器集群A3。

例如，所述云端的服务器集群A3可以包括：第一云端服务器A31，第二云端服务器A32，第三云端服务器A33，第四云端服务器A34。其中，第一云端服务器A31可以用于确定所述图像组合相应的参数数据；第二云端服务器A32可以用于确定所述图像组合中各视点的原始纹理图的估计深度图以及进行深度图校正处理；第三云端服务器A33可以根据虚拟视点的位置信息，基于所述图像组合相应的参数数据、所述图像组合的纹理图和深度图，使用基于深度图的虚拟视点重建(Depth Image Based Rendering，DIBR)算法，进行帧图像重建，得到虚拟视点的图像；所述第四云端服务器A34可以用于生成自由视点视频(多角度自由视角视频)。

可以理解的是，所述第一云端服务器A31、第二云端服务器A32、第三云端服务器A33、第四云端服务器A34也可以为服务器阵列或服务器子集群组成的服务器组，本发明实施例不做限制。

然后，播放控制设备A4可以将接收到的自由视点视频帧插入待播放视频流中，播放终端A5接收来自所述播放控制设备A4的待播放视频流并进行实时播放。其中，播放控制设备34可以为人工播放控制设备，也可以为虚拟播放控制设备。在具体实施中，可以设置专门的可以自动切换视频流的服务器作为虚拟播放控制设备进行数据源的控制。导播控制设备如导播台可以作为本发明实施例中的一种播放控制设备A4。

交互设备A6可以基于用户交互，进行自由视点视频的播放。

可以理解的是，所述采集阵列A1中各采集设备与所述数据处理设备A2之间可以通过交换机A7和/或局域网进行连接，播放终端A5、交互终端A6数量均可以是一个或多个，所述播放终端A5与所述交互终端A6可以为同一终端设备，所述数据处理设备A2可以根据具体情景置于现场非采集区域或云端，所述服务器集群A3和播放控制设备A4可以根据具体情景置于现场非采集区域，云端或者终端接入侧，本实施例并不用于限制本发明的具体实现和保护范围。

虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。