深度图处理的制作方法

技术特征：
1.一种视频处理方法，包括：访问多视图视频内容的第一视图和第二视图；将所述第一视图中第一位置处的第一像素投影到所述第二视图中的第二位置上；确定(1)所述第一视图的所述第一像素的纹理信息与(2)所述第二视图中所述第二位置处的第二像素的纹理信息之间的差值；和响应于所述差值，基于所述第一视图的所述第一像素的深度值，调整所述第二视图的所述第二像素的深度值。2.一种用于视频处理的设备，包括一个或多个处理器，其中所述一个或多个处理器被配置为：访问多视图视频内容的第一视图和第二视图；将所述第一视图中第一位置处的第一像素投影到所述第二视图中的第二位置上；确定(1)所述第一视图的所述第一像素的纹理信息与(2)所述第二视图中所述第二位置处的第二像素的纹理信息之间的差值；和响应于所述差值，基于所述第一视图的所述第一像素的深度值，调整所述第二视图的所述第二像素的深度值。3.如权利要求1所述的方法，或如权利要求2所述的设备，其中所述投影包括：基于与用于捕获所述第一视图的相机相关联的姿势和逆内在参数，将所述第一像素投影到世界坐标系中的第四位置中；基于与用于捕获所述第二视图的相机相关联的内在和外在参数，将所述世界坐标系中的所述第四位置投影到所述第二视图中的第五位置中；和从所述第五位置获得所述第二位置。4.如权利要求3所述的方法，或如权利要求3所述的设备，其中所述获得包括选择与所述第五位置最近的像素位置作为所述第二位置。5.如权利要求1和3
‑
4中任一项所述的方法，或如权利要求2
‑
4中任一项所述的设备，其中所述第一视图是所述第二视图的相邻视图。6.如权利要求1和3
‑
5中任一项所述的方法，或如权利要求2
‑
5所述的设备，其中所述差值是基于(1)所述第一视图的所述第一像素的所述纹理信息和(2)所述第二视图的所述第二像素的所述纹理信息的三个分量的相应差值来确定的。7.如权利要求1和3
‑
6中任一项所述的方法，或如权利要求2
‑
6中任一项所述的设备，其中，所述差值是基于(1)所述第一视图的所述第一像素周围的像素组的纹理信息和(2)所述第二视图的所述第二像素周围的对应像素组的纹理信息的三个分量的相应差值来确定的。8.如权利要求1和3
‑
7中任一项所述的方法，或如权利要求2
‑
7中任一项所述的设备，其中，如果所述差值小于一值，则执行所述调整。9.如权利要求1和3
‑
8中任一项所述的方法，或如权利要求2
‑
8中任一项所述的设备，其中所述调整还包括应用与所述第二视图相关联的姿势和内在参数。10.如权利要求1和3
‑
9中任一项所述的方法，或如权利要求2
‑
9中任一项所述的设备，其中所述一个或多个处理器还被配置为执行：将所述第二视图的所述第二像素投影到所述第一视图中的第三位置上；确定(1)所述第二视图的所述第二像素的所述纹理信息与(2)所述第一视图中所述第
三位置处的第三像素的纹理信息之间的第二差值，其中仅当所述第二差值小于第二值时，才执行所述调整。11.如权利要求1和3
‑
10中任一项所述的方法，或如权利要求2
‑
10中任一项所述的设备，其中对于所述第一视图中的所有像素执行所述投影。12.如权利要求11所述的方法，或如权利要求11所述的设备，其中所述投影结果被过滤。13.如权利要求1和3
‑
12中任一项所述的方法，或如权利要求2
‑
12中任一项所述的设备，其中所述第一视图由第一纹理图像和第一深度图表示，并且其中所述第二视图由第二纹理图像和第二深度图表示。14.如权利要求1和3
‑
13中任一项所述的方法，或如权利要求2
‑
13中任一项所述的设备，其中所述多视图视频内容以多视图加深度(mvd)格式表示。15.一种非瞬态机器可读介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时实现一种方法，所述方法包括：访问多视图视频内容的第一视图和第二视图；将所述第一视图中第一位置处的第一像素投影到所述第二视图中的第二位置上；确定(1)所述第一视图的所述第一像素的纹理信息与(2)所述第二视图中所述第二位置处的第二像素的纹理信息之间的差值；和响应于所述差值，基于所述第一视图的所述第一像素的深度值，调整所述第二视图的所述第二像素的深度值。

技术总结
对于以MVD(多视图 深度)格式表示的多视图视频内容，可以处理深度图以改进它们之间的连贯性。在一种实施方式中，为了基于输入视图处理目标视图，首先将输入视图的像素投影到世界坐标系中，然后投影到目标视图中以形成投影视图。比较投影视图的纹理和目标视图的纹理。如果一像素处的差值很小，则调整该像素处的目标视图的深度，例如，替换为投影视图的对应深度。当在系统中对多视图视频内容进行编码和解码时，可以在预处理和后处理模块中应用深度图处理，以改进视频压缩效率和渲染质量。以改进视频压缩效率和渲染质量。以改进视频压缩效率和渲染质量。


技术研发人员：D.多伊恩 B.范达姆 G.博伊森
受保护的技术使用者：交互数字VC控股公司
技术研发日：2020.02.13
技术公布日：2021/10/23